Połącz możliwości GPT-3 i automatyzacji
2 godz. 3 min · OpenAI · Biznes i Automatyzacje
Adam GospodarczykWykorzystanie API OpenAI nie różni się w żaden sposób od innych. Przesyłając dane i parametry na wskazany endpoint, otrzymujemy odpowiedź wygenerowaną przez model (np. text-da-vinci-003). Na tym jednak możliwości tego API się nie kończą. Przykładem z którego skorzystamy będzie zamiana danych na tzw. embedding (listę wektorów). Dane zapisane w takiej formie będą wstępem do "pamięci" bota i tym samym pierwszym punktem procesu nauki.
Prompt Engineering to rozwijająca się dziedzina skupiona na projektowaniu systemów zdolnych do skutecznego reagowania na dane wprowadzone przez użytkownika. W przypadku tworzonego przez nas bota, wykorzystamy pewne elementy tego procesu aby zmodyfikować jego domyślne zachowanie oraz przygotowywanie odpowiedzi na podstawie wyłącznie wcześniejszych danych. W przypadku braku wiedzy na jakiś temat, bot będzie nas o tym informował w sarkastyczny sposób lub nawet zwracał informacje w podanym przez nas formacie.
Wysyłając zapytanie do API OpenAI, jesteśmy ograniczeni liczbą znaków. Tworząc bota chcemy uwzględniać nie tylko to aby odpowiadał na nasze pytania ale także uwzględniał przekazany przez nas kontekst, składający się z informacji jakie zapamiętał bot. Problemem jest tutaj wybór, które dane ma brać pod uwagę. Rozwiązanie po które sięgamy w tym warsztacie polega na wykorzystaniu bazy wektorowej (Pinecone), która pełni rolę pamięci oraz bazy lokalnej w której przechowujemy faktyczne informacje. Ich połączenie pozwala na wybranie najbardziej istotnych danych i uwzględnienie ich w kontekście, który pozwoli GPT-3 przygotować odpowiedź.
Temat wykorzystania AI w codziennym życiu nie jest nowy ale nabrał szczególnego znaczenia po pojawieniu się ChatGPT. Wiele osób zaczęło wykorzystywać AI do rozwiązywania bieżących problemów i ułatwiania sobie różnych zadań. W tym warsztacie znajdziesz kilka inspiracji, które nakierują Cię na to jak możesz rozwijać swojego własnego, inteligentnego i uczącego się bota.
Warsztat został stworzony z myślą o osobach znających JavaScript i Node.js, chcących postawić pierwsze kroki w praktycznym wykorzystaniu GPT-3 oraz API OpenAI. Poza znajomością JavaScript, konieczne będzie minimum doświadczenia w pracy z API oraz bazami danych (SQL). Po ukończeniu tego warsztatu zyskasz ogólne zrozumienie możliwości GPT-3 oraz umiejętności umożliwiające wpływ na jego zachowanie i generowane odpowiedzi.
Jak już powiedziałem, do stworzenia avatara wykorzystamy API OpenAI.
Zwróć jednak uwagę, że tutaj mamy
informację, że już niebawem będzie możliwość dostępu do API Chat GPT.
Jedną z głównych różnic pomiędzy nimi jest to, że chat GPT został wytrenowany w
sposób, który pozwala mu zapamiętywać kontekst i prowadzić konwersację.
Jeżeli chodzi o nas, po prostu zasymulujemy sobie taką funkcjonalność.
Natomiast niewykluczone, że w momencie,
gdy oglądasz ten materiał API Chat GPT będzie już dostępny i niewykluczone, że
sprawdzi się znacznie lepiej na potrzeby naszego avatara.
Już na tym etapie możesz założyć konto na
OpenAI i musisz pamiętać, że korzystanie z niego jest płatne.
Oznacza to, że tutaj w ustawieniach konta dostępne będą raporty wykorzystania.
W moim przypadku w związku z tym, że
podejmuję bardzo dużo prób i interakcji z moim avatarem, koszty są stosunkowo wysokie.
W związku z tym musisz pamiętać o tym, aby w ustawieniach swojego konta w pierwszej
kolejności skonfigurować limity wykorzystania.
W moim przypadku hard limit ustawiony jest
na 80 dolarów, a soft limit, czyli po prostu powiadomienie o przekroczeniu
pewnego progu ustawiona jest na 15 dolarów.
Według mnie całkiem dobrą praktyką,
szczególnie na etapie nauki, jest ustawienie limitów krocząco.
Oznacza to, że na ten moment zmniejszę mój
limit na 20 dolarów, a potem po prostu będę go sobie podnosił.
Powodem jest tutaj fakt, że na etapie konfiguracji naszego avatara możemy
popełnić stosunkowo prosty błąd i przypadkowo wykorzystać cały limit.
Oczywiście jest to dość skrajny przypadek,
aczkolwiek mi w zeszłym miesiącu się zdarzył i co prawda nie wykorzystałem
swojego całego limitu, aczkolwiek miałem tutaj taki mały pick.
I swoją drogą jeżeli już jesteśmy przy kosztach.
W zeszłym miesiącu w moim przypadku wydałem 74 dolary na dostęp do API.
Natomiast raz jeszcze zaznaczam, że w moim
przypadku wykorzystanie jest naprawdę intensywne.
Moi znajomi, którzy także wykorzystują Chat GPT, ale w nieco inny sposób,
zamykają swoje koszty na poziomie 5 10 dolarów miesięcznie.
Jeżeli chodzi o same rozliczenia i koszty
poszczególnych modeli, to musisz wiedzieć, że płacisz za przeprocesowane tokeny.
Jeżeli chodzi o sam token to jego definicja jest wyjaśniona
tutaj, można myśleć o tokena jako kawałkach
słów, gdzie 1000 tokenów to około 750 słów.
Przy czym trzeba tutaj zaznaczyć, że chodzi o słowa w języku angielskim.
W przypadku wykorzystania języka
polskiego, gdzie mamy do czynienia z polskimi znakami, ten przelicznik wypada
niestety gorzej ze względu na to, że polskie litery zużywają więcej tokenów.
Jeżeli chodzi o same ceny, to w pierwszej kolejności musisz zaakceptować fakt, że
mamy tutaj do czynienia z usługami płatnymi.
Następnie definitywnie musisz ustawić limit na swoim koncie.
No i ostatnim krokiem będzie pobranie
Twojego klucza API, który możesz wygenerować w tym miejscu.
Klucz API będzie nam potrzebny do
nawiązania połączenia bezpośrednio z poziomu naszych integracji.
Kolejnym narzędziem, które będziemy wykorzystywać jest wspomniane już airtable.
Wewnątrz niego będziemy zapisywać zarówno historię konwersacji, ale też będziemy
posiadać tutaj następującą tabelę, która będzie po prostu pamięcią naszego avatara.
W tym przypadku również trzeba podkreślić fakt, że dostęp do airtable jest płatne.
Co prawda możesz skorzystać z płatnego
planu i mieć tutaj możliwość przechowywania tysiąca dwustu rekordów.
W moim przypadku wykorzystuję plan Pro,
wewnątrz którego mam dostęp do 50 tysięcy rekordów wewnątrz bazy.
Oczywiście tworząc bardzo prosty avatar.
Wydaje mi się, że możliwe jest zostanie na planie bezpłatnym, jednak w praktyce dość
szybko okazuje się, że trzeba przejść na plan Plus.
Zatem bez wątpienia mamy tutaj do czynienia z kolejnym kosztem.
No i na tym niestety się nie kończy.
Ze względu na to, że logika naszego
avatara stworzona jest z pomocą platformy makecom, w przypadku której również
rozliczamy się za wykorzystanie naszego scenariusza.
Nie będę tutaj opisywał swojego przypadku ze względu na to, że korzystam z wielu
kont na różnych planach, ponieważ posiadam po prostu mnóstwo takich scenariuszy.
Na koniec dnia korzyść, która z nich
płynie jest po prostu większa niż koszty, które ponoszę.
Bez wątpienia ogromną zaletą wykorzystania Make.Com jest fakt, że możemy bardzo prosto
wprowadzać modyfikacje do naszego scenariusza.
Przykładowo, jeżeli chciałbym zmodyfikować
instrukcję generującą tagi z naszego zapytania, to oczywiście mogę to zrobić.
Podobnie zresztą mogę zrobić z pozostałymi modułami, zmieniając ich kolejność,
ułożenie, a także przepływ informacji w samym scenariuszu.
Jeżeli chodzi o budowę tego scenariusza,
to przeprowadzę Cię przez nią krok po kroku w kolejnych lekcjach, aczkolwiek
będę zakładał, że znasz już przynajmniej w stopniu podstawowym platformę Make.com.
Jeżeli potrzebujesz wiedzy na jej temat, zapraszam Cię do mojego kursu, gdzie
znajdziesz lekcje Grzegorza Roga na temat podstaw Make.
Jest to godzinna lekcja, która powinna wystarczyć Ci do tego, aby
kontynuować naukę w tym kursie.
Jeżeli chodzi o narzędzia, platforma Make nie jest ostatnią.
Kolejną jest Pinecone.
I tutaj dobra wiadomość jest taka, że
nawet ja korzystam tutaj z planu Starter, który jest dostępny za darmo.
Jeżeli jednak rozbuduje swoje umiejętności
i będzie potrzeba przejścia na płatne plany.
W tym przypadku ceny są już dość wysokie,
ale jednocześnie na etapie, w którym będą
nam potrzebne te plany, powinniśmy mieć już solidne uzasadnienie biznesowe i
scenariusze, które po prostu będą zarabiały dla nas pieniądze.
W związku z tym będziemy mogli ponieść te koszty.
Jest tutaj jeszcze jedna dobra wiadomość, jeżeli chodzi o Pinecone.
Mianowicie nie musisz wiedzieć praktycznie nic na temat tego narzędzia.
Poza tym, że jest to tzw.
wektorowa baza danych, którą będziemy
synchronizować z naszym airtable po to, aby odnajdywać istotne informacje do tego, aby
nasz avatar był w stanie udzielić odpowiedzi na aktualne pytanie.
Z technicznego punktu widzenia na temat tej bazy nie musisz wiedzieć nic, ponieważ
w praktyce będziemy korzystać z trzech akcji.
Pierwsza będzie dotyczyć wgrywania danych, druga usuwania, a trzecia pobierania.
Jeżeli chodzi o pobieranie danych, po
prostu będziemy przekazywać zapytanie zadane przez użytkownika bądź też nas, a
Pinecone wykona dla nas wszystkie skomplikowane obliczenia po to, aby odnaleźć właściwe
informacje potrzebne do udzielenia odpowiedzi.
Tymczasem możemy przejść do kolejnej aplikacji.
Jest to opcjonalna aplikacja Shortcuts
którą możesz wykorzystać w momencie, gdy pracujesz w systemie macOS lub iOS.
Ale jeżeli pracujesz na innych platformach, nie przejmuj się proszę,
ponieważ będziemy budować interakcję z naszym botem również w oparciu o Slacka,
który dostępny jest na każdej platformie.
Zatem podsumowując temat narzędzi mamy
tutaj dostęp do API OpenAI, które jest płatne i jego koszty będą
zależały od tego, jak bardzo będziemy z niego korzystać.
Kolejnym narzędziem jest airtable i tutaj mamy do dyspozycji bezpłatne, aczkolwiek
bardzo ograniczone, bądź też płatny plan za około 10, 20 dolarów.
Następnie mamy platformę Make, która
pomoże nam połączyć wszystkie inne narzędzia.
I tutaj konieczny jest plan przynajmniej za 10 dolarów.
Jeżeli chodzi o Pinecone, wydaje mi się, że
na potrzeby naszego prywatnego avatara wystarczy plan bezpłatny.
No i jeżeli chodzi o koszty tutaj się zatrzymujemy.
Aczkolwiek ja osobiście mam jeszcze
wykupiony płatny plan Slacka, aczkolwiek myślę, że nie ma potrzeby aby to robić.
Tym bardziej, że możesz skorzystać także z bezpłatnych komunikatorów, takich jak np.
Telegram.
Mam nadzieję, że te wszystkie koszty oraz
narzędzia, z których będziemy korzystać nie zniechęcą Cię do tego, aby przejść do
kolejnej lekcji, do której teraz serdecznie Cię zapraszam.