Prompt Engineering: Self Consistency

0:00Na początku naszego kursu wspominałem o

0:02tym, że modele takie jak GPT-4 są niedeterministyczne.

0:06Oznacza to, że dla dokładnie takiego samego zestawu danych oraz tych samych

0:10ustawień możemy otrzymywać różne odpowiedzi.

0:13Dowód tego mamy tutaj.

0:14To jest jedno wykonanie naszego promptu,

0:17teraz przełączę się do drugiego i wygląda dokładnie tak samo

0:20no i mamy trzecie, w przypadku którego to

0:22samo zadanie dla tych samych ustawień zostało przypisane do priorytetu normalne.

0:27I swoją drogą zobacz, że w tym momencie mam tutaj małą nieścisłość.

0:31Ze względu na to, że na liście dostępnych priorytetów wybrałem nazwę domyślny

0:35natomiast potem w przykładach pokazałem priorytet Normalne.

0:39Oczywiście jest to mała pomyłka, która w

0:41tym przypadku raczej nie ma większego znaczenia

0:43natomiast i tak realnie chodzi tutaj o to,

0:45że dla dokładnie takiego samego zestawu danych otrzymujemy różne rezultaty.

0:50Jako pewien bonus chciałbym podkreślić jeden dodatkowy fakt.

0:53Mianowicie jednym z głównych elementów

0:55podawania priorytetu jest uwzględnienie aktualnej daty oraz godziny.

0:59Ta godzina musi być programistycznie

1:01wpisywana w nasz prompt, aby model wiedział dokładnie, kiedy jest dziś.

1:05Dodatkowo według moich doświadczeń bardzo dobrą taktyką jest także wskazanie,

1:10który dzień tygodnia występuje dla aktualnej daty

1:12ponieważ modele takie jak GPT-4 nie zawsze poprawnie są w stanie to określić.

1:17Dodatkowo istnieje ogromne ryzyko, że

1:19gdybyśmy poprosili model GPT-4 o wskazanie jakiejś bardziej odległej daty np.

1:24za dwa tygodnie w piątek, to nie będzie w stanie rozwiązać takiego zadania

1:28i warto mieć to na uwadze.

1:30Oczywiście można zbudować prompt, który

1:32będzie obsługiwał pewien zakres dat i wiem o tym, ponieważ coś takiego budowałem,

1:36natomiast i tak raz na jakiś czas zdarza się tak, że GPT-4 również wtedy podaje

1:41niewłaściwą datę. Natomiast dla krótszych zakresów działa to w zasadzie bez zarzutu.

1:46No i teraz wracając do naszego głównego

1:48wątku, pytanie brzmi w jaki sposób możemy polegać na takich promptach, skoro nawet

1:53dla takiego samego zestawu danych potrafią zwracać różne rezultaty?

1:57Otóż jedną z możliwych technik jest tutaj

1:59zastosowanie zasady konsekwencji polegającej na tym, że rzeczywiście tak

2:03jak w moim przypadku wykonujemy prompt kilkukrotnie np.

2:073 razy, a następnie albo samodzielnie, albo programistycznie

2:11lub też z pomocą kolejnego promptu wybieramy rezultat, który padał

2:14najczęściej, bądź też wydaje się najbardziej prawdopodobny.

2:18Oczywiście coś takiego wymaga od nas wykonania zapytania trzykrotnie

2:22natomiast z programistycznego punktu

2:24widzenia to wszystko może dziać się równolegle.

2:26W związku z tym nie mówimy tutaj o

2:28szczególnym wydłużeniu czasu realizacji takiego zadania, ale na pewno o większych

2:32kosztach, no i oczywiście o wyższej skuteczności.

2:35Jeżeli o mnie chodzi, to ja osobiście nie

2:37miałem okazji wykorzystywać tej techniki w żadnym z moich projektów i zawsze raczej

2:41dążyłem do tego, aby znaleźć inne rozwiązanie.

2:44Przykładem może być tylko wyciągnięcie

2:46pewnych słów kluczowych, na podstawie których programistycznie określam priorytet,

2:50bądź też np. dopracowanie promptu w taki sposób, aby jego skuteczność rzeczywiście była wyższa.

2:56Swoją drogą zwróć uwagę, że ten brak konsekwencji w odpowiedziach widoczny jest

3:00także pomimo tego, że cały czas miałem ustawiony wskaźnik temperatury na 0.

3:05Zatem nawet coś takiego okazało się nieskuteczne przy tym konkretnym zadaniu,

3:09które swoją drogą wydaje się stosunkowo proste.

3:12Jeżeli chodzi o technikę Self- Consistency

3:15to polecam Ci także zajrzeć na stronę LearnPrompting.org, na której znajdziesz

3:20praktycznie wszystkie omawiane przez nas techniki, pokazujące je także na nieco

3:24innych przykładach, które być może pozwolą Ci je lepiej zrozumieć.

3:28I przykładowo tutaj technika Self-Consistecy

3:29została przedstawiona w dość podobny sposób, gdzie dla jednego promptu

3:35generujemy wiele odpowiedzi, a następnie wybieramy tą, która padała najczęściej.

3:39Coś takiego myślę, że najlepiej sprawdza się w sytuacji, gdy model zwraca jedną z

3:44dostępnych odpowiedzi, którą następnie jesteśmy w stanie np.

3:47programistycznie wybrać.

3:48W ten sposób nie jest wymagany dodatkowy prompt, o którym mówiłem, tylko po

3:52prostu jakaś funkcja, która pobierze najczęściej pojawiający się rezultat.

3:57Jeżeli chodzi o technikę Self-Consistency to by było na tyle,

4:00w związku z tym dzięki za uwagę i do usłyszenia w kolejnej lekcji.