Python i Django: Najlepsze dopasowanie - SearchRank

0:00W tej lekcji bliżej przyjrzymy się klasie SearchRank, która pozwala nam

0:06na ocenienie jak dobre dopasowanie trafiliśmy dla danego wyszukiwania.

0:15Przejdźmy do widoku z filtrem.

0:18Widzimy, że skończyliśmy na Trigram Similarity, które zwracało nam

0:24określony wskaźnik tego jak dobrze zostało dopasowane słowo.

0:30Natomiast teraz.

0:33Zmienimy to na klasę SearchRank.

0:39Searchrank bierzemy z Django Country, pozwykle z Search.

0:43I tutaj.

0:45Jest nieco inaczej.

0:48Pierwszym parametrem jest wektor.

0:51Wektor będzie zawierał pola, po których będziemy wyszukiwać, a drugim parametrem

0:55jest query, które nas interesuje, które wprowadzi użytkownik.

1:00Zdefiniujemy sobie wektor.

1:06Wektor w najprostszej swojej formie po prostu przyjmuje pole.

1:13Pole w modelu, po którym będziemy

1:15wyszukiwać, natomiast my sobie trochę utrudnimy sprawę i dodamy jeszcze wagę.

1:20Waga będzie nam definiowała jak ważne jest to pole.

1:24Wiadomo, że jeżeli wyszukujemy jakiegoś artykułu, to prędzej

1:28zależy nam na tym, żeby w tytule właśnie znalazł się fragment, który nas

1:32interesuje, niż był on gdzieś głęboko zaszyty w treści.

1:36Dlatego waga tytułu będzie równa a.

1:42Dodamy jeszcze drugi wektor, który będzie zawierał treść

1:45artykułu i jego waga będzie z kolei mniejsza.

1:53Będzie się równała b.

1:55Zajrzymy do artykułu.

1:57Mamy tytuł, mamy content.

2:02Ten wektor umieszczamy zgodnie z tym co mówiłem wcześniej w

2:06parametrze pierwszym a w drugim parametrze będziemy potrzebowali search query.

2:12Search query jest to obiekt.

2:15Klasę search query, który

2:18przyjmuje stringa i tego stringa zamienia, weźmy tutaj query, zamienia go

2:27na symbole, na analogiczne symbole jakie były w wektorze

2:32i dzięki temu wyszukiwanie staje się bardziej naturalne dla bazy danych.

2:38Przypiszmy to.

2:41Nazwiemy nasz search rank jako rank.

2:45I podobnie jak wcześniej, zaanotatujemy go.

2:49Wejdźmy sobie do listy i wyświetlmy, co nam się tam pojawiło.

3:00Zielona herbata została dopasowana niemal

3:03idealnie, z kolei mleko i herbata czarna gdzieś blisko zera.

3:08Jest to bardzo mała wartość.

3:09Spróbujmy samą herbatę wyszukać i pokażę Wam o co chodzi z tym dopasowaniem.

3:14Zobaczmy, że artykuł o liściach herbaty ma 0,3.

3:18Artykuł zielona herbata pochodzi z Chin z kolei.

3:22Jest dużo, dużo wyżej.

3:23Dlaczego tak się dzieje?

3:24Zobaczmy, że search vector z wagą a faworyzuje te pola.

3:29Jeżeli.

3:31Herbata znajduje się w tytule, to automatycznie ma dużo więcej punktów.

3:36Zajrzymy w ogóle.

3:39Jak to działa w środku.

3:40Dlaczego herbata czarna ma większą punktację niż zielona herbata?

3:48Wyszukajmy, ile razy powtarza się słówko herbata.

3:50Jest to siedem razy.

3:52Wejdźmy tutaj. Wyszukajmy.

3:54Jest to pięć razy.

3:56Dlatego widzimy mniej więcej jak liczba powtórzeń wpływa na punktację.

4:02Zajrzyjmy jeszcze do ostatniego artykułu.

4:04Tutaj mamy tylko dwa powtórzenia.

4:06Dobrym pomysłem, kiedy już używamy

4:10Search Ranka, jest posortowanie wyników od najlepiej dopasowanych,

4:15ponieważ zazwyczaj użytkownikowi właśnie na takich zależy.

4:19Możemy jeszcze wykluczyć te, które nie są w ogóle dopasowane za pomocą filtru.

4:29Większe od zera.

4:33W ten sposób wpisując herbata nie wyszukujemy już mleka.

4:36Kiedy tworzymy wyszukiwarkę do naszego

4:39projektu, dobrą praktyką jest poeksperymentowanie z dostępnymi metodami.

4:45Czasem najlepszym rozwiązaniem będzie

4:48zastosowanie kilku różnych technik, zarówno Search Ranka, jak i Trigram

4:52Similarity, które stworzą nam średnią ważoną albo

4:57wyciągniemy wtedy wartość, która jest większa.

4:59Na przykład jeżeli Trigger będzie nam

5:02bardziej odpowiadał, to wtedy weźmiemy jego wynik.

5:05Jeżeli Search Rank, to wtedy jego.

5:08Czasem wyszukiwarka jest też nieco inna.

5:11Czasem potrzebujemy dokładnego wyszukiwania danej frazy.

5:15Czasem wyszukujemy słów kluczowych, czasem konkretnych fraz.

5:19Dlatego najlepszym.

5:21Sposobem jest eksperymentowanie

5:23i dopasowanie odpowiednich technik do naszego projektu.

5:27Na podsumowanie rozdziału o wyszukiwarkach Chciałem opowiedzieć wam

5:32o przypadku, kiedy wasza baza danych bardzo się

5:34rozrośnie, kiedy liczba rekordów, po których będziecie

5:38wyszukiwać, wzrośnie do setek, tysięcy, może nawet milionów.

5:42Wtedy bardzo dobrym pomysłem, jeżeli używacie wektorów do wyszukiwania, jest

5:48użycie Search Vector Fielda, dostępnego w Django i przypisywanie indeksów w momencie

5:55zmiany danych, na przykład w sygnałach, aktualizowanie tego co jakiś

5:59czas, bądź aktualizowanie tego po każdej zmianie.

6:03Dobrym pomysłem jest też, a właściwie jest

6:06to nieodzowne, jeżeli mamy naprawdę dużo danych, użycie indeksów.

6:11Przypisujemy je w metaklasie za pomocą klasy GINIndex w atrybucie "indexes".

6:18Pozwoli nam to na

6:2010krotne, 20krotne, może nawet 100krotne przyspieszenie wyszukiwania danych.

6:24Miałem taki przypadek, że wyszukiwanie bez indeksów trwało około 10 sekund, natomiast

6:30po zaindeksowaniu odpowiednich pól udało się zejść do 100 milisekund.

6:37Jeżeli wyszukiwanie pełnotekstowe dostępne

6:39w Postgresie nam już nie wystarcza, możemy skorzystać z dedykowanych narzędzi.

6:44Do. Wyszukiwania danych.

6:46Jednym z nich jest na przykład Elasticsearch, który jest

6:49tak rozbudowanym narzędziem, że można by było o nim nagrać osobny kurs.

6:54Można z nim zrobić wszystko, co możecie sobie wyobrazić o wyszukiwaniu danych.

7:00Z własnego doświadczenia mogę Wam jednak powiedzieć, że używanie go

7:03do prostych zastosowań generuje dość dużo kłopotów.

7:09Elasticsearch jest dość wymagający jeżeli chodzi o środowisko.

7:12Wymaga dużo RAMu i jego konfiguracja nie należy również do najprostszych.

7:18Ale jeżeli planujecie tworzyć system na

7:20naprawdę dużą skalę, to jest to dobry kierunek.

7:26Biblioteką, która pozwala wpiąć Elasticsearcha bądź inne

7:30narzędzia do wyszukiwania takie jak Solr jest Django Highstack.