Make: Text parser

0:00W tej lekcji powiem Ci wszystko co wiem na temat modułu Text parser oraz tego jak możesz go

0:04wykorzystać na potrzeby pracy z tekstem oraz wyszukiwania w nim różnego rodzaju

0:08informacji, a nawet budowania prostych Web Scraper'ów.

0:12Jednak zanim zaczniemy jest tutaj mała gwiazdka.

0:14Moduł ten w dużym stopniu wymaga

0:16znajomości wyrażeń regularnych i z tego powodu raz jeszcze zachęcam Cię do

0:20obejrzenia mojego warsztatu dostępnego na Eduweb.pl właśnie w temacie wyrażeń regularnych.

0:26Z pewnością okaże się to dla Ciebie pomocne w wykorzystaniu modułu Text parser.

0:30Jednocześnie też zaznaczę, że jest tu

0:32kilka opcji, z których możesz skorzystać nawet bez tej wiedzy.

0:36Zatem zachęcam Cię do tego, aby zostać ze

0:37mną w tej lekcji, ponieważ być może coś Ci się przyda, a jednocześnie być może

0:42zachęcam Cię do sięgnięcia po mój warsztat i tym samym nauki wyrażeń regularnych.

0:46W każdym razie zaczniemy teraz od czegoś

0:48prostego i czegoś, co w ogóle nie jest związane z modułem Text parser.

0:52Mianowicie wykorzystamy moduł HTTP, a konkretnie Make a request.

0:56Do tego aby wykonać sobie zapytanie na adres.

0:59Eduweb.pl/wydarzenia

1:01w celu pobrania sobie zawartości tej strony.

1:04Mianowicie jeżeli ten moduł wykonamy w odpowiedzi otrzymamy kod HTML tej strony

1:09zawierający różnego rodzaju linki, zdjęcia itd.

1:12Taki kod jak widzisz dla zwykłego człowieka jest raczej mało czytelny i

1:16jednocześnie odnalezienie w nim jakichkolwiek informacji jest dość trudne.

1:20Jednak już w momencie gdy sięgniemy po moduł Text parser możemy np.

1:24wykorzystać moduł HTML to text, aby przekazać do niego całą zawartość kodu HTML i w

1:29zamian otrzymać wartość tekstową pozbawioną znaczników HTML.

1:33Co prawda akurat w tym przypadku nadal tekst może być mało zrozumiały dla

1:37człowieka, ale jednocześnie też jak widzisz, w niektórych sytuacjach taka

1:41zamiana tekstu czy pozbycie się znaczników HTML może okazać się przydatne chociażby

1:46do tego, aby tak jak w tym przypadku pobrać jakieś elementy listy.

1:50I swoją drogą muszę tutaj podkreślić, że tak naprawdę wykorzystaliśmy tutaj

1:53wyrażenia regularne, a jednocześnie w ogóle nie musieliśmy po nie sięgać.

1:58Dodatkowo zaznaczę jeszcze, że możemy tutaj wybrać rodzaj znacznika łamiącego

2:02linię oraz ewentualnie modyfikować nagłówki.

2:05Ten moduł w połączeniu z modułem HTTP może okazać się naprawdę bardzo pomocny.

2:10Podobnie zresztą jak moduł Get Element from HTML, który działa zasadniczo tak samo,

2:15z tą różnicą jednak, że możemy tutaj wybrać spośród trzech znaczników HTML.

2:20Mianowicie możemy tutaj przechwycić obrazki, linki bądź znaczniki iframe.

2:25Dzięki temu, jeżeli wykonamy naszą

2:27automatyzację, to w efekcie otrzymamy tutaj wszystkie znaczniki IMG, a

2:31dodatkowo mamy tutaj dostęp do atrybutów SRC.

2:35Dzięki temu, jeżeli podstawimy tutaj pełną

2:37domenę, będziemy mogli pobrać te obrazki i zapisać np.

2:40na naszym dysku Google.

2:42Zatem jak widzisz, ten moduł możemy wykorzystać do tego, aby pobierać proste

2:46informacje ze stron www i wykorzystywać je do swoich potrzeb.

2:50Coś takiego może Ci się przydać np.

2:52w sytuacji, gdy będziesz importować

2:54wszystkie wpisy na swoim blogu w celu utworzenia automatyzacji w Airtable.

2:59Jednocześnie też jak widzisz możliwości

3:01tego modułu są dość ograniczone i z tego powodu zachęcam Cię do obejrzenia mojego

3:05warsztatu Cookie Monster, w ramach którego pokażę Ci jak wykorzystać narzędzie Simple

3:10scraper do łatwego pobierania informacji ze stron internetowych.

3:14Tymczasem jednak wróćmy do naszego Text

3:16parser'a i pokażę Ci tutaj kolejny moduł, który również może Ci się przydać.

3:20Co prawda zdarzyło nam się już z niego korzystać, bo w skrócie chodzi w nim o to,

3:24że możemy w tym miejscu przekazać jakiś tekst np.

3:27zautomatyzowani.pl, a następnie zamienić końcówkę pl na np.

3:32wartość com.

3:33Dzięki temu jeżeli wykonamy sobie teraz ten moduł no to jak się pewnie domyślasz końcówka

3:38pl zostanie zamieniona na końcówkę com.

3:40Inaczej mówiąc dokonaliśmy tutaj prostej zamiany tekstu, natomiast teraz tego nie

3:45widać, ale tak naprawdę wykorzystaliśmy tutaj wyrażenia regularne.

3:48Dodatkowo mamy tutaj opcje pochodzące właśnie z wyrażeń regularnych,

3:52które dodatkowo pozwalają nam modyfikować zachowanie tego modułu.

3:56Przykładowo, jeżeli w ramach naszego

3:58tekstu mielibyśmy tutaj dwa adresy i ponownie wykonali ten moduł,

4:02to okaże się, że nie do końca zadziała tak, jakbyśmy tego oczekiwali.

4:06Mianowicie rzeczywiście końcówka pierwszego adresu została tutaj

4:09zamieniona, natomiast w przypadku drugim pozostał on bez zmian.

4:13Wynika to z faktu, że nie została tutaj

4:15zaznaczona opcja Global match, która dba o to, aby jak sama nazwa wskazuje dokonać

4:20zamiany na wszystkich powtórzeniach, które występują w tekście.

4:23Jeżeli ją teraz zaznaczymy i wykonamy nasz

4:25moduł, to rzeczywiście wszystkie końcówki zostaną zamienione.

4:29Następnie możemy tutaj włączyć lub wyłączyć czułość na wielkie i małe litery.

4:33I myślę, że to jest akurat dla Ciebie jasne.

4:36Ale jednocześnie poniżej mamy dwie

4:37dodatkowe opcje, które nie do końca mogą okazać się jasne.

4:41Mianowicie tutaj w grę wchodzi już znajomość wyrażeń regularnych, w przypadku

4:44których mamy znaczniki początku oraz końca linii.

4:47Przykładowo dolar oznacza zakończenie

4:50linii i jeżeli umieścimy go na końcu naszego wzorca, to w przypadku nie

4:54zaznaczenia opcji multi line nasz cały tekst zostanie potraktowany jako jedność.

5:00Oznacza to, że jeżeli wykonamy nasz moduł to zostanie zamieniona tylko druga końcówka,

5:04ponieważ wyłącznie ona pasuje tutaj do naszego wzorca.

5:07I zresztą mogę Ci to udowodnić przenosząc teraz ten przykład na stronę regex101.com.

5:13mianowicie jak widzisz tutaj możemy wpisać nasz wzór, a następnie zastosować

5:17odpowiednie flagi czy też opcje, które mamy tutaj do dyspozycji.

5:21Jak widzisz w tym przypadku jest ich

5:22trochę więcej, natomiast nas interesuje wyłączenie opcji multi line .

5:26Dzięki temu jeżeli skopiujemy sobie tutaj te

5:28nasze adresy, to widzimy, że rzeczywiście został tutaj zaznaczony tylko ten drugi.

5:33Jeżeli jednak opcja multi line zostanie

5:35włączona, to zostanie zaznaczony zarówno pierwszy jak i drugi.

5:39I dzięki temu nasza automatyzacja w

5:41momencie gdy będzie miała włączoną tą opcję, zamieni zarówno końcówkę pierwszego

5:46jak i drugiego adresu, czego potwierdzenie mamy tutaj.

5:49Powodem tego jest fakt, że opcja multi

5:51line zamienia działanie znaczników początku oraz końca linii w taki sposób,

5:56aby traktować każdą linię jako osobny ciąg znaków.

5:59Zatem w momencie, gdy ona jest zaznaczona,

6:02każda końcówka linii rzeczywiście dopasowana jest do tego dolara.

6:06Na dość podobnej zasadzie działa opcja single line, z tą różnicą, że nie ma ona

6:10nic wspólnego z opcją multi line, tylko ze zmianą zachowania znaku kropki.

6:15Mianowicie jeżeli wrócimy do regex101.com to zobaczymy, że jeżeli wpiszemy tutaj

6:21kropkę to zostaną tutaj zaznaczone wszystkie znaki oprócz znaku białej linii.

6:26Jeżeli jednak zaznaczymy sobie tutaj opcję single line

6:29to być może nie będzie to widoczne na nagraniu, natomiast delikatnie został

6:33tutaj zaznaczony właśnie znak łamania linii.

6:37Oznacza to mniej więcej tyle, że w momencie, gdy jest włączona opcja single

6:40line, nasze wyrażenie regularne traktowane jest jakby było zapisane w jednej linii.

6:46Oznacza to, że jeżeli zapiszemy sobie tutaj

6:48plus, który sprawia, że poprzedni znak powtórzony jest nieskończoną ilość razy,

6:53czyli w tej sytuacji zaznaczamy dowolny znak występujący dowolną ilość razy.

6:59Zatem w efekcie nasze wyrażenie jest dopasowane do całego przekazanego tekstu.

7:03Jeżeli jednak wyłączymy sobie opcję single

7:05line, to zwróć uwagę, że niezależnie zostały tutaj zaznaczone pojedyncze linie.

7:10I właśnie na tym polega różnica pomiędzy

7:12multi line , single line oraz opcją Global metch.

7:16Podsumowując jednak, to co musisz wiedzieć na temat tych opcji to fakt, że single

7:19line oraz multi line nie wyklucza się wzajemnie, tylko po prostu zmienia

7:24zachowanie znaków początku oraz końca linii lub też w przypadku single line

7:28zmienia zachowanie kropki, która reaguje lub nie reaguje na znak łamania linii.

7:33Tak czy inaczej to co chciałem Ci powiedzieć na temat wyrażeń regularnych

7:36oraz tych opcji zostało tutaj powiedziane i jedyne co nam tutaj zostało to ostatni

7:41moduł umożliwiający nam zaznaczanie wybranego tekstu.

7:45Tutaj również musimy wykorzystywać znajomość wyrażeń regularnych, aczkolwiek

7:49nic nie stoi na przeszkodzie, aby wyrażeniem regularnym było np.

7:52moje imię.

7:53Dzięki temu jeżeli wykonamy ten moduł, to w tej chwili mamy tutaj pustą odpowiedź ze

7:58względu na to, że musimy zastosować tutaj opcję multi line oraz Global match.

8:02Teraz jeżeli ponownie wykonamy sobie ten moduł moje imię zostanie tutaj zaznaczone,

8:07jednak nie mamy tutaj informacji o znalezionej wartości, tylko po prostu

8:11informację o tym, że wartość została znaleziona.

8:14Aby jednak została zwrócona również

8:16odnaleziona wartość, będziemy musieli umieścić nasz wzorzec w nawiasie.

8:21Jeżeli ponownie wykonam teraz ten moduł,

8:23no to oprócz informacji o tym, że wzorzec został dopasowany, znajduje się tutaj

8:28również informacja o odnalezionej wartości.

8:30Dodatkowo mógłbym zastosować tutaj

8:32znacznik lub, a następnie przekazać tutaj kolejne imię oraz kolejne.

8:37No i teraz wykonanie tego modułu sprawi, że wszystkie imiona zostaną zaznaczone i

8:42dodatkowo zostaną też zwrócone tutaj odpowiednie wartości.

8:45Jak widzisz, znajomość wyrażeń regularnych

8:47jest tutaj naprawdę niezbędna do tego, aby pracować z tym modułem.

8:51Natomiast jednocześnie mam dla Ciebie dobrą wiadomość.

8:53Przede wszystkim warsztat, o którym

8:55wspomniałem naprawdę da Ci niezbędną wiedzę, która pozwoli Ci niemal w ciągu

8:59pół godziny pracować z wydarzeniami regularnymi.

9:01Poza tym gorąco zachęcam Cię do tego, aby przejść do serwisu regex101.com,

9:06ponieważ tutaj pisząc wyrażenia

9:08regularne nie tylko od razu możesz je sobie testować, ale jednocześnie masz

9:12tutaj wyjaśnienia mówiące Ci o tym, co tutaj dokładnie się dzieje.

9:16Poza tym, pomimo tego, że wyrażenia regularne są raczej wspólne dla każdego

9:20języka programowania, to jednak występują pomiędzy nimi różnice.

9:24Z tego powodu dobrze jest tutaj zaznaczyć opcję ECMAScript, a konkretnie JavaScript,

9:28ponieważ to dokładnie na niej opiera się Integromat.

9:31No i ostatnią wskazówką, którą mam dla Ciebie jest sięgnięcie po szablony, które

9:35dostępne są na stronie Integromatu, w ramach których znajdziesz przykłady

9:39wykorzystania modułu Text parser, a także wykorzystania wyrażeń regularnych np.

9:44do tego, aby odnaleźć numery telefonów znajdujące się w tekście i w ten sposób

9:48umożliwić sobie wysłanie na nie wiadomości SMS.

9:51Oczywiście w tym konkretnym przypadku

9:53musisz upewnić się, czy wyrażenie regularne jest np.

9:56dopasowane do polskich numerów telefonu. Natomiast jednocześnie

9:59może okazać się, że znajdziesz tutaj

10:01gotowe wyrażenia regularne, które po prostu wystarczy skopiować i wkleić.

10:05Podobnie też wyrażenia regularne możesz

10:07wyszukiwać normalnie w internecie wpisując po angielsku problem, który chcesz

10:11rozwiązać, a następnie dopisując frazę regex lub też regular expression.

10:16W efekcie znajdziesz zwykle wątki na forum, np.

10:19Stack Overflow, w ramach których znajdziesz albo podpowiedzi jak zbudować

10:23dane wyrażenie regularne lub też od razu zostanie Ci podsunięte rozwiązanie.

10:28I tym sposobem zbliżyliśmy się już do

10:30końca tej lekcji, bo w temacie Text parser'a to byłoby już na tyle.

10:34Gorąco zachęcam Cię do przejrzenia wszystkich przykładów, które masz tutaj.

10:37I jednocześnie raz jeszcze odsyłam Cię do

10:39mojego warsztatu na temat wyrażeń regularnych.

10:42Teraz dziękuję Ci za uwagę i zapraszam Cię do kolejnych materiałów.