JS scrapery: przykłady
Tutaj zebrano tylko niektóre przykłady użycia scraperów JavaScript, demonstrujące podstawową funkcjonalność. Znacznie więcej przykładów opublikowano w Katalogu scraperów
🔗 JS::TitleParser
Scrapowanie tagu HTML title na dowolnej stronie
🔗 JS::TextFromSE
Łączenie kilku wbudowanych scraperów w jednym
🔗 Pobieranie plików
Przykład zapisywania plików o dowolnym rozmiarze bezpośrednio na dysk
🔗 Praca z CAPTCHA
Przykład scrapera JS do pracy z captchami
🔗 Praca z ReCaptcha2
Przykład scrapera JS do pracy z recaptchami
🔗 Praca z gotowymi scraperami
Przykład pobierania wyników z gotowego scrapera wewnątrz scrapera JS
🔗 Praca z bazą danych SQLite
Przykład tworzenia tabeli, wstawiania i wybierania danych
🔗 Praca z bazą danych MySQL
Przykład pracy z modułem mysql2, ten scraper zbiera linki z wyników Google i zapisuje je do bazy danych
🔗 Przechodzenie po stronach
Przykład scrapowania strony na zapytanie z przechodzeniem po stronach
🔗 Filtrowanie według wielu cech
Przykład filtrowania stron według dużej liczby cech, używany jest fs do odczytu pliku cech
🔗 Filtrowanie obrazów według ich zawartości
Przykład użycia Google Vision do określania zawartości obrazów
🔗 Postowanie na blogach Wordpress
Postowanie wiadomości na blogach Wordpress przy użyciu technologii xmlrpc
🔗 Wysyłanie wiadomości e-mail
Przykład pracy z nodemailer (wysyłanie e-maili ze scrapera JS). Używany jest Yandex SMTP.
🔗 Tworzenie zrzutów ekranu stron
Demonstracja pracy z puppeteer(Chrome) na przykładzie tworzenia zrzutów ekranu stron
🔗 Powiadomienia Telegram
Otrzymywanie powiadomień w Telegramie o wygaśnięciu rejestracji domen