JS scrapers: voorbeelden
Hier zijn slechts enkele voorbeelden van het gebruik van JavaScript scrapers geselecteerd, die de basisfunctionaliteit demonstreren. Veel meer voorbeelden zijn gepubliceerd in de Scraper-catalogus
🔗 JS::TitleParser
Gegevensextractie van de HTML-tag title op een willekeurige pagina
🔗 JS::TextFromSE
Combineren van meerdere ingebouwde scrapers in één
🔗 Bestanden downloaden
Voorbeeld van het rechtstreeks opslaan van bestanden van elke grootte op de schijf
🔗 Werken met CAPTCHA
Voorbeeld van een JS-scraper voor het werken met captcha's
🔗 Werken met ReCaptcha2
Voorbeeld van een JS-scraper voor het werken met recaptcha's
🔗 Werken met kant-en-klare scrapers
Voorbeeld van het ophalen van resultaten van een kant-en-klare scraper binnen een JS-scraper
🔗 Werken met SQLite-database
Voorbeeld van het maken van een tabel, invoegen en selecteren van gegevens
🔗 Werken met MySQL-database
Voorbeeld van het werken met de mysql2-module; deze scraper verzamelt links uit Google-resultaten en schrijft ze naar de database
🔗 Navigeren door pagina's
Voorbeeld van het scrapen van een website op basis van een zoekopdracht met paginering
🔗 Filteren op meerdere kenmerken
Voorbeeld van het filteren van pagina's op een groot aantal kenmerken, waarbij fs wordt gebruikt om het bestand met kenmerken te lezen
🔗 Afbeeldingen filteren op inhoud
Voorbeeld van het gebruik van Google Vision om de inhoud van afbeeldingen te bepalen
🔗 Posten op Wordpress-blogs
Berichten plaatsen op Wordpress-blogs via xmlrpc-technologie
🔗 E-mails verzenden
Voorbeeld van het werken met nodemailer (e-mails verzenden vanuit een JS-scraper). Gebruikt Yandex SMTP.
🔗 Screenshots van pagina's maken
Demonstratie van het werken met puppeteer (Chrome) aan de hand van het maken van screenshots van websites
🔗 Telegram-meldingen
Ontvang meldingen in Telegram over het verlopen van domeinregistraties