JS scrapers: exempel
Här har vi valt ut några exempel på användning av JavaScript-scrapers som visar den grundläggande funktionaliteten. Många fler exempel finns publicerade i Katalogen över scrapers
🔗 JS::TitleParser
Dataskrapning av HTML-taggen title på en godtycklig sida
🔗 JS::TextFromSE
Kombinera flera inbyggda scrapers i en
🔗 Nedladdning av filer
Exempel på att spara filer av valfri storlek direkt till disk
🔗 Arbeta med CAPTCHA
Exempel på JS-scraper för att arbeta med captchas
🔗 Arbeta med ReCaptcha2
Exempel på JS-scraper för att arbeta med recaptchas
🔗 Arbeta med färdiga scrapers
Exempel på att hämta resultat från en färdig scraper inuti en JS-scraper
🔗 Arbeta med SQLite-databas
Exempel på att skapa en tabell, infoga och välja data
🔗 Arbeta med MySQL-databas
Exempel på arbete med modulen mysql2, denna scraper samlar länkar från Googles sökresultat och skriver dem till databasen
🔗 Bläddring genom sidor
Exempel på dataskrapning av en webbplats på begäran med navigering genom sidor
🔗 Filtrering efter flera kriterier
Exempel på filtrering av sidor efter ett stort antal kriterier, fs används för att läsa kriteriefilen
🔗 Filtrering av bilder efter deras innehåll
Exempel på användning av Google Vision för att bestämma innehållet i bilder
🔗 Postning till Wordpress-bloggar
Postning av meddelanden till Wordpress-bloggar med xmlrpc-teknik
🔗 Skicka e-postmeddelanden
Exempel på arbete med nodemailer (skicka e-post från en JS-scraper). Yandex SMTP används.
🔗 Skapa skärmdumpar av sidor
Demonstration av arbete med puppeteer(Chrome) med exempel på att skapa skärmdumpar av webbplatser
🔗 Telegram-aviseringar
Få aviseringar i Telegram om utgången av domänregistreringar