Перейти к основному содержимому

JS парсеры: примеры

примечание

Здесь подобраны только некоторые примеры использования JavaScript парсеров, демонстрирующие основной функционал. Намного больше примеров опубликовано в Каталоге парсеров

JS::TitleParser

Парсинг HTML тега title на произвольной странице

JS::TextFromSE

Обьединение нескольких встроенных парсеров в одном

Скачивание файлов

Пример сохранения файлов любого размера напрямую на диск

Работа с CAPTCHA

Пример JS парсера для работы с каптчами

Работа с ReCaptcha2

Пример JS парсера для работы с рекаптчами

Работа с готовыми парсерами

Пример получения результатов от готового парсера внутри JS парсера

Работа с БД SQLite

Пример создания таблицы, вставки и выборки данных

Работа с БД MySQL

Пример работы с модулем mysql2, данный парсер собирает ссылки из выдачи Google и пишет их в БД

Проход по страницах

Рассмотрен пример парсинга сайта по запросу с переходом по страницах

Фильтрация по множеству признаков

Пример фильтрации страниц по большому количеству признаков, используется fs для чтения файла признаков

Фильтрация картинок по их содержимому

Пример использования Google Vision для определения содержимого картинок

Постинг в Wordpress блоги

Постинг сообщений в Wordpress блоги по технологии xmlrpc

Отправка почтовых писем

Пример работы с nodemailer (отправка писем из JS парсера). Используется Yandex SMTP.

Создание скриншотов страниц

Демонстрация работы с puppeteer(Chrome) на примере создания скриншотов сайтов

Telegram уведомления

Получаем уведомления в Telegram об окончании срока регистрации доменов