JS парсеры: примеры
info
Здесь подобраны только некоторые примеры использования JavaScript парсеров, демонстрирующие основной функционал. Намного больше примеров опубликовано в Каталоге парсеров
JS::TitleParser
Парсинг HTML тега title на произвольной странице
JS::TextFromSE
Обьединение нескольких встроенных парсеров в одном
Скачивание файлов
Пример сохранения файлов любого размера напрямую на диск
Работа с CAPTCHA
Пример JS парсера для работы с каптчами
Работа с ReCaptcha2
Пример JS парсера для работы с рекаптчами
Работа с готовыми парсерами
Пример получения результатов от готового парсера внутри JS парсера
Работа с БД SQLite
Пример создания таблицы, вставки и выборки данных
Работа с БД MySQL
Пример работы с модулем mysql2, данный парсер собирает ссылки из выдачи Google и пишет их в БД
Проход по страницах
Рассмотрен пример парсинга сайта по запросу с переходом по страницах
Фильтрация по множеству признаков
Пример фильтрации страниц по большому количеству признаков, используется fs для чтения файла признаков
Фильтрация картинок по их содержимому
Пример использования Google Vision для определения содержимого картинок
Постинг в Wordpress блоги
Постинг сообщений в Wordpress блоги по технологии xmlrpc
Отправка почтовых писем
Пример работы с nodemailer (отправка писем из JS парсера). Используется Yandex SMTP.
Создание скриншотов страниц
Демонстрация работы с puppeteer(Chrome) на примере создания скриншотов сайтов
Telegram уведомления
Получаем уведомления в Telegram об окончании срока регистрации доменов