A-Parser - парсер для профессионалов SEO

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов
Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.

Проверка блокировки РосКомНадзора через GitHub
В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса,...

Улучшения

• Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
• Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern
• Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern
• Процент неудачных запросов теперь отображается относительно числа выполненных запросов
• Добавлена возможность вызвать URL после выполнения задания
• Улучшен обзор каталогов при выборе файлов запросов
• Добавлена поддержка setInterval в JavaScript парсерах
• Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2
• Улучшена обработка редиректов
• Добавлена защита от бесконечного выполнения в JavaScript парсерах
• Значительно увеличены возможности check_content в JS парсерах
• В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads

Исправления в связи с изменениями в...

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google
Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.

Выгрузка товаров в формате YML
YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных...

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:

• Описание и настройка парсера Util::ReCaptcha2
• Описание принципа работы ReCaptcha2
• Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

• Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php
• Статья и готовый парсер: https://a-parser.com/resources/259/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Улучшения

• SE::Google::Modern - многократно увеличена скорость парсинга
• Множество улучшений в Net::DNS:
  • Возможность указать несколько DNS и задать метод выбора
  • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
  • Возможность вывести в результат использованный DNS сервер при удачном запросе
• В SE::Google::Modern добавлена опция Use sessions
• В SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
• Также в SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
• Добавлена возможность автоматического удаления задания из Завершенных
• В макросе подстановок {num} добавлена поддержка обратного отсчета
• В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
• В JavaScript парсерах добавлена возможность прямого сохранения в файл
• В API методе...