A-Parser - парсер для профессионалов SEO

Улучшения

• В Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
• SE::Baidu полностью переписан:
  • добавлен парсинг related keywords
  • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
  • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
  • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
• Изменения в Rank::MajesticSEO:
  • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
  • Убран параметр Extract domain
  • Исправлена работа в некоторых случаях
• Улучшена отзывчивость в редакторе JavaScript парсеров
• Улучшена работа HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
• Обновлен список регионов в парсерах...

24-й сборник рецептов. В нем мы научимся мониторить окончание срока регистрации доменов с уведомлением в Телеграм, сделаем альтернативный чекер сайтов в базе РКН, а также на простом примере парсера курсов валют изучим работу с базами данных. Поехали!

Получаем уведомления в Telegram об окончании срока регистрации доменов
Мониторинг сроков регистрации доменов - это довольно распространенная задача. A-Parser позволяет легко автоматизировать этот процесс. Более того, можно настроить получение прямо в Телеграм уведомлений о доменах, срок регистрации которых скоро закончится. Готовое решение для автоматической проверки с уведомлением - по ссылке выше.

Проверка блокировки РосКомНадзора через GitHub
В А-Парсере есть стандартный парсер Check::RosKomNadzor, который позволяет проверять наличие сайтов в базе РКН. Данные получаются напрямую из официального сервиса,...

Улучшения

• Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
• Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern
• Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern
• Процент неудачных запросов теперь отображается относительно числа выполненных запросов
• Добавлена возможность вызвать URL после выполнения задания
• Улучшен обзор каталогов при выборе файлов запросов
• Добавлена поддержка setInterval в JavaScript парсерах
• Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2
• Улучшена обработка редиректов
• Добавлена защита от бесконечного выполнения в JavaScript парсерах
• Значительно увеличены возможности check_content в JS парсерах
• В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads

Исправления в связи с изменениями в...

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google
Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.

Выгрузка товаров в формате YML
YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных...

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:

• Описание и настройка парсера Util::ReCaptcha2
• Описание принципа работы ReCaptcha2
• Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

• Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php
• Статья и готовый парсер: https://a-parser.com/resources/259/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!