A-Parser - парсер для профессионалов SEO

Улучшения

• Зависимая задача в Цепочке заданий теперь запускается только когда файл результатов не пустой
• Добавлен повтор без смены прокси при неудачной отправке рекаптчи в SE::Google::Modern
• Добавлен бан прокси при получении 403 кода ответа в SE::Google::Modern
• Процент неудачных запросов теперь отображается относительно числа выполненных запросов
• Добавлена возможность вызвать URL после выполнения задания
• Улучшен обзор каталогов при выборе файлов запросов
• Добавлена поддержка setInterval в JavaScript парсерах
• Уменьшено Wait between get status и улучшено логгирование в Util::ReCaptcha2
• Улучшена обработка редиректов
• Добавлена защита от бесконечного выполнения в JavaScript парсерах
• Значительно увеличены возможности check_content в JS парсерах
• В ответе API метода info добавлены параметры workingTasks, activeThreads, activeProxyCheckerThreads

Исправления в связи с изменениями в...

23-й сборник рецептов. В нем мы будем парсить категории сайтов из Google, научимся формировать файлы YML, а также разберемся, как парсить даты и преобразовывать их в единый формат. Поехали!

Получение категорий сайтов из Google
Категоризация сайтов - довольно актуальная задача, но существует немного сервисов, которые могут ее решить. Поэтому, по ссылке выше можно взять небольшой парсер, который позволяет получать категории сайтов из Google.

Выгрузка товаров в формате YML
YML - это стандарт, разработанный Яндексом для работы с Маркетом. По своей сути, это файлы, схожие с XML, в которых содержится информация о товарах в интернет-магазине. Данный формат обеспечивает регулярное автоматическое обновление каталога на Яндекс.Маркет и позволяет отражать все актуальные изменения (наличие, цена, появление новых товаров). Пример парсинга интернет-магазина и сохранения собранных...

Очередное видео в цикле уроков по созданию JavaScript парсеров. Здесь показано, как реализовать разгадывание рекаптч в JS парсере.



В уроке рассмотрено:

• Описание и настройка парсера Util::ReCaptcha2
• Описание принципа работы ReCaptcha2
• Создание кастомного JavaScript парсера с поддержкой разгадывания рекаптч

Ссылки:

• Тестирование работы ReCaptcha2: http://http.myjino.ru/recaptcha/test-get.php
• Статья и готовый парсер: https://a-parser.com/resources/259/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Улучшения

• SE::Google::Modern - многократно увеличена скорость парсинга
• Множество улучшений в Net::DNS:
  • Возможность указать несколько DNS и задать метод выбора
  • Бан нерабочих/плохих DNS по специальному эвристическому алгоритму
  • Возможность вывести в результат использованный DNS сервер при удачном запросе
• В SE::Google::Modern добавлена опция Use sessions
• В SE::Yandex::WordStat добавлена настройка пресета антигейта для логина
• Также в SE::Yandex::WordStat удалены настройки Use logins/Use sessions, теперь они включены всегда
• Добавлена возможность автоматического удаления задания из Завершенных
• В макросе подстановок {num} добавлена поддержка обратного отсчета
• В JavaScript парсерах добавлена возможность сохранения произвольных данных в сессии
• В JavaScript парсерах добавлена возможность прямого сохранения в файл
• В API методе...

В этом сборнике статей мы рассмотрим все возможные варианты решения задачи прохода по пагинации на сайтах, очень детально изучим работу с переменными в JavaScript парсерах, а также попробуем работать с базами данных SQLite на примере парсера курсов валют. Поехали!

Обзор вариантов прохода по пагинации
В A-Parser существует несколько способов, с помощью которых можно реализовать проход по пагинации. В связи с их разнообразием, становится актуальным вопрос выбора нужного алгоритма, который позволит максимально эффективно переходить по страницам в процессе парсинга. В этой статье мы постараемся разобраться с каждым из способов максимально подробно. Также будут показаны реальные примеры и даны рекомендации по оптимизации многостраничного парсинга. Статья - по ссылке выше.


Переменные в парсерах JavaScript
JS парсеры в А-Парсере появились уже около года назад. Благодаря им...