A-Parser - парсер для профессионалов SEO

Мы завершили переход на NodeJS в качестве основного движка для парсеров и представляем новую стабильную версию 1.2.912 с поддержкой NodeJS 14.2.0. Данное обновление сочетает в себе множество улучшений, включая повышение производительности, уменьшение потребления памяти, полностью новый сетевой стек, а также поддержку нативных NodeJS модулей, позволяющую использовать всю мощь каталога npmjs в A-Parser'е

Также в данное обновление включены изменения по работе с ReCaptcha2 в парсере Google, наша команда одна из первых нашла решение по обходу новой версии рекаптчи и протестировала его совместно с сервисом RuCaptcha, за что им отдельный респект. На данный момент корректный обход каптчи протестирован с RuCaptcha, Anti-Captcha, XEvil и CapMonster.

Помимо этого было произведено множество оптимизаций в ядре A-Parser'а, значительно увеличилась производительность при использовании большого числа заданий или больших списков прокси. Парсер...

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.

• Работа с Google таблицами
• Отправка писем из А-Парсера
• Авторизация с помощью puppeteer

Сохранение результатов в Google SpreadSheets
Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.

Отправка почтовых писем
Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.
...

В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.



В видео рассмотрено:

• Вывод результатов в разные файлы с разными именами используя переменные
• Вывод результатов для каждого файла отдельно по определенному условию
• Вывод результатов для двух файлов с условием, используя массив

Полезные ссылки:

• https://a-parser.com/wiki/template-toolkit/ - Шаблонизатор Template Toolkit
• http://template-toolkit.ru/Manual/Directives.html#Uslovnaya_obrabotka - условная обработка (IF, UNLESS, ELSIF, ELSE)
• http://template-toolkit.ru/Manual/Directives.html#Ciklicheskaya_obrabotka - циклическая обработка FOREACH
• https://a-parser.com/wiki/task-tester/ - тестировщик заданий

Оставляйте комментарии и подписывайтесь на наш канал...

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:

• парсер данных о посещаемости организаций
• парсер данных о SSL сертификатах
• парсер товаров на ikea.com
• комплексный пресет для анализа доменов по ряду характеристик
• способ извлечения доменов из ссылок без фактического захода на страницу

Посещаемость в Google Maps
В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.


Данные по SSL сертификату
Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.
...

Улучшения

• Добавлен парсер SE::Google::KeywordPlanner
  • собираются списки подсказок и варианты ключевых слов
  • для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
  • присутствует возможность указывать несколько ключевых слов в запросе
• В SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
• В SE::Yandex::SQI добавлены переменные для сбора количества отзывов и оценок, а также рейтинга
• Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
• Автоматическое увеличение лимитов на ОС Linux
• Улучшена работа с регулярными выражениями
• При бане прокси в лог задания теперь выводится более детальная информация
• Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в...