A-Parser - парсер для профессионалов SEO

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
...

Улучшения

• Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
• Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
• Улучшена производительность SE::Yandex
• В Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
• В SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
• Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в Maps::Yandex
• Исправлен парсинг рекламы в SE::Google
• SE::Yandex, Rank::Ahrefs, SE::Dogpile, SE::Dogpile::Images, SE::DuckDuckGo::Images,...

С 1 февраля в связи с непопулярностью будут закрыты каналы поддержки (включая платную поддержку) через Jabber и ICQ.

Актуальные контакты всегда есть на странице поддержки: https://a-parser.com/pages/support/

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



В уроке рассмотрено:

• Парсинг поисковой выдачи Google
• Вывод уникальных результатов в качестве главных доменов
• Получение таких параметров как:
  • зарегистрирован домен или нет
  • дата регистрации и дата окончания регистрации домена
  • язык сайта
  • title и description
  • индекс качества сайта
  • позицию в глобальном рейтинге Alexa
  • cтрану с наибольшим числом трафика по Alexa
  • позицию в рейтинге этой страны по Alexa

Полезные ссылки:

• https://a-parser.com/wiki/net-whois/ - парсер Net::Whois
• https://a-parser.com/wiki/html-textextractor-langdetect/ - парсер HTML::TextExtractor::LangDetect
• https://a-parser.com/wiki/se-yandex-sqi/ - парсер SE::Yandex::SQI

...

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.

Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого...