A-Parser - парсер для профессионалов SEO

Улучшения

• В HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
• Повышена производительность Shop::Yandex::Market
• В Check::RosKomNadzor добавлена возможность выбирать источник для проверки
• Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
• В Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
• В Rank::Ahrefs расширен перечень собираемых данных
• В SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
• Реализована возможность использовать прокси с одним IP:port, но с разными логинами

Исправления в связи с изменениями в выдаче

• Множество различных адаптаций к изменениям в верстке страниц с результатами в SE::Google и...

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.


Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и...

В связи с новогодними праздниками Общая поддержка и Платная поддержка в четверг 31.12.2020 и пятницу 01.01.2021 работать не будут.

В остальные дни мы работаем по стандартному графику.

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!

Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • Net::HTTP
  • HTML::LinkExtractor
  • HTML::TextExtractor
  • HTML::TextExtractor::LangDetect
  • Check::BackLink
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • DeepL::Translator
  • Rank::Ahrefs::KeywordDifficulty
  • Rank::Ahrefs::KeywordGenerator
• В HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В SE::Google::Translate добавлены новые переменные:
  • ...

44-й сборник рецептов, в который вошли парсер, определяющий категории сайтов (используя сервис Cloudflare Radar), парсер Rozetka через API и парсер интернет-магазина kufar.by с проходом по списку результатов.

Парсер Cloudflare Radar
Парсер для сбора категорий сайтов из Cloudflare Radar

Rozetka - получение данных по API
Парсер, собирающий данные о товарах на торговой площадке Rozetka через API.


Парсинг объявлений kufar.by
Парсер объявлений на сайте kufar.by с проходом по списку результатов. Собираются заголовки объявлений, цены, имена и телефоны авторов.


А также, обновлены следующие ресурсы:

• ...