A-Parser - парсер для профессионалов SEO

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Net::HTTP



В видео рассмотрено

• Пользование разделом тестового парсинга
• Переход по страницам пагинации
• Проверка наличия определенного контента на странице сайта
• Использование регулярных выражений
• Применение конструктора результатов (декодирование HTML сущностей)
• Применение шаблонизатора Template Toolkit в формате результата:
  • Использование инструмента $tools.CSVline
  • Циклическая обработка директивой FOREACH
  • Виртуальный метод .match
  • Фильтры: .remove, .collapse, .replace

Полезные ссылки

• Net::HTTP - https://a-parser.com/wiki/net-http/
• Тестовый парсинг - https://a-parser.com/wiki/test-parsing/
• Template Toolkit -...

Улучшения

• Добавлен новый парсер SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
• В Social::Instagram::post добавлена возможность собирать ссылки на локации
• В Util::YandexRecognize добавлена поддержка сессий
  
• В SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
• Улучшения в HTML::EmailExtractor для более качественного сбора почт
• В SE::Google::Trends обновлен и значительно расширен список регионов
• Из SE::Seznam удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи

Исправления в связи с изменениями в выдаче

• Исправлен парсинг $totalcount, рекламы и мобильной выдачи в парсерах Google
• Исправлен парсинг анкоров и сниппетов в SE::Yandex
• Исправлены парсеры SerpStat...

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому
В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.

Инструкция по использованию Google Indexing API
В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.


Поиск и сбор rss...

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью
Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.

Парсинг сайтов из Яндекс.Радар
Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.
...

Улучшения

• Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
• Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
• Улучшена производительность SE::Yandex
• В Shop::Amazon добавлена возможность подключать антигейт, а также поддержка сессий
• В SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
• Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчами в Maps::Yandex
• Исправлен парсинг рекламы в SE::Google
• SE::Yandex, Rank::Ahrefs, SE::Dogpile, SE::Dogpile::Images, SE::DuckDuckGo::Images,...