Перейти к основному содержимому

Обзор и применение

Список по темам всех существующих встроенных парсеров в А-Парсере с описанием и ссылками на их страницы.

Парсеры поисковых систем#

Название парсераОписание
SE::GoogleSE::GoogleПарсинг всех данных с поисковой выдачи Google: ссылки, анкоры, сниппеты, Related keywords, парсинг рекламных блоков. Многопоточность, обход ReCaptcha
SE::YandexSE::YandexПарсинг всех данных с поисковой выдачи Yandex: ссылки, анкоры, сниппеты, Related keywords, парсинг рекламных блоков. Максимальная глубина парсинга
SE::AOLSE::AOLПарсинг всех данных с поисковой выдачи AOL: ссылки, анкоры, сниппеты
SE::BingSE::BingПарсинг всех данных с поисковой выдачи Bing: ссылки, анкоры, сниппеты, Related keywords, Максимальная глубина парсинга
SE::BaiduSE::BaiduПарсинг всех данных с поисковой выдачи Baidu: ссылки, анкоры, сниппеты, Related keywords
SE::BaiduSE::BaiduПарсинг всех данных с поисковой выдачи Baidu: ссылки, анкоры, сниппеты, Related keywords
SE::DogpileSE::DogpileПарсинг всех данных с поисковой выдачи Dogpile: ссылки, анкоры, сниппеты, Related keywords
SE::DuckDuckGoSE::DuckDuckGoПарсинг всех данных с поисковой выдачи DuckDuckGo: ссылки, анкоры, сниппеты
SE::MailRuSE::MailRuПарсинг всех данных с поисковой выдачи MailRu: ссылки, анкоры, сниппеты
SE::SeznamSE::SeznamПарсер чешской поисковой системы seznam.cz: ссылки, анкоры, сниппеты, Related keywords
SE::YahooSE::YahooПарсинг всех данных с поисковой выдачи Yahoo: ссылки, анкоры, сниппеты, Related keywords, Максимальная глубина парсинга
SE::YoutubeSE::YoutubeПарсинг данных с поисковой выдачи Youtube: ссылки, название, описание, имя пользователя, ссылка на превью картинки, кол-во просмотров, длина видеоролика
SE::AskSE::AskПарсер американской поисковой выдачи Google через Ask.com: ссылки, анкоры, сниппеты, Related keywords
SE::RamblerSE::RamblerПарсинг всех данных с поисковой выдачи Rambler: ссылки, анкоры, сниппеты
SE::StartpageSE::StartpageПарсинг всех данных с поисковой выдачи Startpage: ссылки, анкоры, сниппеты

Примеры#

Индексация страниц в Google и Яндекс

Видео Парсинг тематических доменов по ключевой фразе из Google

Вопросы и ответы из выдачи Google

Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам

Парсим Google новости с датой и преобразуем ее

Парсинг из Google только сниппетов

Проверка правописания в Google

Парсинг из Google ссылок и анкоров в CSV

Парсинг текста из поисковика Google с использованием цепочки заданий

Парсер кэша Yandex

Парсинг из Яндекс только сниппетов

Получаем выдачу Yandex и номер позиции результата

Количество страниц сайта в Yandex

Парсинг конкуренции по ключу из Яндекса

Поиск свободных ниш в RU сегменте интернета

Парсеры позиций в поисковых системах#

Название парсераОписание
SE::Google::PositionSE::Google::PositionПроверка позиций сайта по ключевым словам в Google: ссылки, список всех позиций
SE::Yandex::PositionSE::Yandex::PositionПроверка позиций сайта по ключевым словам в Yandex: ссылки, список всех позиций
SE::Bing::PositionSE::Bing::PositionПроверка позиций сайта по ключевым словам в Bing: ссылки, список всех позиций
SE::MailRu::PositionSE::MailRu::PositionПроверка позиций сайта по ключевым словам в MailRu: ссылки, список всех позиций

Примеры#

Получение позиций сайта одновременно для нескольких регионов

Получение позиций сайта одновременно для нескольких регионов

Обзор вариантов представления результата

Парсеры подсказок поисковых систем#

Название парсераОписание
SE::Google::SuggestSE::Google::SuggestПарсер подсказок Google: кол-во результатов по запросу, подсказки к запросу, тип запроса
SE::Yandex::SuggestSE::Yandex::SuggestПарсер подсказок Yandex: кол-во результатов по запросу, подсказки к запросу
SE::Bing::SuggestSE::Bing::SuggestПарсер подсказок Bing: кол-во результатов по запросу, подсказки к запросу
SE::Aol::SuggestSE::Aol::SuggestПарсер подсказок Aol: кол-во результатов по запросу, подсказки к запросу
SE::Yahoo::SuggestSE::Yahoo::SuggestПарсер подсказок Yahoo: кол-во результатов по запросу, подсказки к запросу
SE::Youtube::SuggestSE::Youtube::SuggestПарсер подсказок Youtube: подсказки к запросу

Примеры#

Пресет для парсинга подсказок с возможностью исключить из результатов подсказки содержащие в себе стоп-слова

Парсеры кейвордов#

Название парсераОписание
SE::Google::TrendsSE::Google::TrendsПарсер кейвордов в тренде по версии Google
SE::Yandex::WordstatSE::Yandex::WordstatПарсер ключевых слов и статистики показов с сервиса wordstat.yandex.ru
SE::Yandex::Wordstat::ByDateSE::Yandex::Wordstat::ByDateПарсер статистики показов Yandex WordStat по месяцам или неделям, статистика ключевых слов
SE::Yandex::Direct::FrequencySE::Yandex::Direct::FrequencyКол-во просмотров
Rank::Bukvarix::DomainRank::Bukvarix::DomainСбор ключевых слов по домену из Букварикса: ключевое слово, частотность, позиция
Rank::Bukvarix::KeywordRank::Bukvarix::KeywordСбор ключевых слов по кейворду из Букварикса: ключевое слово, частотность, позиция
Rank::Ahrefs::KeywordDifficultyRank::Ahrefs::KeywordDifficultyСложность ключевых слов, ключевые слова, кол-во ключевых слов
Rank::Ahrefs::KeywordGeneratorRank::Ahrefs::KeywordGeneratorСбор ключевых слов Ahrefs: идеи ключевых слов, вопросы с ключевыми словами
SE::Google::KeywordPlannerSE::Google::KeywordPlannerСбор подсказо, ключевых слов, конкуренция, мин. и макс. ставки
SE::Yandex::DirectSE::Yandex::DirectКоличество объявлений по конкретному запросу, title, текст и домен, ссылки, анкоры, теги

Примеры#

Сезонность ключевых слов

Оценка частотности по WordStat

Парсинг Wordstat в глубину

Получение списка категорий Google Trends

Форматирование даты Google Trends

Регистрация аккаунтов#

Название парсераОписание
SE::Yandex::RegisterSE::Yandex::RegisterРегистрация аккаунтов в Yandex

Примеры#

Получение полного списка регионов Яндекса

Автоматизация регистрации аккаунтов Яндекса

Парсеры параметров сайтов и доменов#

Название парсераОписание
SE::Google::TrustCheckSE::Google::TrustCheckПроверка сайта на trust
SE::Google::CompromisedSE::Google::CompromisedПроверка наличия надписи This site may be hacked
SE::Google::SafeBrowsingSE::Google::SafeBrowsingПроверка домена в блеклисте Google
SE::Yandex::SafeBrowsingSE::Yandex::SafeBrowsingПроверка домена в блеклисте Yandex
SE::Bing::LangDetectSE::Bing::LangDetectОпределение языка сайта через поисковик Bing
SE::Yandex::SQISE::Yandex::SQIПроверка Индекса качества сайта в Яндексе
Net::WhoisNet::WhoisОпределяет зарегистрирован домен или нет, дату создания домена, а так же дату окончания регистрации
Net::DnsNet::Dnsпарсер резолвит домены в IP адреса
Rank::CmsRank::CmsОпределяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков
Rank::AlexaRank::AlexaОпределяет позици. в глобальном рейтинге Alexa
Rank::Alexa::ApiRank::Alexa::ApiБыстрый чекер алексы через API
Rank::ArchiveRank::ArchiveПарсер даты первого и последнего кэширования сайта в веб архиве
Rank::LinkpadRank::LinkpadПарсер беклинков и статистики с сервиса linkpad.ru
Rank::MajesticSEORank::MajesticSEOПарсер количества бек-линков с сервиса majesticseo.com
Rank::MustatRank::MustatОценка трафика на сайте, также стоимость и рейтинг домена
Rank::Social::SignalRank::Social::Signalпарсер социальных сигналов
Rank::CurlieRank::Curlieпроверка наличия сайта в каталоге Curlie (аналог DMOZ)
Rank::AhrefsRank::AhrefsПарсер ahrefs.com
Rank::KeysSoRank::KeysSoПарсер keys.so
Rank::MOZRank::MOZПарсер MOZ
SecurityTrails::IpSecurityTrails::IpСобирает домены по IP
SecurityTrails::DomainSecurityTrails::DomainПарсер SecurityTrails

Примеры#

Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам

Информация о сайте

Net::Whois выбираем произвольные данные

Получаем уведомления в Telegram об окончании срока регистрации доменов

Сбор базы e-mail адресов

Определение списка доменов на IP

Определяем CMS для 1000000 доменов за 15 часов

Парсим домены сайтов по определённой CMS

Сайты wordpress с подписками

Парсеры различных сервисов#

Название парсераОписание
SE::Yandex::RegisterSE::Yandex::RegisterПозволяет регистрировать аккаунты в Yandex
SE::Bing::TranslatorSE::Bing::Translatorпереводчик через сервис www.bing.com/translator/
SE::Google::TranslateSE::Google::Translateпереводчик Google
SE::Yandex::TranslateSE::Yandex::Translateпереводчик Yandex
SE::Bing::ImagesSE::Bing::ImagesПарсер картинок с поисковика Bing
SE::Google::ImagesSE::Google::ImagesПарсер картинок по ключевым словам Google
SE::Google::ByImageSE::Google::ByImageпоиск картинок по ссылке
SE::Yandex::ImagesSE::Yandex::ImagesПарсер картинок по ключевым словам Yandex
SE::Yandex::ByImageSE::Yandex::ByImageПарсер картинок по ссылке из Yandex
SE::DuckDuckGo::ImagesSE::DuckDuckGo::ImagesПарсер картинок из DuckDuckGo
SE::Dogpile::ImagesSE::Dogpile::ImagesПарсер картинок из Dogpile
Util::AntiGateUtil::AntiGateраспознавание каптчи через сервис AntiGate
Util::YandexRecognizeUtil::YandexRecognizeраспознавание каптчи от Yandex
Util::ReCaptcha2Util::ReCaptcha2Распознавание рекаптчи от ресурсов Anti-captcha.com, Rucaptcha.com, Capmonster, Сapmonster.cloud, Xevil, 2captcha, R.I.P.captcha
SEO::PingSEO::PingМассовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
Check::RosKomNadzorCheck::RosKomNadzorпроверка сайта в базе Роскомнадзора
SE::Yandex::SpellerSE::Yandex::Spellerпроверка страниц на ошибки в тексте через Яндекс.Спеллер
GooglePlay::AppsGooglePlay::Appsпарсер приложений Google Play
Social::Instagram::PostSocial::Instagram::Postпарсер данных о постах в Instagram
Social::Instagram::ProfileSocial::Instagram::Profileпарсер данных из профилей в Instagram
Social::Instagram::TagSocial::Instagram::TagПарсер постов по тегам в Instagram
Social::Instagram::GeoSocial::Instagram::GeoПарсер постов в Instagram в указанной локации
Telegram::GroupScraperTelegram::GroupScraperПарсер данных из публичных групп в Телеграм
API::Server::RedisAPI::Server::RedisРабота с A-Parser через Redis
SE::Google::CacheSE::Google::CacheПроверка наличия страниц в кеше Google
Social::Instagram::GeoSocial::Instagram::GeoПарсер постов в Instagram в указанной локации
DeepL::TranslatorDeepL::Translatorпереводчик текста через сервис www.deepl.com

Примеры#

Автоматизация регистрации аккаунтов Яндекса

Сравнение скорости переводчиков

Использование файлов целиком в качестве запросов

Подгрузка файлов из директории для перевода в DeepL

Скачивание картинок указанного разрешения и размера

Создание JS парсеров. Работа с CAPTCHA

Создание JS парсеров. Работа с ReCaptcha2

Пример работы с SEO::Ping

Парсер ссылок локаций для Social::Instagram::Geo

Парсинг информации о пользователях Instagram

Парсинг пользователей публичных групп в Telegram

Парсеры магазинов#

Название парсераОписание
Shop::AmazonShop::AmazonПарсер поисковой выдачи amazon.com
Shop::Yandex::MarketShop::Yandex::MarketПарсер Яндекс.Маркет
Shop::AliExpressShop::AliExpressпарсер поисковой выдачи Shop::AliExpress
Shop::eBayShop::eBayПарсер поисковой выдачи Ebay

Примеры#

Парсинг товаров с сайта

Парсеры карт#

Название парсераОписание
Maps::GoogleMaps::GoogleПарсер Google карт: наименование организации, адрес и координаты, рейтинг, количество отзывов и ценовая политика, сайт, телефон, фото
Maps::YandexMaps::YandexПарсер Yandex карт: наименование организации, адрес и координаты, рейтинг, количество отзывов и ценовая политика, сайт, телефон, фото, соц.сети

Примеры#

Парсинг Google Maps для сбора всех организаций в определенной местности

Парсеры контента#

Название парсераОписание
Check::BackLinkCheck::BackLinkпроверяет нахождение вашей ссылки(ссылок) по базе ссылок
HTML::LinkExtractorHTML::LinkExtractorпарсер внешних и внутренних ссылок с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня
HTML::ArticleExtractorHTML::ArticleExtractorПарсер статей
HTML::TextExtractorHTML::TextExtractorПарсер текстовых блоков
HTML::TextExtractor::LangDetectHTML::TextExtractor::LangDetectОпределение языка страницы, без использования сторонних сервисов
HTML::EmailExtractorHTML::EmailExtractorпарсинг e-mail адресов со страниц сайтов
Net::HTTPNet::HTTPСкачивает указанную страницу, поддерживает многостраничный парсинг

Примеры#

Проверяем есть ли ссылки на страницу в кеше Яндекс

Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

Видео парсинг ресурса Booking.com с использованием Net::HTTP

Периодическая проверка обратных ссылок с дозаписью результатов в таблицу

Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

Сбор перелинкованных топиков

Поиск сабдоменов сайта

Парсинг сайтов и сохранение ссылок на изображения

Генерация sitemap.xml используя возможности JavaScript

Получение страниц сайта и проверка индексации в Google и Яндекс

Анализ скорости отклика страниц на сайте

Парсинг e-mail из страниц контактов

Проверяем длину текста на страницах

Транслитерация

Последнее обновление