Обзор и применение
Список по темам всех существующих встроенных парсеров в А-Парсере с описанием и ссылками на их страницы.
Парсеры поисковых систем
| Название парсера | Описание |
|---|---|
 SE::Google | Парсинг всех данных с поисковой выдачи Google: ссылки, анкоры, сниппеты, Related keywords, парсинг рекламных блоков. Многопоточность, обход ReCaptcha |
 SE::Yandex | Парсинг всех данных с поисковой выдачи Yandex: ссылки, анкоры, сниппеты, Related keywords, парсинг рекламных блоков. Максимальная глубина парсинга |
 SE::AOL | Парсинг всех данных с поисковой выдачи AOL: ссылки, анкоры, сниппеты |
 SE::Bing | Парсинг всех данных с поисковой выдачи Bing: ссылки, анкоры, сниппеты, Related keywords, Максимальная глубина парсинга |
 SE::Baidu | Парсинг всех данных с поисковой выдачи Baidu: ссылки, анкоры, сниппеты, Related keywords |
| SE::Baidu | Парсинг всех данных с поисковой выдачи Baidu: ссылки, анкоры, сниппеты, Related keywords |
 SE::Dogpile | Парсинг всех данных с поисковой выдачи Dogpile: ссылки, анкоры, сниппеты, Related keywords |
 SE::DuckDuckGo | Парсинг всех данных с поисковой выдачи DuckDuckGo: ссылки, анкоры, сниппеты |
 SE::MailRu | Парсинг всех данных с поисковой выдачи MailRu: ссылки, анкоры, сниппеты |
 SE::Seznam | Парсер чешской поисковой системы seznam.cz: ссылки, анкоры, сниппеты, Related keywords |
 SE::Yahoo | Парсинг всех данных с поисковой выдачи Yahoo: ссылки, анкоры, сниппеты, Related keywords, Максимальная глубина парсинга |
 SE::Youtube | Парсинг данных с поисковой выдачи Youtube: ссылки, название, описание, имя пользователя, ссылка на превью картинки, кол-во просмотров, длина видеоролика |
 SE::Ask | Парсер американской поисковой выдачи Google через Ask.com: ссылки, анкоры, сниппеты, Related keywords |
 SE::Rambler | Парсинг всех данных с поисковой выдачи Rambler: ссылки, анкоры, сниппеты |
 SE::Startpage | Парсинг всех данных с поисковой выдачи Startpage: ссылки, анкоры, сниппеты |
Примеры
Индексация страниц в Google и Яндекс
Видео Парсинг тематических доменов по ключевой фразе из Google
Вопросы и ответы из выдачи Google
Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам
Парсим Google новости с датой и преобразуем ее
Парсинг из Google только сниппетов
Проверка правописания в Google
Парсинг из Google ссылок и анкоров в CSV
Парсинг текста из поисковика Google с использованием цепочки заданий
Парсер кэша Yandex
Парсинг из Яндекс только сниппетов
Получаем выдачу Yandex и номер позиции результата
Количество страниц сайта в Yandex
Парсинг конкуренции по ключу из Яндекса
Поиск свободных ниш в RU сегменте интернета
Парсеры позиций в поисковых системах
| Название парсера | Описание |
|---|---|
 SE::Google::Position | Проверка позиций сайта по ключевым словам в Google: ссылки, список всех позиций |
 SE::Yandex::Position | Проверка позиций сайта по ключевым словам в Yandex: ссылки, список всех позиций |
 SE::Bing::Position | Проверка позиций сайта по ключевым словам в Bing: ссылки, список всех позиций |
 SE::MailRu::Position | Проверка позиций сайта по ключевым словам в MailRu: ссылки, список всех позиций |
Примеры
Получение позиций сайта одновременно для нескольких регионов
Получение позиций сайта одновременно для нескольких регионов
Обзор вариантов представления результата
Парсеры подсказок поисковых систем
| Название парсера | Описание |
|---|---|
 SE::Google::Suggest | Парсер подсказок Google: кол-во результатов по запросу, подсказки к запросу, тип запроса |
 SE::Yandex::Suggest | Парсер подсказок Yandex: кол-во результатов по запросу, подсказки к запросу |
 SE::Bing::Suggest | Парсер подсказок Bing: кол-во результатов по запросу, подсказки к запросу |
 SE::Aol::Suggest | Парсер подсказок Aol: кол-во результатов по запросу, подсказки к запросу |
 SE::Yahoo::Suggest | Парсер подсказок Yahoo: кол-во результатов по запросу, подсказки к запросу |
 SE::Youtube::Suggest | Парсер подсказок Youtube: подсказки к запросу |
Примеры
Пресет для парсинга подсказок с возможностью исключить из результатов подсказки содержащие в себе стоп-слова
Парсеры кейвордов
| Название парсера | Описание |
|---|---|
 SE::Google::Trends | Парсер кейвордов в тренде по версии Google |
 SE::Yandex::Wordstat | Парсер ключевых слов и статистики показов с сервиса wordstat.yandex.ru |
 SE::Yandex::Wordstat::ByDate | Парсер статистики показов Yandex WordStat по месяцам или неделям, статистика ключевых слов |
 SE::Yandex::Direct::Frequency | Кол-во просмотров |
 Rank::Bukvarix::Domain | Сбор ключевых слов по домену из Букварикса: ключевое слово, частотность, позиция |
 Rank::Bukvarix::Keyword | Сбор ключевых слов по кейворду из Букварикса: ключевое слово, частотность, позиция |
 Rank::Ahrefs::KeywordDifficulty | Сложность ключевых слов, ключевые слова, кол-во ключевых слов |
 Rank::Ahrefs::KeywordGenerator | Сбор ключевых слов Ahrefs: идеи ключевых слов, вопросы с ключевыми словами |
 SE::Google::KeywordPlanner | Сбор подсказо, ключевых слов, конкуренция, мин. и макс. ставки |
 SE::Yandex::Direct | Количество объявлений по конкретному запросу, title, текст и домен, ссылки, анкоры, теги |
Примеры
Сезонность ключевых слов
Оценка частотности по WordStat
Парсинг Wordstat в глубину
Получение списка категорий Google Trends
Форматирование даты Google Trends
Регистрация аккаунтов
| Название парсера | Описание |
|---|---|
 SE::Yandex::Register | Регистрация аккаунтов в Yandex |
Примеры
Получение полного списка регионов Яндекса
Автоматизация регистрации аккаунтов Яндекса
Парсеры параметров сайтов и доменов
| Название парсера | Описание |
|---|---|
 SE::Google::TrustCheck | Проверка сайта на trust |
 SE::Google::Compromised | Проверка наличия надписи This site may be hacked |
 SE::Google::SafeBrowsing | Проверка домена в блеклисте Google |
 SE::Yandex::SafeBrowsing | Проверка домена в блеклисте Yandex |
 SE::Yandex::SQI | Проверка Индекса качества сайта в Яндексе |
 Net::Whois | Определяет зарегистрирован домен или нет, дату создания домена, а так же дату окончания регистрации |
 Net::Dns | парсер резолвит домены в IP адреса |
 Rank::Cms | Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков |
 Rank::Alexa | Определяет позици. в глобальном рейтинге Alexa |
 Rank::Alexa::Api | Быстрый чекер алексы через API |
 Rank::Archive | Парсер даты первого и последнего кэширования сайта в веб архиве |
 Rank::Linkpad | Парсер беклинков и статистики с сервиса linkpad.ru |
 Rank::MajesticSEO | Парсер количества бек-линков с сервиса majesticseo.com |
 Rank::Mustat | Оценка трафика на сайте, также стоимость и рейтинг домена |
 Rank::Social::Signal | парсер социальных сигналов |
 Rank::Curlie | проверка наличия сайта в каталоге Curlie (аналог DMOZ) |
 Rank::Ahrefs | Парсер ahrefs.com |
 Rank::KeysSo | Парсер keys.so |
 Rank::MOZ | Парсер MOZ |
 SecurityTrails::Ip | Собирает домены по IP |
 SecurityTrails::Domain | Парсер SecurityTrails |
Примеры
Парсинг тематических доменов по ключевой фразе из Google и получение различных параметров по доменам
Информация о сайте
Net::Whois выбираем произвольные данные
Получаем уведомления в Telegram об окончании срока регистрации доменов
Сбор базы e-mail адресов
Определение списка доменов на IP
Определяем CMS для 1000000 доменов за 15 часов
Парсим домены сайтов по определённой CMS
Сайты wordpress с подписками
Парсеры различных сервисов
| Название парсера | Описание |
|---|---|
| SE::Yandex::Register | Позволяет регистрировать аккаунты в Yandex |
 SE::Bing::Translator | переводчик через сервис www.bing.com/translator/ |
 SE::Google::Translate | переводчик Google |
 SE::Yandex::Translate | переводчик Yandex |
 SE::Bing::Images | Парсер картинок с поисковика Bing |
 SE::Google::Images | Парсер картинок по ключевым словам Google |
 SE::Google::ByImage | поиск картинок по ссылке |
 SE::Yandex::Images | Парсер картинок по ключевым словам Yandex |
 SE::Yandex::ByImage | Парсер картинок по ссылке из Yandex |
 SE::DuckDuckGo::Images | Парсер картинок из DuckDuckGo |
 SE::Dogpile::Images | Парсер картинок из Dogpile |
 Util::AntiGate | распознавание каптчи через сервис AntiGate |
 Util::YandexRecognize | распознавание каптчи от Yandex |
 Util::ReCaptcha2 | Распознавание рекаптчи от ресурсов Anti-captcha.com, Rucaptcha.com, Capmonster, Сapmonster.cloud, Xevil, 2captcha, R.I.P.captcha |
 SEO::Ping | Массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.) |
 Check::RosKomNadzor | проверка сайта в базе Роскомнадзора |
 SE::Yandex::Speller | проверка страниц на ошибки в тексте через Яндекс.Спеллер |
 GooglePlay::Apps | парсер приложений Google Play |
 Social::Instagram::Post | парсер данных о постах в Instagram |
 Social::Instagram::Profile | парсер данных из профилей в Instagram |
 Social::Instagram::Tag | Парсер постов по тегам в Instagram |
 Social::Instagram::Geo | Парсер постов в Instagram в указанной локации |
 Telegram::GroupScraper | Парсер данных из публичных групп в Телеграм |
 API::Server::Redis | Работа с A-Parser через Redis |
 SE::Google::Cache | Проверка наличия страниц в кеше Google |
| Social::Instagram::Geo | Парсер постов в Instagram в указанной локации |
 DeepL::Translator | переводчик текста через сервис www.deepl.com |
 CoinMarketCap::LastPrice | Парсер магазина CoinMarketCap: название токена, текущую цену в USD |
Примеры
Автоматизация регистрации аккаунтов Яндекса
Сравнение скорости переводчиков
Использование файлов целиком в качестве запросов
Подгрузка файлов из директории для перевода в DeepL
Скачивание картинок указанного разрешения и размера
Создание JS парсеров. Работа с CAPTCHA
Создание JS парсеров. Работа с ReCaptcha2
Пример работы с SEO::Ping
Парсер ссылок локаций для Social::Instagram::Geo
Парсинг информации о пользователях Instagram
Парсинг пользователей публичных групп в Telegram
Парсеры магазинов
| Название парсера | Описание |
|---|---|
 Shop::Amazon | Парсер поисковой выдачи amazon.com |
 Shop::Yandex::Market | Парсер Яндекс.Маркет |
 Shop::AliExpress | парсер поисковой выдачи Shop::AliExpress |
 Shop::eBay | Парсер поисковой выдачи Ebay |
Примеры
Парсинг товаров с сайта
Парсеры карт
| Название парсера | Описание |
|---|---|
 Maps::Google | Парсер Google карт: наименование организации, адрес и координаты, рейтинг, количество отзывов и ценовая политика, сайт, телефон, фото |
 Maps::Yandex | Парсер Yandex карт: наименование организации, адрес и координаты, рейтинг, количество отзывов и ценовая политика, сайт, телефон, фото, соц.сети |
Примеры
Парсинг Google Maps для сбора всех организаций в определенной местности
Парсеры контента
| Название парсера | Описание |
|---|---|
 Check::BackLink | проверяет нахождение вашей ссылки(ссылок) по базе ссылок |
 HTML::LinkExtractor | парсер внешних и внутренних ссылок с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня |
 HTML::ArticleExtractor | Парсер статей |
 HTML::TextExtractor | Парсер текстовых блоков |
 HTML::TextExtractor::LangDetect | Определение языка страницы, без использования сторонних сервисов |
 HTML::EmailExtractor | парсинг e-mail адресов со страниц сайтов |
 Net::HTTP | Скачивает указанную страницу, поддерживает многостраничный парсинг |