Перейти к основному содержимому

SE::Yandex - Парсер поисковой выдачи Yandex

Yandex

Обзор парсера​

Парсер поисковой выдачи Яндекса по праву входит в ТОП-5 самых востребованных парсеров. Одно из главных конкурентных преимуществ нашего парсера это его колоссальная производительность. Благодаря многопоточной работе A-Parser'a, скорость обработки запросов может достигать 3000-7000 запросов в минуту, что в среднем позволяет получать до 5000000 ссылок в минуту, при этом потребление ресурсов минимальное, для работы подойдет любой офисный или домашний компьютер, а также любой VDS начального уровня. Наш парсер поддерживает все поисковые операторы Яндекса, что позволяет значительно расширить возможности парсинга. Стабильность и бесперебойность парсинга выдачи обеспечивается за счет распознавания капчи через AntiCaptcha или любой другогой поддерживающего их API (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha и другие).

Гибкость в настройках позволяет указывать тип выдачи (мобильная/десктоп), регион, язык, сортировку выдачи по дате и многое другое. Функционал A-Parser позволяет сохранять настройки парсинга для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Кейсы по применению парсера​

Собираемые данные​

Собираемые данные
  • Количество результатов по запросу
  • Ссылки, анкоры и сниппеты из выдачи
    • Также собирается информация о флагах каждого результата, на данный момент поддерживаются такие флаги: Date, Image Preview, Video, Rich snippet, Featured snippet
  • Время первого и последнего кэширования (только для десктопной выдачи)
  • Список связанных ключевых слов (Related keywords)
  • Определяет посчитал ли Яндекс запрос опечаткой или нет
  • Парсинг ссылки на кэш страницы (только для десктопной выдачи)
  • Перечень наименований значков сайта, а также их типов, если таковые присутствуют (в т.ч. Турбо)
  • Верхний, средний и нижний рекламные блоки со всех страниц
    • Ссылку, видимую ссылку, анкор, сниппет и домен
    • Дополнительные ссылки и анкоры
    • Станцию метро
  • Пропущенные слова (слова, которые могут отображаться под каждым результатом в выдаче с пометкой "Не найдено")
  • Список быстрых ответов (Quick answers): вопросы, ответы, ссылки на источники (включается отдельной опцией Parse Quick answers)
Собираемые данные

Возможности​

  • Выбор типа выдачи: мобильная/десктоп
  • Поддержка всех поисковых операторов Yandex (site:, lang: и т.д.)
  • Парсит максимальное отдаваемое Яндексом число результатов - 25 страниц по 50 элементов в выдачи
  • Возможность поиска связанных ключевых слов
  • Поддерживает выбор региона поиска, домена
  • Возможность сортировки выдачи по дате
  • Парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру
  • Опция эмуляции браузера (позволяет добиться высокой скорости парсинга и малого расхода каптч)
  • Возможность обхода каптчи с помощью сервиса AntiCaptcha или любого другого поддерживающего их API (рекомендуется включать параметр is_russian в настройках антигейта)
  • Возможность задать количество быстрых ответов (Quick answers), которое парсер должен собрать, прокликивая в глубину каждый вопрос

img

На основе парсера Yandex работают следующие парсеры:

  • SE::Yandex::PositionSE::Yandex::Position - проверка позиций сайта по ключевым словам в Яндексе

Варианты использования​

  • Сбор баз ссылок - для A-Poster, XRumer, AllSubmitter и т.д.
  • Оценка конкуренции для кейвордов
  • Поиск беклинков (упоминаний) сайтов
  • Проверка индексации сайтов
  • Поиск уязвимых сайтов
  • Любые другие варианты подразумевающие парсинг Yandex в том или ином виде

Запросы​

В качестве запросов необходимо указывать поисковые фразы, точно так же как если бы их вводили прямо в форму поиска Yandex, например:

окна Москва
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

Подстановки запросов​

Вы можете использовать встроенные макросы для разможения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:

forum
форум
foro
论坛

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Использование операторов​

Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:

site:$query

Варианты вывода результатов​

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Экспорт списка ссылок​

Формат результата:

$serp.format('$link\n')

Пример результата:

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

Формат результата:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Пример результата:

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>Веб-результат с дополнительными ссылками</div><b>Форум</b> – Arizona Role Play - Меню. Главная. <b>Форумы</b>. Новые сообщения. Что нового? Новые сообщения. Пользователи. Текущие посетители. <b>Форумы</b>. Вход. ... Статистика <b>форума</b>. Темы. 1,247,176. Сообщения. 5,225,340. Пользователи. 623,675. 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>Форум</b> — Википедия - <b>Фо́рум</b> (лат. <b>forum</b> — арх. преддверие гробницы; площадка в давильне для подлежащего обработке винограда; рыночная площадь, городской рынок; торжище, центральная площадь):
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - Что такое <b>форум</b> и всё что с ним связано | Креативная... - Сегодня мы поговорим о том, что такое <b>форум</b> и обо всём, что с ним связано доступными и простыми словами. Каждый из нас стремиться найти такого человека, с кем можно было бы построить общение на общие для Вас интересы, поделиться своим опытом, дать совет. В современном мире, всё это стало возможно делать, не выходя из дома. Как раз одной из форм такого виртуального контакта и является веб-<b>форум</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>Форум</b> - <b>Форум</b> проекта идеальных игровых серверов Minecraft - VimeWorld...
...

Встроенная утилита $tools.CSVLine позволяет создавать корректные табличные документы, готовые для импорта в Excel или Google Таблицы.

Общий формат результата:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Имя файла:

$datefile.format().csv

Начальный текст:

Ссылка,Анкор,Сниппет

подсказка

В Общем формате результатов применяется шаблонизатор Template Toolkit для вывода массива $serp в цикле FOREACH.

В имени файла результатов нужно просто изменить разрешение файла на csv.

Чтобы опция "Начальный текст" была доступна в Редакторе заданий, нужно активировать "Больше опций". В "Начальный текст" записываем названия столбцов через запятую и второй строку делаем пустой.

Вывод рекламных блоков​

Формат результата:

$ads.format('$link - $anchor - $snippet\n')

Пример результата:

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Купить</b> <b>авиабилет</b> до / aviasales.ru - Мы предлагаем: <b>Купить</b> <b>авиабилет</b> до здесь. Суперпредложение! Спешите!
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Купить</b> <b>авиабилет</b> онлайн на Туту.ру! Официальный сайт! - Билеты на самолет по низкой цене! Выгодные рейсы по всему миру! <b>Купить</b> билет онлайн!
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Купить</b> <b>авиабилет</b> до / aviasales.ru - Мы предлагаем: <b>Купить</b> <b>авиабилет</b> до здесь. Суперпредложение! Спешите!
...

Формат результата:

$related.format('$key\n')

Пример результата:

<b>test</b> tanki online
tanki online
все <b>тесты</b> точка ру
i exam ru тестирование
<b>тест</b> скорости интернета
<b>tests</b>24.ru
speedtest
онлайн <b>тест</b> производительности пк
онлайн тестирование
my <b>test</b> student как узнать ответы
...
подсказка

Чтобы автоматически убирались HTML теги в результате, нужно использовать Конструктор результатов, выбрать массив $related и применить Remove HTML tags.

Конкуренция ключевых слов​

Формат результата:

$query - $totalcount\n

Пример результата:

все тесты точка ру - 25000000
онлайн тестирование - 13000000
tanki online - 7000000
i exam ru тестирование - 27000000
tests24.ru - 238000000
онлайн тест производительности пк - 16000000
speedtest - 2000000
тест скорости интернета - 16000000
test tanki online - 19000000
my test student как узнать ответы - 16000000

Определение ключевых слов с ошибками​

Формат результата:

$query - $misspell\n

Пример результата:

онлайн тестирование - 0
тест скорости интернета - 0
онлийн тастирование - 1
тест скарости интрнета - 1

Проверка индексации ссылок​

Формат запроса:

site:$query

Формат результата:

$query.orig - $totalcount\n

Пример результата:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499
подсказка

Для проверки индексации ссылок, подставляем в Формат запроса соответствующий оператор: site:.

Формат результата выводится в виде "исходный урл - количество страниц в индексе".

В результате получаем адрес страниц и их количество в индексе поисковика.

Если страница отсутствует, тогда результат будет: 0.

Сохранение в формате SQL​

Формат результата:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Пример результата:

INSERT INTO serp VALUES('тест', 'https://konstruktortestov.ru/popular', 'Популярные онлайн <b>тесты</b>')
INSERT INTO serp VALUES('тест', 'https://TestoMetrika.com/tests/', 'Онлайн <b>тесты</b> c точным результатом от психологических...')
INSERT INTO serp VALUES('тест', 'https://ustaliy.ru/testi/', '<b>Тесты</b> онлайн: лучшие, интересные и популярные')
INSERT INTO serp VALUES('тест', 'https://www.SunHome.ru/tests/Interesting_tests', 'Интересные <b>тесты</b>. Пройти психологические интересные...')
INSERT INTO serp VALUES('тест', 'https://onlinetestpad.com/ru/tests', '<b>Тесты</b> онлайн | Online Test Pad')
...

Дамп результатов в JSON​

Общий формат результата:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Начальный текст:

[

Конечный текст:

]

Пример результата:

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]
подсказка

Чтобы опции "Начальный текст" и "Конечный текст" были доступны в Редакторе заданий, нужно активировать "Больше опций".

Обработка результатов​

A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Yandex

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=
подсказка

Смотреть также: Уникализация результатов

Добавить уникализацию и в выпадающем списке выбрать $serp.$i.link - Link. Выбрать тип уникализации: Домен.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h
подсказка

Смотреть также: Уникализация результатов

Извлечение доменов​

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.link - Link. Выбрать тип: Extract Domain.

Скачать пример

Как импортировать пример в А-Парсер

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=
подсказка

Смотреть также: Конструктор результатов

Удаление тегов из анкоров и сниппетов​

Добавить Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.anchor - Anchor. Выбрать тип: Remove HTML tags.

Добавить снова Конструктор результатов и в выпадающем списке выбрать источник: $p1.serp.$i.snippet - Snippet. Выбрать тип: Remove HTML tags.

Скачать пример

Как импортировать пример в А-Парсер

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==
подсказка

Конструктор результатов можно добавить столько раз, сколько вам нужно.

Смотреть также: Конструктор результатов

Добавить фильтр и в выпадающем списке выбрать: $serp.$i.link - Link. Выбрать тип: Содержит строку. Далее нужно в Строка прописать признак фильтрации, например, если хотим чтобы в результате сохранялись только ссылки в которых есть .com, то это и пишем в "Строка".

Скачать пример

Как импортировать пример в А-Парсер

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==
подсказка

Смотреть также: Фильтры результатов

Возможные настройки​

примечание

Общие настройки для всех парсеров

Название параметраЗначение по умолчаниюОписание
AntiGate presetdefaultВыбор пресета Util::AntiGateUtil::AntiGate, детальнее о настройке тут
AntiGate preset for old captchadefaultАналогично AntiGate preset, но используется только для обычных (старых, в виде одной картинки) каптч. Если здесь не выбран пресет, то для таких каптч будет использоваться пресет, выбраный в AntiGate preset.
Experimental img captcha max count5Максимальное количество повторных капч-картинок на попытку
Preffered captcha typeClickВыбор предпочтительного вида каптчи: Click или Puzzle
EngineHTTP (Fast, JavaScript Disabled)Позволяет выбрать движок: HTTP (быстрее, но больше вероятность каптч) или браузер (медленнее, но меньше вероятность каптч)
DeviceModern desktop computer (Windows 10, Chrome 84)Выбор типа выдачи (Desktop computer / Mobile device)
Pages count5Количество страниц для парсинга (от 1 до 25)
Sort serp by date☐Сортировка выдачи по дате
Serp timeAll timeПериод поиска
Yandex domainwww.yandex.ruДомен Яндекса для парсинга, поддерживаются все домены (.ru, .ua, .by, .kz, .com.tr, .com). Начиная с версии 1.1.345 выбирается автоматически в зависимости от выбранного региона.
Region of serp (lr=)МоскваВыбор региона поиска (параметр lr=)
Custom region IDВозможность указать id региона, отсутствующего в поле выбора. Данная опция имеет приоритет над опцией Region of serp (lr=). Обязательно нужно задать соответствующий домен в Yandex domain.
Search sites from (rstr=)Not setВыбор региональной привязки сайтов (параметр rstr=)
LanguageAnyЯзык результатов поиска(Russian, English, Belorussian, French, German, Indonesian, Kazakh, Tatar, Turkish, Ukrainian)
Parse not found☑Определяет парсить ли выдачу если по искомому запросу найдено ноль результатов и предложена выдача по другому запросу
Not personalized☐Персонализация поиска. Детальнее тут
Filter pagesModerate filterФильтрация результатов от нежелательного контента(Family search / Moderate filter / Do not filter)
Use Accounts☐Работа с существующими аккаунтами в файл files/SE-Yandex/accounts.txt. SE::Yandex::RegisterSE::Yandex::Register - Позволяет регистрировать аккаунты в Yandex
Remove bad accounts☑Удаление невалидных аккаунтов
Quick answers count0Максимальное количество вопросов-ответов (Быстрые ответы) по каждому запросу, которое парсер должен собрать
Parse generative answer☐Нужно ли парсить генеративный ответ (это добавляет дополнительный подзапрос и соответственно замедляет общую работу)
Последнее обновление