SE::Rambler - парсер поисковой выдачи Рамблера
Обзор парсера
Парсер поисковой выдачи Рамблер. Благодаря парсеру Рамблер вы сможете получать большие базы ссылок, готовых для дальнейшего использования. Вы можете использовать запросы в том же виде, в котором вы вводите их в поисковую строку Рамблер, включая поисковые операторы (site и т.д.).
Функционал A-Parser позволяет сохранять настройки парсинга парсера Рамблер для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
$totalcount— число результатов в выдаче. Только с первой страницы; если числа нет — пусто$serp.$i.link,$serp.$i.anchor,$serp.$i.snippet— ссылка, анкор, сниппет$hints.$i.hint— связанные ключевые слова. Только с первой страницы; если подсказок нет — пусто
Возможности
- Поддержка поисковых операторов Рамблера (url:, site:, inurl:, host:, rhost:, domain:)
- До 25 страниц, не больше ~250 результатов
- Связанные ключевые слова (
$hints.$i.hint) - Устройство выдачи: десктоп, мобильный Android или мобильный iOS
Варианты использования
- Сбор баз ссылок
- Оценка конкуренции для ключевых слов
- Поиск беклинков (упоминаний) сайтов
- Все случаи, когда нужно спарсить поисковую выдачу Рамблера
Запросы
Указывайте запросы так же, как в поиске Рамблера. Допустим, нужны только ссылки с одного сайта. Вводим в поле запросов:
"купить двери" site:http://kp.ru
Подстановки запросов
Вы можете использовать встроенные макросы для размножения запросов, например мы хотим получить очень большую базу форумов, укажем несколько основных запросов на разных языках:
forum
форум
foro
论坛
В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:
$query {az:a:zzzz}
Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 x 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.
Использование операторов
Вы можете использовать поисковые операторы в формате запроса, таким образом он будет автоматически добавлен к каждому запросу из вашего списка:
site:$query
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Экспорт списка ссылок
Ссылки + анкоры + сниппеты с выводом позиции
Вывод ссылок, анкоров и сниппетов в таблицу CSV
Сохранение связанных ключевых слов
Формат результата:
$hints.format('$hint\n')
Пример результата:
habrahabr
habr
habrahabr ru
xabra
livebusiness
эврика
электронный бухгалтер
остров эльба
эльба электронный бухгалтер
хаброхабр
...
Сохранение в формате SQL
Дамп результатов в JSON
Обработка результатов
A-Parser позволяет обрабатывать результаты непосредственно во время парсинга, в этом разделе мы привели наиболее популярные кейсы для парсера Rambler
Уникализация ссылок
Уникализация ссылок по домену
Извлечение доменов
Удаление тегов из анкоров и сниппетов
Фильтрация ссылок по вхождению
Возможные настройки
| Название параметра | Значение по умолчанию | Описание |
|---|---|---|
| Device | Desktop | Устройство выдачи: десктоп, мобильный Android или мобильный iOS |
| Wait for soft captcha, sec (0 = ban) | 25 | Сколько секунд ждать прохождения soft-капчи. 0 — сразу банить прокси |
| Page load timeout, sec | 20 | Таймаут загрузки страницы |
| Pages count | 5 | Сколько страниц парсить, 1–25. Rambler отдаёт не больше ~250 результатов, поэтому максимум страниц зависит от Links per page: 10 результатов → 25 стр., 15 → 17 стр., 30 → 8 стр., 50 → 5 стр. |
| Links per page | 10 | Результатов на странице: 10 / 15 / 30 / 50 |
| Rambler region ID | ID региона. IP не из СНГ — Москва. IP из СНГ — выдача по IP или по этому ID, если он задан. Как узнать ID — здесь | |
| Sort | Sites by relevance | Сортировка: Pages by relevance, Pages by date, Sites by relevance, Sites by date |
| Results filtering | Moderate | Фильтр: Unrestricted, Moderate, Family search |
| Results language | Any language | Язык выдачи: любой или Belarusian, English, German, French, Kazakh, Russian, Tatar, Turkish, Ukrainian |
| Serp time | Anytime | Период: Anytime, Past 24 hours, Past week, Past month |
| Results type | Any format | Тип документов: любой или pdf, doc, rtf, xls, ppt, swf, odt, ods, odp, odg |
| Exact match | ☐ | Строгое соответствие запросу |
| Disable autocorrect | ☐ | Отключает автоисправление, парсит выдачу по указанному запросу |
| Max concurrent browser pages | 10 | Сколько вкладок браузера парсер держит одновременно. При большом числе потоков увеличивать осторожно — растёт нагрузка на память и CPU |
| Use sessions | ☑ | Сохраняет хорошие сессии, меньше ошибок, быстрее парсинг |
| Headless browser | ☑ | Браузер без окна. Для отладки снимите галочку |