Парсинг сниппетов

[Strannic]

Несколько вопросов.
- Смогу ли я парсить сниппеты гугла
и сразу сохранять их в таблицу в формате
"title_snippet","url_snippet","description_snippet" ?

Как это можно сделать? Пробовал регексом, не получается выбрать description нормально.

 

[Forbidden]

Не совсем понятно что в данном случае имеется ввиду под title / url и description

Парсер SE::Google парсит ссылку на результат - {link}, анкор этой ссылки - {anchor}, и сниппет - {snippet}

 

[Strannic]

Спасибо с этим разобрался.
Осталось несколько вопросов.
- не нашел инфы на форуме про применение регексов
с этими Replace параметрами. Что они означают? Или это стандартные параметры регекса? я хз )
Необходимо очистить сниппеты от мусора в виде иероглифов, разных символов и прочих.
Нашел вот такую регулярку
^.*[^а-я0-9ёА-ЯЁa-zA-Zії \:\;\-\—\.\,\(\)\"\'\…\!\?\&\%\$\@\^\=\+\№\r\n].*$

Как ее можно применить для пресета ?

- как парсить больше 1000 результатов у гугла по одному запросу?

 

[Forbidden]

Эту регулярку надо использовать так:
[^а-я0-9ёА-ЯЁa-zA-Zії \:\;\-\—\.\,\(\)\"\'\…\!\?\&\%\$\@\^\=\+\№\r\n]+

Флаги - стандартные флаги регулярных выражений, тут нужен g - глобальный поиск

- как парсить больше 1000 результатов у гугла по одному запросу?

Опцией Parse all results например, она временно не работает из за этой задачи http://a-parser.com/threads/881/
Так же можно вручную указать подстановки через Query format

 

[Malchishka]

Как теперь парсить сниппеты после введения нового шаблона, что-то я уже по разному пробую, но у меня получается пустой файл. Дайти плиз скрин правильных настроек.

 

[Forbidden]

на текущей версии точно так же как и раньше, покажи свои настройки

 

[Malchishka]

Всё работает, я просто пытался скрестить то что было и то что писалось в этой статье http://a-parser.com/threads/1006/

 

[Forbidden]

Подожди следующей версии где будет уже полная поддержка

 

[Malchishka]

А как сделать так, что бы результат по каждому кею выводился в отдельном файле и этот файл имел название кея, по которому парсились сниппеты?

 

[Forbidden]

В Result file name указать {query}.txt

 

[Malchishka]

А можно как-то на автомате отправлять "неудачные запросы" на второй/третий круг парсинга?

 

[Forbidden]

никак, за неудачные запросы отвечает параметр Request retries