Как спарсить страницы сайта с индекса Google

[Smash]

Доброго времени суток!

Подскажите пожалуйста как спарсить все страницы определенного сайта которые находятся в индексе Google.

Использую А-парсер, попробовал через Редактор заданий создать, какие еще там нужно указывать настройки? Сайтв в гугле имеет 11к страниц - хочу их выгрузить одним файлом


Спасибо!

 

[Support]

Добрый день.
Вам нужны ссылки на все страницы или сами страницы?

 

[Smash]

Добрый день.
Вам нужны ссылки на все страницы или сами страницы?

мне нужно чтобы в файле были все ссылки на страницы сайта

что Вы имеете ввиду, сами страницы?)

 

[Support]

мне нужно чтобы в файле были все ссылки на страницы сайта

Увеличьте кол-во страниц (Pages count) до максимума и добавьте функцию Parse all results (http://a-parser.com/wiki/advanced-options/#parse-all-results). Ну и уник по строке лучше включить. Это не гарантирует парсинг абсолютно всех ссылок, но все же позволит спарсить намного больше.

что Вы имеете ввиду, сами страницы?)

Страницы сайта

 

[Smash]

Увеличьте кол-во страниц (Pages count) до максимума и добавьте функцию Parse all results (http://a-parser.com/wiki/advanced-options/#parse-all-results). Ну и уник по строке лучше включить. Это не гарантирует парсинг абсолютно всех ссылок, но все же позволит спарсить намного больше.

Страницы сайта

что-то не выходит
Вы можете привести скриншоты по пунктам что Вы меняете/добавляете в настройках?

 

[Support]

 

[Bombero]

хочу спарсить все результаты по 1 запросу
гугл говорит по этому запросу About 454,000 results
ставлю Pages count: 10, включаю Parse all results

в результате парсится ~50k уникальных страниц

Всё верно? Больше никак нельзя?

 

[DeLaKroiX]

хочу спарсить все результаты по 1 запросу
гугл говорит по этому запросу About 454,000 results
ставлю Pages count: 10, включаю Parse all results

в результате парсится ~50k уникальных страниц

Всё верно? Больше никак нельзя?

попробуй например макросами разбавить запросы, каким-нибудь {num:1:100} и {az:a:zzz}/{az:а:яяя}

 

[Forbidden]

Всё верно? Больше никак нельзя?

можно попробовать как выше писали про макросы, но сам гугл может легко завышать число результатов на 1-2 порядка от реального числа