Доброго времени суток! Подскажите пожалуйста как спарсить все страницы определенного сайта которые находятся в индексе Google. Использую А-парсер, попробовал через Редактор заданий создать, какие еще там нужно указывать настройки? Сайтв в гугле имеет 11к страниц - хочу их выгрузить одним файлом Спасибо!
Увеличьте кол-во страниц (Pages count) до максимума и добавьте функцию Parse all results (http://a-parser.com/wiki/advanced-options/#parse-all-results). Ну и уник по строке лучше включить. Это не гарантирует парсинг абсолютно всех ссылок, но все же позволит спарсить намного больше. Страницы сайта
хочу спарсить все результаты по 1 запросу гугл говорит по этому запросу About 454,000 results ставлю Pages count: 10, включаю Parse all results в результате парсится ~50k уникальных страниц Всё верно? Больше никак нельзя?
можно попробовать как выше писали про макросы, но сам гугл может легко завышать число результатов на 1-2 порядка от реального числа
