Здравствуйте . Пожалуйста подскажите, как настроить а-парсер под парс страниц с гугла, по доркам . В данный момент настройки стоят по дефлопу. Но,почему-то парсит не очень много ссылок . К примеру по доркам такого вида: "inurl:.php?id=" , в гугле больше ляма страниц. Парсер находит около 10-30 тысяч. Мне нужно бооольше ссылок . Так-же столкнулся с такой траблой: Когда парсю ссылки через :"редактор заданий" много запросов идет в неудачные , а когда парсю через:",быстрое задание " все ок .
Для наибольшего кол-ва результатов, добавляй к запросу перебор. Например {az:aaa:zzz} или {subs:folder} - где folder папка с файлом где будут запросы ,будет перебор всех вариантов. Насчет второго вопроса, смотри в сторону прокси, гугл очень остро реагирует на парсинг с операторами. Нужны хорошие прокси и много. Попробуй поставить повтор с другим прокси, например 10 повторов. Это переопределение
Я тебе советую не с выдачи дергать сайты с дорками, а базу доменов прочекать на эти дорки Так как с выдачи уже как правило все задрочены сайты. А, вот с базы доменов, можно более менее нормально надергать. И скорость в разы быстрее. У меня этот метод показал хороший результат.
Зачем в лс, информация, думаю, не секретная и передаваться будет не за деньги, зато может другие пользователи почерпнут для себя что-то новое.
Да все же выше уже написано. Зарежаем базу доменов, если нужно сначала прогоняем на cms, через Net::HTTP чекаем по признакам, путем подстановки и перебором нашей дорки через {subs:folder}. И усе. Где брать список доменов, это уже гуглите сами. Но проблем с этим нет особо. В конце концов на форуме, есть пример как распарсить выдачу на домены.
Привет. Подскажите, где "пример как распарсить выдачу на домены". З.Ы. метод перебора $query {az:a:zzz} $query {num:1:10000}
Добрый день. Для получения доменов из ссылок используйте Конструктор результатов. Вот пример: https://a-parser.com/wiki/result-bu...оменов-при-парсинге-ссылок-с-поисковых-систем
