Как точно спарсить все URL сайта из индекса Яндекса и Google

[k3nzo]

Директива site:sitename дает в обоих поисковиках данные об урлах в индексе, но страниц сайта может быть миллион, а даже при 50 результатах на одной странице ограничение на 20 страниц внутри парсера по pagescount делает невозможным парсинг более 20 страниц. Соответственно получить полный список URL'ов сайта в индексе через а-парсер невозможно.
Как обойти ограничение и получить список всех урлов для сайта в индексе поисковых систем а-парсером?

 

[Support Денис]

Здравствуйте и парсерах SE::Yandex, SE::Google и SE::Google::Modern есть опция спарсить все результаты

Так же можно воспользоватся макросами подстановок. С документацией вы можете ознакомиться по этой ссылке.

 

[Vvtex]

Можно из поисковика копии google, знаю что есть такое поисковик, из присутствующих знают подскажут.
Копию гугла так и не вспомнил
Но покапался есть отличный пресет к примеру поисковик ecosia https://a-parser.com/resources/135/
Отличная скорость.