Помогите собрать список доменов
- Автор темы anvikvik
- Дата начала
В общем случае поиск доменов решается парсингом ПС по нужным запросам, если тематика домена не важна то можно просто использовать перебор букв:
На данном скрине мы видим:
На данном скрине мы видим:
- Парсим поисковик Google с пресетом 1000 ссылок с 1 запроса(10 страниц по 100 результатов - максимально для Гугла)
- Делаем уникальность ссылок по домену - нам не нужны повторящиюся ссылки
- Извлекаем с помощью Results Builder домен из ссылки - нам нужен только список доменов в результате
- В качестве запроса используем макрос {az:a:zzzz} - он автоматически создаст все комбинации буквенных запросов в диапозоне от a до zzzz
Подскажите? почему cпарсить все адреса сайтов из выдачи, вроде сделал по примеру выше, но парсит почему-то ~165 ссылок (хотя в выдаче их намного больше), что я сделал не так?
Помогите, пожалуйста решить проблему.
Создал проект
и решил его опробовать, домены начались парситься, всё работало. Я выключил выполнение, т.к. у меня ещё собралось недостаточно прокси. После того, как прокси собралось достаточно я добавил ещё и к Яндексу такуюже строчку "Unique resulte on" и запустил парсер, но ничего не спарсилось, я удалил для Я эту строку, т.е. оставил всё тоже, что было при тестировании, но всё равно получил пустой файл.
Создал проект
и решил его опробовать, домены начались парситься, всё работало. Я выключил выполнение, т.к. у меня ещё собралось недостаточно прокси. После того, как прокси собралось достаточно я добавил ещё и к Яндексу такуюже строчку "Unique resulte on" и запустил парсер, но ничего не спарсилось, я удалил для Я эту строку, т.е. оставил всё тоже, что было при тестировании, но всё равно получил пустой файл.