1. Даешь парсеру урлы для парсинга в гугле 2. парсер по whoisу либо еще как то (здесь очень хорошо определяют reverseget.com/ru/) определяет еще домены этого владельца (по одинаковому IP, либо email и т.д.) и найденные домены добавляет в парсинг либо просто создает список, а дальше сам парсеру отправляешь в задание этот список.
Evgueny писал(а): > 1. Даешь парсеру урлы для парсинга в гугле > 2. парсер по whoisу либо еще как то (здесь очень хорошо определяют reverseget.com/ru/) определяет еще домены этого владельца (по одинаковому IP, либо email и т.д.) и найденные домены добавляет в парсинг либо просто создает список, а дальше сам парсеру отправляешь в задание этот список. урлы для парсинга в гугле - что именно? может имеется ввиду домены, тогда зачем их парсить в гугле а не сразу в whois? если можно приведи пример какие урлы куда парсятся
Forbidden писал(а): > урлы для парсинга в гугле - что именно? > может имеется ввиду домены, тогда зачем их парсить в гугле а не сразу в whois? > если можно приведи пример какие урлы куда парсятся Я может не правельно выразился. Это нужно для парсинга бэков. Даешь парсеру домен, он проверяет есть ли еще домены этого владельца, находит их и записывает. В дальнейшем весь список доменов парсишь на бэки.
Evgueny писал(а): > Я может не правельно выразился. Это нужно для парсинга бэков. Даешь парсеру домен, он проверяет есть ли еще домены этого владельца, находит их и записывает. В дальнейшем весь список доменов парсишь на бэки. вообщем первоначально задача сводится к поиску доменов одного владельца по хуизу\ипу\нсам и т.п., с сервиса reverseget.com/ru/ и ему подобных
