имеется в виду однотипных по типу поиск сайтов по установленным скриптам. Пробовал inurl:webmaster.php слово из словаря получается не очень. какие словари вы используете? Или может запрос можно составить по другому?
мне кажется для этого есть совсем другой раздел. если хочешь парсить норм по доркам - придётся самому подумать, что на том или ином движке популярно. например если это форум - берёшь дорк под форум и скажем тысячу самых популярных слов интересующего языка и парсишь. если другой какой движок - думаешь, какие дорки и слова могут там юзаться и т.д. всё просто. никаких 100% рецептов успеха не существует, всё сам ))
Не соглашусь с предыдущим постом. 100% рецепт успеха перебрать все зарегистрированные домены. Доступные базы это около 230кк зарегистрированных на данный момент. При скорости 10к в минуту это всего 15 дней перебора. Многие цмс можно идентифицировать исключительно получая заголовки.
хочешь прикол ? процентов 30-40 сайтов ставят в папку и простым перебором доменов ты упускаешь огромный кусок пирога. и да, есть куда дешевле сервисы, предоставляющие актуальные списки доменов. каждый день. 12 долларов в месяц стоит, включено апи и т.д.
Дай ссылку на сервис буду благодарен! По поводу 30-40% - ты погорячился. С папками тоже все решаемо, папки можно перебирать как и сабы, а вот гугл попросту может не индексировать некоторые признаки. При парсинге по доркам ты теряешь все сайты которые используют чпу ссылки.
любой хостер подойдёт, ты ж просто парсишь, а не дырки выискиваешь. если абуза какая прилетит - можно так и заявить хостеру. если хостер нормальный - не будет против и такие абузы не будет воспринимать всеръёз. попробуй например в hidehost.net напиши спроси, у них вроде и цены норм, да и более серые проекты держат. гигантов хостинга типа digitalocean и т.п. не рекомендую - там не будут разбираться с твоей абузой, а просто блокнут акк скорее всего.
Хостер не любой подойдет) Спрашиваю из своего опыта, ибо абузы проходят. Но давно нечего не парсил без проксей, сколько лояльный к абузам сервак стоит чтоб держать 10к скорость.
На самом деле любой, абузы за обращение сейчас везде летят, френды например - которых я раньше сильно любил стали даже за чек на 200ок рассматривать абузы, и требуют обернутся в проксями. Бери выделенный сервак, с широким каналом, самые дешевые прокси, и все норм будет. Сам на cherryservers сейчас беру. С проксями вполне хорошая скорость достигается, главное таймауты настрой. Без проксей проблем больше может возникнуть, если ип сервера попадет в различные бот базы. Тогда до части сайтов вообще не достучишься.
