Как получить максимальное количество ссылок?

мне кажется для этого есть совсем другой раздел.

если хочешь парсить норм по доркам - придётся самому подумать, что на том или ином движке популярно. например если это форум - берёшь дорк под форум и скажем тысячу самых популярных слов интересующего языка и парсишь. если другой какой движок - думаешь, какие дорки и слова могут там юзаться и т.д. всё просто. никаких 100% рецептов успеха не существует, всё сам ))

 

Не соглашусь с предыдущим постом. 100% рецепт успеха перебрать все зарегистрированные домены. Доступные базы это около 230кк зарегистрированных на данный момент. При скорости 10к в минуту это всего 15 дней перебора. Многие цмс можно идентифицировать исключительно получая заголовки.

 

Тут проблема больше где взять актуальную базу таких доменов.

 

zonefiles.io я вот тут приобретаю по подписке. думаю можно найти и дешевле.

 

хочешь прикол ? процентов 30-40 сайтов ставят в папку и простым перебором доменов ты упускаешь огромный кусок пирога.
и да, есть куда дешевле сервисы, предоставляющие актуальные списки доменов. каждый день. 12 долларов в месяц стоит, включено апи и т.д.

 

Дай ссылку на сервис буду благодарен!

По поводу 30-40% - ты погорячился. С папками тоже все решаемо, папки можно перебирать как и сабы, а вот гугл попросту может не индексировать некоторые признаки. При парсинге по доркам ты теряешь все сайты которые используют чпу ссылки.

 

А где берешь сервак под парсинг по списку урлов?

 

любой хостер подойдёт, ты ж просто парсишь, а не дырки выискиваешь. если абуза какая прилетит - можно так и заявить хостеру. если хостер нормальный - не будет против и такие абузы не будет воспринимать всеръёз. попробуй например в hidehost.net напиши спроси, у них вроде и цены норм, да и более серые проекты держат. гигантов хостинга типа digitalocean и т.п. не рекомендую - там не будут разбираться с твоей абузой, а просто блокнут акк скорее всего.

 

Хостер не любой подойдет)
Спрашиваю из своего опыта, ибо абузы проходят.
Но давно нечего не парсил без проксей, сколько лояльный к абузам сервак стоит чтоб держать 10к скорость.

 

На самом деле любой, абузы за обращение сейчас везде летят, френды например - которых я раньше сильно любил стали даже за чек на 200ок рассматривать абузы, и требуют обернутся в проксями.

Бери выделенный сервак, с широким каналом, самые дешевые прокси, и все норм будет. Сам на cherryservers сейчас беру. С проксями вполне хорошая скорость достигается, главное таймауты настрой.

Без проксей проблем больше может возникнуть, если ип сервера попадет в различные бот базы. Тогда до части сайтов вообще не достучишься.