Дроп домены: для построения сеток PBN

Только ленивый в 2021 году не создает PBN-сетки для своих проектов или не заказывает их на аутсорсе. Для тех, кто что-то слышал о PBN, но так и не понял, что это такое, мы дадим объяснение в две строчки. PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. Для поиска стоящего дропа нужно перелопатить огромные объемы информации или же платить большие суммы на аукционах.

Вариантов поиска дропов много, один из самых простых — пресет, который мы создали под эту задачу, состоящий из последовательной работы нескольких парсеров. Пресет делает 80% работы по поиску дропа за вас. Схема его работы не нова, но у нашего решения есть преимущества — максимальная автоматизация и колоссальная производительность, что позволяет парсить миллионы доменов.

Теперь о концепции поиска дропов с использованием A-Parser на конкретном примере.

Парсинг поисковых запросов

Для демонстрации работы пресета мы подготовили документ с размноженными поисковыми запросами. Были собраны областные центры России и Украины и сгенерировали документ с 1303 запросами (запросы по типу «недвижимость москва”, “недвижимость киев»). В пресете мы используем встроенный парсер Rank::Bukvarix::Keyword для сбора поисковых запросов, также можно использовать любой другой подход к получению поисковых запросов, например, парсить их с помощью SE::Google::KeywordPlanner или SE::Yandex::WordStat. В результате мы получили 133 514 ключей за 1 минуту в нашей нише, а именно недвижимость по России и Украине. Объем запросов легко можно увеличить, но для демонстрации возможностей пресета этого достаточно. Полученные поисковые запросы передаются в следующий парсер.

Парсинг выдачи

Используя встроенный парсер SE::Google, мы парсим результаты поисковой выдачи на глубину в 10 страниц по 100 ссылок в каждой. Глубину парсинга можно указать больше если результатов будет недостаточно. Полученные результаты сразу чистятся, убираются дубликаты и приводятся к домену, а затем передаются в следующий парсер. На скриншоте представлена информация о работе парсера. За 4 часа было получено 156 972 уникальных домена.

Резолвинг базы доменов

Используя встроенный парсер Net::DNS, получаем доменов. В результате нам нужны те домены, которые не имеют IP. Это значит, что у них какие-то проблемы на сервере или хостинге либо они недавно дропнулись. Данный парсер ускорит работу следующего парсера (Whois), так как быстро переберет все домены, оставив только те, у которых отсутствует IP, и этот результат передаст в следующий парсер. В итоге, парсер прошелся по списку из 156 972 доменов за 18 минут, и у нас осталось 910 результатов.

Получаем данные о занятости
По оставшимся доменам мы проходим встроенным парсером Whois( Net::Whois ) и фильтруем результаты, оставив только домены с истекшим сроком регистрации. В итоге мы получили 208 дропнутых доменов, парсинг занял чуть больше минуты.

Пример полученных результатов:
Код:
inveniotravelgroup.ch

nos5sens.ch

zdoroves.ru

azovinform.zp.ua

megazastroykino.ru

kangaroo-web.ru

pkcklimat.ru

footgames.ru

real-estate.by

artes-spb.ru

airbnb.com.my

dahan.edu.tw

derzhizaim.online

dou44-spb.ru

tonol.ru

orlov-invest.ru

custom4x4.ru

casejeans.ru

altainedvig.ru

futurerussia.gov.ru

ml-lefortovo.ru

yulado.org

tambov.gov.ru

atele78.ru

isn64.ru

adtju.top

l-price.ru

yuvelir-print.ru

trole.pw

fso.gov.ru
Парсинг SEO метрик
Один из важнейших моментов в поиске хорошего дроп-домена — это оценка показателей множества метрик из различных сервисов. В этом блоке парсинга мы постарались охватить параметры, которые помогут подобрать дроп-домены как для СНГ, так и для буржа. Также данный парсер фильтрует результат по двум параметрам DR и количество обратных ссылок по Ahrefs, если DR>2 и количество беклинков > 10 то данный домен попадает в результат. В итоге у нас получилось 45 доменов. Собственно, вот перечень метрик:

Данные из Rank::Ahrefs. Для парсинга нужна рекапча:

DR

Количество ссылающихся доменов RD

Количество бэклинков Ahrefs BL

Анкоры

Dofollow

Данные с Rank::MajesticSEO:

Анкоры

Trust Flow

Citation Flow

Количество ссылающихся доменов

Количество бэклинков

Количество проиндексированных страниц

Данные из Rank::Archive:

Количество сохраненных копий сайта

Данные с MegaIndex

определение категории (тематика) сайта

Данные из Гугл:

значение количества найденных результатов ( site:domain.com)

Результат выводится в структурированный csv-документ — это первый файл с результатами, в котором удобно будет делать предварительную оценку дропов. Ссылка на файл с результатами

Количество метрик можно сделать практически любым, так как у нас много встроенных парсеров основных SEO-сервисов, а если нужно, то можно настроить и те, которых нет в нашем каталоге. На скриншоте часть полученных результатов.

И конечно же, чтобы подобрать дроп-домен и быть уверенным в его качестве, нужно оценить его обратные ссылки. Для этого А-Парсер собирает бэклинки по финальному списку доменов (полученном после парсинга Whois) из сервиса Ahrefs, используя встроенный парсер Rank::Ahrefs, и выводит эти результаты во второй csv-файл, вот ссылка на него. Теперь вам осталось только сделать финальную чистку и оставить подходящие вашим требованиям дроп-домены. На скриншоте часть полученных результатов.

В данной статье мы показали по отдельности все этапы парсинга дроп-доменов, но для удобства использования они объединены в один пресет. Вам только нужно указать файл с ключами и дождаться результата в виде двух файлов. В первом будут дроп-домены с необходимым набором метрик, а во втором — бэклинки по этим дропам.

Ссылка на файл с запросами

eJztWQt32joS/iu6Pu0BWjA2AZo6fZw8e3vbJN0k3Z6zwOUotgAXY3EtOY+b5b/v
SLKxjA1JH7vb3l23x1jSzGhmNPONpNwZHLMp+xARRjgznN6dMZffhmMcRHTOHGSb
5wRH7gRNye01jTxm1I05jhiJBH3POMPh1HH24ukVjvwbx3mnyIDKIyMcB9wYDOoG
CIVPdkSjGRbCH81tM5lpOXiOr8gFhcGRH5Cs+whaJ3hGBJeHORGj5kgKqtZMfiMk
YM/zuU9DHKgZhGrZrB9D/49Y8DMe+eEY6KEZ+YQdRXQG3ZxIIaLzNtWwZzySbXTH
4kvmuCCesIUBQmMp7W9KguHwKCZ1g4HuRxg085YDIxwwGPE5iTCn0elcKAj9dwYN
d4PgPbkiQUYmJ9uL/cADx+6OgOltwlhOclqQsVjaq091RaLrCHRYSpGtvdPjjMuj
7+kY3OBdghMCf+ZzaLN9GodipSzonBIyXzrxhELPjEZkOY1yQTI5xNKchB4QZku4
O8+6clbklinf6dJw5I9PQf/I90hKGYcXELCn4T6dzQMizErjtJXGKQP7GPJD9IbS
sQykmJGzLJZ2WbJEorFUflXwvpwexNuWhS4mEcEy8jmlAfvtXJkyj3wI144wYAaO
1rVKnO3iIPh49j6nbxZ+0OjHVnvLk++OfLfluyXf2/Ld1b5d+Sbi3bblW1K2XUPM
xcmYRrfCU4v63YNN2ugd+77cWk1aXYt70n4lkWzdL0ZpSlkrC5CLQrsskO4MRuPI
BUt6Vr1nAGrNZZCHUwlLOIrwrQAG1c+FIXIQvm/nYrUAGiLs8gM6w35oLAb3J7S1
OZlXh3OJbC0ybJL+76XN5gzfNuxnQ7vdsDuNdlsC3+aM2DKV1gxd+3xCY47efvgy
WNVx/vzQcZYZlUI7hNkVDiQsQFBZmdtokrfQ44vEn0f05jYiXK7jImOzrfUseExc
CUI5+vUMYuHYHFYSGHUe8NF6xSYBLOpgDe6VQVq+dCRRn0JoSI2NSV8OfDo8rpbf
DbBWRGUNkNYUviJSWWsKn7EWgzcVGUsvMCKaA4o9ArbZPyMkWf8OSPoRIKS93bCt
B0BI2zyhHEVk7DOYnXjIU4jy9TByQrjjHJycl4PItin/rU9XkAM9uew2M2qYHNSE
NpWOlfSastD2BcwrsgvFE1IOYc4lumtSVRL0++F6XZSViejvCCJyH/ZdQWRNJfgC
AJHA9n/w+F8Hj+2hvdWwWo3OQ8CjYx6Lgu9+K1p8mlCflePFF2epvmH5EtzIILAE
P8gfMQ5yshuNLxGuUmYDLv3I2LKhRPyVNijL4NuML1Y5vvQMT3ir2WqUhL3LrkBs
7zHqh0enZ4e7+78iH709QYAtl9idym3tTj9E8Lw9QgGlc1Pui9HLl8hOBuQjscTc
P/87sJCqdJJJI39c900vglcsXmJ3DD/c54H4DXAox9WiiYEIj0a+K8kDeOPQnVDB
OKJBQK8TllhJmdNrsebDy1towIcfEZcPXeoRrc1qiZKH788P1+vbN/rGD6PpyQF8
iTd6PIDFEYdsu50dvpODuDqye/WDs/pH+A9aXEhlP8CcaDl5UnvrF4m+e8miIqH2
spFof0KV9s2D5KO+lPNBmYDAhLNEYSQNSFtM4qB+3/Zl1UyGoNKDoZdILMhOMSYT
Ahjp84w4/RoiWBg4NMMHLCeSEpQ3S6KzDuIiHE7VLwcEEF+XQT2RplpDL3UFNNPl
n7dg/WPGR7K/Zbo+xyLr0rZGt0wi0fBDj9wQrz7fgsCaEeiDozTlOJApVZ93zNRH
NbX0f+2qfgxVfcseWs8bcCrodDdU9TAOgrI6roDNXg9sxcviXdirjdZU9GsaTdPS
/ZH7wfCM7OM5dye4NVzutFZLfa6sWyWldrUU5yrtK70Wp9VLF9n6JokqsMXVUWr/
Mf5MGPfd88NT/Zp8Ob4L533/iqyM3XcBIy4InEfpXkI6UDbUctzrNXl7U7yr2chm
F65qNpNbZTc1JSzC3N/OHUe5Yz9JSHAcGeO3IoFX/rrwsL3RfSAuVx6JObNviUmS
EWuMl9mVbPtZJkS/kk2ucAmSP7Y2E26sykgugPUZWgipLFGTW+Vkbdnfvkxp05qR
4/0WxZMB9b7URKiJlRLPNaG6uBHSbrRLPK6bW784qu8f/UQKozSJ/0vR8R2nH2Wh
lIjQ523rymWCkgl0rlbm6ITXy5ah3UGrWiTMOoMS2v2O1iXaEm2xi9N2HqCzrmES
Fvklkaq2NHm26rKySZUCiYzEXdLE1sPcos30oDXqoKqsCjXdj5bmKcWypbnI0iYc
6eargecas5UMKzPdgkDrQXqG//kjq34x8RPdgQ2We6nl3+vv1v753bkDXm3LINvL
y9espS5XZDu3OdN69O2KTpjsUmTX5moNJEDzmX1Q6ovdo1T+Pi45UyMdayyHzM9i
9+0GmDGkZKK7fqSObuByBicDF7bF1VrWLc+bE5+Zyb5BHOzh2JIbF0+yOE5xRDyj
AHPkoF7ZmHh6lfT0UKlXUr0rg/oGeuqHLsRG6BLBorUGZUzlouSfMdfpLJ2iVIEc
A+VTxaCFAp/xSn2tPV9h0tdYJQwrG1is9i0K0ybrNVS7XAdVVPI56FGqdh+esFJg
lKkkjs/r/NayLAfZ92swwzdD5v9JHMGBniDbarV1msVO2pLmpI0nUoEq5HE9NWIl
XAFekss0CFQZuzEciJi47TCTP0tf0Lnaqu7d/oOGUpop7a/t6JL8UfUXJalWtFVK
Duh4TCJzHvNqZQ97SAqp5KVo7jZZ7LqEiYO/VULD4yhMSXPDOQ+kNgLhHATd+iTw
lDYRgfkZqPLm8KJSR5UJ54DbzeYMAEAe4E2Xzpq4ybO4BrKCZcpkJ/nN6VFC7U6I
Ox2KO1cSQiD1mucAw6APgbjyXeQB2LsCsf8pyx0pbJ06hRJ3WdhcbCdluVCC3UJp
3ta2GNtFBq3Mp+W4WUxKT0Y4ZAWOOW1M+CwoJsKEYFE912RBJQZ0bcA5LeQVR63O
mPCPu9VaQVAuWxcqdlaiUCx1GjsloSiiAZw+g4wY30BINF94/hWSOP+yv7y86huv
+n32JDcm7pSgv/ra6f3+YvD0Be79/mrw9FXttaCsyr7XNfn92nnR7zexFKGGRRtk
rRWquKu9ft+rm4OntcfNcSHmrydQ06pCd1AblIcEJa4y18Mc10qMzVwiMyq1Ttzq
VkJI5soaHvEUmaTfevagoFmBJQPjlKtVzlVA33KNRRn5BZSOITFH4DHv4XoDK0AO
m1QT5eupPkXgkQohEjCyXvplRPD0YaYsCqiUNvTvItrpAbyTJy0FvRzgJYmTNwD2
bVBCPtMIpHe30FM4+/CJGVFwZ7V6AH4yQ3oNTA1kd+xut9vpWuKpoSba6ra2t1Vr
pyDSD6VIKW0UUNgNtZ5tP1/KxyGgIoh9gtrdrXaRPyJXPgO0y4voWCUC7Ha3VuaL
yjH90w8C3OyYFqp+AuCm1wydXECFNK0dBB3d9g666bZrCHbrAflELt/5vNnZemZu
dVH13a8Xx+/rsEOZEvQGoJnW0P4ETgikWQEllMueooppmbIt7RVt0VpqDx3oHI9g
b5zIreSXZmGInSlsv5m83bMX/wICiLXW