1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2200+ и мы растем!
    Скрыть объявление

Дроп домены: для построения сеток PBN

Дроп домены: готовый парсер дроп-доменов для построения сеток PBN

Метки:
  1. Support Artur
    Только ленивый в 2021 году не создает PBN-сетки для своих проектов или не заказывает их на аутсорсе. Для тех, кто что-то слышал о PBN, но так и не понял, что это такое, мы дадим объяснение в две строчки. PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. Для поиска стоящего дропа нужно перелопатить огромные объемы информации или же платить большие суммы на аукционах.

    Вариантов поиска дропов много, один из самых простых — пресет, который мы создали под эту задачу, состоящий из последовательной работы нескольких парсеров. Пресет делает 80% работы по поиску дропа за вас. Схема его работы не нова, но у нашего решения есть преимущества — максимальная автоматизация и колоссальная производительность, что позволяет парсить миллионы доменов.

    Теперь о концепции поиска дропов с использованием A-Parser на конкретном примере.

    Парсинг поисковых запросов

    Для демонстрации работы пресета мы подготовили документ с размноженными поисковыми запросами. Были собраны областные центры России и Украины и сгенерировали документ с 1303 запросами (запросы по типу «недвижимость москва”, “недвижимость киев»). В пресете мы используем встроенный парсер Rank::Bukvarix::Keyword Rank::Bukvarix::Keyword для сбора поисковых запросов, также можно использовать любой другой подход к получению поисковых запросов, например, парсить их с помощью SE::Google::KeywordPlanner SE::Google::KeywordPlanner или SE::Yandex::WordStat SE::Yandex::WordStat. В результате мы получили 133 514 ключей за 1 минуту в нашей нише, а именно недвижимость по России и Украине. Объем запросов легко можно увеличить, но для демонстрации возможностей пресета этого достаточно. Полученные поисковые запросы передаются в следующий парсер.

    [​IMG]


    Парсинг выдачи

    Используя встроенный парсер SE::Google SE::Google, мы парсим результаты поисковой выдачи на глубину в 10 страниц по 100 ссылок в каждой. Глубину парсинга можно указать больше если результатов будет недостаточно. Полученные результаты сразу чистятся, убираются дубликаты и приводятся к домену, а затем передаются в следующий парсер. На скриншоте представлена информация о работе парсера. За 4 часа было получено 156 972 уникальных домена.

    [​IMG]


    Резолвинг базы доменов

    Используя встроенный парсер Net::DNS Net::DNS, получаем доменов. В результате нам нужны те домены, которые не имеют IP. Это значит, что у них какие-то проблемы на сервере или хостинге либо они недавно дропнулись. Данный парсер ускорит работу следующего парсера (Whois), так как быстро переберет все домены, оставив только те, у которых отсутствует IP, и этот результат передаст в следующий парсер. В итоге, парсер прошелся по списку из 156 972 доменов за 18 минут, и у нас осталось 910 результатов.

    [​IMG]


    Получаем данные о занятости
    По оставшимся доменам мы проходим встроенным парсером Whois(Net::Whois Net::Whois ) и фильтруем результаты, оставив только домены с истекшим сроком регистрации. В итоге мы получили 208 дропнутых доменов, парсинг занял чуть больше минуты.

    [​IMG]

    Пример полученных результатов:
    Код:
    inveniotravelgroup.ch
    
    nos5sens.ch
    
    zdoroves.ru
    
    azovinform.zp.ua
    
    megazastroykino.ru
    
    kangaroo-web.ru
    
    pkcklimat.ru
    
    footgames.ru
    
    real-estate.by
    
    artes-spb.ru
    
    airbnb.com.my
    
    dahan.edu.tw
    
    derzhizaim.online
    
    dou44-spb.ru
    
    tonol.ru
    
    orlov-invest.ru
    
    custom4x4.ru
    
    casejeans.ru
    
    altainedvig.ru
    
    futurerussia.gov.ru
    
    ml-lefortovo.ru
    
    yulado.org
    
    tambov.gov.ru
    
    atele78.ru
    
    isn64.ru
    
    adtju.top
    
    l-price.ru
    
    yuvelir-print.ru
    
    trole.pw
    
    fso.gov.ru

    Парсинг SEO метрик
    Один из важнейших моментов в поиске хорошего дроп-домена — это оценка показателей множества метрик из различных сервисов. В этом блоке парсинга мы постарались охватить параметры, которые помогут подобрать дроп-домены как для СНГ, так и для буржа. Также данный парсер фильтрует результат по двум параметрам DR и количество обратных ссылок по Ahrefs, если DR>2 и количество беклинков > 10 то данный домен попадает в результат. В итоге у нас получилось 45 доменов. Собственно, вот перечень метрик:

    Данные из Rank::Ahrefs. Для парсинга нужна рекапча:
    • DR
    • Количество ссылающихся доменов RD
    • Количество бэклинков Ahrefs BL
    • Анкоры
    • Dofollow
    Данные с Rank::MajesticSEO:
    • Анкоры
    • Trust Flow
    • Citation Flow
    • Количество ссылающихся доменов
    • Количество бэклинков
    • Количество проиндексированных страниц
    Данные из Rank::Archive:
    • Количество сохраненных копий сайта
    Данные с MegaIndex
    • определение категории (тематика) сайта
    Данные из Гугл:
    • значение количества найденных результатов ( site:domain.com)
    Результат выводится в структурированный csv-документ — это первый файл с результатами, в котором удобно будет делать предварительную оценку дропов. Ссылка на файл с результатами

    Количество метрик можно сделать практически любым, так как у нас много встроенных парсеров основных SEO-сервисов, а если нужно, то можно настроить и те, которых нет в нашем каталоге. На скриншоте часть полученных результатов.

    И конечно же, чтобы подобрать дроп-домен и быть уверенным в его качестве, нужно оценить его обратные ссылки. Для этого А-Парсер собирает бэклинки по финальному списку доменов (полученном после парсинга Whois) из сервиса Ahrefs, используя встроенный парсер Rank::Ahrefs, и выводит эти результаты во второй csv-файл, вот ссылка на него. Теперь вам осталось только сделать финальную чистку и оставить подходящие вашим требованиям дроп-домены. На скриншоте часть полученных результатов.

    В данной статье мы показали по отдельности все этапы парсинга дроп-доменов, но для удобства использования они объединены в один пресет. Вам только нужно указать файл с ключами и дождаться результата в виде двух файлов. В первом будут дроп-домены с необходимым набором метрик, а во втором — бэклинки по этим дропам.


    Ссылка на файл с запросами

    eJztWQt32joS/iu6Pu0BWjA2AZo6fZw8e3vbJN0k3Z6zwOUotgAXY3EtOY+b5b/v
    SLKxjA1JH7vb3l23x1jSzGhmNPONpNwZHLMp+xARRjgznN6dMZffhmMcRHTOHGSb
    5wRH7gRNye01jTxm1I05jhiJBH3POMPh1HH24ukVjvwbx3mnyIDKIyMcB9wYDOoG
    CIVPdkSjGRbCH81tM5lpOXiOr8gFhcGRH5Cs+whaJ3hGBJeHORGj5kgKqtZMfiMk
    YM/zuU9DHKgZhGrZrB9D/49Y8DMe+eEY6KEZ+YQdRXQG3ZxIIaLzNtWwZzySbXTH
    4kvmuCCesIUBQmMp7W9KguHwKCZ1g4HuRxg085YDIxwwGPE5iTCn0elcKAj9dwYN
    d4PgPbkiQUYmJ9uL/cADx+6OgOltwlhOclqQsVjaq091RaLrCHRYSpGtvdPjjMuj
    7+kY3OBdghMCf+ZzaLN9GodipSzonBIyXzrxhELPjEZkOY1yQTI5xNKchB4QZku4
    O8+6clbklinf6dJw5I9PQf/I90hKGYcXELCn4T6dzQMizErjtJXGKQP7GPJD9IbS
    sQykmJGzLJZ2WbJEorFUflXwvpwexNuWhS4mEcEy8jmlAfvtXJkyj3wI144wYAaO
    1rVKnO3iIPh49j6nbxZ+0OjHVnvLk++OfLfluyXf2/Ld1b5d+Sbi3bblW1K2XUPM
    xcmYRrfCU4v63YNN2ugd+77cWk1aXYt70n4lkWzdL0ZpSlkrC5CLQrsskO4MRuPI
    BUt6Vr1nAGrNZZCHUwlLOIrwrQAG1c+FIXIQvm/nYrUAGiLs8gM6w35oLAb3J7S1
    OZlXh3OJbC0ybJL+76XN5gzfNuxnQ7vdsDuNdlsC3+aM2DKV1gxd+3xCY47efvgy
    WNVx/vzQcZYZlUI7hNkVDiQsQFBZmdtokrfQ44vEn0f05jYiXK7jImOzrfUseExc
    CUI5+vUMYuHYHFYSGHUe8NF6xSYBLOpgDe6VQVq+dCRRn0JoSI2NSV8OfDo8rpbf
    DbBWRGUNkNYUviJSWWsKn7EWgzcVGUsvMCKaA4o9ArbZPyMkWf8OSPoRIKS93bCt
    B0BI2zyhHEVk7DOYnXjIU4jy9TByQrjjHJycl4PItin/rU9XkAM9uew2M2qYHNSE
    NpWOlfSastD2BcwrsgvFE1IOYc4lumtSVRL0++F6XZSViejvCCJyH/ZdQWRNJfgC
    AJHA9n/w+F8Hj+2hvdWwWo3OQ8CjYx6Lgu9+K1p8mlCflePFF2epvmH5EtzIILAE
    P8gfMQ5yshuNLxGuUmYDLv3I2LKhRPyVNijL4NuML1Y5vvQMT3ir2WqUhL3LrkBs
    7zHqh0enZ4e7+78iH709QYAtl9idym3tTj9E8Lw9QgGlc1Pui9HLl8hOBuQjscTc
    P/87sJCqdJJJI39c900vglcsXmJ3DD/c54H4DXAox9WiiYEIj0a+K8kDeOPQnVDB
    OKJBQK8TllhJmdNrsebDy1towIcfEZcPXeoRrc1qiZKH788P1+vbN/rGD6PpyQF8
    iTd6PIDFEYdsu50dvpODuDqye/WDs/pH+A9aXEhlP8CcaDl5UnvrF4m+e8miIqH2
    spFof0KV9s2D5KO+lPNBmYDAhLNEYSQNSFtM4qB+3/Zl1UyGoNKDoZdILMhOMSYT
    Ahjp84w4/RoiWBg4NMMHLCeSEpQ3S6KzDuIiHE7VLwcEEF+XQT2RplpDL3UFNNPl
    n7dg/WPGR7K/Zbo+xyLr0rZGt0wi0fBDj9wQrz7fgsCaEeiDozTlOJApVZ93zNRH
    NbX0f+2qfgxVfcseWs8bcCrodDdU9TAOgrI6roDNXg9sxcviXdirjdZU9GsaTdPS
    /ZH7wfCM7OM5dye4NVzutFZLfa6sWyWldrUU5yrtK70Wp9VLF9n6JokqsMXVUWr/
    Mf5MGPfd88NT/Zp8Ob4L533/iqyM3XcBIy4InEfpXkI6UDbUctzrNXl7U7yr2chm
    F65qNpNbZTc1JSzC3N/OHUe5Yz9JSHAcGeO3IoFX/rrwsL3RfSAuVx6JObNviUmS
    EWuMl9mVbPtZJkS/kk2ucAmSP7Y2E26sykgugPUZWgipLFGTW+Vkbdnfvkxp05qR
    4/0WxZMB9b7URKiJlRLPNaG6uBHSbrRLPK6bW784qu8f/UQKozSJ/0vR8R2nH2Wh
    lIjQ523rymWCkgl0rlbm6ITXy5ah3UGrWiTMOoMS2v2O1iXaEm2xi9N2HqCzrmES
    Fvklkaq2NHm26rKySZUCiYzEXdLE1sPcos30oDXqoKqsCjXdj5bmKcWypbnI0iYc
    6eargecas5UMKzPdgkDrQXqG//kjq34x8RPdgQ2We6nl3+vv1v753bkDXm3LINvL
    y9espS5XZDu3OdN69O2KTpjsUmTX5moNJEDzmX1Q6ovdo1T+Pi45UyMdayyHzM9i
    9+0GmDGkZKK7fqSObuByBicDF7bF1VrWLc+bE5+Zyb5BHOzh2JIbF0+yOE5xRDyj
    AHPkoF7ZmHh6lfT0UKlXUr0rg/oGeuqHLsRG6BLBorUGZUzlouSfMdfpLJ2iVIEc
    A+VTxaCFAp/xSn2tPV9h0tdYJQwrG1is9i0K0ybrNVS7XAdVVPI56FGqdh+esFJg
    lKkkjs/r/NayLAfZ92swwzdD5v9JHMGBniDbarV1msVO2pLmpI0nUoEq5HE9NWIl
    XAFekss0CFQZuzEciJi47TCTP0tf0Lnaqu7d/oOGUpop7a/t6JL8UfUXJalWtFVK
    Duh4TCJzHvNqZQ97SAqp5KVo7jZZ7LqEiYO/VULD4yhMSXPDOQ+kNgLhHATd+iTw
    lDYRgfkZqPLm8KJSR5UJ54DbzeYMAEAe4E2Xzpq4ybO4BrKCZcpkJ/nN6VFC7U6I
    Ox2KO1cSQiD1mucAw6APgbjyXeQB2LsCsf8pyx0pbJ06hRJ3WdhcbCdluVCC3UJp
    3ta2GNtFBq3Mp+W4WUxKT0Y4ZAWOOW1M+CwoJsKEYFE912RBJQZ0bcA5LeQVR63O
    mPCPu9VaQVAuWxcqdlaiUCx1GjsloSiiAZw+g4wY30BINF94/hWSOP+yv7y86huv
    +n32JDcm7pSgv/ra6f3+YvD0Be79/mrw9FXttaCsyr7XNfn92nnR7zexFKGGRRtk
    rRWquKu9ft+rm4OntcfNcSHmrydQ06pCd1AblIcEJa4y18Mc10qMzVwiMyq1Ttzq
    VkJI5soaHvEUmaTfevagoFmBJQPjlKtVzlVA33KNRRn5BZSOITFH4DHv4XoDK0AO
    m1QT5eupPkXgkQohEjCyXvplRPD0YaYsCqiUNvTvItrpAbyTJy0FvRzgJYmTNwD2
    bVBCPtMIpHe30FM4+/CJGVFwZ7V6AH4yQ3oNTA1kd+xut9vpWuKpoSba6ra2t1Vr
    pyDSD6VIKW0UUNgNtZ5tP1/KxyGgIoh9gtrdrXaRPyJXPgO0y4voWCUC7Ha3VuaL
    yjH90w8C3OyYFqp+AuCm1wydXECFNK0dBB3d9g666bZrCHbrAflELt/5vNnZemZu
    dVH13a8Xx+/rsEOZEvQGoJnW0P4ETgikWQEllMueooppmbIt7RVt0VpqDx3oHI9g
    b5zIreSXZmGInSlsv5m83bMX/wICiLXW
    serpoff нравится это.