1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Спарсить все .com домены

Тема в разделе "Техническая поддержка", создана пользователем Валерий, 4 ноя 2015.

  1. Валерий

    Валерий A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 сен 2014
    Сообщения:
    8
    Симпатии:
    0
    Есть нетривиальная задача собрать все .com домены, каким образом это можно осуществить?
     
  2. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    Toje Oceni Interesna Tok Drugaia Zona !Spasibo
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.557
    Симпатии:
    2.167
    Довольно просто, правда не факт, что будут абсолютно все существующие (а их более 120М)... Задаем парсинг Гугла по запросу site:.com размножив запросы функцией Parse all results:
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
    InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Iix7InR5cGUiOiJvcHRp
    b25zIiwiaWQiOiJwYXJzZUFsbCIsInZhbHVlIjp0cnVlfSx7InR5cGUiOiJvdmVy
    cmlkZSIsImlkIjoicHJveHlyZXRyaWVzIiwidmFsdWUiOiIxMDAifSx7InR5cGUi
    OiJvdmVycmlkZSIsImlkIjoicGFnZWNvdW50IiwidmFsdWUiOjEwfV1dLCJyZXN1
    bHRzRm9ybWF0IjoiJHAxLnByZXNldCIsInJlc3VsdHNTYXZlVG8iOiJmaWxlIiwi
    cmVzdWx0c0ZpbGVOYW1lIjoiJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0
    aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6InN0cmluZyIsInF1ZXJ5
    Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZh
    aWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZl
    bHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1
    ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6
    eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJO
    byIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1
    bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVy
    cyI6W3sic291cmNlIjpbMCxbInNlcnAiLCJsaW5rIl1dLCJ0eXBlIjoiZXh0cmFj
    dDJuZERvbWFpbiIsImFycmF5Ijoic2VycCIsInRvIjoibGluayJ9XSwiY29uZmln
    T3ZlcnJpZGVzIjpbXX19
    В результате получаем список доменов в зоне .com, без повторов. Можно добавить парсеры других поисковиков, но это врятли сильно увеличит результат, а вот время увеличит существенно.
     
    vipuncle, relay и limoshkaa нравится это.
  4. sim0n

    sim0n A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    4 июн 2015
    Сообщения:
    8
    Симпатии:
    5
    Погугли
    все домены можно достать бесплатно
     
  5. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
  6. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
    А как сделать extract 3rd domain?!
     
  7. span4bob

    span4bob A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 май 2016
    Сообщения:
    16
    Симпатии:
    4
  8. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
    Metroid, relay, Forbidden и 2 другим нравится это.
  9. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    103
  10. Metroid

    Metroid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    3 ноя 2014
    Сообщения:
    8
    Симпатии:
    5
    спасибо за файлик
    инфа для всех: по составу там много сабдоменов блогспота и прочих фрихостов, а также встречаются другие доменные зоны
    то есть над базой еще прийдется потрудится чтобы очистить
     
    Forbidden нравится это.

Поделиться этой страницей