1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

Спарсить все .com домены

Тема в разделе "Техническая поддержка", создана пользователем Валерий, 4 ноя 2015.

  1. Валерий

    Валерий A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    20 сен 2014
    Сообщения:
    8
    Симпатии:
    0
    Есть нетривиальная задача собрать все .com домены, каким образом это можно осуществить?
     
    #1 Валерий, 4 ноя 2015
  2. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    Toje Oceni Interesna Tok Drugaia Zona !Spasibo
     
    #2 Apalon, 4 ноя 2015
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.377
    Симпатии:
    2.107
    Довольно просто, правда не факт, что будут абсолютно все существующие (а их более 120М)... Задаем парсинг Гугла по запросу site:.com размножив запросы функцией Parse all results:
    [​IMG]
    Код:
    eyJwcmVzZXQiOiJkZWZhdWx0IiwidmFsdWUiOnsicHJlc2V0IjoiZGVmYXVsdCIs
InBhcnNlcnMiOltbIlNFOjpHb29nbGUiLCJkZWZhdWx0Iix7InR5cGUiOiJvcHRp
b25zIiwiaWQiOiJwYXJzZUFsbCIsInZhbHVlIjp0cnVlfSx7InR5cGUiOiJvdmVy
cmlkZSIsImlkIjoicHJveHlyZXRyaWVzIiwidmFsdWUiOiIxMDAifSx7InR5cGUi
OiJvdmVycmlkZSIsImlkIjoicGFnZWNvdW50IiwidmFsdWUiOjEwfV1dLCJyZXN1
bHRzRm9ybWF0IjoiJHAxLnByZXNldCIsInJlc3VsdHNTYXZlVG8iOiJmaWxlIiwi
cmVzdWx0c0ZpbGVOYW1lIjoiJGRhdGVmaWxlLmZvcm1hdCgpLnR4dCIsImFkZGl0
aW9uYWxGb3JtYXRzIjpbXSwicmVzdWx0c1VuaXF1ZSI6InN0cmluZyIsInF1ZXJ5
Rm9ybWF0IjpbIiRxdWVyeSJdLCJ1bmlxdWVRdWVyaWVzIjpmYWxzZSwic2F2ZUZh
aWxlZFF1ZXJpZXMiOmZhbHNlLCJpdGVyYXRvck9wdGlvbnMiOnsib25BbGxMZXZl
bHMiOmZhbHNlLCJxdWVyeUJ1aWxkZXJzQWZ0ZXJJdGVyYXRvciI6ZmFsc2UsInF1
ZXJ5QnVpbGRlcnNPbkFsbExldmVscyI6ZmFsc2V9LCJyZXN1bHRzT3B0aW9ucyI6
eyJvdmVyd3JpdGUiOmZhbHNlfSwiZG9Mb2ciOiJubyIsImtlZXBVbmlxdWUiOiJO
byIsIm1vcmVPcHRpb25zIjpmYWxzZSwicmVzdWx0c1ByZXBlbmQiOiIiLCJyZXN1
bHRzQXBwZW5kIjoiIiwicXVlcnlCdWlsZGVycyI6W10sInJlc3VsdHNCdWlsZGVy
cyI6W3sic291cmNlIjpbMCxbInNlcnAiLCJsaW5rIl1dLCJ0eXBlIjoiZXh0cmFj
dDJuZERvbWFpbiIsImFycmF5Ijoic2VycCIsInRvIjoibGluayJ9XSwiY29uZmln
T3ZlcnJpZGVzIjpbXX19
    В результате получаем список доменов в зоне .com, без повторов. Можно добавить парсеры других поисковиков, но это врятли сильно увеличит результат, а вот время увеличит существенно.
     
    #3 Support, 4 ноя 2015
    vipuncle, relay и limoshkaa нравится это.
  4. sim0n

    sim0n A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    4 июн 2015
    Сообщения:
    8
    Симпатии:
    5
    Погугли
    все домены можно достать бесплатно
     
    #4 sim0n, 5 ноя 2015
  5. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
    #5 vipuncle, 11 ноя 2015
    Mattia и Metroid нравится это.
  6. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    102
    А как сделать extract 3rd domain?!
     
    #6 relay, 11 ноя 2015
  7. span4bob

    span4bob A-Parser Pro License
    A-Parser Pro

    Регистрация:
    14 май 2016
    Сообщения:
    16
    Симпатии:
    4
    #7 span4bob, 13 дек 2016
  8. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
    #8 vipuncle, 13 дек 2016
    Metroid, relay, Forbidden и 2 другим нравится это.
  9. relay

    relay A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    22 июл 2013
    Сообщения:
    157
    Симпатии:
    102
    #9 relay, 13 дек 2016
  10. Metroid

    Metroid A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    3 ноя 2014
    Сообщения:
    8
    Симпатии:
    5
    спасибо за файлик
    инфа для всех: по составу там много сабдоменов блогспота и прочих фрихостов, а также встречаются другие доменные зоны
    то есть над базой еще прийдется потрудится чтобы очистить
     
    #10 Metroid, 14 дек 2016
    Forbidden нравится это.
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей