SecurityTrails::Ip - Zbieranie danych o domenie z SecurityTrails

Przegląd scrapera

SecurityTrails to największe na świecie repozytorium historycznych danych DNS Dane dla firm ochroniarskich, badaczy i zespołów, które muszą szczegółowo analizować, znajdować podejrzane zmiany w rekordach DNS i zapobiegać przyszłym oszustwom lub działalności przestępczej.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list, aby uzyskać maksymalną możliwą liczbę wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przejdź do DEMOKup A-Parser Pro ($299)

Zbierane dane

• Domain
• Hosting provider
• Alexa rank
• Mail provider

Możliwości

• Autoryzacja za pomocą loginu i hasła
• Automatyczne przechodzenie po paginacji
• Eksport wyników do tabeli CSV, JSON, bazy SQLite

Warianty użycia

• Pobieranie subdomen po IP
• Zbieranie Alexa Rank dla subdomen
• Pobieranie Hosting Provider
• Pobieranie Mail Provider

Zapytania

Jako zapytania należy podawać adresy ipv4:

172.217.164.174

Warianty wyświetlania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyświetlać wyniki w dowolnej formie, a także w formie strukturalnej, na przykład CSV lub JSON

Wynik domyślny

Format wyniku:

$list.format('$domain\n')

W rezultacie wyświetlone są subdomeny:

aalt158.gaming.youtube.com
o-o.preferred.ivanticsa177a.v20.cache.c.youtube.com
o-o.preferred.alt138-batelco-bah1.v24.lscache2.c.youtube.com
o-o.preferred.sigmarprd.v20.cache.c.youtube.com
thegameofpwns.io
o-o.preferred.orange-pfightmaster.v9.lscache4.c.youtube.com
o-o.preferred.kubectlivanticsa571.v20.cache.c.youtube.com
o-o.preferred.trial-one-my.v20.cache.c.youtube.com
o-o.preferred.activestc-ruh3.v2.lscache1.c.youtube.com
test.palaash.com
shoppe33.vip

Wyświetlanie wszystkich danych o subdomenach

Format wyniku:

$list.format('$domain, $host_provider, $alexa_rank, $mail_provider\n')

Przykład wyniku:

google.com, Google LLC, 4, Google LLC
developers.google.com, Google LLC, 40, none
earth.google.com, Google LLC, 640, none
uk.youtube.com, Google LLC, 1305, none

Wyświetlanie w tabeli CSV

Format wyniku:

[% FOREACH list; 
    tools.CSVline(domain, host_provider, alexa_rank, mail_provider);
END %]

Przykład wyniku:

google.com,"Google LLC",4,"Google LLC"
developers.google.com,"Google LLC",40,none
earth.google.com,"Google LLC",640,none
uk.youtube.com,"Google LLC",1305,none

Zrzut wyników do JSON

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.list;
    obj.subdomains.push({
        domain = item.domain
        alexa_rank = item.alexa_rank
        host_provider = item.host_provider
        mail_provider = item.mail_provider
    });
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[
    {
        "query": "172.217.164.174",
        "subdomains": [
            {
                "domain": "google.com",
                "mail_provider": "Google LLC",
                "host_provider": "Google LLC",
                "alexa": 4
            },
            {
                "domain": "developers.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 40
            },
            {
                "domain": "earth.google.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 640
            },
            {
                "domain": "uk.youtube.com",
                "mail_provider": "none",
                "host_provider": "Google LLC",
                "alexa": 1305
            }
        ]
    }
]

wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia

notatka

Ustawienia ogólne dla wszystkich scraperów

Parametr	Wartość domyślna	Opis
Method	New	Wybór metody scrapowania (New / Old / Account authorization)
Login		Wprowadzenie loginu
Password		Wprowadzenie hasła