SecurityTrails::Domain - Zbieranie danych o domenie z SecurityTrails

Przegląd scrapera

SecurityTrails to największe na świecie repozytorium historycznych danych DNS Dane dla firm ochroniarskich, badaczy i zespołów, które muszą szczegółowo analizować, znajdować podejrzane zmiany w rekordach DNS i zapobiegać przyszłym oszustwom lub działalności przestępczej.

Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania do późniejszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego rozmnażania zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych i list w celu uzyskania maksymalnej możliwej liczby wyników.

Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.

Przejdź do DEMOKup A-Parser Pro ($299)

Zbierane dane

• Alexa rank
• Apex domain
• Host
• Liczba subdomen
• A records
• TXT records
• AAAA records
• Ns records
• SOA records
• MX records
• CNAME records
• CNAME records pointed here
• MX records pointed here
• NS records pointed here
• Subdomeny
• historical A
• historical AAAA
• historical MX
• historical NS
• historical SOA
• historical TXT

Możliwości

Wybór sekcji Mode, z której zbierane są dane:

Subdomain

• https://securitytrails.com/list/apex_domain/google.com

History

• https://securitytrails.com/domain/google.com/history/a
• https://securitytrails.com/domain/google.com/dns

Warianty użycia

• Pobieranie subdomen i ich Rank
• Zbieranie informacji o dostawcy hostingu subdomen
• Pobieranie dostawcy poczty subdomen
• Zbieranie historii rekordów A, AAAA, MX, NS, SOA, TXT
• Zbieranie rekordów DNS domeny A, AAAA, MX, NS, SOA, TXT

Zapytania

Jako zapytania należy podawać domeny, na przykład:

google.com

Warianty wyprowadzania wyników

A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala na wyprowadzanie wyników w dowolnej formie, a także w formie strukturalnej, np. CSV lub JSON

Wynik domyślny

Format wyniku:

$query - $alexa - $apex_domain

Przykład wyniku:

google.com - 1 - google.com

Wynik dla rekordów aRecords

Format wyniku:

$aRecords.format('$ip, $stats\n')

Przykład wyniku:

142.250.73.238, 18037

Wynik dla rekordów txt

Format wyniku:

$txt.format('$record\n')

Przykład wyniku:

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Wynik dla rekordów aaaaRecords

Format wyniku:

$aaaaRecords.format('$ip, $stats\n')

Przykład wyniku:

2607:f8b0:4004:82a::200e, 17294

Wynik dla rekordów nsRecords

Format wyniku:

$nsRecords.format('$ns, $stats\n')

Przykład wyniku:

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Wynik dla rekordów mxRecords

Format wyniku:

$mxRecords.format('$p, $host, $stats\n')

Przykład wyniku:

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Wynik dla rekordów soaRecords

Format wyniku:

$soaRecords.format('$ttl, $email, $stats\n')

Przykład wyniku:

dns-admin.google.com, 147485, 900

Wynik dla rekordów soaRecords w CSV

Format wyniku:

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

Przykład wyniku:

dns-admin.google.com,147485,900

Wynik informacji o subdomenach

Format wyniku:

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Przykład wyniku:

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

Wynik informacji o subdomenach w tabeli CSV

Format wyniku:

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

Przykład wyniku:

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Zrzut wyników do JSON

Ogólny format wyniku:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

Tekst początkowy:

[

Tekst końcowy:

]

Przykład wyniku:

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]

wskazówka

Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".

Możliwe ustawienia

notatka

Ogólne ustawienia dla wszystkich scraperów

Parametr	Wartość domyślna	Opis
Mode	History	Sekcja strony, z której zbierane są dane