SecurityTrails::Domain - Datainsamling om domäner från SecurityTrails

Översikt av scrapern

SecurityTrails är världens största arkiv för historiska DNS-data. Data för säkerhetsföretag, forskare och team som behöver detaljera, hitta misstänkta ändringar i DNS-poster och förhindra framtida bedräglig eller kriminell verksamhet.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Spara resultat är möjligt i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Gå till DEMOKöp A-Parser Pro ($299)

Insamlade data

• Alexa rank
• Apex domain
• Host
• Antal subdomäner
• A records
• TXT records
• AAAA records
• Ns records
• SOA records
• MX records
• CNAME records
• CNAME records pointed here
• MX records pointed here
• NS records pointed here
• Subdomäner
• historical A
• historical AAAA
• historical MX
• historical NS
• historical SOA
• historical TXT

Funktioner

Val av sektionen Mode som data samlas in från:

Subdomain

• https://securitytrails.com/list/apex_domain/google.com

History

• https://securitytrails.com/domain/google.com/history/a
• https://securitytrails.com/domain/google.com/dns

Användningsfall

• Hämtning av subdomäner och deras Rank
• Insamling av information om subdomäners hostingleverantör
• Hämtning av subdomäners e-postleverantör
• Insamling av historik för A, AAAA, MX, NS, SOA, TXT
• Insamling av DNS-poster för domän A, AAAA, MX, NS, SOA, TXT

Frågor

Som frågor måste domäner anges, till exempel:

google.com

Alternativ för resultatvisning

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan visa resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON.

Standardutdata

Resultatformat:

$query - $alexa - $apex_domain

Exempel på resultat:

google.com - 1 - google.com

Resultatutdata för aRecords-poster

Resultatformat:

$aRecords.format('$ip, $stats\n')

Exempel på resultat:

142.250.73.238, 18037

Resultatutdata för txt-poster

Resultatformat:

$txt.format('$record\n')

Exempel på resultat:

v=spf1 include:_spf.google.com ~all
google-site-verification=wD8N7i1JTNTkezJ49swvWW48f8_9xveREV4oB-0Hf5o
globalsign-smime-dv=CDYX+XFHUw2wml6/Gb8+59BsH31KzUr6c1l2BPvqKX8=
facebook-domain-verification=22rm551cu4k0ab0bxsw536tlds4h95
docusign=1b0a6754-49b1-4db5-8540-d2c12664b289
docusign=05958488-4752-4ef2-95eb-aa7ba8a3bd0e
apple-domain-verification=30afIBcvSuDV2PLX

Resultatutdata för aaaaRecords-poster

Resultatformat:

$aaaaRecords.format('$ip, $stats\n')

Exempel på resultat:

2607:f8b0:4004:82a::200e, 17294

Resultatutdata för nsRecords-poster

Resultatformat:

$nsRecords.format('$ns, $stats\n')

Exempel på resultat:

ns4.google.com, 5226
ns3.google.com, 5233
ns2.google.com, 5268
ns1.google.com, 5298

Resultatutdata för mxRecords-poster

Resultatformat:

$mxRecords.format('$p, $host, $stats\n')

Exempel på resultat:

aspmx.l.google.com, 13227170, 10
alt4.aspmx.l.google.com, 7665791, 50
alt3.aspmx.l.google.com, 7726366, 40
alt2.aspmx.l.google.com, 12894431, 30
alt1.aspmx.l.google.com, 12975832, 20

Resultatutdata för soaRecords-poster

Resultatformat:

$soaRecords.format('$ttl, $email, $stats\n')

Exempel på resultat:

dns-admin.google.com, 147485, 900

Resultatutdata för soaRecords-poster i CSV

Resultatformat:

[% FOREACH soaRecords; 
    tools.CSVline(ttl, email, stats);
END %]

Exempel på resultat:

dns-admin.google.com,147485,900

Utdata för information om subdomäner

Resultatformat:

$subdomains.format('$domain, $alexa, $hosting, $mail\n')

Exempel på resultat:

google.com, 4, Google LLC, Google LLC
plus.google.com, 11, Google LLC, 
maps.google.com, 18, Google LLC, 
play.google.com, 22, Google LLC, 
docs.google.com, 24, Google LLC, 
support.google.com, 27, Google LLC, 
sites.google.com, 36, Google LLC, 
developers.google.com, 40, Google LLC, 
apis.google.com, 44, Google LLC, 
chrome.google.com, 47, Google LLC, 
translate.google.com, 57, Google LLC

Utdata för information om subdomäner i en CSV-tabell

Resultatformat:

[% FOREACH subdomains; 
    tools.CSVline(domain, alexa, hosting, mail);
END %]

Exempel på resultat:

google.com,4,"Google LLC","Google LLC"
plus.google.com,11,"Google LLC",
maps.google.com,18,"Google LLC",
play.google.com,22,"Google LLC",
docs.google.com,24,"Google LLC",
support.google.com,27,"Google LLC",
sites.google.com,36,"Google LLC",
developers.google.com,40,"Google LLC"

Dumpa resultat till JSON

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.subdomains = [];

FOREACH item IN p1.subdomains;
    obj.subdomains.push({
        domain = item.domain
        alexa = item.alexa
        hosting = item.hosting
        mail = item.mail
    });
END;

obj.json %]

Starttext:

[

Sluttext:

]

Exempel på resultat:

[{
    "query": "google.com",
    "subdomains": [
        {
            "domain": "google.com",
            "mail": "Google LLC",
            "hosting": "Google LLC",
            "alexa": 4
        },
        {
            "domain": "plus.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 11
        },
        {
            "domain": "maps.google.com",
            "mail": "",
            "hosting": "Google LLC",
            "alexa": 18
        }
    ]
}]

tips

För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste du aktivera "More options".

Möjliga inställningar

anteckning

Allmänna inställningar för alla scrapers

Parameter	Standardvärde	Beskrivning
Mode	History	Sektion på webbplatsen som data samlas in från