Net::DNS - scraper resolvar domäner till IP-adresser
Översikt av scrapern
Net::DNS – samlar in DNS-poster för domännamn. Automatiserad massupplösning av domändatabaser, kontroll av domäntillgänglighet.Funktionaliteten i A-Parser gör det möjligt att spara inställningar för scrapern Net::DNS för framtida bruk (förinställningar), ställa in scheman för dataskrapning och mycket mer.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Data som samlas in
- Lista över IP-adresser
- Använd DNS-server vid lyckad förfrågan
- DNS-post av valfri typ (visas som JSON, vilket gör det enkelt att hämta deras enskilda parametrar)
Användningsfall
- Resolving av domändatabaser
- Kontroll av domäners tillgänglighet
Förfrågningar
Som förfrågningar måste en lista över domäner anges, till exempel:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Alternativ för resultatvisning
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att visa resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON
Standardvisning
Resultatformat:
$query: $ip ($ips.format('$ip, '))\n
Resultatet visar domänen och dess IP-adresser:
youtube.com: 173.194.70.136 (173.194.70.136, 173.194.70.190, 173.194.70.93, 173.194.70.91, )
google.com: 46.28.247.98 (46.28.247.98, 46.28.247.89, 46.28.247.84, 46.28.247.108, 46.28.247.119, 46.28.247.114, 46.28.247.88, 46.28.247.94, 46.28.247.99, 46.28.247.109, 46.28.247.93, 46.28.247.104, 46.28.247.113, 46.28.247.118, 46.28.247.123, 46.28.247.103, )
facebook.com: 173.252.110.27 (173.252.110.27, )
a-parser.com: 176.9.9.90 (176.9.9.90, )
vk.com: 87.240.143.244 (87.240.143.244, 87.240.131.120, )
yandex.ru: 93.158.134.11 (93.158.134.11, 213.180.193.11, 213.180.204.11, 77.88.21.11, 87.250.250.11, )
Spara i SQL-format
Resultatformat:
[% "INSERT INTO dns VALUES('" _ query _ "', '" _ ip _ "', '" _ ips.format('$ip, ') _ "')\n" %]
Exempel på resultat:
INSERT INTO dns VALUES('vk.com', '87.240.190.67', '87.240.190.67, 87.240.190.72, 87.240.190.78, 93.186.225.208, 87.240.137.158, 87.240.139.194, ')
INSERT INTO dns VALUES('a-parser.com', '176.9.9.90', '176.9.9.90, ')
INSERT INTO dns VALUES('yandex.ru', '5.255.255.50', '5.255.255.50, 77.88.55.50, 77.88.55.88, 5.255.255.5, ')
INSERT INTO dns VALUES('facebook.com', '157.240.19.35', '157.240.19.35, ')
INSERT INTO dns VALUES('youtube.com', '172.217.171.238', '172.217.171.238, ')
Dumpa resultat till JSON
Allmänt resultatformat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.ips = p1.ips;
obj.json %]
Starttext:
[
Sluttext:
]
Exempel på resultat:
[
{"ips":[{"ip":"176.9.9.90"}],"query":"http://a-parser.com/"},
{"ips":[{"ip":"172.217.173.78"}],"query":"http://google.com/"},
{"ips":[{"ip":"77.88.55.60"},{"ip":"77.88.55.66"},{"ip":"5.255.255.55"},{"ip":"5.255.255.60"}],"query":"http://yandex.ru/"},
{"ips":[{"ip":"172.217.25.14"}],"query":"http://youtube.com/"},
{"ips":[{"ip":"87.240.190.78"},{"ip":"93.186.225.208"},{"ip":"87.240.137.158"},{"ip":"87.240.139.194"},{"ip":"87.240.190.67"},{"ip":"87.240.190.72"}],"query":"http://vk.com/"},
{"ips":[{"ip":"157.240.196.35"}],"query":"http://facebook.com/"}
]
För att alternativen "Prepend text" och "Append text" ska vara tillgängliga i Task Editor, måste "More options" aktiveras.
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| DNS Servers | 208.67.220.220, 8.8.8.8 | Stöd för flera servrar separerade med kommatecken |
| Not found is error | ☐ | Gör det möjligt att kontrollera falska svar från DNS-servrar igen |
| Rotation type | Consistently | Metod för att välja nästa DNS-server (Sekventiell/Slumpmässig) |
| Ban not working servers | ☑ | Bannlysning av servrar som inte fungerar enligt en heuristisk algoritm i 20 minuter; om endast en server återstår bannlyses den inte |
| Query type | A - Address record | Gör det möjligt att välja posttyp |