Net::DNS - scraper resolvet domeinen naar IP-adressen

Overzicht van de scraper

Net::DNS – verzamelt DNS-records van een domeinnaam. Geautomatiseerde massale resolving van een domeindatabase, controle van domeinbeschikbaarheid.

De functionaliteit van A-Parser maakt het mogelijk om instellingen voor de Net::DNS scraper op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Ga naar DEMO Koop A-Parser Pro ($299)

Verzamelde gegevens

Lijst met IP-adressen
Gebruikte DNS-server bij een succesvolle aanvraag
DNS-record van elk type (uitgevoerd als JSON, waardoor individuele parameters eenvoudig kunnen worden verkregen)

Toepassingen

Resolving van domeindatabases
Controle van domeinbeschikbaarheid

Query's

Als query's moet een lijst met domeinen worden opgegeven, bijvoorbeeld:

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

Varianten van resultaatweergave

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een willekeurige vorm kunnen worden weergegeven, evenals in gestructureerde formaten zoals CSV of JSON.

Standaard uitvoer

Resultaatformaat:

$query: $ip ($ips.format('$ip, '))\n

Het resultaat toont het domein en de bijbehorende IP-adressen:

youtube.com: 173.194.70.136 (173.194.70.136, 173.194.70.190, 173.194.70.93, 173.194.70.91, )  
google.com: 46.28.247.98 (46.28.247.98, 46.28.247.89, 46.28.247.84, 46.28.247.108, 46.28.247.119, 46.28.247.114, 46.28.247.88, 46.28.247.94, 46.28.247.99, 46.28.247.109, 46.28.247.93, 46.28.247.104, 46.28.247.113, 46.28.247.118, 46.28.247.123, 46.28.247.103, )  
facebook.com: 173.252.110.27 (173.252.110.27, )  
a-parser.com: 176.9.9.90 (176.9.9.90, )  
vk.com: 87.240.143.244 (87.240.143.244, 87.240.131.120, )  
yandex.ru: 93.158.134.11 (93.158.134.11, 213.180.193.11, 213.180.204.11, 77.88.21.11, 87.250.250.11, )

Opslaan in SQL-formaat

Resultaatformaat:

[% "INSERT INTO dns VALUES('" _ query _ "', '" _ ip _ "', '" _ ips.format('$ip, ') _ "')\n" %]

Voorbeeldresultaat:

INSERT INTO dns VALUES('vk.com', '87.240.190.67', '87.240.190.67, 87.240.190.72, 87.240.190.78, 93.186.225.208, 87.240.137.158, 87.240.139.194, ')
INSERT INTO dns VALUES('a-parser.com', '176.9.9.90', '176.9.9.90, ')
INSERT INTO dns VALUES('yandex.ru', '5.255.255.50', '5.255.255.50, 77.88.55.50, 77.88.55.88, 5.255.255.5, ')
INSERT INTO dns VALUES('facebook.com', '157.240.19.35', '157.240.19.35, ')
INSERT INTO dns VALUES('youtube.com', '172.217.171.238', '172.217.171.238, ')

Dump van resultaten in JSON

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ips = p1.ips;

obj.json %]

Begintekst:

Eindtekst:

Voorbeeldresultaat:

[
    {"ips":[{"ip":"176.9.9.90"}],"query":"http://a-parser.com/"},
    {"ips":[{"ip":"172.217.173.78"}],"query":"http://google.com/"},
    {"ips":[{"ip":"77.88.55.60"},{"ip":"77.88.55.66"},{"ip":"5.255.255.55"},{"ip":"5.255.255.60"}],"query":"http://yandex.ru/"},
    {"ips":[{"ip":"172.217.25.14"}],"query":"http://youtube.com/"},
    {"ips":[{"ip":"87.240.190.78"},{"ip":"93.186.225.208"},{"ip":"87.240.137.158"},{"ip":"87.240.139.194"},{"ip":"87.240.190.67"},{"ip":"87.240.190.72"}],"query":"http://vk.com/"},
    {"ips":[{"ip":"157.240.196.35"}],"query":"http://facebook.com/"}
]

tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.

Mogelijke instellingen

opmerking

Algemene instellingen voor alle scrapers

Parameter	Standaardwaarde	Beschrijving
DNS Servers	`208.67.220.220, 8.8.8.8`	Ondersteuning voor meerdere servers gescheiden door komma's
Not found is error	`☐`	Maakt het mogelijk om valse antwoorden van DNS-servers te hercontroleren
Rotation type	`Consistently`	Methode voor het selecteren van de volgende DNS-server (Opeenvolgend/Willekeurig)
Ban not working servers	`☑`	Ban niet-werkende servers op basis van een heuristisch algoritme voor 20 minuten; als er nog maar één server over is, wordt deze niet verbannen
Query type	`A - Address record`	Maakt het mogelijk om het recordtype te kiezen

Overzicht van de scraper​

Verzamelde gegevens​

Toepassingen​

Query's​

Varianten van resultaatweergave​

Standaard uitvoer​

Opslaan in SQL-formaat​

Dump van resultaten in JSON​

Mogelijke instellingen​