Net::DNS - le scraper résout les domaines en adresses IP

Présentation du scraper

Net::DNS – collecte les enregistrements DNS d'un nom de domaine. Résolution de masse automatisée d'une base de domaines, vérification de la disponibilité des domaines.

La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données du scraper Net::DNS pour une utilisation ultérieure (présélections), de définir un calendrier de collecte de données et bien plus encore.

La sauvegarde des résultats est possible sous la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'afficher les données dans divers formats, y compris JSON, SQL et CSV.

Accéder à la DÉMO Acheter A-Parser Pro ($299)

Données collectées

Liste des adresses IP
Serveur DNS utilisé lors d'une requête réussie
Enregistrement DNS de n'importe quel type (affichés sous forme JSON, ce qui permet d'obtenir facilement leurs paramètres individuels)

Variantes d'utilisation

Résolution d'une base de domaines
Vérification de la disponibilité des domaines

Requêtes

En tant que requêtes, il est nécessaire d'indiquer une liste de domaines, par exemple :

a-parser.com  
yandex.ru  
google.com  
vk.com  
facebook.com  
youtube.com

Variantes d'affichage des résultats

A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme libre, ainsi que structurée, par exemple CSV ou JSON

Affichage par défaut

Format du résultat :

$query: $ip ($ips.format('$ip, '))\n

Le résultat affiche le domaine et ses adresses IP :

youtube.com: 173.194.70.136 (173.194.70.136, 173.194.70.190, 173.194.70.93, 173.194.70.91, )  
google.com: 46.28.247.98 (46.28.247.98, 46.28.247.89, 46.28.247.84, 46.28.247.108, 46.28.247.119, 46.28.247.114, 46.28.247.88, 46.28.247.94, 46.28.247.99, 46.28.247.109, 46.28.247.93, 46.28.247.104, 46.28.247.113, 46.28.247.118, 46.28.247.123, 46.28.247.103, )  
facebook.com: 173.252.110.27 (173.252.110.27, )  
a-parser.com: 176.9.9.90 (176.9.9.90, )  
vk.com: 87.240.143.244 (87.240.143.244, 87.240.131.120, )  
yandex.ru: 93.158.134.11 (93.158.134.11, 213.180.193.11, 213.180.204.11, 77.88.21.11, 87.250.250.11, )

Sauvegarde au format SQL

Format du résultat :

[% "INSERT INTO dns VALUES('" _ query _ "', '" _ ip _ "', '" _ ips.format('$ip, ') _ "')\n" %]

Exemple de résultat :

INSERT INTO dns VALUES('vk.com', '87.240.190.67', '87.240.190.67, 87.240.190.72, 87.240.190.78, 93.186.225.208, 87.240.137.158, 87.240.139.194, ')
INSERT INTO dns VALUES('a-parser.com', '176.9.9.90', '176.9.9.90, ')
INSERT INTO dns VALUES('yandex.ru', '5.255.255.50', '5.255.255.50, 77.88.55.50, 77.88.55.88, 5.255.255.5, ')
INSERT INTO dns VALUES('facebook.com', '157.240.19.35', '157.240.19.35, ')
INSERT INTO dns VALUES('youtube.com', '172.217.171.238', '172.217.171.238, ')

Dump des résultats en JSON

Format de sortie general:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.ips = p1.ips;

obj.json %]

Texte initial:

Texte final:

Exemple de résultat :

[
    {"ips":[{"ip":"176.9.9.90"}],"query":"http://a-parser.com/"},
    {"ips":[{"ip":"172.217.173.78"}],"query":"http://google.com/"},
    {"ips":[{"ip":"77.88.55.60"},{"ip":"77.88.55.66"},{"ip":"5.255.255.55"},{"ip":"5.255.255.60"}],"query":"http://yandex.ru/"},
    {"ips":[{"ip":"172.217.25.14"}],"query":"http://youtube.com/"},
    {"ips":[{"ip":"87.240.190.78"},{"ip":"93.186.225.208"},{"ip":"87.240.137.158"},{"ip":"87.240.139.194"},{"ip":"87.240.190.67"},{"ip":"87.240.190.72"}],"query":"http://vk.com/"},
    {"ips":[{"ip":"157.240.196.35"}],"query":"http://facebook.com/"}
]

astuce

Pour que les options "Texte initial" et "Texte final" soient disponibles dans l'Éditeur de tâches, vous devez activer "Plus d'options".

Paramètres possibles

note

Paramètres communs pour tous les scrapers

Paramètre	Valeur par défaut	Description
DNS Servers	`208.67.220.220, 8.8.8.8`	Support de plusieurs serveurs séparés par des virgules
Not found is error	`☐`	Permet de revérifier les fausses réponses des serveurs DNS
Rotation type	`Consistently`	Méthode de sélection du prochain serveur DNS (Séquentiel/Aléatoire)
Ban not working servers	`☑`	Bannissement des serveurs non fonctionnels selon un algorithme heuristique pendant 20 minutes ; s'il ne reste qu'un seul serveur, il n'est pas banni
Query type	`A - Address record`	Permet de choisir le type d'enregistrement

Présentation du scraper​

Données collectées​

Variantes d'utilisation​

Requêtes​

Variantes d'affichage des résultats​

Affichage par défaut​

Sauvegarde au format SQL​

Dump des résultats en JSON​

Paramètres possibles​