Net::DNS - scraper rozwiązuje domeny na adresy IP
Przegląd scrapera
Net::DNS – zbiera rekordy DNS nazwy domeny. Zautomatyzowany masowy resolving bazy domen, sprawdzanie dostępności domen.Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera Net::DNS do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyświetlać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Lista adresów IP
- Serwer DNS użyty przy udanym zapytaniu
- Rekord DNS dowolnego typu (wyświetlane w formacie JSON, dzięki czemu można wygodnie pobierać ich poszczególne parametry)
Warianty wykorzystania
- Resolving bazy domen
- Sprawdzanie dostępności domen
Zapytania
Jako zapytania należy podać listę domen, na przykład:
a-parser.com
yandex.ru
google.com
vk.com
facebook.com
youtube.com
Warianty wyświetlania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyświetlać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON
Wynik domyślny
Format wyniku:
$query: $ip ($ips.format('$ip, '))\n
W rezultacie wyświetlona jest domena i jej adresy IP:
youtube.com: 173.194.70.136 (173.194.70.136, 173.194.70.190, 173.194.70.93, 173.194.70.91, )
google.com: 46.28.247.98 (46.28.247.98, 46.28.247.89, 46.28.247.84, 46.28.247.108, 46.28.247.119, 46.28.247.114, 46.28.247.88, 46.28.247.94, 46.28.247.99, 46.28.247.109, 46.28.247.93, 46.28.247.104, 46.28.247.113, 46.28.247.118, 46.28.247.123, 46.28.247.103, )
facebook.com: 173.252.110.27 (173.252.110.27, )
a-parser.com: 176.9.9.90 (176.9.9.90, )
vk.com: 87.240.143.244 (87.240.143.244, 87.240.131.120, )
yandex.ru: 93.158.134.11 (93.158.134.11, 213.180.193.11, 213.180.204.11, 77.88.21.11, 87.250.250.11, )
Zapisywanie w formacie SQL
Format wyniku:
[% "INSERT INTO dns VALUES('" _ query _ "', '" _ ip _ "', '" _ ips.format('$ip, ') _ "')\n" %]
Przykład wyniku:
INSERT INTO dns VALUES('vk.com', '87.240.190.67', '87.240.190.67, 87.240.190.72, 87.240.190.78, 93.186.225.208, 87.240.137.158, 87.240.139.194, ')
INSERT INTO dns VALUES('a-parser.com', '176.9.9.90', '176.9.9.90, ')
INSERT INTO dns VALUES('yandex.ru', '5.255.255.50', '5.255.255.50, 77.88.55.50, 77.88.55.88, 5.255.255.5, ')
INSERT INTO dns VALUES('facebook.com', '157.240.19.35', '157.240.19.35, ')
INSERT INTO dns VALUES('youtube.com', '172.217.171.238', '172.217.171.238, ')
Zrzut wyników do JSON
Ogólny format wyniku:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = query;
obj.ips = p1.ips;
obj.json %]
Tekst początkowy:
[
Tekst końcowy:
]
Przykład wyniku:
[
{"ips":[{"ip":"176.9.9.90"}],"query":"http://a-parser.com/"},
{"ips":[{"ip":"172.217.173.78"}],"query":"http://google.com/"},
{"ips":[{"ip":"77.88.55.60"},{"ip":"77.88.55.66"},{"ip":"5.255.255.55"},{"ip":"5.255.255.60"}],"query":"http://yandex.ru/"},
{"ips":[{"ip":"172.217.25.14"}],"query":"http://youtube.com/"},
{"ips":[{"ip":"87.240.190.78"},{"ip":"93.186.225.208"},{"ip":"87.240.137.158"},{"ip":"87.240.139.194"},{"ip":"87.240.190.67"},{"ip":"87.240.190.72"}],"query":"http://vk.com/"},
{"ips":[{"ip":"157.240.196.35"}],"query":"http://facebook.com/"}
]
Aby opcje "Prepend text" i "Append text" były dostępne w Edytorze zadań, należy aktywować "More options".
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| DNS Servers | 208.67.220.220, 8.8.8.8 | Obsługa wielu serwerów oddzielonych przecinkami |
| Not found is error | ☐ | Pozwala ponownie sprawdzać fałszywe odpowiedzi z serwerów DNS |
| Rotation type | Consistently | Metoda wyboru następnego serwera DNS (Sekwencyjnie/Losowo) |
| Ban not working servers | ☑ | Blokowanie niedziałających serwerów za pomocą algorytmu heurystycznego na 20 minut, jeśli pozostał tylko jeden serwer - nie jest on blokowany |
| Query type | A - Address record | Pozwala wybrać typ rekordu |