SE::Google::SafeBrowsing - Google kara listesinde alan adı kontrolü
Veri kazıyıcı incelemesi
Google Safe Browsing veri kazıyıcı, bir alan adının Google kara listesinde olup olmadığını kontrol etmenizi sağlar. Google Safe Browsing veri kazıyıcıyı kullanarak kendi alan adı veritabanlarınızın Google kara listesinde olup olmadığını denetleyebilirsiniz. Bu uyarı hakkında daha fazla bilgiyi Google Arama Yardımı sayfasından edinebilirsiniz.
A-Parser işlevselliği, veri çekme ayarlarını daha sonra kullanmak üzere kaydetmenize (presetler), veri çekme zamanlaması oluşturmanıza ve çok daha fazlasına olanak tanır.
A-Parser'ın çoklu iş parçacığı (multithreading) çalışması sayesinde, istek işleme hızı dakikada 3800-4000 isteğe ulaşabilir.
Sonuçlara ek mantık uygulamanıza ve verileri JSON, SQL ve CSV dahil olmak üzere çeşitli formatlarda çıktı almanıza olanak tanıyan yerleşik güçlü şablon motoru Template Toolkit sayesinde sonuçların kaydedilmesi ihtiyacınız olan biçim ve yapıda mümkündür.
Toplanan veriler
- Şüpheli siteler listesinde bulunma durumu
Kullanım senaryoları
- Alan adı listesinin Google kara listesine alınıp alınmadığının kontrolü
- Kendi alan adlarınızın Google kara listesine girişinin izlenmesi
Sorgular
Sorgu olarak aranacak sitenin URL'sini belirtmeniz gerekir, örneğin:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/
Sonuç çıktı seçenekleri
A-Parser, yerleşik Template Toolkit şablonlayıcısı sayesinde esnek sonuç formatlamayı destekler; bu da sonuçları serbest formda veya CSV ya da JSON gibi yapılandırılmış formatlarda çıktı almanıza olanak tanır.
Kara liste kontrol listesinin dışa aktarımı
Sonuç formatı:
$query: $exists\n
URL'yi ve Google kara listesinde olup olmadığını gösteren sonuç örneği:
http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0
Sonuçların CSV tablosuna aktarılması
Yerleşik $tools.CSVLine aracı, Excel veya Google Tablolar'a içe aktarılmaya hazır, doğru tablo belgeleri oluşturmanıza olanak tanır.
Genel sonuç formatı:
[% tools.CSVline(query.orig,p1.exists) %]
Dosya adı:
$datefile.format().csv
Başlangıç metni:
Site,Kontrol sonucu
Sonuç örneği:
Site,Kontrol sonucu
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
Genel sonuç formatında, sorguyu ve kara liste kontrolünü çıktı olarak vermek için Template Toolkit şablonlayıcısı kullanılır.
Sonuç dosya adında dosya uzantısını csv olarak değiştirmeniz yeterlidir.
"Prepend text" seçeneğinin Görev Düzenleyici'de görünmesi için "More options" kısmını etkinleştirmeniz gerekir. "Prepend text" kısmına sütun adlarını virgülle ayırarak yazın ve ikinci satırı boş bırakın.
SQL formatında kaydetme
Sonuç formatı:
[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]
Sonuç örneği:
INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')
Sonuçların JSON formatında dökümü
Genel sonuç formatı:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;
obj.json %]
Başlangıç metni:
[
Bitiş metni:
]
Sonuç örneği:
[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
"Prepend text" ve "Append text" seçeneklerinin Görev Düzenleyici'de görünmesi için "More options" kısmını etkinleştirmeniz gerekir.
Sonuçların işlenmesi
A-Parser, sonuçları doğrudan veri çekme sırasında işlemenize olanak tanır; bu bölümde SE::Google::SafeBrowsing veri kazıyıcı için en popüler senaryoları sunduk.
Kontrol değeri "1" olan alan adlarını kaydetme
Bir filtre ekleyin ve açılır listeden kontrol değeri değişkenini seçin: $exists - Listed as suspicious. Tür olarak şunu seçin: String equal. Ardından String (Dize) kısmına ihtiyacımız olan değeri yazın: 1. Bu filtre ile istenmeyen değerlere sahip tüm sonuçları eleyebilirsiniz.
Örneği indir
Örnek A-Parser nasıl aktarılır
eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
Ayrıca bakınız: Sonuç filtreleri
Olası ayarlar
| Parametre adı | Varsayılan değer | Açıklama |
|---|---|---|
| Check | Domain | Kontrol türü seçimi (Domain / Full link) |