SE::Google::SafeBrowsing - Controleer domein in de blacklist van Google
Overzicht van de scraper
De Google Safe Browsing scraper maakt het mogelijk om een domein te controleren in de blacklist van Google. Met behulp van de Google Safe Browsing scraper kunt u uw eigen domeindatabases controleren op aanwezigheid in de blacklist van Google. Meer informatie over deze melding vindt u in de Google Search Help.
De functionaliteit van A-Parser maakt het mogelijk om instellingen voor gegevensextractie op te slaan voor toekomstig gebruik (presets), extractieschema's in te stellen en nog veel meer.
Dankzij de multithreading van A-Parser kan de snelheid van verwerking oplopen tot 3800-4000 aanvragen per minuut.
Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.
Verzamelde gegevens
- Aanwezigheid op de lijst met verdachte sites
Toepassingen
- Controle van een lijst met domeinen op opname in de blacklist van Google
- Monitoring van eigen domeinen op opname in de blacklist van Google
Query's
Als query's moeten de URL's van de gezochte sites worden opgegeven, bijvoorbeeld:
http://a-parser.com/
http://www.yandex.ru/
http://facebook.com/
http://youtube.com/
http://perfect-soft.net/
Voorbeelden van resultaatweergave
A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in elke gewenste vorm kunnen worden weergegeven, evenals in gestructureerde formaten zoals CSV of JSON
Export van de controlelijst in de blacklist
Resultaatformaat:
$query: $exists\n
Voorbeeld van het resultaat, waarin de URL wordt weergegeven en of deze in de blacklist van Google staat:
http://youtube.com/: 0
http://www.yandex.ru/: 0
http://a-parser.com/: 0
http://perfect-soft.net: 1
http://facebook.com/: 0
Resultaten uitvoeren naar een CSV-tabel
De ingebouwde utility $tools.CSVLine maakt het mogelijk om correcte tabeldocumenten te maken, klaar voor import in Excel of Google Sheets.
Algemeen resultaatformaat:
[% tools.CSVline(query.orig,p1.exists) %]
Bestandsnaam:
$datefile.format().csv
Begintekst:
Website,Controleresultaat
Voorbeeld van het resultaat:
Website,Controleresultaat
http://youtube.com/,0
http://www.yandex.ru/,0
http://a-parser.com/,0
http://perfect-soft.net,1
http://facebook.com/,0
In het Algemeen resultaatformaat wordt de sjabloon-engine Template Toolkit gebruikt voor de uitvoer van de query en de controle in de blacklist.
In de bestandsnaam van de resultaten hoeft u alleen de bestandsextensie te wijzigen naar csv.
Om de optie "Prepend text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren. In "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.
Opslaan in SQL-formaat
Resultaatformaat:
[% "INSERT INTO volumes VALUES('" _ query.query _ "', '" _ exists _ "')\n" %]
Voorbeeld van het resultaat:
INSERT INTO serp VALUES('http://www.yandex.ru/', '0')
INSERT INTO serp VALUES('http://a-parser.com/', '0')
INSERT INTO serp VALUES('http://perfect-soft.net', '1')
INSERT INTO serp VALUES('http://facebook.com/', '0')
INSERT INTO serp VALUES('http://youtube.com/', '0')
Resultaten dumpen naar JSON
Algemeen resultaatformaat:
[% IF notFirst;
",\n";
ELSE;
notFirst = 1;
END;
obj = {};
obj.query = p1.query.orig;
obj.exists = p1.exists;
obj.json %]
Begintekst:
[
Eindtekst:
]
Voorbeeld van het resultaat:
[{"query":"http://www.yandex.ru/","exists":"0"},
{"query":"http://youtube.com/","exists":"0"},
{"query":"http://facebook.com/","exists":"0"},
{"query":"http://a-parser.com/","exists":"0"},
{"query":"http://perfect-soft.net","exists":"1"}]
Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Taak-editor, moet u "More options" activeren.
Verwerking van resultaten
A-Parser maakt het mogelijk om resultaten direct tijdens de gegevensextractie te verwerken. In dit gedeelte hebben we de meest populaire cases voor de scraper SE::Google::SafeBrowsing opgenomen.
Domeinen opslaan met de controlewaarde "1"
Voeg een filter toe en kies in de vervolgkeuzelijst de variabele van de controlewaarde $exists - Listed as suspicious. Kies type: String equal. Vervolgens moet u in String de waarde invullen die we nodig hebben: 1. Met dit filter kunt u alle resultaten met een ongewenste waarde verwijderen.
Voorbeeld downloaden
Hoe een voorbeeld te importeren in A-Parser
eJx1VEuP2jAQ/ivI4tBKEMqhl9wAlaoVXbYLe2I5mGTCujger+3wUJT/3rETEth2
b57H983bJXPcHuyjAQvOsnhTMh3eLGarb3H8HXEvIY5XPIOpwZMVat8b9uZCgunB
medaAhswzY0F4/GbD2HklkLGC+nYoGTuooFi4BGMEannECnJySskBxKOXBbenmLO
hWJVh8iEdGDIhdL0XDGDs7CU+6AxrWs/eCu4vGEa0xu1E6hIsKAsq7bbK4udo8m5
J+vrcdR0oDWu+BHWWMeGTu2b8MBzT95PuQNvjbJA9Olz5M6egaep8DG5rCP4FnVR
n5V4C8kpJF96GgF2bjAnlYNA4JWXa3Yb1g8yI4oiYH/XGBZnXFoYMEupzjklkr63
CGoNd2iWoQekLxmqiZQLOILs3AL/tBAypXlOMgL9aID/d1n+w1G15d2GojmfDOXQ
sgRpuvzVoVJc4N7PfEd1S5ELR7KdYaH8YL6Q8gCg2549+J7laKAN0zA30WmnNSi/
VN3IJrpT3ZVxN5Z7ZYIqE/tls6hXz0Kt6XCWaob+BHxdqpCSxmLhqVuPiW3G4IUu
wffgWQjhS78eCHOI0v5c1alqI2j9vvoEc+rkbdSGMuFSPj8tbi2sWykSXp3T8WjE
h/WpRgnmoxfVaE+nU3ThKoVzZIpOnfEEdoiHe+cLFq7Ywb1Sg8kgcUOLmYtUOJ6E
TmKPtKzUsGrb/hHtV1N+/FPEZUX78Mc+1hDfPA8gHU3BhhMeV38BeN+pvw==
Zie ook: Resultaatfilters
Mogelijke instellingen
| Naam parameter | Standaardwaarde | Beschrijving |
|---|---|---|
| Check | Domain | Keuze van het type controle (Domain / Full link) |