SE::Yandex::SQI - Controleer de Site Quality Index (SQI) in Yandex

Overzicht van de scraper

SE::Yandex::SQI – controle van de site-kwaliteitsindex in Yandex. Ongelooflijk snelle scraper, werksnelheid 3000-7000 verzoeken per minuut.

U kunt automatische query-vermenigvuldiging gebruiken, subquery's uit bestanden invoegen, alfanumerieke combinaties en lijsten doorlopen om het maximaal mogelijke aantal resultaten te verkrijgen. Door gebruik te maken van resultaatfiltering kunt u het resultaat direct opschonen door alle onnodige ruis te verwijderen (met behulp van uitsluitingswoorden).

De functionaliteit van A-Parser stelt u in staat om de instellingen voor gegevensextractie van de SE::Yandex::SQI scraper op te slaan voor toekomstig gebruik (presets), schema's voor gegevensextractie in te stellen en nog veel meer.

Het opslaan van resultaten is mogelijk in de vorm en structuur die u nodig heeft, dankzij de ingebouwde krachtige sjabloon-engine Template Toolkit waarmee u extra logica op de resultaten kunt toepassen en gegevens in verschillende formaten kunt uitvoeren, waaronder JSON, SQL en CSV.

Ga naar DEMOKoop A-Parser Pro ($299)

Verzamelde gegevens

• Site Quality Index (Yandex SQI)
• Gegevens over de aanwezigheid van badges bij de site (1 - badge ontvangen, 0 - geen badge):
  • Gebruikerskeuze
  • Populaire site
  • Beveiligde verbinding
  • Turbo-pagina's
  • Of de site officieel is
• Voor de badges "Gebruikerskeuze" en "Populaire site" kan de mate van gereedheid voor het ontvangen van de badge worden verkregen als een tussenwaarde van 0 tot 1, bijvoorbeeld 0.4.
• Aantal reviews, beoordeling en rating
• Winkelrating in de zoekresultaten voor producten en winkelrating op Yandex Market (indien deze gegevens beschikbaar zijn voor de gezochte site)

Toepassingen

• Beoordeling van het nut van een site vanuit het oogpunt van Yandex
• Verzamelen van titels

Query's

Als query's moet het domein van de gezochte site worden opgegeven. Dit kan zowel met als zonder protocol, bijvoorbeeld:

yandex.ru 
google.com  
vk.com  
facebook.com  
https://a-parser.com

Varianten van resultaatweergave

A-Parser ondersteunt flexibele formattering van resultaten dankzij de ingebouwde sjabloon-engine Template Toolkit, waardoor resultaten in een vrije vorm kunnen worden weergegeven, evenals in een gestructureerde vorm zoals CSV of JSON

Standaard uitvoer

Resultaatformaat:

$query: $sqi\n

Voorbeeld van een resultaat waarin de oorspronkelijke query en de bijbehorende SQI worden weergegeven:

facebook.com: 130000  
yandex.ru: -1  
https://a-parser.com: 110  
google.com: 120000  
vk.com: 340000

Als de SQI voor een domein niet beschikbaar is, zal het resultaat -1 zijn.

Uitvoer naar CSV-tabel

Resultaatformaat:

[% tools.CSVline(query, sqi, rating); %]

Bestandsnaam:

$datefile.format().csv

Begintekst:

Domein,Rating,Auteur,Prijs

tip

Om de optie "Prepend text" beschikbaar te maken in de Task Editor, moet u "More options" activeren. In de "Prepend text" schrijven we de kolomnamen gescheiden door een komma en maken we de tweede regel leeg.

Opslaan in SQL-formaat

Resultaatformaat:

[% "INSERT INTO sqi VALUES('" _ query _ "', '" _ sqi _ "', '" _ rating _ "')\n" %]

Voorbeeld van resultaat:

INSERT INTO sqi VALUES('google.com', '122000', '87')
INSERT INTO sqi VALUES('yandex.ru', 'none', '92')
INSERT INTO sqi VALUES('https://a-parser.com', '200', '')
INSERT INTO sqi VALUES('vk.com', '326000', '73')
INSERT INTO sqi VALUES('facebook.com', '117000', '66')

Resultaatdump in JSON

Algemeen resultaatformaat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.query = query;
obj.sqi = p1.sqi;
obj.rating = p1.rating;

obj.json %]

Begintekst:

[

Eindtekst:

]

Voorbeeld van resultaat:

[{"query":"vk.com","rating":73,"sqi":326000},
{"query":"google.com","rating":87,"sqi":122000},
{"query":"https://a-parser.com","rating":"","sqi":200},
{"query":"yandex.ru","rating":92,"sqi":"none"},
{"query":"facebook.com","rating":66,"sqi":117000}]

tip

Om de opties "Prepend text" en "Append text" beschikbaar te maken in de Task Editor, moet u "More options" activeren.

Mogelijke instellingen

opmerking

Algemene instellingen voor alle scrapers

Parameter	Standaardwaarde	Beschrijving
AntiGate preset	default	Keuze van preset Util::AntiGate, meer details over de instelling hier
AntiGate preset for old captcha	default	Vergelijkbaar met AntiGate preset, maar wordt alleen gebruikt voor gewone (oude, in de vorm van een enkele afbeelding) captcha's. Als hier geen preset is geselecteerd, wordt de preset gebruikt die is gekozen in AntiGate preset.
Experimental img captcha max count	5	Maximaal aantal herhaalde captcha-afbeeldingen per poging
Preffered captcha type	Click	Keuze van het voorkeurstype captcha: Click of Puzzle
Use sessions	☑	Slaat goede sessies op, wat het mogelijk maakt om nog sneller gegevens te extraheren met minder fouten