Zum Hauptinhalt springen

SE::Yandex - Parser für die Yandex-Suchergebnisse

Yandex

Übersicht des Parsers​

Der Parser für die Yandex-Suchergebnisse gehört zu den Top 5 der gefragtesten Scraper. Einer der wichtigsten Wettbewerbsvorteile unseres Parsers ist seine enorme Leistungsfähigkeit. Dank der Multithreading-Funktion von A-Parser kann die Verarbeitungsgeschwindigkeit 3000-7000 Anfragen pro Minute erreichen, was im Durchschnitt bis zu 5.000.000 Links pro Minute liefert. Dabei ist der Ressourcenverbrauch minimal: Jeder Büro- oder Heimcomputer sowie jeder Einsteiger-VDS ist für den Betrieb geeignet. Unser Parser unterstützt alle Yandex-Suchoperatoren, was die Möglichkeiten der Datenerfassung erheblich erweitert. Die Stabilität und Kontinuität der Datenerfassung wird durch die Captcha-Erkennung über AntiCaptcha oder jede andere unterstützte API (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha und andere) gewährleistet.

Die Flexibilität in den Einstellungen ermöglicht die Angabe des Ausgabetyps (Mobil/Desktop), der Region, der Sprache, der Sortierung nach Datum und vieles mehr. Die Funktionalität von A-Parser erlaubt es, Einstellungen für die zukünftige Verwendung zu speichern (Presets), Zeitpläne festzulegen und vieles mehr. Sie können die automatische Abfrage-Multiplikation, die Substitution von Unterabfragen aus Dateien, das Durchlaufen von alphanumerischen Kombinationen und Listen nutzen, um die maximal mögliche Anzahl an Ergebnissen zu erhalten.

Das Speichern der Ergebnisse ist in jeder gewünschten Form und Struktur möglich, dank der integrierten leistungsstarken Template-Engine Template Toolkit, die es erlaubt, zusätzliche Logik auf die Ergebnisse anzuwenden und Daten in verschiedenen Formaten auszugeben, einschließlich JSON, SQL und CSV.

Anwendungsbeispiele für den Parser​

Gesammelte Daten​

Gesammelte Daten
  • Anzahl der Ergebnisse pro Abfrage
  • Links, Ankertexte und Snippets aus den Suchergebnissen
    • Informationen über Flags für jedes Ergebnis werden ebenfalls gesammelt; derzeit unterstützte Flags: Date, Image Preview, Video, Rich snippet, Featured snippet
  • Zeit des ersten und letzten Cachings (nur für Desktop-Ergebnisse)
  • Liste verwandter Keywords (Related keywords)
  • Bestimmt, ob Yandex die Abfrage als Tippfehler eingestuft hat oder nicht
  • Erfassung des Links zum Seitencache (nur für Desktop-Ergebnisse)
  • Liste der Website-Icons sowie deren Typen, falls vorhanden (einschließlich Turbo)
  • Obere, mittlere und untere Werbeblöcke von allen Seiten
    • Link, sichtbarer Link, Anker, Snippet und Domain
    • Zusätzliche Links und Anker
    • Metro-Station
  • Fehlende Wörter (Wörter, die unter jedem Ergebnis in der Ausgabe mit dem Hinweis "Nicht gefunden" angezeigt werden können)
  • Liste der Schnellantworten (Quick answers): Fragen, Antworten, Links zu Quellen (wird über die separate Option Parse Quick answers aktiviert)
  • KI-Antwort (Suche mit Alice), Typ und Liste der Quellen

Funktionen​

  • Auswahl des Ausgabetyps: Mobil/Desktop
  • Unterstützung aller Suchoperatoren von Yandex (site:, lang: usw.)
  • Extrahiert die maximale von Yandex ausgegebene Anzahl an Ergebnissen – 25 Seiten mit je 50 Elementen
  • Möglichkeit zur Suche nach verwandten Keywords
  • Unterstützt die Auswahl der Suchregion und Domain
  • Möglichkeit zur Sortierung der Ergebnisse nach Datum
  • Erfasst die Indizierungszeit der Seite mit der Möglichkeit, Ergebnisse nach diesem Parameter zu filtern
  • Option zur Browser-Emulation (ermöglicht hohe Geschwindigkeiten bei geringem Captcha-Verbrauch)
  • Möglichkeit zur Captcha-Umgehung mit dem AntiCaptcha-Dienst oder jeder anderen unterstützten API (es wird empfohlen, den Parameter is_russian in den AntiGate-Einstellungen zu aktivieren)
  • Möglichkeit, die Anzahl der Schnellantworten (Quick answers) festzulegen, die der Parser durch tieferes Klicken auf jede Frage sammeln soll

img

Auf Basis des Yandex-Parsers arbeiten folgende Scraper:

Anwendungsfälle​

  • Sammeln von Linkdatenbanken – für A-Poster, XRumer, AllSubmitter usw.
  • Bewertung des Wettbewerbs für Keywords
  • Suche nach Backlinks (Erwähnungen) von Websites
  • Überprüfung der Indizierung von Websites
  • Suche nach anfälligen Websites
  • Alle anderen Varianten, die Yandex-Datenerfassung in irgendeiner Form beinhalten

Abfragen​

Als Abfragen müssen Suchbegriffe angegeben werden, genau so, als ob sie direkt in das Yandex-Suchformular eingegeben würden, zum Beispiel:

fenster Moskau
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

Abfrage-Substitutionen​

Sie können integrierte Makros zur Abfrage-Multiplikation verwenden. Wenn wir beispielsweise eine sehr große Foren-Datenbank erhalten möchten, geben wir einige Hauptabfragen in verschiedenen Sprachen an:

forum
forum
foro
论坛

Im Abfrageformat geben wir den Zeichen-Durchlauf von a bis zzzz an. Diese Methode ermöglicht es, die Suchergebnisse maximal zu rotieren und viele neue einzigartige Ergebnisse zu erhalten:

$query {az:a:zzzz}

Dieser Makro erstellt 475254 zusätzliche Abfragen für jede ursprüngliche Suchanfrage, was insgesamt 4 x 475254 = 1901016 Suchanfragen ergibt. Eine beeindruckende Zahl, aber für A-Parser ist das absolut kein Problem. Bei einer Geschwindigkeit von 2000 Abfragen pro Minute wird eine solche Aufgabe in nur 16 Stunden abgearbeitet.

Verwendung von Operatoren​

Sie können Suchoperatoren im Abfrageformat verwenden, sodass diese automatisch zu jeder Abfrage aus Ihrer Liste hinzugefügt werden:

site:$query

Accounts​

Für den Betrieb des Parsers SE::YandexSE::Yandex können Yandex-Accounts erforderlich sein. Accounts können mit dem Parser SE::Yandex::RegisterSE::Yandex::Register registriert oder einfach vorhandene Accounts zur Datei files/SE-Yandex/accounts.txt im unterstützten Format hinzugefügt werden.

Alternativ kann die Account-Registrierung "on-the-fly" aktiviert werden.

Um die Autorisierung per Session zu nutzen, muss der Datenstring in diesem Format vorliegen: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Beispiele für die Ergebnisausgabe​

A-Parser unterstützt eine flexible Formatierung der Ergebnisse dank der integrierten Template-Engine Template Toolkit, dies ermöglicht die Ausgabe in beliebiger Form sowie in strukturierter Form, wie z. B. CSV oder JSON

Export einer Linkliste​

Ergebnisformat:

$serp.format('$link\n')

Beispielergebnis:

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

Ergebnisformat:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Beispielergebnis:

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>Web-Ergebnis mit zusätzlichen Links</div><b>Forum</b> – Arizona Role Play - Menü. Hauptseite. <b>Foren</b>. Neue Nachrichten. Was ist neu? Neue Nachrichten. Benutzer. Aktuelle Besucher. <b>Foren</b>. Login. ... Statistik des <b>Forums</b>. Themen. 1,247,176. Nachrichten. 5,225,340. Benutzer. 623,675. 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>Forum</b> — Wikipedia - <b>Fórum</b> (lat. <b>forum</b> — arch. Vorhof des Grabes; Platz in der Kelter für die zu verarbeitenden Trauben; Marktplatz, städtischer Markt; Handelsplatz, zentraler Platz):
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - Was ist ein <b>Forum</b> und alles, was damit zusammenhängt | Kreativ... - Heute sprechen wir darüber, was ein <b>Forum</b> ist und über alles, was damit zusammenhängt, in einfachen und verständlichen Worten. Jeder von uns strebt danach, eine Person zu finden, mit der man über gemeinsame Interessen kommunizieren, Erfahrungen teilen und Ratschläge geben kann. In der modernen Welt ist all dies möglich geworden, ohne das Haus zu verlassen. Genau eine Form eines solchen virtuellen Kontakts ist das Web-<b>Forum</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>Forum</b> - <b>Forum</b> des Projekts idealer Minecraft-Spieleserver - VimeWorld...
...

Das integrierte Tool $tools.CSVLine ermöglicht die Erstellung korrekter Tabellendokumente, die für den Import in Excel oder Google Sheets bereit sind.

Allgemeines Ergebnisformat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Dateiname:

$datefile.format().csv

Anfangstext:

Link,Anker,Snippet

Tipp

Im Allgemeinen Ergebnisformat wird die Template Toolkit Engine verwendet, um das Array $serp in einer Schleife auszugeben FOREACH.

Im Dateinamen der Ergebnisse müssen Sie lediglich die Dateiendung in .csv ändern.

Damit die Option "Anfangstext" im Task-Editor, verfügbar ist, müssen Sie "Mehr Optionen" aktivieren. In den "Anfangstext" schreiben wir die Spaltennamen durch Kommas getrennt und lassen die zweite Zeile leer.

Ausgabe von Werbeblöcken​

Ergebnisformat:

$ads.format('$link - $anchor - $snippet\n')

Beispielergebnis:

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Kaufen</b> <b>Flugticket</b> bis / aviasales.ru - Wir bieten: <b>Kaufen</b> <b>Flugticket</b> bis hier. Superangebot! Beeilen Sie sich!
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Kaufen</b> <b>Flugticket</b> online auf Tutu.ru! Offizielle Seite! - Flugtickets zum niedrigen Preis! Günstige Flüge weltweit! <b>Ticket</b> online kaufen!
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Kaufen</b> <b>Flugticket</b> bis / aviasales.ru - Wir bieten: <b>Kaufen</b> <b>Flugticket</b> bis hier. Superangebot! Beeilen Sie sich!
...

Ergebnisformat:

$related.format('$key\n')

Beispielergebnis:

<b>test</b> tanki online
tanki online
alle <b>Tests</b> Punkt ru
i exam ru testen
<b>Test</b> Internetgeschwindigkeit
<b>tests</b>24.ru
speedtest
Online <b>Test</b> PC-Leistung
online testen
my <b>test</b> student wie man Antworten erfährt
...
Tipp

Damit HTML-Tags im Ergebnis automatisch entfernt werden, sollten Sie den Ergebnis-Builder, verwenden, das Array $related auswählen und Remove HTML tags.

Keyword-Wettbewerb​

Ergebnisformat:

$query - $totalcount\n

Beispielergebnis:

vse testy tochka ru - 25000000
online testen - 13000000
tanki online - 7000000
i exam ru testen - 27000000
tests24.ru - 238000000
online pc leistungstest - 16000000
speedtest - 2000000
internet geschwindigkeitstest - 16000000
test tanki online - 19000000
my test student wie man antworten findet - 16000000

Bestimmung von Keywords mit Fehlern​

Ergebnisformat:

$query - $misspell\n

Beispielergebnis:

online testen - 0
internet geschwindigkeitstest - 0
onlijn tastirovanie - 1
test skarosti intrneta - 1

Überprüfung der Link-Indizierung​

Abfrageformat:

site:$query

Ergebnisformat:

$query.orig - $totalcount\n

Beispielergebnis:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499
Tipp

Um die Indizierung von Links zu prüfen, setzen Sie im Abfrageformat den entsprechenden Operator ein: site:.

Das Ergebnis format wird als "Original-URL - Anzahl der Seiten im Index" ausgegeben.

Als Ergebnis erhalten wir die Adresse der Seiten und deren Anzahl im Index der Suchmaschine.

Falls die Seite nicht vorhanden ist, lautet das Ergebnis: 0.

Speichern im SQL-Format​

Ergebnisformat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Beispielergebnis:

INSERT INTO serp VALUES('Test', 'https://konstruktortestov.ru/popular', 'Beliebte Online-<b>Tests</b>')
INSERT INTO serp VALUES('Test', 'https://TestoMetrika.com/tests/', 'Online-<b>Tests</b> c mit genauem Ergebnis von psychologischen...')
INSERT INTO serp VALUES('Test', 'https://ustaliy.ru/testi/', '<b>Tests</b> online: beste, interessante und beliebte')
INSERT INTO serp VALUES('Test', 'https://www.SunHome.ru/tests/Interesting_tests', 'Interessante <b>Tests</b>. Psychologische interessante bestehen...')
INSERT INTO serp VALUES('Test', 'https://onlinetestpad.com/ru/tests', '<b>Tests</b> online | Online Test Pad')
...

Ergebnis-Dump in JSON​

Allgemeines Ausgabeformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Anfangstext:

[

Endtext:

]

Beispielergebnis:

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]
Tipp

Damit die Optionen "Anfangstext" und "Endtext" im Task-Editor, verfügbar sind, müssen Sie "Mehr Optionen" aktivieren.

Ergebnisverarbeitung​

A-Parser ermöglicht es, Ergebnisse direkt während der Datenerfassung zu verarbeiten. In diesem Abschnitt haben wir die beliebtesten Anwendungsfälle für den Yandex-Parser aufgeführt

Fügen Sie eine Eindeutigkeitsprüfung hinzu und wählen Sie in der Dropdown-Liste $serp.$i.link - Link.

Beispiel herunterladen

Wie man ein Beispiel in A-Parser importiert

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=
Tipp

Siehe auch: Eindeutigkeit der Ergebnisse

Fügen Sie eine Eindeutigkeitsprüfung hinzu und wählen Sie in der Dropdown-Liste $serp.$i.link - Link. Wählen Sie als Typ der Eindeutigkeitsprüfung: Domain.

Beispiel herunterladen

Wie man ein Beispiel in A-Parser importiert

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h
Tipp

Siehe auch: Eindeutigkeit der Ergebnisse

Domain-Extraktion​

Fügen Sie den Ergebnis-Builder hinzu und wählen Sie in der Dropdown-Liste als Quelle: $p1.serp.$i.link - Link. Wählen Sie als Typ: Extract Domain.

Beispiel herunterladen

Wie man ein Beispiel in A-Parser importiert

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=
Tipp

Siehe auch: Ergebnis-Builder

Entfernen von Tags aus Ankern und Snippets​

Fügen Sie den Ergebnis-Builder hinzu und wählen Sie in der Dropdown-Liste als Quelle: $p1.serp.$i.anchor - Anchor. Wählen Sie als Typ: Remove HTML tags.

Fügen Sie erneut den Ergebnis-Builder hinzu und wählen Sie in der Dropdown-Liste als Quelle: $p1.serp.$i.snippet - Snippet. Wählen Sie als Typ: Remove HTML tags.

Beispiel herunterladen

Wie man ein Beispiel in A-Parser importiert

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==
Tipp

Der Ergebnis-Builder kann so oft hinzugefügt werden, wie Sie benötigen.

Siehe auch: Ergebnis-Builder

Fügen Sie einen Filter hinzu und wählen Sie in der Dropdown-Liste: $serp.$i.link - Link. Wählen Sie als Typ: Enthält String. Geben Sie dann unter String das Filterkriterium ein. Wenn Sie beispielsweise nur Links speichern möchten, die .com, enthalten, geben Sie dies in das Feld "String" ein.

Beispiel herunterladen

Wie man ein Beispiel in A-Parser importiert

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==
Tipp

Siehe auch: Ergebnisfilter

Mögliche Einstellungen​

Hinweis

Allgemeine Einstellungen für alle Parser

ParameternameStandardwertBeschreibung
AntiGate presetdefaultAuswahl des Presets Util::AntiGateUtil::AntiGate, mehr zur Einstellung hier
AntiGate preset for old captchadefaultAnalog zu AntiGate preset, wird jedoch nur für gewöhnliche (alte, als einzelnes Bild vorliegende) Captchas verwendet. Wenn hier kein Preset ausgewählt ist, wird für solche Captchas das in AntiGate preset gewählte Preset verwendet.
Experimental img captcha max count5Maximale Anzahl wiederholter Captcha-Bilder pro Versuch
Preffered captcha typeClickAuswahl des bevorzugten Captcha-Typs: Click oder Puzzle
EngineHTTP (Fast, JavaScript Disabled)Ermöglicht die Wahl der Engine: HTTP (schneller, aber höhere Captcha-Wahrscheinlichkeit) oder Browser (langsamer, aber geringere Captcha-Wahrscheinlichkeit)
DeviceModern desktop computer (Windows 10, Chrome 84)Auswahl des Ausgabetyps (Desktop computer / Mobile device)
Pages count5Anzahl der zu parsenden Seiten (von 1 bis 25)
Sort serp by date☐Sortierung der Ergebnisse nach Datum
Serp timeAll timeSuchzeitraum
Yandex domainwww.yandex.ruYandex-Domain für das Scraping; alle Domains werden unterstützt (.ru, .ua, .by, .kz, .com.tr, .com). Ab Version 1.1.345 wird sie automatisch basierend auf der gewählten Region ausgewählt.
Region of serp (lr=)MoskauAuswahl der Suchregion (Parameter lr=)
Custom region IDMöglichkeit, eine Regions-ID anzugeben, die nicht im Auswahlfeld vorhanden ist. Diese Option hat Vorrang vor der Option Region of serp (lr=). Die entsprechende Domain muss in Yandex domain festgelegt sein.
Search sites from (rstr=)Not setAuswahl der regionalen Website-Bindung (Parameter rstr=)
LanguageAnySprache der Suchergebnisse (Russisch, Englisch, Belarussisch, Französisch, Deutsch, Indonesisch, Kasachisch, Tatarisch, Türkisch, Ukrainisch)
Parse not found☑Bestimmt, ob die Ergebnisse gecrawlt werden sollen, wenn für die gesuchte Abfrage null Ergebnisse gefunden wurden und Ergebnisse für eine andere Abfrage vorgeschlagen werden
Not personalized☐Personalisierung der Suche. Mehr dazu hier
Filter pagesModerate filterFilterung der Ergebnisse von unerwünschten Inhalten (Family search / Moderate filter / Do not filter)
Use Accounts☐Arbeit mit vorhandenen Accounts in der Datei files/SE-Yandex/accounts.txt. SE::Yandex::RegisterSE::Yandex::Register - Ermöglicht die Registrierung von Accounts bei Yandex
Remove bad accounts☑Löschen ungültiger Accounts
Quick answers count0Maximale Anzahl von Frage-Antwort-Paaren (Quick answers) pro Abfrage, die der Parser sammeln soll
Parse generative answer☐Ob die generative Antwort gecrawlt werden soll (dies fügt eine zusätzliche Unterabfrage hinzu und verlangsamt somit die Gesamtarbeit)
AccountsOnly from "accounts.txt"Auswahl der Methode für die Arbeit mit Accounts: Always auto register – Accounts immer automatisch "on-the-fly" registrieren, erfordert die Auswahl eines konfigurierten Presets im Parameter SE::Yandex::Register preset. Auto register if no more in "accounts.txt" – zuerst werden vorhandene Accounts aus accounts.txt verwendet; wenn diese aufgebraucht sind, wird die automatische Registrierung "on-the-fly" genutzt, wofür ein konfiguriertes Preset im Parameter SE::Yandex::Register preset gewählt werden muss. Only from "accounts.txt" – nur vorhandene Accounts aus accounts.txt verwenden; wenn diese aufgebraucht sind, die festgelegte Zeit warten (Parameter Wait new accounts in "accounts.txt"), bis neue erscheinen. Only by session_id from "accounts.txt" – Autorisierung über Cookies.
Remove bad accountsAlways, except wrong login/passwordAutomatisches Löschen "schlechter" Accounts: Always – immer löschen. Always, except wrong login/password – immer löschen, außer wenn Yandex meldet, dass Login/Passwort falsch sind. Der Grund ist, dass Yandex diese Meldung auch bei einer IP-Sperre für einen voll funktionsfähigen Account ausgeben kann, daher können solche Accounts optional für die Wiederverwendung behalten werden. Never – niemals löschen. Unabhängig von der gewählten Option werden Accounts bei Proxy-/Browserfehlern nicht gelöscht
Use sessions☑Verwendung von Sessions
Wait new accounts in "accounts.txt"0Wartezeit auf neue Accounts in accounts.txt
SE::Yandex::Register presetdefaultAuswahl des Einstellungs-Presets für SE::Yandex::RegisterSE::Yandex::Register
Force neuro☐Erzwungenes Aktivieren der Neuro-Antwort, analog zum manuellen Umschalten zwischen "Suche" und "Suche mit Alice"