Hoppa till huvudinnehåll

SE::Yandex - Scraper för Yandex sökresultat

Yandex

Översikt av scrapern​

Scrapern för Yandex sökresultat rankas med rätta bland de topp 5 mest efterfrågade scrapers. En av de främsta konkurrensfördelarna med vår scraper är dess enorma prestanda. Tack vare flertrådning i A-Parser kan bearbetningshastigheten nå 3000-7000 förfrågningar per minut, vilket i genomsnitt gör det möjligt att få upp till 5 000 000 länkar per minut. Samtidigt är resursförbrukningen minimal; vilken kontors- eller hemldator som helst, samt valfri VDS på ingångsnivå, duger för arbetet. Vår scraper stöder alla Yandex sökoperatorer, vilket avsevärt utökar möjligheterna för dataskrapning. Stabilitet och oavbruten dataskrapning av sökresultat säkerställs genom captcha-igenkänning via AntiCaptcha eller något annat API som stöds (Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha med flera).

Flexibiliteten i inställningarna gör det möjligt att ange typ av sökresultat (mobil/desktop), region, språk, sortering efter datum och mycket mer. Funktionaliteten i A-Parser gör det möjligt att spara inställningar för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Spara resultat är möjligt i den form och struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Användningsfall för scrapern​

Insamlade data​

Insamlade data
  • Antal resultat per fråga
  • Länkar, ankare och snippets från sökresultaten
    • Information om flaggor för varje resultat samlas också in, för närvarande stöds: Date, Image Preview, Video, Rich snippet, Featured snippet
  • Tid för första och senaste cachning (endast för desktop-resultat)
  • Lista över relaterade sökord (Related keywords)
  • Identifierar om Yandex betraktade frågan som ett stavfel eller inte
  • Dataskrapning av länk till sidans cache (endast för desktop-resultat)
  • Förteckning över webbplatsikoner och deras typer, om sådana finns (inklusive Turbo)
  • Övre, mellersta och nedre annonsblock från alla sidor
    • Länk, synlig länk, ankare, snippet och domän
    • Ytterligare länkar och ankare
    • Tunnelbanestation
  • Utelämnade ord (ord som kan visas under varje resultat i sökresultaten med markeringen "Hittades inte")
  • Lista över snabbsvar (Quick answers): frågor, svar, länkar till källor (aktiveras med alternativet Parse Quick answers)
  • AI-svar (Sök med Alice), dess typ och lista över källor

Funktioner​

  • Val av typ av sökresultat: mobil/desktop
  • Stöd för alla Yandex sökoperatorer (site:, lang: etc.)
  • Skrapar det maximala antalet resultat som Yandex tillhandahåller - 25 sidor med 50 element per sida
  • Möjlighet att söka efter relaterade sökord
  • Stöder val av sökregion och domän
  • Möjlighet till sortering av sökresultat efter datum
  • Skrapar tid för sidindexering, med möjlighet att filtrera resultat efter denna parameter
  • Alternativ för webbläsaremulering (möjliggör hög hastighet och låg captcha-förbrukning)
  • Möjlighet att kringgå captcha med hjälp av tjänsten AntiCaptcha eller något annat API som stöds (rekommenderas att aktivera parametern is_russian i anti-gate inställningarna)
  • Möjlighet att ange antal snabbsvar (Quick answers) som scrapern ska samla in genom att klicka sig djupare i varje fråga

bild

Följande scrapers fungerar baserat på Yandex-scrapern:

Användningsområden​

  • Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter etc.
  • Bedömning av konkurrens för sökord
  • Sökning efter bakåtlänkar (omnämnanden) av webbplatser
  • Kontroll av webbplatsindexering
  • Sökning efter sårbara webbplatser
  • Alla andra scenarier som involverar dataskrapning av Yandex i någon form

Frågor​

Som frågor ska sökfraser anges, precis som om de skrevs direkt i Yandex sökformulär, till exempel:

fönster Stockholm
lang:en windows Moscow
url:a-parser.com
site:a-parser.com
"a-parser.com"

Frågesubstitutioner​

Du kan använda inbyggda makron för att multiplicera frågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudfrågor på olika språk:

forum
forum
foro
论坛

I frågeformatet anger vi en teckenkombination från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 ytterligare frågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 frågor per minut kommer en sådan uppgift att bearbetas på endast 16 timmar.

Användning av operatorer​

Du kan använda sökoperatorer i frågeformatet, så att de automatiskt läggs till i varje fråga från din lista:

site:$query

Konton​

För att scrapern SE::YandexSE::Yandex ska fungera kan Yandex-konton behövas. Konton kan registreras med hjälp av scrapern SE::Yandex::RegisterSE::Yandex::Register eller så kan befintliga konton läggas till i filen files/SE-Yandex/accounts.txt i det format som stöds.

Alternativt kan man aktivera kontoregistrering "i farten".

För att arbeta med auktorisering via session krävs att datasträngen är i följande format: [email protected];MAQT78Z31Rinx4H;{"answer":"qmfhsxdcrk","proxy":"185.104.120.45:3128","session_id":"3:1748440908.5.0.1748440867459:ZXBxpg:47e4.1.2:1|2191075974.41.2.2:41.3:1748440908|3:10308131.797655.5pfkoRZWgLJGntKTlcUhYdysNfk"}

Exempel på resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON

Export av länklista​

Resultatformat:

$serp.format('$link\n')

Exempel på resultat:

https://TestoMetrika.com/tests/
https://onlinetestpad.com/ru/tests
https://www.speedtest.net/
https://ustaliy.ru/testi/
https://yandex.ru/internet/
https://konstruktortestov.ru/popular
https://TestEdu.ru/test/
https://kto-chto-gde.ru/category/tests/
https://weekend.rambler.ru/tests/
https://GadalkinDom.ru/test
...

Resultatformat:

[% FOREACH item IN serp;    loop.count _ ' - ' _ item.link _ ' - ' _ item.anchor _ ' - ' _ item.snippet _ "\n"; END %]

Exempel på resultat:

1 - http://forum.r-rp.ru/ - <b>forum</b>.r-rp.ru - 
2 - https://forum.arizona-rp.com/ - <div class=a11y-hidden>Webbresultat med ytterligare länkar</div><b>Forum</b> – Arizona Role Play - Meny. Hem. <b>Forum</b>. Nya meddelanden. Vad är nytt? Nya meddelanden. Användare. Nuvarande besökare. <b>Forum</b>. Logga in. ... Statistik för <b>forumet</b>. Ämnen. 1,247,176. Meddelanden. 5,225,340. Användare. 623,675. 
3 - https://ru.wikipedia.org/wiki/%D0%A4%D0%BE%D1%80%D1%83%D0%BC - <b>Forum</b> — Wikipedia - <b>Fórum</b> (lat. <b>forum</b> — ark. förgård till grav; yta i press för druvor som ska bearbetas; marknadsplats, stadstorg; handelsplats, centralt torg):
4 - https://zen.yandex.ru/media/propromotion/chto-takoe-forum-i-vse-chto-s-nim-sviazano-5d65164c1d656a00ad52ba30 - Vad är ett <b>forum</b> och allt som hör till det | Kreativ... - Idag ska vi prata om vad ett <b>forum</b> är och allt som hör till det med enkla och lättförståeliga ord. Var och en av oss strävar efter att hitta en person att kommunicera med om gemensamma intressen, dela erfarenheter, ge råd. I dagens värld har allt detta blivit möjligt utan att lämna hemmet. Just en av formerna för sådan virtuell kontakt är ett webb-<b>forum</b>. 
5 - https://forum.vimeworld.ru/ - VimeWorld - <b>Forum</b> - <b>Forum</b> för projektet med ideala Minecraft-spelservrar - VimeWorld...
...

Det inbyggda verktyget $tools.CSVLine gör det möjligt att skapa korrekta tabelldokument, redo för import till Excel eller Google Kalkylark.

Allmänt resultatformat:

[%  FOREACH i IN p1.serp;    tools.CSVline(i.link, i.anchor, i.snippet); END  %]

Filnamn:

$datefile.format().csv

Starttext:

Länk,Ankare,Snippet

tips

I Allmänt resultatformat används mallmotorn Template Toolkit för att mata ut arrayen $serp i en loop FOREACH.

I filnamnet för resultaten behöver du bara ändra filtillägget till csv.

För att alternativet "Starttext" ska vara tillgängligt i Uppgiftsredigeraren, måste du aktivera "Fler alternativ". I "Starttext" skriver vi kolumnnamnen separerade med kommatecken och gör den andra raden tom.

Utmatning av annonsblock​

Resultatformat:

$ads.format('$link - $anchor - $snippet\n')

Exempel på resultat:

http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Köp</b> <b>flygbiljett</b> till / aviasales.ru - Vi erbjuder: <b>Köp</b> <b>flygbiljett</b> till här. Supererbjudande! Skynda!
http://yabs.yandex.ru/count/WgGejI_zO5e2rHG092HY-_ryhkYFF0K0MWCnZYWCO000000u109mhDZpa8WGW07ZZm680U2f-wrQa07AywxRoe20W0AO0ShphjjAk06oWAxe8C01NDW1e8MobW7W0TJCXm_e0O01c0BImFq2e0BuQjW20l02g_w3YWNu0l3gyU2XnhZLvG600vF6eiSFY0FStR-O39W3cyKxYga3-0JJpWI81TFE1905Z-zGe0MPj06e1PMM0R05bPO1k0NInnJ01TF1ZG781PNz8uheD8-kAs27sGO0000GaG000Aa7xtUKqlAB7m6m1u20c0ou1u05yGTxKlEQZtj_VeI2l3M02W712l_aZtPQIU8_oGeJ5NRdMhxJFweB4E0yOqplTm00p5BUXP6v1G3P2-WBqyu4y0i6Y0ookzw-0QaCu_jL-Yu3zB_e3AC2u0s3W810YGwgO5HI9w3dYj7J-UZrYh27s0u2-0x7dPAe2Q4FFGhNet0zzZ_P3_0_W13GmC4Rm92GPpgqxC9xJZC_iHAuM7p6uhZj0k0JqiSKe1JInnIe58_lKB0KYw381hWKmAo0jQI04TWK-FpP_WNe58m2q1Nu_Dd-1TWLmOhsxAEFlFnZyA0Mq92TW0R95j0MihlUlW615vWNfwZz3wWN2S0Nj0BO5y24FPaOe1WAi1Z9fB201j0O8VWOgVYRg8x-yPebW1cmzBZYqBsHkI2G6G6W6S83i1cu6V___m7I6H9vOM9pNtDbSdPbSYzoD3atBJBe6O320_0PWC83WHh__oD2TTsApne0jsLWrgrT_2INXiZt8r8kcvWxe0SCE37tPBmjEYG0203ecjreFlD0AY-khXXjgcFZa190IXd9BOrkl3guMzzraExES_xHXH4WwWDq1xIoUlHJ6Y74~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Köp</b> <b>flygbiljett</b> online på Tutu.ru! Officiell webbplats! - Flygbiljetter till lågt pris! Förmånliga flyg över hela världen! <b>Köp</b> biljett online!
http://yabs.yandex.ru/count/WcOejI_zO3C2vH80P1zY-_ryBtnaD0K0CmCnZYWCO000000u109mhiMfd8qUW07CkUOvY07Kyz3GCP01vCcQhIwO0PgqhFigk06qZQ3m6C01NDW1gkAR5E01kAZK4-W1y06W0kYCvAl-Wue5-0Bmwl7WeSQurUK1c0FRc3lkh0Ju1Bpr48W5lFKGa0MxjssW1Qxa1QW5hkG5i0Mkv0Mu1OYr9S05eTt90SW5aFn4YkWqZwuhO8VP1W00012H0000gGVlTvJIyeiV0R07W82O3BW7W0Nn1tjIyvgFUtz-X8A0WSIqXdB92j4AXC7wM-4_u3nZJEzt003CKjw5aRa50DaBw0kyzRAxthu1gGn-j62AsN3cl-WCemBW3OE0W4293eDHIPs09kwAqTFvwFMAi8VO3WAX3zaFW13WszlG4DcTXo9ZI0HkD3-n4YxXl0bOc-q2u1E8jIMW58Yr9QWKkxTjl9wVx0Ne58m2q1Mydf_i1TWLmOhsxAEFlFnZyA0Mq92TW0R95l0_q1Qokzw-0O4N0F0_c1UwdvGKg1S9m1Uq0jWNm8GzcHYW60wm68UTi806q1WX-1Yf-9keZlxncYM06R3qkEBGlP6v890P0Q0PmWEm6RWP____0T8P4dbXOdDVSsLoTcLoBt8qEJSjCkWPWC83y1c0mWE16l__WxZFMxv27W2GPM2khLr2HGBSgKCU4fSjR_apLy29ToVZBSaX0K10aLK2xDc6HsxyWlx3mqOzRTCnV7G7IDvEXnY4YqauFXdHmHcIWrcJNGT1NfMC_8eB8q1m1-WEYbKFtWBTZHwcD4A80G00~1?from=yandex.ru%3Bsearch%26%23x2F%3B%3Bweb%3B%3B0%3B&amp;q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%B0%D0%B2%D0%B8%D0%B0%D0%B1%D0%B8%D0%BB%D0%B5%D1%82%D1%8B&amp;etext=2202.wBaB7RlytlP_PRaU6jPhHD2nHBNT_4gSF6009OyJEfpWjUPoA5WrSJAqCfap0m9ReXhoaGRlaWhmYmllemF2ZA.f04b1271668949ea17ffcafcb11c72c2ab6454c5 - <b>Köp</b> <b>flygbiljett</b> till / aviasales.ru - Vi erbjuder: <b>Köp</b> <b>flygbiljett</b> till här. Supererbjudande! Skynda!
...

Resultatformat:

$related.format('$key\n')

Exempel på resultat:

<b>test</b> tanki online
tanki online
alla <b>tester</b> punkt ru
i exam ru testning
<b>test</b> för internethastighet
<b>tests</b>24.ru
speedtest
online <b>test</b> för pc-prestanda
online-testning
my <b>test</b> student hur man får svar
...
tips

För att automatiskt ta bort HTML-taggar i resultatet bör du använda Resultatbyggaren, välja arrayen $related och tillämpa Remove HTML tags.

Sökordskonkurrens​

Resultatformat:

$query - $totalcount\n

Exempel på resultat:

alla tester punkt ru - 25000000
online-testning - 13000000
tanki online - 7000000
i exam ru testning - 27000000
tests24.ru - 238000000
online prestandatest pc - 16000000
speedtest - 2000000
internethastighetstest - 16000000
test tanki online - 19000000
my test student hur man får svar - 16000000

Identifiering av sökord med felstavningar​

Resultatformat:

$query - $misspell\n

Exempel på resultat:

online-testning - 0
internethastighetstest - 0
onlin-testning - 1
test för internethastigheet - 1

Kontroll av länkindexering​

Frågeformat:

site:$query

Resultatformat:

$query.orig - $totalcount\n

Exempel på resultat:

https://a-parser.com/pages/buy - 2
https://a-parser.com/wiki/parsers - 16
https://trjkjfkdf.bg.ky - 0
https://a-parser.com/resources - 1000
https://a-parser.com/forum - 499
tips

För att kontrollera länkindexering, infoga motsvarande operator i Frågeformatet: site:.

Resultatformatet matas ut som "ursprunglig url - antal sidor i index".

Som resultat får vi sidornas adress och deras antal i sökmotorns index.

Om sidan saknas blir resultatet: 0.

Spara i SQL-format​

Resultatformat:

[%  FOREACH serp;   "INSERT INTO serp VALUES('" _ query _ "', '";   link _ "', '";  anchor _ "')\n"; END  %]

Exempel på resultat:

INSERT INTO serp VALUES('test', 'https://konstruktortestov.ru/popular', 'Populära online <b>tester</b>')
INSERT INTO serp VALUES('test', 'https://TestoMetrika.com/tests/', 'Online <b>tester</b> c med exakta resultat från psykologiska...')
INSERT INTO serp VALUES('test', 'https://ustaliy.ru/testi/', '<b>Tester</b> online: bästa, intressanta och populära')
INSERT INTO serp VALUES('test', 'https://www.SunHome.ru/tests/Interesting_tests', 'Intressanta <b>tester</b>. Gör psykologiska intressanta...')
INSERT INTO serp VALUES('test', 'https://onlinetestpad.com/ru/tests', '<b>Tester</b> online | Online Test Pad')
...

Dumpa resultat till JSON​

Allmänt resultatformat:

[% IF notFirst;
  ",\n";
ELSE;
  notFirst = 1;
END;

obj = {};
obj.totalcount = p1.totalcount;
obj.links = [];

FOREACH item IN p1.serp;
    obj.links.push(item.link);
END;

obj.json %]

Starttext:

[

Sluttext:

]

Exempel på resultat:

[{"totalcount":113000000,"links":["https://TestoMetrika.com/tests/","https://konstruktortestov.ru/popular","https://ustaliy.ru/testi/","https://www.SunHome.ru/tests/Interesting_tests","https://GadalkinDom.ru/test","https://zen.yandex.ru/tes","https://onlinetestpad.com/ru/tests","https://kto-chto-gde.ru/category/tests/","https://psytests.org/top.html","https://MixTests.com/new/","https://TestEdu.ru/test/","https://testserver.pro/index","https://onedio.ru/tests","https://BankTestov.ru/","https://weekend.rambler.ru/tests/","https://edieta.org/testi","https://trikky.ru/?%21","https://BBF.ru/tests/","https://dropi.ru/c/tests/raznie","https://cadelta.ru/tests","https://www.Elle.ru/tests/","https://www.adme.ru/svoboda-psihologiya/polnyj-spisok-psihologicheskih-testov-dlya-poznaniya-sebya-kotorye-mozhno-projti-onlajn-2071715/","https://www.ellegirl.ru/tests/","https://test.tankionline.com/","https://vraki.net/onlajn-testy/","https://Lifehacker.ru/psixologicheskie-testy/","https://iq2u.ru/tests","https://www.b17.ru/tests/","https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D1%81%D1%82","https://gurutest.ru/test/","https://www.psychologies.ru/tests/","https://peopletalk.ru/category/tests/","https://obrazovaka.ru/testy","https://likeyou.io/category/test/","https://ProfTest.me/tests","https://TayniyMir.com/testy","https://psi-technology.net/psytest/","https://www.kp.ru/putevoditel/online-test/","https://tvoytest.ru/","https://twizz.ru/tests/","https://lunanews.net/testy/","https://www.ivi.ru/titr/tests","https://sntch.com/tests/","https://testy.online/","https://videouroki.net/tests/","https://www.speedtest.net/ru","https://rb.ru/tests/","https://aznaetelivy.ru/tests/","https://woman-psy.com/psihologicheskie-testy/testy_na_eruditsiyu_i_znaniya/interesnye_testy/","https://mamochka-club.com/psihologicheskie-testy/interesnye-testy/"]}]
tips

För att alternativen "Starttext" och "Sluttext" ska vara tillgängliga i Uppgiftsredigeraren, måste du aktivera "Fler alternativ".

Bearbetning av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära användningsfallen för Yandex-scrapern

Lägg till dubblettkontroll och välj i rullgardinsmenyn $serp.$i.link - Link.

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJx9VE2P2jAQ/SurEYdWQqvQLpfcWFSqVnTZLuyhohy8ZIJcHNu1HQqK+O+dCUkc
ttVeoszze/NtVxCE3/tHhx6Dh3Rdga3/IYXlpzT9IXSGx5u51Ht/86zl7xJhCFY4
j47p6x6LDjLMRakCDCsIJ4vkxBzQOZmxSmZkW2eOJ4fBSfSEHYQqmTZKkgTOb8jE
Drem1CFqRm/QFedr0bEsKsZJT1K2xVC5nHK6BqrJEsBi2AwbxupC95Sx3kGLflbm
RShIgyvxvNm0XvzMuEJw8wZ2dNt0sjtcigOuDB3mUsXIfkbWgyg4yiATAfn0Nq8d
vXt/G47sQWSZDNJooS4RuPcxajOYFLQhLv1yd2fOFAQFrB0weGqzW8OgtmOV3y8a
SHOhPA7BU6ozQYlkr09kQCeCcQvL+RBegdETpeZ4QBVptf/7UqqMFmWSk+hLI/w/
ZfGPj3NXXj8UDfqPoxw6L7V1v/gWVZmZmx1Vnr3UwyxkINtP6+1JISFwj2i7nj1w
zwrjsAvTeG6i092wqHmr4sgmNkJXZVyN5RrcGp3L3aLZ1JZZ6hVdwIWemsIq5Lp0
qRSNxeNTXI+Jb8bARkzwtXhah+DS23sIwRjlvy4vqVonaf3GnGBBnexHbVxuhVLP
T/P+CcSVIuNnmdzdfeDvx3H9P7ogwNqAO0NbRZWdN90r0b0tVf+tSKszjeqXf7yQ
uC6mEEYN8jQHvuB/AYBymo0=
tips

Se även: Resultatens dubblettkontroll

Lägg till dubblettkontroll och välj i rullgardinsmenyn $serp.$i.link - Link. Välj typ av dubblettkontroll: Domän.

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJx9VE2P2jAQ/SvI4tBKCIV2ueTG0lK1ost2YQ8V5WDIBLk4tms7FBTx33fGCXHY
VnuxPG/mzbddMc/dwT1acOAdS9cVM+HOUrb8nKY/ucrg1JsLdXC9ZyX+lNDbnnuf
dMGFYgNmuHVgibju2KMig5yX0rNBxfzZALrTR7BWZIBKkaFsrD6dLXgrwCF25LIk
s1GSJOzyBo3vYadL5SNn9Ia5pMwNWKJFxjjpUMpQFiqxcEo5XTOsySBAZLYZNBar
2jy71l6jX6TecslSb0u4bDZXL26mbcGpjX0zGjY9bZVLfoSVRmUuZIzsZig98IKi
9DPugbTDPDh6937oT+SBZ5nwQisu6wjU+xi1HhHylUZbvFJ3Z1YXCHkIDgg8X7Nb
s36QY5U/ag5Lcy4dDJjDVGccE8lea4QHy722C0P5IF4xrSZSzuEIMpoF//elkBku
yiRH0teG+H+TxT8+Lm153VA46L8Wc2i9BOl+8T2yMj3XexrZNgyzEB5lNw3bk7IE
wQOAaXv2QD0rtIU2TOO5iY6vxICirYojm5gI3ZRxM5ZbcKdVLvaLZlOvlqVa4VNc
qKkujASqS5VS4lgcPMX1mLhmDCTEBF+TpyEElX59h8xrLd23ZZ2qsQLXb0wJFtjJ
btTG5Y5L+fw072pYXCkUfpXJ3d0HOj+Ow31UI4y4HvYatworu2zaX6L9ZaruX5FW
FxzVb/dYG1FdZIIYNsjhHOiBvwAa7J3h
tips

Se även: Resultatens dubblettkontroll

Extrahera domäner​

Lägg till Resultatbyggaren och välj källa i rullgardinsmenyn: $p1.serp.$i.link - Link. Välj typ: Extract Domain.

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJx9VEtv2zAM/isFkcMGBIGzNRff0qwBNmRN17SHIetBi+lAiyxpkpwlMPzfR8qO
7XZDL4b5+Eh+fKiCIPzB3zv0GDyk2wps/IcUNrdp+l3oDE9Xt6fgxC5cfTKFkNrD
GKxwHh0jtgNHMmSYi1IFGFcQzhYpjjmiczJDMsqMZOvM6ewwOIkc6ShUyW7TJEmg
fgMm9rgzpQ49ZvqGu5L64C06hvWIWVI/P4+BKFKNfmlcIZjqyE4nLe/OuBFHfDRk
zKXCXr0k6U4UnHKUiYBsneQx0Lv3k3DiCCLLZJBGC9Vk4Db1WZ+0/B0Za0O+9MuN
WDpTkCpgDMDK86W6LYyiDBSijNhvDQbSXCiPY/BU6lJQIdlriwzoRDBubbke0ldg
9FypFR5R9W4x/k0pVUYznecE+twC/++y/idG3dEbpqKZ/HFUQxclSjfrrz0qMyuz
J+bZT+KtZCEDyX4RB51CQsoDou16dsc9K4zDLk0buc1Om2xR8wL0I5vbXvWCxoux
DJQVeFO6HeXbJuMt0KLbWJw+AG9Pu3HYHEVzEzx158SZ9K17MO0WQk2YndG53K/b
Jb1kLvUjnd9aL0xhFXKfdKkUjdnjQ79uc9+OlYWe8GvwIqbgVl5OkGowyn/ZNNSt
k1TSjAkXNJlh1jbkTij19LAaWqBfURJ+lMn19Qf+fpzF/2mjAcYG3BvaUmLGhNsH
ontZquEzkVY1jf6Xv2+cmBe7kI4a5GmufNt/AaiMmIc=
tips

Se även: Resultatbyggaren

Ta bort taggar från ankare och snippets​

Lägg till Resultatbyggaren och välj källa i rullgardinsmenyn: $p1.serp.$i.anchor - Anchor. Välj typ: Remove HTML tags.

Lägg till igen Resultatbyggaren och välj källa i rullgardinsmenyn: $p1.serp.$i.snippet - Snippet. Välj typ: Remove HTML tags.

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJyVVN9v2jAQ/lcii4dNQihs5SVvFA11Ey0dtA8T64NHLszDsT3bYaCI/313jknS
rqq0lyi+u++7X59dM8/d3t1bcOAdyzY1M+GfZWz9Kcu+cZXDMVlBqQ+Q3DzcLhLP
dy4prC6Tqdr+1NYlGJOslTCGKIbMcOvAEtmmx4GOHApeSc+GNfMnA5gCSa0VOaBT
5Hg2Vh9PFrwVQEwHLisKG6dpys5vwPgOtrpSvsOM3wiXQu2dAUuwDjFJz09PQ4bd
Y41urm3JaQoDMx7FkbTONT/Ag0ZnISR05jme7nhJKQc590DeURGI3r0f+SMx8DwX
XmjFZZOBxtRlfVTid+hYaYzFXxrEHGeNJg+BgIynS3UbNghnhhRVwH5tMCwruHQw
ZA5LnXMsJH/pER4s99ouDdWD9pppNZVyAQeQXVjgv66EzHGn0wJBnyPw9ZDlPxzn
tr1+KtzJH4s1tCzhdL287VC5Xugddp7/wL6lKIXHs5uFRWcsReMewLQzu6OZldpC
myYyx+wocgOKBNCtbGo607M2nq2lZ6yZ05XdYr5NOtwwFLqhrYabwEg/UXM23Jgb
X0pyW8tPaIzRnqQTISTT1xhdc5/+i/KCOSNmq1Uhdsuo/Es7lXrA675UM10aCTR8
VUmJ2nGw6jQ8dVErdOim+BI8CyloP5d7jWVo6b6sm3kaK7CqyTAW3s8aKbdcysfV
ou9hne7x8L1Kr64+0PfjJPyPGwsjrIedRuljZ9RwfHXal6zuvz1ZfUY9/XL3TRD1
RSFowwE5FAs9GH8BhLW+Jg==
tips

Resultatbyggaren kan läggas till så många gånger du behöver.

Se även: Resultatbyggaren

Lägg till ett filter och välj i rullgardinsmenyn: $serp.$i.link - Link. Välj typ: Innehåller sträng. Därefter ska du i Sträng skriva in filtreringskriteriet, till exempel om vi vill att endast länkar som innehåller .com, ska sparas i resultatet, så skriver vi det i "Sträng".

Ladda ner exempel

Hur man importerar ett exempel till A-Parser

eJx9VE2P2jAQ/SvI4tBKCMFhL7mxqEit6LJd2EOFOHjxJHJxbNd2KCjKf++ME+Kw
rfaW+Xhv3nw4NQvcn/yzAw/Bs2xfMxu/Wca2X7LsJ9cCLqOVVAGc1MXo7TryIX5J
PVJSn9iEWe48OELvByAMCMh5pQKb1CxcLSCnOYNzUgAGpUDbOnO5OkBG8Og7c1VR
2nw2m7HmAxgv4GgqHRJm/kE66fQWHMES4mE2gOSxQwxi9yQ52zPsyaIjNnmYdBm7
Nv1odOBSDyRPj6ZE09ggjUbbg/asORxujH5lXMlprmM7n3ZD7oNbfoadaXVAcuPc
4YmXxD8WPABFp3kk+vR5Gi7EwIWQVJOrtgLtIVV91fJ31KcN5uInTXrlUGvGAkQC
cl5v6vZsHG3quIrYHy2GZTlXHibMo9QVRyHifUTifHgwbhNngP6aGb1Qag1nUCkt
8j9WUgk8mkWOoK8d8P8pm384mr69YSlc+h+HGnqWaD1uvieUMGtTYOfiLS62lAFt
v4yXlLEZOk8Atp/ZE82sNA76Mh1zVx2fjQVNF5ZWtrDJddfG3VrunXhNuSw23dXe
Miu9w7e50UtTWgXUl66UwrV4eEnnsfDdGshIAt+Dl7EEtX57kywYo/y3bSvVOonn
90ACS5zksGpHeeRKvb6shxGWTiqekyfaI95pYfCCsIvm0P8d+l9MPfxHZHWDa/nl
n9sk6oFS0IfD8PElzZu/Z6ed/A==
tips

Se även: Resultatfilter

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
AntiGate presetdefaultVal av förinställning Util::AntiGateUtil::AntiGate, mer om inställningen här
AntiGate preset for old captchadefaultLiknar AntiGate preset, men används endast för vanliga (gamla, som en bild) captchas. Om ingen förinställning väljs här, kommer förinställningen vald i AntiGate preset att användas för dessa captchas.
Experimental img captcha max count5Maximalt antal upprepade captcha-bilder per försök
Preffered captcha typeClickVal av föredragen captcha-typ: Click eller Puzzle
EngineHTTP (Fast, JavaScript Disabled)Gör det möjligt att välja motor: HTTP (snabbare, men högre risk för captcha) eller webbläsare (långsammare, men lägre risk för captcha)
DeviceModern desktop computer (Windows 10, Chrome 84)Val av typ av sökresultat (Desktop computer / Mobile device)
Pages count5Antal sidor att skrapa (från 1 till 25)
Sort serp by date☐Sortering av sökresultat efter datum
Serp timeAll timeSökperiod
Yandex domainwww.yandex.ruYandex-domän för dataskrapning, alla domäner stöds (.ru, .ua, .by, .kz, .com.tr, .com). Från version 1.1.345 väljs den automatiskt baserat på den valda regionen.
Region of serp (lr=)MoskvaVal av sökregion (parameter lr=)
Custom region IDMöjlighet att ange region-ID som saknas i valfältet. Detta alternativ har prioritet över alternativet Region of serp (lr=). Motsvarande domän måste ställas in i Yandex domain.
Search sites from (rstr=)Not setVal av regional koppling för webbplatser (parameter rstr=)
LanguageAnySpråk för sökresultat (Russian, English, Belorussian, French, German, Indonesian, Kazakh, Tatar, Turkish, Ukrainian)
Parse not found☑Avgör om sökresultaten ska skrapas om noll resultat hittades för den sökta frågan och resultat för en annan fråga föreslås
Not personalized☐Personalisering av sökning. Mer information här
Filter pagesModerate filterFiltrering av resultat från oönskat innehåll (Family search / Moderate filter / Do not filter)
Use Accounts☐Arbeta med befintliga konton i filen files/SE-Yandex/accounts.txt. SE::Yandex::RegisterSE::Yandex::Register - Gör det möjligt att registrera konton i Yandex
Remove bad accounts☑Borttagning av ogiltiga konton
Quick answers count0Maximalt antal frågor-svar (Quick answers) per fråga som scrapern ska samla in
Parse generative answer☐Om generativt svar ska skrapas (detta lägger till en extra underfråga och saktar därmed ner det totala arbetet)
AccountsOnly from "accounts.txt"Val av metod för att arbeta med konton: Always auto register - registrera alltid konton automatiskt "i farten", kräver att en konfigurerad förinställning väljs i parametern SE::Yandex::Register preset. Auto register if no more in "accounts.txt" - först används befintliga konton från accounts.txt, och om de tar slut används automatisk registrering "i farten", för vilken en konfigurerad förinställning måste väljas i parametern SE::Yandex::Register preset. Only from "accounts.txt" - använd endast befintliga konton från accounts.txt, och om de tar slut - vänta den angivna tiden (parametern Wait new accounts in "accounts.txt") på att nya ska dyka upp. Only by session_id from "accounts.txt" - auktorisering via cookies.
Remove bad accountsAlways, except wrong login/passwordAutomatisk borttagning av "dåliga" konton: Always - ta alltid bort. Always, except wrong login/password - ta alltid bort, utom när Yandex meddelat att felaktigt användarnamn/lösenord angetts. Faktum är att Yandex kan ge ett sådant meddelande vid IP-blockering för ett fullt fungerande konto, så man kan valfritt behålla sådana konton för återanvändning. Never - ta aldrig bort. Oavsett valt alternativ tas konton inte bort vid proxy-/webbläsarfel
Use sessions☑Användning av sessioner
Wait new accounts in "accounts.txt"0Väntetid för nya konton i accounts.txt
SE::Yandex::Register presetdefaultVal av förinställning för SE::Yandex::RegisterSE::Yandex::Register
Force neuro☐Tvingad aktivering av neuro-svar, liknande manuell växling mellan "Sök" och "Sök med Alice"