Hoppa till huvudinnehåll

SE::Bing - Scraper för Bings sökresultat

Bing

Översikt över scrapern​

Scraper för Bings sökresultat. Tack vare scrapern SE::Bing kan du samla in stora databaser med länkar redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Bings sökfält, inklusive sökoperatorer (contains, intitle, language, site etc.). Mer information finns på den officiella sidan Advanced search keywords.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Bing-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infogning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Användningsfall för scrapern​

Insamlade data​

  • Antal resultat per sökfråga
  • Länkar, ankare och snippets från sökresultaten
  • Lista över relaterade sökord (Related keywords)
  • Länkar, synliga länkar, ankare, snippets och annonsposition från annonsresultaten
Insamlade data

Funktioner​

  • Stöd för alla Bings sökoperatorer (site:, ip: etc.). Mer information om sökoperatorer på den officiella sidan Advanced search keywords.
  • Skrapar det maximala antalet resultat som Bing tillhandahåller - upp till 200 sidor av sökresultat
  • Kan automatiskt skrapa mer än 1000 resultat per sökfråga - lägger till extra tecken (alternativet Parse all results)
  • Möjlighet till djupskrapning baserat på relaterade sökord (Parse related to level)
  • Möjlighet att söka efter relaterade sökord
  • Möjlighet att skrapa länkar till cachade sidor
  • Möjlighet att skrapa mobila sökresultat
  • Stöd för dataladdning vid skrollning i mobil layout

Följande scrapers baseras på Bing-scrapern:

  • SE::Bing::PositionSE::Bing::Position - bestämning av positioner för valfria webbplatser i sökresultaten enligt en lista med frågor

Användningsområden​

  • Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter etc.
  • Bedömning av konkurrens för sökord
  • Sökning efter backlänkar (omnämnanden) av webbplatser
  • Kontroll av webbplatsers indexering
  • Sökning efter sårbara webbplatser
  • Sökning efter webbplatser på samma IP-adress
  • Alla andra scenarier som innebär dataskrapning av Bing i någon form

Sökfrågor​

Som sökfrågor ska du ange sökfraser på exakt samma sätt som om du skrev in dem direkt i Bings sökformulär, till exempel:

test
fönster Stockholm   
site:http://lenta.ru  
ip:222.36.12.12

Sökfrågesubstitutioner​

Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en teckeniteration från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 extra sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inga problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.

Användning av operatorer​

Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:

site:$query

Exempel på resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, samt i strukturerad form som CSV eller JSON.

Export av länklista​

Samma som i SE::Google.

Samma som i SE::Google.

Samma som i SE::Google.

Samma som i SE::Google.

Sökordskonkurrens​

Samma som i SE::Google.

Kontroll av länkindexering​

Samma som i SE::Google.

Spara i SQL-format​

Samma som i SE::Google.

Dumpa resultat till JSON​

Samma som i SE::Google.

Bearbetning av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Bing-scrapern.

Samma som i SE::Google.

Samma som i SE::Google.

Extrahera domäner​

Samma som i SE::Google.

Ta bort taggar från ankare och snippets​

Samma som i SE::Google.

Samma som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
Pages count10Antal sidor att skrapa (från 1 till 200)
RegionBased on IPVal av region. Lista över regioner.
Interface languageAnyVal av gränssnittsspråk. Lista över språk.
Safe SearchModerateVal av alternativ för säker sökning (Strict / Moderate / Off)
DeviceDesktopVal av sökenhet (Desktop / Mobile)
Show inaccessible results☐Gör det möjligt att visa dolda resultat
Stop pagination by results count0Stoppa paginering när ett visst antal resultat har uppnåtts. Fungerar som ett komplement till Pages count; skrapningen stoppas beroende på vad som uppnås först: det angivna antalet sidor eller det angivna antalet resultat.
Handle captcha max pages10Maximalt antal samtidigt öppna sidor genom vilka cookies genereras, vilket krävs för att framgångsrikt passera captcha. Begränsar parallellismen under captcha-hanteringsfasen.