Hoppa till huvudinnehåll

SE::Baidu - Scraper för Baidus sökresultat

img

Översikt av scrapern​

Scraper för Baidus sökresultat. Tack vare Baidu-scrapern kan du få enorma databaser med länkar, redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i Bings sökfält, inklusive sökoperatörer (filetype, site, intitle).

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för Baidu-scrapern för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av sökfrågor, infogning av undersökfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

I Baidu-scrapern är det möjligt att spara resultat i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Användningsfall för scrapern​

Insamlade data​

  • Länkar
  • Snippets
  • Ankare
  • Totalt antal resultat
  • Lista över relaterade ord
  • Antal sidor i sökresultatet
Insamlade data

Funktioner​

  • Skrapar upp till 5000 resultat per sökfråga
  • Stöd för alla Baidu sökoperatörer (filetype:, site:, intitle:).
  • Samlar in sökresultat och relaterade sökord
  • Omvandling av förkortade länkar till fullständiga (alternativet Get full links)

Användningsområden​

  • Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter osv.
  • Bedömning av konkurrens för sökord
  • Kontroll av webbplatsers indexering
  • Insamling av sidor som innehåller specifika sökord i sidtiteln

Sökfrågor​

Som sökfrågor ska sökfraser anges, till exempel:

test
site:www.baidu.com  
百度产品大全
intitle:scraper

Sökfrågesubstitutioner​

Du kan använda inbyggda makron för att multiplicera sökfrågor, till exempel om vi vill få en mycket stor databas med forum, anger vi några huvudsökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en genomgång av tecken från a till zzzz, denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 extra sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inget problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.

Användning av operatörer​

Du kan använda sökoperatörer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:

site:$query

Exempel på resultatutmatning​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör att den kan mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON

Export av länklista​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Sökordskonkurrens​

På samma sätt som i SE::Google.

Kontroll av länkindexering​

På samma sätt som i SE::Google.

Spara i SQL-format​

På samma sätt som i SE::Google.

Dumpa resultat till JSON​

På samma sätt som i SE::Google.

Bearbetning av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Baidu-scrapern

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Extrahera domäner​

På samma sätt som i SE::Google.

Ta bort taggar från ankare och snippets​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

ParameternamnStandardvärdeBeskrivning
Pages count5Antal sidor att skrapa (från 1 till 100)
Links per page50Antal länkar i resultatet per sida (10 / 20 / 50)
Get full links☐Omvandling av förkortade länkar till fullständiga (avstängd som standard)