Hoppa till huvudinnehåll

SE::Ask - Scraper för amerikanska sökresultat från Google via Ask.com

img

Översikt över scrapern​

Scraper för sökresultat från Ask. Tack vare Ask-scrapern kan du samla in stora databaser med länkar som är redo för vidare användning. Du kan använda sökfrågor på samma sätt som du skriver in dem i sökfältet på Ask, inklusive sökoperatorer (site, inurl etc.).

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för dataskrapning från Ask för framtida bruk (förinställningar), schemalägga körningar och mycket mer. Du kan använda automatisk generering av sökfrågor, infoga undersökfrågor från filer, iterera genom alfanumeriska kombinationer och listor för att få största möjliga antal resultat.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in​

  • Länkar, ankartermer och snippets från sökresultaten
  • Relaterade sökord
Data som samlas in

Funktioner​

  • Skrapar det maximala antalet resultat som tillhandahålls - 10 sidor
  • Skrapar upp till 100 resultat från den amerikanska versionen av Ask.com
  • Möjlighet att samla in relaterade sökord

Användningsfall​

  • Insamling av länkdatabaser - för A-Poster, XRumer, AllSubmitter etc.
  • Bedömning av konkurrens för sökord
  • Sökning efter backlänkar (omnämnanden) av webbplatser
  • Kontroll av webbplatsindexering
  • Sökning efter sårbara webbplatser
  • Alla andra scenarier som innebär dataskrapning av Ask.com i någon form

Sökfrågor​

Som sökfrågor ska du ange sökfraser på exakt samma sätt som om du skrev in dem direkt i sökformuläret på Ask.com, till exempel:

test
fönster Stockholm

Ersättningar i sökfrågor​

Du kan använda inbyggda makron för att multiplicera sökfrågor. Om vi till exempel vill få en mycket stor databas med forum, anger vi några huvudsakliga sökfrågor på olika språk:

forum
forum
foro
论坛

I sökfrågeformatet anger vi en iteration av tecken från a till zzzz. Denna metod gör det möjligt att rotera sökresultaten maximalt och få många nya unika resultat:

$query {az:a:zzzz}

Detta makro kommer att skapa 475254 ytterligare sökfrågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor. Siffran är imponerande, men det är inget problem för A-Parser. Med en hastighet på 2000 sökfrågor per minut kommer en sådan uppgift att bearbetas på bara 16 timmar.

Användning av operatorer​

Du kan använda sökoperatorer i sökfrågeformatet, så att de automatiskt läggs till i varje sökfråga från din lista:

site:$query

Exempel på resultatutdata​

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att exportera resultat i valfri form, samt i strukturerade format som CSV eller JSON.

Export av länklista​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Spara i SQL-format​

På samma sätt som i SE::Google.

Dumpa resultat till JSON​

På samma sätt som i SE::Google.

Behandling av resultat​

A-Parser gör det möjligt att bearbeta resultat direkt under dataskrapningen. I det här avsnittet har vi listat de mest populära fallen för Ask-scrapern.

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Extrahera domäner​

På samma sätt som i SE::Google.

Ta bort taggar från ankartermer och snippets​

På samma sätt som i SE::Google.

På samma sätt som i SE::Google.

Möjliga inställningar​

anteckning

Allmänna inställningar för alla scrapers

Namn på parameterStandardvärdeBeskrivning
Pages count5Antal sidor att skrapa (från 1 till 10)
Use http2☑Använd http2