Hoppa till huvudinnehåll

SE::Yandex::Balaboba - scraper för texter från Balaboba

SE::Yandex::Balaboba

Översikt av scrapern

SE::Yandex::BalabobaSE::Yandex::Balaboba - scraper för texter från Balaboba.

Hämtar texter från tjänsten med samma namn.

Du kan använda automatisk multiplikation av frågor, ersättning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.

Funktionaliteten i A-Parser gör det möjligt att spara inställningar för scrapern SE::Yandex::Balaboba för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer.

Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa ytterligare logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.

Data som samlas in

  • Genererad text
  • Stil som texten genererades med
  • Länk till bild

Funktioner

  • Skrapa unika texter med möjlighet att välja textstil (parametern Style): Recept (RU), Korta historier (RU), Recipies (EN) och andra
  • Val av stilnummer som kan ses i webbläsaren för att skrapa med önskad textstil om den inte finns i stilvalsmenyn (parametern ID of custom style)

Användningsfall

  • Massinsamling av unika texter

Frågor

Som frågor bör du ange fraser som genereringen ska börja med, till exempel:

Det var en gång

Frågeersättningar

Du kan använda inbyggda makron för automatisk ersättning av underfrågor från filer. Om vi till exempel vill lägga till en lista med andra ord till varje fråga, anger vi några huvudfrågor:

Det var en gång
Fantasy
Tower defense

I frågeformatet anger vi ett makro för att hämta ytterligare ord från filen keywords.txt. Denna metod gör det möjligt att öka variationen av frågor mångfaldigt:

{subs:keywords} $query 

Detta makro kommer att skapa lika många ytterligare frågor som det finns i filen för varje ursprunglig sökfråga, vilket totalt ger [antal ursprungliga frågor] x [antal frågor i filen Keywords] = [totalt antal frågor] som ett resultat av makrots arbete.

Till exempel, om filen keywords.txt innehåller:

free
online

Då kommer ersättningsmakrot att omvandla 3 huvudfrågor till 6:

free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg

Exempel på utdata

A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som strukturerat, till exempel CSV eller JSON.

Standardutdata

Resultatformat:

$style: $text\n

Exempel på resultat:

Utan stil (RU): Det var en gång tre små grisar, tre bröder.
Och var och en av dem hade ett hus.
De var mycket vänliga grisar.
De hjälpte varandra med allt, och om något hände en av dem, kom den andre brodern alltid till undsättning.
En dag började det snöa kraftigt, och bröderna bestämde sig för att gömma sig i sina hus.
Men då kom en grå varg runt hörnet.
Han var hungrig och såg att husen inte hade några dörrar.
Då bestämde sig vargen för att gå in i det första huset och äta upp grisen.
Vargen öppnade snabbt dörren och tittade in.

Möjliga inställningar

ParameterStandardvärdeBeskrivning
StyleRandom (All languages)Val av textstil
ID of custom styleAnge stilnummer för textgenerering
Repeat if Balaboba reports about errorFörsök igen om Balaboba visade ett felmeddelande
Repeat if Balaboba reports about bad queryFörsök igen om Balaboba visade ett meddelande på grund av en ogiltig fråga