SE::Yandex::Balaboba - scraper tekstów z Balaboba
Przegląd scrapera
SE::Yandex::Balaboba - scraper tekstów z Balaboba.Pobiera teksty z serwisu o tej samej nazwie.
Możesz używać automatycznego mnożenia zapytań, podstawiania podzapytań z plików, iteracji kombinacji alfanumerycznych oraz list w celu uzyskania maksymalnej możliwej liczby wyników.
Funkcjonalność A-Parser pozwala zapisywać ustawienia scrapowania scrapera SE::Yandex::Balaboba do dalszego wykorzystania (presety), ustawiać harmonogram scrapowania i wiele więcej.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, której potrzebujesz, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i wyprowadzać dane w różnych formatach, w tym JSON, SQL i CSV.
Zbierane dane
- Wygenerowany tekst
- Styl, według którego tekst został wygenerowany
- Link do obrazka
Możliwości
- Scrapowanie unikalnych tekstów z możliwością wyboru stylu tekstu (parametr Style):
Przepisy (RU),Krótkie historie (RU),Recipies (EN)i inne - Wybór numeru stylu, który można zobaczyć w przeglądarce i scrapowanie z odpowiednim stylem tekstu, jeśli nie ma go w opcjach wyboru stylu (parametr ID of custom style)
Warianty użycia
- Masowe zbieranie unikalnych tekstów
Zapytania
Jako zapytania należy podawać frazy, od których rozpocznie się generowanie, na przykład:
Dawno, dawno temu
Podstawianie zapytań
Możesz użyć wbudowanych makr do automatycznego podstawiania podzapytań z plików, na przykład chcemy do każdego zapytania dodać listę innych słów, określmy kilka głównych zapytań:
Dawno, dawno temu
Fantasy
Tower defense
W formacie zapytań podamy makro podstawiania dodatkowych słów z pliku keywords.txt, ta metoda pozwala wielokrotnie zwiększyć wariatywność zapytań:
{subs:keywords} $query
To makro utworzy tyle samo dodatkowych zapytań, ile znajduje się w pliku dla każdego wyjściowego zapytania, co w sumie da [liczba zapytań wyjściowych] x [liczba zapytań w pliku Keywords] = [całkowita liczba zapytań] w wyniku działania makra.
Na przykład, jeśli plik keywords.txt będzie zawierać:
free
online
W rezultacie makro podstawień zamieni 3 główne zapytania w 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu wyprowadzać wyniki w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON
Domyślne wyjście
Format wyniku:
$style: $text\n
Przykład wyniku:
Bez stylu (RU): Dawno, dawno temu żyły trzy świnki, trzej bracia.
I każda z nich miała dom.
To były bardzo zżyte świnki.
Pomagały sobie nawzajem we wszystkim, a jeśli coś działo się z jedną z nich, drugi brat zawsze przychodził z pomocą.
Pewnego dnia spadł gęsty śnieg i bracia postanowili schować się przed nim w swoich domach.
Ale nagle zza rogu wyszedł szary wilk.
Był głodny i zobaczył, że w domach nie było drzwi.
Wtedy wilk postanowił wejść do pierwszego domu i zjeść świnkę.
Wilk szybko otworzył drzwi i zajrzał do środka.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| Style | Random (All languages) | Wybór stylu tekstu |
| ID of custom style | Ustaw numer stylu do generowania tekstu | |
| Repeat if Balaboba reports about error | ☑ | Ponawiaj próby scrapowania, jeśli Balaboba wyświetli komunikat o błędzie |
| Repeat if Balaboba reports about bad query | ☑ | Ponawiaj próby scrapowania, jeśli Balaboba wyświetli komunikat z powodu błędnego zapytania |