SE::Yandex::Balaboba - парсер текстов с Balaboba
Обзор парсера
SE::Yandex::Balaboba - парсер текстов с Balaboba.Получает тексты из одноимённого сервиса.
Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.
Функционал A-Parser позволяет сохранять настройки парсинга парсера SE::Yandex::Balaboba для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое.
Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.
Собираемые данные
- Сгенерированный текст
- Стиль по которому был сгенерирован текст
- Ссылку на картинку
Возможности
- Парсить уникальные тексты с возможностью выбора стиля текста (параметр Style):
Рецепты (RU),Короткие истории (RU),Recipies (EN)и другие - Выбор номер стиля который можно увидеть в брузере и парсить с нужным стилем текста если такового нет в опции выбора стиля (параметр ID of custom style)
Варианты использования
- Массовый сбор уникальных текстов
Запросы
В качестве запросов необходимо указывать фразы с которых начнётся генерация, например:
Жили были
Подстановки запросов
Вы можете использовать встроенные макросы для автоматической подстановки подзапросов из файлов, например мы хотим к кажому запросу добавить какой-то список других слов, укажем несколько основных запросов:
Жили были
Fantasy
Tower defense
В формате запросов укажем макрос подстановки дополнительных слов из файла keywords.txt, данный метод позволяет увеличить вариативность запросов многократно:
{subs:keywords} $query
Данный макрос создаст столько же дополнительных запросов сколько их находится в файле на каждый исходный поисковый запрос, что в сумме даст [количество исходных запросов] х [количество запросов в файле Keywords] = [общее количество запросов] в результате работы макроса.
Например, если в файл keywords.txt будет содержать:
free
online
В итоге макрос подстановок превратит 3 основных запроса в 6:
free fantasy
online fantasy
free tower defense
online tower defense
free rpg
online rpg
Варианты вывода результатов
A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON
Вывод по умолчанию
Формат результата:
$style: $text\n
Пример результата:
Без стиля (RU): Жили были три поросенка, три брата.
И у каждого из них был дом.
Это были очень дружные поросята.
Они помогали друг другу во всем, а если что-нибудь случалось с одним из них, то другой брат всегда приходил на помощь.
Однажды пошел сильный снег, и братья решили спрятаться от него в своих домах.
Но тут из-за угла вышел серый волк.
Он был голоден и увидел, что в домах не было дверей.
Тогда волк решил зайти в первый дом и съесть поросенка.
Волк быстро открыл дверь и заглянул туда.
Возможные настройки
| Параметр | Значение по умолчанию | Описание |
|---|---|---|
| Style | Random (All languages) | Выбор стиля текста |
| ID of custom style | Установить номер стиля для генерации текста | |
| Repeat if Balaboba reports about error | ☑ | Повторять попытки парсинга если Balaboba показал сообщение об ошибке |
| Repeat if Balaboba reports about bad query | ☑ | Повторять попытки парсинга если Balaboba показал сообщение из-за неверного запроса |