Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере
SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы
SE::DuckDuckGo
Обновлен список доменов гугла в парсере
SE::Google. Также теперь парсер гугла может определять ошибочно был введен запрос или нет(результат {misspell})
Исправления:
Подробнее тут: 1.0.119
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы
Обновлен список доменов гугла в парсере
Исправления:
- Иногда ссылка на первый ролик в SE::YouTube парсилась некорректно
- Исправлено падение в некоторых случаях после постановки задания на паузу
- Исправлен двойной запуск задачи после паузы, баг появился в одной из предыдущих версий
- При дублировании задания частично пропадали настройки Results Builder
Подробнее тут: 1.0.119