Улучшения
- Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
- NodeJS обновлен до 16.15.0
- В
SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны - В парсере
Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь - В
Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате - В
SE::YouTube добавлен сбор количества подписчиков канала - В
SE::Google::Trends добавлен сбор id тем для related topics - В парсере
Shop::Wildberries::ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится" - Добавлен парсер подсказок Wildberries:
Shop::Wildberries::Suggest - В
Shop::Wildberries::ProductInfo добавлен сбор дополнительных данных - В
SE::Google::Images добавлены новые типы в Usage rights - Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
- В
Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint - Улучшена работа с Chromium из JavaScript парсеров
- В Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome
Исправления в связи с изменениями в выдаче
- Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
- В парсерах Яндекса исправлен парсинг турбо страниц
- Исправлена работа
SE::Yandex::WordStat, в планах полная переработка данного парсера с добавлением нового функционала - В
SE::Yandex::ByImage исправлен парсинг выдачи - Исправлен парсинг имени пользователя в Telegram::GroupScraper
- В
SE::Google::ByImage изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа - Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
- Исправлен парсинг сниппетов в SE::Google::ByImage
SE::Google::TrustCheck, 
Check::RosKomNadzor, 
SE::DuckDuckGo, 
SE::Seznam, Shop::Wildberries::ProductsList, 
SE::Baidu, SE::Google::Images, 
Rank::Ahrefs::KeywordGenerator
Исправления
- Исправлена ошибка в Shop::Wildberries::ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
- Исправлена загрузка каптч в
SE::Yandex::Images - Устранена утечка памяти в парсере
DeepL::Translator, а также другие ошибки - Исправлена работа проксичекера с socks5 IPv6 прокси
- Исправлена работа опции Don't verify TLS certs в некоторых случаях
- Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
- Исправлено зависание Тестового парсинга при редактировании кода парсеров
- Исправлен проход по редиректам в
HTML::LinkExtractor - Исправлен выбор домена в
SE::Yahoo - Исправлена заспамленость лога ошибками при использовании
Maps::Yandex - Исправлен сбор результатов $records в
Net::DNS - Исправлена ошибка когда не находилась следующая страница опцией Check next page
Последнее редактирование: