1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries

Улучшения

• Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
• NodeJS обновлен до 16.15.0
• В SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
• В парсере Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
• В Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
• В SE::YouTube добавлен сбор количества подписчиков канала
• В SE::Google::Trends добавлен сбор id тем для related topics
• В парсере Shop::Wildberries::ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
• Добавлен парсер подсказок Wildberries: Shop::Wildberries::Suggest
• В Shop::Wildberries::ProductInfo добавлен сбор дополнительных данных
• В SE::Google::Images добавлены новые типы в Usage rights
• Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
• В Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
• Улучшена работа с Chromium из JavaScript парсеров
• В Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome

Исправления в связи с изменениями в выдаче

• Множество адаптаций к изменениям в верстке Google, Яндекс, Bing
• В парсерах Яндекса исправлен парсинг турбо страниц
• Исправлена работа SE::Yandex::WordStat, в планах полная переработка данного парсера с добавлением нового функционала
• В SE::Yandex::ByImage исправлен парсинг выдачи
• Исправлен парсинг имени пользователя в Telegram::GroupScraper
• В SE::Google::ByImage изменен набор собираемых данных и формат результата по-умолчанию, а также в целом исправлена его работа
• Исправлена работа парсеров Букварикс, но из-за высокой нагрузки на их API данные парсеры могут не работать
• Исправлен парсинг сниппетов в SE::Google::ByImage
• SE::Google::TrustCheck, Check::RosKomNadzor, SE::DuckDuckGo, SE::Seznam, Shop::Wildberries::ProductsList, SE::Baidu, SE::Google::Images, Rank::Ahrefs::KeywordGenerator

Исправления

• Исправлена ошибка в Shop::Wildberries::ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
• Исправлена загрузка каптч в SE::Yandex::Images
• Устранена утечка памяти в парсере DeepL::Translator, а также другие ошибки
• Исправлена работа проксичекера с socks5 IPv6 прокси
• Исправлена работа опции Don't verify TLS certs в некоторых случаях
• Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
• Исправлено зависание Тестового парсинга при редактировании кода парсеров
• Исправлен проход по редиректам в HTML::LinkExtractor
• Исправлен выбор домена в SE::Yahoo
• Исправлена заспамленость лога ошибками при использовании Maps::Yandex
• Исправлен сбор результатов $records в Net::DNS
• Исправлена ошибка когда не находилась следующая страница опцией Check next page

​