NextGen UI — новый интерфейс A-Parser
В новом обновлении мы завершили переход на NextGen UI — теперь он используется по умолчанию в версиях A-Parser для Windows и Linux.
Интерфейс полностью переписан с нуля на новой архитектуре, работает в браузере и в формате Desktop-приложения, поддерживает тёмную тему и сохраняет привычные возможности A-Parser.
С момента первой тестовой версии NextGen UI получил множество крупных улучшений: расширенную работу с логами, встроенные инструменты тестирования и отладки, улучшенное управление заданиями и пресетами, планировщик, групповые операции и автоматическое восстановление после сбоев.
Основные возможности NextGen UI
- Расширенная работа с логами. Доступны поиск, фильтрация, выделение, копирование и скачивание записей. Логи отображаются непосредственно при тестировании задания в редакторе, а отладочный вывод можно быстро включать и отключать.
- Наглядная отладка. JS-дампы, HTTP-запросы и ответы отображаются в виде раскрываемых JSON-деревьев, изображения выводятся прямо в логах. Для регулярных выражений добавлен быстрый переход во встроенный Тестер регулярок.
- Улучшенный Parser Test. Настроенный в тестере парсер можно перенести непосредственно в редактор задания. При замене парсера предлагается сохранить совместимые переопределённые настройки.
- Информативная очередь заданий. В очереди отображаются используемый пресет, настройки парсера, точное время запуска и расчётное время до завершения. Добавлены массовое выделение заданий и групповые действия.
- Удобное управление пресетами. Пресеты можно переименовывать, искать и сортировать. При импорте пресет сначала открывается в редакторе, где его можно проверить и изменить перед сохранением. Для действий «по завершении» добавлены отдельные поля выбора пресетов заданий и конфигураций потоков.
- Встроенные инструменты. В NextGen UI доступны планировщик заданий, Тестер регулярных выражений, редактор tools.js, расширенные настройки и диалог API-запроса с редактором кода.
- Сохранение рабочего состояния. Интерфейс запоминает открытые разделы, выбранные вкладки, страницы очереди, прокрутку, положение и размер окон, а также состояние редактора JS-парсеров.
- Обновлённая тёмная тема. Переработана цветовая схема, повышена контрастность и улучшены визуальные акценты в редакторе заданий.
- Работа с большими объёмами данных. Ускорена загрузка логов, снижена нагрузка на диск, большие списки файлов подгружаются постепенно по кнопке «Загрузить ещё».
- Автоматическое обслуживание. Хост и порт ядра настраиваются через интерфейс, свободный порт подбирается автоматически. После сбоя ядро перезагружается, а после обновления A-Parser автоматически перезапускается.
Полностью восстановлена работа SE::Google
Вторым ключевым изменением обновления стало полное восстановление работы парсера
SE::Google.В последние недели Google последовательно усиливал защиту и менял механизмы формирования выдачи, из-за чего сбор результатов стал заметно сложнее. Работа над адаптацией парсера велась практически непрерывно.
В результате:
- полностью восстановлена работа SE::Google в режиме Browser на Windows и Linux для профилей desktop и mobile;
- полностью восстановлена работа HTTP-режима на всех платформах и профилях;
- улучшена работа с пагинацией;
- добавлено определение неполной выдачи — одной из разновидностей защиты Google;
- добавлено определение новой капчи «Verifying your request»;
- исправлено смешивание браузерных заданий при работе через Redis API;
- восстановлена работа
SE::Google::Images; - исправлена работа
SE::Google::Translate в режиме desktop; - восстановлен сбор отзывов в
Maps::Google::Reviews; - исправлен вывод общего количества отзывов $totalcount;
- исправлен сбор переменной $claim в
Maps::Google; - добавлен сбор общего рейтинга организации $avgrating.
Новый парсер SE::Rutube
Добавлен новый парсер
SE::Rutube для сбора результатов поиска видео на Rutube.Улучшения
Net::Whois — добавлена работа через серверы RDAP и переменная $rdapserver. Добавлена поддержка доменных зон `.gr` и `.ελ`.
Shop::Wildberries::ProductInfo — добавлен сбор цены с кошельком WB в переменную $walletPrice.
Util::Turnstile — добавлена возможность обработки Cloudflare Turnstile через XEvil.
Telegram::GroupScraper — добавлены новые переменные и массивы, фильтр по дате и возможность пропускать пересланные сообщения.
Social::TikTok::Profile — парсер переведён на Puppeteer для обхода блокировки HTTP-запросов со стороны Akamai; восстановлен сбор ссылок на подписки.
FreeAI::Kimi — восстановлена работа и добавлена авторизация через Bearer token.
SE::Brave — добавлена обработка каптчи.
Исправления в связи с изменениями на источниках
SE::Bing — исправлен парсинг в режимах Browser и HTTP.
SE::You — восстановлена работа парсера.
SE::Startpage — восстановлена работа основной выдачи.
SE::Startpage::Videos и 
SE::Startpage::Images — восстановлена работа парсеров.
SE::DuckDuckGo и 
SE::DuckDuckGo::Images — восстановлена работа парсеров.
Social::Instagram::Search — восстановлена работа, исправлена ошибка 403 Forbidden.
Social::Instagram::Tag — устранены дубли публикаций в результатах.
Social::Instagram::Profile — восстановлена работа и исправлена смена прокси при сборе подписчиков.
Shop::Wildberries::ProductsList — восстановлена работа и исправлен нестабильный сбор данных.- Shop::Wildberries::ProductInfo — восстановлена работа и исправлены ошибки на отдельных запросах.
Shop::Amazon — исправлен сбор части результатов.
SecurityTrails::Domain — восстановлен обход Cloudflare.- Util::Turnstile — исправлена работа в режимах Browser и Auto.
- Net::Whois — исправлена работа с зонами `.direct`, `.insure`, `.global`, `.services`, `.travel` и `.co`.
FreeAI::ChatGPT — исправлен парсинг списков.
FreeAI::Perplexity, 
FreeAI::DeepAI и 
DeepL::Translator — восстановлена работа.
Cloudflare::Radar, 
CoinMarketCap::LastPrice и 
Rank::Mustat — восстановлена работа.
Последнее редактирование: