Безграничные возможности в одном A-Parser

Используйте до 20 парсеров в одном задании, равномерно распределяя потоки для уменьшения бана прокси и увеличения скорости парсинга.

Множество настроек каждого парсера можно сохранять в отдельные пресеты и переиспользовать в различных заданиях.

Разделение исходных данных позволяет изменять вид запроса и записывать в результаты дополнительные связанные данные.

Раздельный формат запроса для каждого парсера в одном задании, контроль порядка выполнения форматирования.

Если вы не уверены в исходных данных, A-Parser позаботится о том чтобы не делать лишнюю работу.

Автоматическое размножение запросов, подстановка подзапросов из файлов, перебор цифро-буквенных комбинаций и списков.

Мощный шаблонизатор Template Toolkit позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Продвинутые возможности дедупликации гарантируют уникальность получаемых строк, ссылок и доменов.

Сохраняйте только те данные, которые подходят под ваши условия: вхождение подстроки, числовое сравнение, регулярные выражения.

Используйте разный формат для разных файлов, применяйте дополнительные условия и фильтры, все это в одном задании для экономии ресурсов парсинга.

Подробный лог работы раздельно по каждому потоку и раздельно по каждому запросу, позволяет быстро и удобно производить отладку заданий.

Расширяйте логику A-Parser автоматически запуская разные задания по мере их выполнения, передавая результаты работы одного задания как запросы для следующего.

Собираете базы используя несколько разных заданий? Сохранение баз уникализации позволяет всегда получать только новые результаты.

Запуская каждое задание в указанное число потоков, вы можете быть уверены что A-Parser не превысит ваш тариф прокси или ресурсы вашего сервера.

Используйте отладчик для быстрой проверке работы задания во время его составления, быстрый запуск и наглядное отображение лога работы.

Очередь заданий избавляет вас от необходимости ожидания завершения задания. Добавляйте неограниченное количество независимых заданий.

Контролируйте число одновременно работающих заданий, многократно сокращая общее время на получение результатов.

Запуск и пауза, редактирование или удаление. Запускайте задания с места последней остановки, A-Parser продолжит сбор информации.

При большой очереди заданий важно иметь возможность контролировать, какое из заданий запуститься быстрее других.

При необходимости задайте общее ограничение потоков для всех заданий, A-Parser будет автоматически распределять потоки между активными заданиями.

Полная история завершенных заданий, просмотр статистики работы, а также возможность повторного добавления задания.

Запускайте повторяющиеся задания используя планировщик заданий, гибкие настройки интервалов повторения.

A-Parser умеет работать со всеми протоколами прокси, проксичекер может проверять все типы одновременно.

Добавляйте раздельные проксичекеры для разных источников прокси, задавая разные настройки проверки прокси.

Управляйте числом потоков проверки и скачивания, раздельно для каждого проксичекера.

Указывайте данные доступа к прокси в настройках проксичекера или в списках прокси с раздельными данными авторизации.

A-Parser проверяет прокси на работу метода POST, анонимность, время ответа и другие параметры.

В случае если вы уверены что все прокси рабочие доступна опция отключения проверки для экономии ресурсов.

Для каждого задания вы может выбрать свои источники прокси, гибко разделяя ресурсы.

Возможность еще более гибко использовать разные прокси в одном задании, к примеру раздельные прокси для парсеров Google и Яндекс.

Если прокси забанен сервисом, A-Parser не будет его использовать указанный период времени, уменьшая вероятность неудачных запросов.

Вы можете ограничить максимальное число потоков на один прокси, с целью недопустить переиспользования ресурсов прокси.

По умолчанию A-Parser использует уникальный прокси для каждой попытки скачать данные, доступна возможность изменить это поведение.

Данная возможность позволяет исключить определенные прокси и использовать их только в определенных заданиях.

Сохраняйте группы настроек в разные пресеты, повторно используйте в разных заданиях.

Например, для парсера Google доступно указание числа страниц, количество результатов на страницу, языковые настройки, геолокация и множество других опций.

Экспортируйте настройки и парсеры, делитесь с другими пользователями, импортируйте готовые задания из нашего каталога.

A-Parser построен на полностью асинхронной архитектуре и способен выполнять до 10000 одновременных асинхронных потоков.

В A-Parser применяется множество оптимизаций для лучшей производительности, мы постоянно профилируем и улучшаем наш код.

Никаких ограничений по числу запросов, размеру файлов запросов и количеству результатов.

Для большинства задач подойдет любой офисный или домашний компьютер, а также любой VDS начального уровня.

На текущий момент A-Parser может эффективно использовать до 4-х ядер процессора, в скором времени появится лицензия с неограниченным числом ядер.

Самый популярный софт для распознавания CAPTCHA, поддерживают множество видов капч, включая ReCaptcha2.

Мы поддерживаем интеграции с абсолютным большинством сервисов, включая такие как Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha и другие.

Поддержка распознавания капчи добавлена во все популярные парсеры, также вы можете использовать распознавание из своих парсеров, написанных на JavaScript.

Применяйте регулярные выражения к данным, полученным из парсера Net::HTTP или из парсера-паука HTML::LinkExtractor.

Собирайте одиночные данные со страницы в переменные или повторяющиеся блоки(списки, таблицы) в массивы. Выводите данные в удобном формате используя шаблонизатор.

Вы можете применять дополнительную обработку к исходным данным для всех встроенных парсеров(например поисковой выдачи Google).

Используйте регулярные выражения для поиска ссылок на следующую страницу пагинации, A-Parser будет автоматически переходить по всем страницам.

Используйте регулярные выражения для проверки контента, проверки бана прокси или отображения каптчи, A-Parser будет автоматически повторять попытки с другим прокси при неудачах.

С помощью конструктора результатов вы можете производить поиск и замену с помощью регулярных выражений в любых результатах парсинга.

Линейный и синхронный код с использованием async/await, который будет выполняться A-Parser'ом в многопоточном режиме.

A-Parser позволяет сосредоточиться на написании кода для извлечения и преобразования данных, всю работу с прокси и повторными попытками он берет на себя.

Пишите на JavaScript с поддержкой ES2020+ или используйте TypeScript для строгой типизации и подсветки синтаксиса.

Безграничное число модулей каталога NPMJS позволяет расширять возможности A-Parser по извлечению и обработке данных.

A-Parser добавляет поддержку прокси в популярную библиотеку puppeteer, позволяя в автоматическом режиме использовать прокси для разных вкладок.

Вы можете отправлять запросы к любым встроенным парсерам, а также к другим JavaScript парсерам, тем самым создавая логику произвольной сложности.

Отправляйте HTTP запросы из своих программ и скриптов или воспользуйтесь готовыми библиотеками для NodeJS, Python, PHP и Perl.

Добавление заданий по названию пресета или полной структурой с детальными настройками.

Полный контроль над заданиями в очереди, отслеживание статуса заданий, скачивание результатов.

Отправляйте HTTP запрос и получайте в ответ результаты сразу по окончанию сбора данных.

Наше решение для нагруженных проектов. Возможность подключения неограниченного числа A-Parser'ов для обработки API запросов в Redis очереди с минимальными задержками.

Для полной автоматизации доступна возможность удаленного обновления A-Parser по вызову API.

Постоянное развитие A-Parser ежегодно предоставляет нашим пользователям все больше новых возможностей.

Мы ежедневно и в автоматическом режиме тестируем все встроенные парсеры, что позволяет нам выпускать обновления в кратчайшие сроки при любых изменений верстки или выдачи.

Бесплатная техническая поддержка доступна всем нашим пользователям и по их собственному мнению является лучшей среди подобных продуктов.

Мы регулярно выпускаем обучающие материалы, примеры пресетов и парсеров, а также обучающие ролики на нашем YouTube‑канале.

Большинство новых функций и парсеров появляются по запросам наших пользователей.

Мы умеем экономить ваше время и предлагаем разработку парсеров на нашей платформе, а также интеграцию с вашей бизнес логикой и базами данных.