Безграничные возможности в одном A-Parser

Мы собрали для вас все преимущества на одной странице, детальную информацию по каждой функции можно найти в документации

Получить парсер Документация

Windows

Linux

macOS^(Docker)

Редактор заданий

Несколько парсеров в одном задании

Используйте до 20 парсеров в одном задании, равномерно распределяя потоки для уменьшения бана прокси и увеличения скорости парсинга

Пресеты парсеров

Множество настроек каждого парсера можно сохранять в отдельные пресеты и переиспользовать в различных заданиях

Конструктор запросов

Разделение исходных данных позволяет изменять вид запроса и записывать в результаты дополнительные связанные данные

Форматирование запросов

Раздельный формат запроса для каждого парсера в одном задании, контроль порядка выполнения форматирования

Уникализация запросов

Если вы не уверены в исходных данных, A-Parser позаботиться о том чтобы не делать лишнюю работу

Макросы подстановок

Автоматическое размножение запросов, подстановка подзапросов из файлов, перебор цифро-буквенных комбинаций и списков

Форматирование результатов

Мощный шаблонизатор Template Toolkit позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV

Уникализация результатов

Продвинутые возможности дедупликации гарантируют уникальность получаемых строк, ссылок и доменов

Фильтрация результатов

Сохраняйте только те данные, которые подходят под ваши условия: вхождение подстроки, числовое сравнение, регулярные выражения

Одновременное сохранение в разные файлы

Используйте разный формат для разных файлов, применяйте дополнительные условия и фильтры, все это в одном задании для экономии ресурсов парсинга

Логирование работы

Подробный лог работы раздельно по каждому потоку и раздельно по каждому запросу, позволяет быстро и удобно производить отладку заданий

Цепочки заданий

Расширяйте логику A-Parser автоматически запуская разные задания по мере их выполнения, передавая результаты работы одного задания как запросы для следующего

Сохранение баз уникализации

Собираете базы используя несколько разных заданий? Сохранение баз уникализации позволяет всегда получать только новые результаты

Контроль числа потоков

Запуская каждое задание в указанное число потоков, вы можете быть уверены что A-Parser не превысит ваш тариф прокси или ресурсы вашего сервера

Отладчик заданий

Используйте отладчик для быстрой проверке работы задания во время его составления, быстрый запуск и наглядное отображение лога работы

Очередь заданий и планировщик

Добавление нескольких заданий

Очередь заданий избавляет вас от необходимости ожидания завершения задания. Добавляйте неограниченное количество независимых заданий

Одновременное выполнение заданий

Контролируйте число одновременно работающих заданий, многократно сокращая общее время на получение результатов

Управление заданиями

Запуск и пауза, редактирование или удаление. Запускайте задания с места последней остановки, A-Parser продолжит сбор информации

Приоритеты заданий

При большой очереди заданий важно иметь возможность контролировать, какое из заданий запуститься быстрее других

Динамический лимит потоков

При необходимости задайте общее ограничение потоков для всех заданий, A-Parser будет автоматически распределять потоки между активными заданиями

История заданий

Полная история завершенных заданий, просмотр статистики работы, а также возможность повторного добавления задания

Планировщик заданий

Запускайте повторяющиеся задания используя планировщик заданий, гибкие настройки интервалов повторения

Проксичекеры и работа с прокси

Поддержка HTTP(S) и SOCKS4/5 прокси

A-Parser умеет работать со всеми протоколами прокси, проксичекер может проверять все типы одновременно

Неограниченное число проксичекеров

Добавляйте раздельные проксичекеры для разных источников прокси, задавая разные настройки проверки прокси

Многопоточная проверка и скачивание прокси

Управляйте числом потоков проверки и скачивания, раздельно для каждого проксичекера

Поддержка прокси с авторизацией

Указывайте данные доступа к прокси в настройках проксичекера или в списках прокси с раздельными данными авторизации

Различные типы проверок

A-Parser проверяет прокси на работу метода POST, анонимность, время ответа и другие параметры

Возможность отключить проверку прокси

В случае если вы уверены что все прокси рабочие доступна опция отключения проверки для экономии ресурсов

Выбор проксичекеров для каждого задания

Для каждого задания вы может выбрать свои источники прокси, гибко разделяя ресурсы

Выбор проксичекеров для каждого парсера

Возможность еще более гибко использовать разные прокси в одном задании, к примеру раздельные прокси для парсеров Google и Яндекс

Бан прокси

Если прокси забанен сервисом, A-Parser не будет его использовать указанный период времени, уменьшая вероятность неудачных запросов

Ограничение потоков на один прокси

Вы можете ограничить максимальное число потоков на один прокси, с целью недопустить переиспользования ресурсов прокси

Переиспользование прокси между попытками

По умолчанию A-Parser использует уникальный прокси для каждой попытки скачать данные, доступна возможность изменить это поведение

Возможность исключить проксичекер

Данная возможность позволяет исключить определенные прокси и использовать их только в определенных заданиях

Гибкость настроек

Все настройки организованы в пресетах

Сохраняйте группы настроек в разные пресеты, повторно используйте в разных заданиях

Детальные настройки для каждого парсера

Например, для парсера Google доступно указание числа страниц, количество результатов на страницу, языковые настройки, геолокация и множество других опций

Импорт и экспорт

Экспортируйте настройки и парсеры, делитесь с другими пользователями, импортируйте готовые задания из нашего каталога

Многопоточность и производительность

Асинхронная архитектура

A-Parser построен на полностью асинхронной архитектуре и способен выполнять до 10000 одновременных асинхронных потоков

Множество оптимизаций

В A-Parser применяется множество оптимизаций для лучшей производительности, мы постоянно профилируем и улучшаем наш код

Миллионы и миллиарды запросов и результатов

Никаких ограничений по числу запросов, размеру файлов запросов и количеству результатов

Низкое потребление ресурсов

Для большинства задач подойдет любой офисный или домашний компьютер, а также любой VDS начального уровня

Распределение нагрузки по ядрам

На текущий момент A-Parser может эффективно использовать до 4-х ядер процессора, в скором времени появится лицензия с неограниченным числом ядер

Распознавание капчи

Интеграция с XEvil и CapMonster

Самый популярный софт для распознавания CAPTCHA, поддерживают множество видов капч, включая ReCaptcha2

Интеграция с онлайн сервисами распознавания

Мы поддерживаем интеграции с абсолютным большинством сервисов, включая такие как Anti-Captcha, RuCaptcha, CapMonster.cloud, 2captcha и другие

Поддержка распознавания в парсерах

Поддержка распознавания капчи добавлена во все популярные парсеры, также вы можете использовать распознавание из своих парсеров, написанных на JavaScript

Разработка пресетов на основе регулярных выражений

Сбор данных с произвольных сайтов

Применяйте регулярные выражения к данным, полученным из парсера Net::HTTP или из парсера-паука HTML::LinkExtracto

Работа с переменными и массивами

Собирайте одиночные данные со страницы в переменные или повторяющиеся блоки(списки, таблицы) в массивы. Выводите данные в удобном формате используя шаблонизатор

Расширяйте возможности стандартных парсеров

Вы можете применять дополнительную обработку к исходным данным для всех встроенных парсеров(например поисковой выдачи Google)

Переход по страницам пагинации

Используйте регулярные выражения для поиска ссылок на следующую страницу пагинации, A-Parser будет автоматически переходить по всем страницам

Проверка корректности данных

Используйте регулярные выражения для проверки контента, проверки бана прокси или отображения каптчи, A-Parser будет автоматически повторять попытки с другим прокси при неудачах

Дополнительная обработка результатов

С помощью конструктора результатов вы можете производить поиск и замену с помощью регулярных выражений в любых результатах парсинга

Разработка парсеров на языке JavaScript

Простой и лаконичный код на языке JavaScript

Линейный и синхронный код с использованием async/await, который будет выполняться A-Parser'ом в многопоточном режиме

Работа с прокси и повтор попыток

A-Parser позволяет сосредоточиться на написании кода для извлечения и преобразования данных, всю работу с прокси он берет на себя

Поддержка TypeScript

Пишите на JavaScript с поддержкой ES2020+ или используйте TypeScript для строгой типизации и подсветки синтаксиса

Используйте модули NodeJS

Безграничное число модулей каталога NPMJS позволяет расширять возможности A-Parser по извлечению и обработке данных

Управление Chrome через puppeteer с поддержкой прокси

A-Parser добавляет поддержку прокси в популярную библиотеку puppeteer, позволяя в автоматическом режиме использовать прокси для разных вкладок

Обращение к встроенным и другим JavaScript парсерам

Вы можете отправлять запросы к любым встроенным парсерам, а также к другим JavaScript парсерам, тем самым создавая логику произвольной сложности

Автоматизация и API

Полный контроль над A-Parser'ом через HTTP/JSON API

Отправляйте HTTP запросы из своих программ и скриптов или воспользуйтесь готовыми библиотеками для NodeJS, Python, PHP и Perl

Создание заданий

Добавление заданий по названию пресета или полной структурой с детальными настройками

Управление очередью

Полный контроль над заданиями в очереди, отслеживание статуса заданий, скачивание результатов.

Одиночные и bulk запросы в блокирующем режиме

Отправляйте HTTP запрос и получайте в ответ результаты сразу по окончанию сбора данных

Redis API

Наше решение для нагруженных проектов. Возможность подключения неограниченного числа A-Parser'ов для обработки API запросов в Redis очереди с минимальными задержками

Обновление A-Parser'а по API

Для полной автоматизации доступна возможность удаленного обновления A-Parser по вызову API

Постоянные улучшения и поддержка

Мы выпустили более 140+ версий A-Parser с 2011 года

Постоянное развитие A-Parser ежегодно предоставляет нашим пользователям все больше новых возможностей

Регулярные обновления встроенных парсеров

Мы ежедневно и в автоматическом режиме тестируем все встроенные парсеры, что позволяет нам выпускать обновления в кратчайшие сроки при любых изменений верстки или выдачи