Общая информация
A-Parser - парсер для профессионалов
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), A-Parser содержит более 90 встроенных парсеров.
Ключевыми особенностями A-Parser является поддержка платформ Windows/Linux, веб интерфейс с возможностью удаленного доступа, возможность создания своих собственных парсеров без написания кода, а также возможность создавать парсеры со сложной логикой на языке JavaScript / TypeScript с поддержкой NodeJS модулей.
Производительность, работа с прокси, обход защиты CloudFlare, быстрый HTTP движок, поддержка управления Chrome через puppeteer, управлением парсером по API и многое другое делают A-Parser уникальным решением, в данной документации мы постараемся раскрыть все преимущества A-Parser и способы его использования.
Области использования
A-Parser способен решать множество задач, для удобства мы разбили их на категории по областям применения, переходите по ссылкам ниже для подробностей
SEO специалисты и студии
Бизнес и фрилансеры
Разработчики
Маркетологи
Интернет-магазины и маркетплейсы
Арбитражники
Возможности и преимушества
В этом разделе мы кратко перечислили основные преимущества A-Parser, более подробную информацию можно найти по ссылке ниже
Обзор всех возможностей
⏩ Вебинар по A-Parser: обзор и ответы на вопросы
Многопоточность и производительность
- A-Parser работает на основе последних версий NodeJS и JavaScript движка V8
- AsyncHTTPX - собственная реализация HTTP движка с поддержкой HTTP/1.1 и HTTP/2, HTTPS/TLS, поддержка прокси HTTP/SOCKS4/SOCKS5 с опциональной авторизацией
- Парсер способен выполнять HTTP запросы в 5000-10000 одновременных потоков в зависимости от конфигурации компьютера и решаемой задачи
- Каждое задание(набор запросов) парсится в указанное число потоков
- При использовании нескольких парсеров в одном задании каждый запрос к разным парсерам выполняется в разных потоках одновременно
- Парсер умеет запускать несколько заданий параллельно
- Проверка и загрузка прокси с источников также проходит в многопоточном режиме
Создание собственных парсеров
- Возможность создания парсеров без написания кода
- Использование регулярных выражений
- Поддержка многостраничного парсинга
- Проверка контента и наличия следующей страницы
- Замена юзерагента и возможность рандомно менять его при каждом запросе
- Вложенный парсинг - возможность полученные результаты подставлять в запросы
- Полноценная работа с JSON: разбор и формирование
- Возможность добавлять свои JS функции и использовать их для обработки полученных результатов прямо в парсере
Создание парсеров на языке JavaScript
- Богатое встроенное API на основе async/await
- Поддержка TypeScript
- Возможность подключения любых NodeJS модулей
- Управление Chrome/Chromium через puppeteer с поддержкой раздельных прокси для каждой вкладки
Мощные инструменты для формирования запросов и результатов
- Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям, XPath...)
- Подстановки для запросов: из файла; перебор слов, символов и цифр, в том числе с заданным шагом
- Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
- Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
- Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
- В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
- Настроить можно все - никаких рамок и ограничений
- Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями