Перейти к основному содержимому

Общая информация

A-Parser - парсер для профессионалов#

img

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), A-Parser содержит более 90 встроенных парсеров.

img

Ключевыми особенностями A-Parser является поддержка платформ Windows/Linux, веб интерфейс с возможностью удаленного доступа, возможность создания своих собственных парсеров без написания кода, а также возможность создавать парсеры со сложной логикой на языке JavaScript / TypeScript с поддержкой NodeJS модулей.

Производительность, работа с прокси, обход защиты CloudFlare, быстрый HTTP движок, поддержка управления Chrome через puppeteer, управлением парсером по API и многое другое делают A-Parser уникальным решением, в данной документации мы постараемся раскрыть все преимущества A-Parser и способы его использования.


Области использования#

A-Parser способен решать множество задач, для удобства мы разбили их на категории по областям применения, переходите по ссылкам ниже для подробностей

SEO специалисты и студии#

Бизнес и фрилансеры#

Разработчики#

Маркетологи#

Интернет-магазины и маркетплейсы#

Арбитражники#

Возможности и преимушества#

В этом разделе мы кратко перечислили основные преимущества A-Parser, более подробную информацию можно найти по ссылке ниже

Обзор всех возможностей#

⏩ Вебинар по A-Parser: обзор и ответы на вопросы#

Многопоточность и производительность#

  • A-Parser работает на основе последних версий NodeJS и JavaScript движка V8
  • AsyncHTTPX - собственная реализация HTTP движка с поддержкой HTTP/1.1 и HTTP/2, HTTPS/TLS, поддержка прокси HTTP/SOCKS4/SOCKS5 с опциональной авторизацией
  • Парсер способен выполнять HTTP запросы в 5000-10000 одновременных потоков в зависимости от конфигурации компьютера и решаемой задачи
  • Каждое задание(набор запросов) парсится в указанное число потоков
  • При использовании нескольких парсеров в одном задании каждый запрос к разным парсерам выполняется в разных потоках одновременно
  • Парсер умеет запускать несколько заданий параллельно
  • Проверка и загрузка прокси с источников также проходит в многопоточном режиме

Создание собственных парсеров#

Создание парсеров на языке JavaScript#

Мощные инструменты для формирования запросов и результатов#

  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям, XPath...)
  • Подстановки для запросов: из файла; перебор слов, символов и цифр, в том числе с заданным шагом
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
  • Настроить можно все - никаких рамок и ограничений
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями

API#

  • Возможность интегрировать и управлять парсером из своих программ и скриптов
  • Полная автоматизация бизнес-процессов
  • Клиенты для PHP, NodeJs, Perl и Python
Последнее обновление