Возможности и преимущества

25 дек 2015
  • Перед разработкой A-Parser'а был детально проанализирован рынок в области парсинга информации, в итоге вышел в свет уникальный и конкурентный продукт. A-Parser обладает следующими преимуществами:
    • Колоссальная производительность
      • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
      • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
      • Множественные оптимизации сложных операций
      • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    • Промышленные масштабы
      • Парсер разрабатывался с учетом работы с неограниченным размером данных
      • Способен обрабатывать сотни миллионов и миллиардов запросов
      • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    • Автономность
      • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
      • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
      • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    • Поддержка более 60 парсеров
      • Парсеры поисковых систем: SE::Google Google, SE::Yandex Yandex, SE::AOL AOL, SE::Bing Bing, SE::Baidu Baidu, SE::DuckDuckGo DuckDuckGo, SE::MailRu Mail.Ru, SE::QIP QIP, SE::Yahoo Yahoo, SE::Seznam Seznam, SE::YouTube YouTube, SE::Ask Ask, SE::Comcast Comcast
      • Парсеры подсказок поисковых систем: SE::AOL::Suggest AOL, SE::Google::Suggest Google, SE::Yandex::Suggest Yandex, SE::Bing::Suggest Bing, SE::Yahoo::Suggest Yahoo
      • Парсеры и анализ ключевых слов: кейворды и частотность по SE::Yandex::WordStat Yandex.WordStat, в т.ч. по датам и регионам; частотность по SE::Yandex::Direct::Frequency Yandex.Direct; SE::Google::Trends Google Trends
      • Регистрация аккаунтов: SE::Yandex::Register Yandex
      • Парсеры параметров сайтов и доменов: позиции в поисковых системах SE::Google::position Google, SE::Yandex::position Yandex, SE::MailRu::position Mail.Ru, SE::QIP::position QIP; параметры сайтов SE::Google::pR PageRank, SE::Google::TrustCheck TrustRank, SE::Google::Compromised Compromised, SE::Google::SafeBrowsing SafeBrowsing, HTML::TextExtractor::LangDetect LangDetect, SE::Bing::LangDetect LangDetect через Bing, SE::Yandex::TIC тИЦ, Net::Whois Whois, Net::DNS DNS, Rank::CMS CMS, Rank::Ahrefs Ahrefs, Rank::Alexa Alexa, Rank::Category Category, Rank::DMOZ DMOZ, Rank::Linkpad Linkpad, Rank::MajesticSEO MajesticSEO, Rank::OpenSiteExplorer OpenSiteExplorer, Rank::SEMrush SEMrush, Rank::Mustat Mustat
      • Парсеры различных сервисов: SE::Bing::Translator Bing Translator, SE::Google::Maps Google Images, SE::Bing::Images Bing Images, SE::Google::Maps Google Maps, SE::Yandex::Direct Yandex.Direct, SE::Yandex::Catalog Yandex.Catalog, Util::AntiGate AntiGate, SEO::ping Ping
      • Парсеры контента: HTML::TextExtractor TextExtractor, HTML::LinkExtractor LinkExtractor, Check::BackLink BackLink, Net::HTTP HTTP парсер для создания произвольных парсеров
    • Создание собственных парсеров
      • Использование регулярных выражений
      • Поддержка многостраничного парсинга
      • Проверка контента и наличия следующей страницы
      • Замена юзерагента и возможность рандомно менять его при каждом запросе
      • Вложенный парсинг - возможность полученные результаты подставлять в запросы
      • Полноценная работа с JSON: разбор и формирование
      • Возможность добавлять свои JS функции и использовать их для обработки полученных результатов прямо в парсере
    • Мощные инструменты для формирования запросов и результатов
      • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям, Xpath...)
      • Подстановки для запросов: из файла; перебор слов, символов и цифр, в том числе с заданным шагом
      • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
      • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
      • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
    • Гибкость настроек
      • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
      • Настроить можно все - никаких рамок и ограничений
      • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    • Сетевые возможности
      • Поддержка HTTP/1.1 и HTTPS
      • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
      • Полностью асинхронная работа с сетью, в т.ч. с DNS
    • API
      • Возможность интегрировать и управлять парсером из своих программ и скриптов
      • Полная автоматизация бизнес-процессов
      • Клиенты для PHP, Perl и Python
    • Постоянные улучшения и исправления
      • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
      • С тех пор было выпущено более 80 новых версий, включающих множество улучшений и исправлений
      • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    • Техническая поддержка
      • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
      • Создана подробная документация по A-Parser'у, открыт форум для пользователей
      • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, Hangouts, e-mail и через форму онлайн связи на сайте
      • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
baksbanny, McNamara, high_skill и ещё 1-му нравится это.