Перейти к основному содержимому

Для чего нужны обновления и почему они платные?

A-Parser постоянно развивается. C выходом новых версий вносятся улучшения и исправления. В данной статье мы разберем, что представляют из себя обновления, чем они отличаются от лицензии, какую роль играют и почему за них необходимо платить.

Лицензия ≠ обновления#

Приобретая A-Parser, вы получаете бессрочную лицензию на его использование и 3-6 месяцев бесплатных обновлений в зависимости от купленной лицензии. После окончания периода бесплатных обновлений вы можете обновляться на последнюю доступную стабильную версию и продолжать пользоваться парсером в полном объеме — настолько, насколько это позволяет доступная на момент окончания подписки версия.

Для возобновления подписки вы можете приобрести один из трех пакетов обновлений: на 3 месяца, один год и пожизненно за $19, $69 и $199 соответственно.

Вам не нужно платить за обновления постоянно. Период, в который не было подписки на обновления, оплачивать необходимости нет.

Почему обновления платные?#

🐞 Исправления#

Сайты и разного рода ресурсы развиваются достаточно быстро. Любые, даже самые незначительные изменения со стороны целевого сайта способны оказывать влияние на парсинг. Происходит это из-за того, что изначально парсеры заточены под определенную структуру и изменения в верстке, защите или других всевозможных внутренних механиках влекут за собой некорректные данные в результатах, их полное отсутствие и другие ошибки. Сам парсинг негативно сказывается на серверах, выделенных под сайты: растут запросы и соответственно нагрузка. Сервисы, теряюшие прибыль, вынуждены искать выход из сложившейся ситуации, в связи с чем появляются новые виды защит и развиваются старые.

С каждым таким изменением необходимо вносить правки. За каждой стоит анализ проблемы, поиск решения и его реализация.

Все изменения можно посмотреть на форуме

🧰 Ежедневно каждый встроенный парсер проходит систему внутренних тестов. Если тестовые запросы завершились удачно, проверяются полученные в результате значения. Проваленный тест сигнализирует об ошибках, присутствующих в парсере. Благодаря тестам мы оперативно реагируем на поломки и сразу начинаем работу над их исправлением.

Одни из самых сложных, востребованных и потому приоритетных для нас – парсеры поисковых систем Яндекс и Google. Каждый состоит из множества частей, решающих определенную задачу. Среди них подготовка запроса, формирование заголовков, получение исходного кода страницы, разного рода форматирования результатов, работа с капчей и т.д. Все это нужно поддерживать в работоспособном состоянии. Парсер предусматривает наличие переменных, содержащих все необходимые данные со страницы: выдача, рекламные объявления, связанные ключевые слова и другие значения. Вытягиваются они с помощью регулярных выражений, предполагающих наличие на страницы определенной структуры документа (порядок элементов, их типы, классы и другие всевозможные признаки). При критичном изменении этой структуры, регулярка, подходившая под ее прошлую версию, перестает доставать нужный фрагмент, а парсер отправляется на доработку.

✨ Улучшения#

Помимо поддержания работоспособности встроенных парсеров, с каждым релизом добавляются новые функции и вносятся различные улучшения, влияющие как на производительность, так и на количество получаемых данных. В сборку включаются новые парсеры, реализуются новые методы в JavaScript API.

Посмотреть все изменения можно здесь.

Проблемы, связанные с отсутствием обновлений#

Отсутствие своевременных обновлений провоцирует некорректную работу встроенных парсеров. Причины могут быть разные. Например, могла измениться верстка страниц. Парсер, не получивший обновление, пытается собирать данные старыми регулярными выражениями, не адаптированными к новому формату. Как следствие, появляются неудачные запросы, вылезают разного рода ошибки и отсутствует результат.

На примере парсера Google#

Пользователь обратился в поддержку со следующей проблемой:

Собираю выдачу Google с вашими прокси. Установлено 300 попыток для запроса. Все запросы уходят в неудачные. Еще вчера все работало.

На первый взгляд кажется, что проблема в прокси, но тесты с идентичными настройками и запросами на последней версии отрабатывают успешно. Значит, проблема в другом. В ходе диалога выясняется, что у пользователя устаревшая версия A-Parser. Это и является настоящей причиной некорректной работы парсера Google.

На примере парсера Yandex#

В Yandex изменилась верстка страниц с капчей, из-за чего она перестала разгадываться. На форуме в разделе Задачи была создана соответствующая тема.

Пример проблемы в SE::Yandex

Следующим утром вышел фикс. Задача была закрыта и перенесена в раздел Next release. Там находятся темы всех исправлений и улучшений, которые будут включены в следующую стабильную версию.

Соответственно в A-Parser'е, не получившем свежее обновление, капча в Yandex больше не разгадывалась.

Заключение#

Приобретая A-Parser, вы получаете бессрочную лицензию на использование программы и пакет бесплатных обновлений на определенный период. При необходимости, по истечению срока подписки вы можете возобновить ее, приобретя один из предложенных пакетов обновлений.

Сайты нестабильны – парсеры требуют постоянных корректировок и улучшений. Поддерживать их трудоспособное состояние – это наша работа. Приоритетная задача, на которую мы возлагаем большие усилия, чтобы выпускать рабочие исправления максимально оперативно. Стоимость обновлений обуславливает труд, который за этим стоит. Каждый релиз – это не просто список исправлений и улучшений, – это месяцы сосредоточенной работы команды A-Parser.

Последнее обновление