Для чего нужны обновления и почему они платные?
A-Parser постоянно развивается. C выходом новых версий вносятся улучшения и исправления. В данной статье мы разберем, что представляют из себя обновления, чем они отличаются от лицензии, какую роль играют и почему за них необходимо платить.
Лицензия ≠ обновления
Приобретая A-Parser, вы получаете бессрочную лицензию на его использование и 3-6 месяцев бесплатных обновлений в зависимости от купленной лицензии. После окончания периода бесплатных обновлений вы можете обновляться на последнюю доступную стабильную версию и продолжать пользоваться парсером в полном объеме — настолько, насколько это позволяет доступная на момент окончания подписки версия.
Для возобновления подписки вы можете приобрести один из трех пакетов обновлений: на 3 месяца, один год и пожизненно за $49, $149 и $399 соответственно.
Вам не нужно платить за обновления постоянно. Период, в который не было подписки на обновления, оплачивать необходимости нет.
Почему обновления платные?
🐞 Исправления
Сайты и разного рода ресурсы развиваются достаточно быстро. Любые, даже самые незначительные изменения со стороны целевого сайта способны оказывать влияние на парсинг. Происходит это из-за того, что изначально парсеры заточены под определенную структуру и изменения в верстке, защите или других всевозможных внутренних механиках влекут за собой некорректные данные в результатах, их полное отсутствие и другие ошибки. Сам парсинг негативно сказывается на серверах, выделенных под сайты: растут запросы и соответственно нагрузка. Сервисы, теряюшие прибыль, вынуждены искать выход из сложившейся ситуации, в связи с чем появляются новые виды защит и развиваются старые.
С каждым таким изменением необходимо вносить правки. За каждой стоит анализ проблемы, поиск решения и его реализация.
🧰 Ежедневно каждый встроенный парсер проходит систему внутренних тестов. Если тестовые запросы завершились удачно, проверяются полученные в результате значения. Проваленный тест сигнализирует об ошибках, присутствующих в парсере. Благодаря тестам мы оперативно реагируем на поломки и сразу начинаем работу над их исправлением.
Одни из самых сложных, востребованных и потому приоритетных для нас – парсеры поисковых систем Яндекс и Google. Каждый состоит из множества частей, решающих определенную задачу. Среди них подготовка запроса, формирование заголовков, получение исходного кода страницы, разного рода форматирования результатов, работа с капчей и т.д. Все это нужно поддерживать в работоспособном состоянии. Парсер предусматривает наличие переменных, содержащих все необходимые данные со страницы: выдача, рекламные объявления, связанные ключевые слова и другие значения. Вытягиваются они с помощью регулярных выражений, предполагающих наличие на страницы определенной структуры документа (порядок элементов, их типы, классы и другие всевозможные признаки). При критичном изменении этой структуры, регулярка, подходившая под ее прошлую версию, перестает доставать нужный фрагмент, а парсер отправляется на доработку.
✨ Улучшения
Помимо поддержания работоспособности встроенных парсеров, с каждым релизом добавляются новые функции и вносятся различные улучшения, влияющие как на производительность, так и на количество получаемых данных. В сборку включаются новые парсеры, реализуются новые методы в JavaScript API.
Посмотреть все изменения можно здесь.
Проблемы, связанные с отсутствием обновлений
Отсутствие своевременных обновлений провоцирует некорректную работу встроенных парсеров. Причины могут быть разные. Например, могла измениться верстка страниц. Парсер, не получивший обновление, пытается собирать данные старыми регулярными выражениями, не адаптированными к новому формату. Как следствие, появляются неудачные запросы, вылезают разного рода ошибки и отсутствует результат.
На примере парсера Google
Пользователь обратился в поддержку со следующей проблемой:
Собираю выдачу Google с вашими прокси. Установлено 300 попыток для запроса. Все запросы уходят в неудачные. Еще вчера все работало.
На первый взгляд кажется, что проблема в прокси, но тесты с идентичными настройками и запросами на последней версии отрабатывают успешно. Значит, проблема в другом. В ходе диалога выясняется, что у пользователя устаревшая версия A-Parser. Это и является настоящей причиной некорректной работы парсера Google.
На примере парсера Yandex
В Yandex изменилась верстка страниц с капчей, из-за чего она перестала разгадываться. На форуме в разделе Задачи была создана соответствующая тема.
Следующим утром вышел фикс. Задача была закрыта и перенесена в раздел Next release. Там находятся темы всех исправлений и улучшений, которые будут включены в следующую стабильную версию.
Соответственно в A-Parser'е, не получившем свежее обновление, капча в Yandex больше не разгадывалась.
Заключение
Приобретая A-Parser, вы получаете бессрочную лицензию на использование программы и пакет бесплатных обновлений на определенный период. При необходимости, по истечению срока подписки вы можете возобновить ее, приобретя один из предложенных пакетов обновлений.
Сайты нестабильны – парсеры требуют постоянных корректировок и улучшений. Поддерживать их трудоспособное состояние – это наша работа. Приоритетная задача, на которую мы возлагаем большие усилия, чтобы выпускать рабочие исправления максимально оперативно. Стоимость обновлений обуславливает труд, который за этим стоит. Каждый релиз – это не просто список исправлений и улучшений, – это месяцы сосредоточенной работы команды A-Parser.