Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже
Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.
Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)
A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!
Улучшения
- JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
- JS парсеры: возможность получить и установить Cookies
- JS парсеры: мютекс для синхронизации между потоками
- JS парсеры: возможность использования инструментов tools
- JS парсеры: поддержка запросов к другим парсерам
- Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
- В парсере
HTML::TextExtractor будут игнорироваться блоки меню без текста - В парсере
SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам - API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
- API: при выставленном флаге rawResults будут передаваться все доступные результаты
- Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
- Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
- Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог
- В парсере
SE::YouTube не собиралась выдача - В парсере
SE::Bing не парсилось количество результатов для новостей - В парсере
SE::Google не собирались рекламные блоки - В парсере
SE::Yandex некоторые позиции в выдаче могли пропускаться - В парсере
SE::Yandex::Register исправлена обработка ошибок регистрации
- Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
- В парсере
SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси - В парсере
Net::HTTP не корректно работала опция Check next page при редиректе на другой URL - Исправлена проблема с работой
Net::DNS на ОС Linux x64 - Исправлен вывод ошибок в логе при уникализации "не доменов"
- Исправлена работа парсера
HTML::TextExtractor::LangDetect - Исправлен парсер
Check::BackLink, ошибка появилась в предыдущей версии - Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии
Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!
Последнее редактирование:
