1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры

Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже

Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.

Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)



A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!

Улучшения

• JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
• JS парсеры: возможность получить и установить Cookies
• JS парсеры: мютекс для синхронизации между потоками
• JS парсеры: возможность использования инструментов tools
• JS парсеры: поддержка запросов к другим парсерам
• Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
• В парсере HTML::TextExtractor будут игнорироваться блоки меню без текста
• В парсере SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
• API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
• API: при выставленном флаге rawResults будут передаваться все доступные результаты
• Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
• Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
• Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог

Исправления в связи с изменениями в выдачи

• В парсере SE::YouTube не собиралась выдача
• В парсере SE::Bing не парсилось количество результатов для новостей
• В парсере SE::Google не собирались рекламные блоки
• В парсере SE::Yandex некоторые позиции в выдаче могли пропускаться
• В парсере SE::Yandex::Register исправлена обработка ошибок регистрации

Исправления

• Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
• В парсере SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
• В парсере Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
• Исправлена проблема с работой Net::DNS на ОС Linux x64
• Исправлен вывод ошибок в логе при уникализации "не доменов"
• Исправлена работа парсера HTML::TextExtractor::LangDetect
• Исправлен парсер Check::BackLink, ошибка появилась в предыдущей версии
• Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии

Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!

 

уже есть в соседнем топике https://a-parser.com/threads/2882/