A-Parser - парсер для профессионалов SEO

В A-Parser 1.2.138 добавлена эмуляция node версии 8.9.x с поддержкой загрузки модулей и частичной реализацией fs и net модулей. Это дает возможность обращаться из JavaScript парсеров напрямую к файловой системе, а также использовать подключение по TCP из модулей к другим сервисам(например mysql, redis, chrome...).

Все это позволило загружать и использовать node модули из каталога npm, в котором собраны множество полезных библиотек для обработки данных, коннекторы к базам данных и множество других интересных вещей. На данный момент протестированы следующие модули: md5, async-redis, jsdom, puppeter.

Улучшения

• Добавлена поддержка Node.js модулей в JavaScript парсерах
• SE::Google::Position, SE::Google::Compromised и SE::Google::TrustCheck полностью переписаны,...

Второе видео в цикле уроков по созданию JavaScript парсеров. Здесь рассказано о том, как написать несложный парсер сайта, который будет "листать" страницы, используя функционал JS парсеров в А-Парсере.



В уроке рассмотрено:

• Создание кастомного JavaScript парсера без использования встроенных парсеров
• Парсинг контента сайта постранично с использованием регулярных выражений
• Реализация прохода по страницам ("пагинации") в JS парсере

Статья и готовый парсер: https://a-parser.com/resources/255/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Это видео начинает цикл уроков по созданию JavaScript парсеров. Здесь рассказано о том, как начать писать собственные парсеры, используя функционал JS парсеров в А-Парсере.



В уроке рассмотрено:

• Создание кастомного JS парсера
• Использование встроенного парсера внутри JS парсера
• Парсинг выдачи поисковой системы с фильтрацией результатов по заданному условию

Полезные ссылки:

• https://learn.javascript.ru/generator
• https://developer.mozilla.org/ru/docs/Web/JavaScript/Guide/Iterators_and_Generators
• https://developer.mozilla.org/ru/docs/Web/JavaScript/Reference/Operators/yield

Статья и готовый парсер: https://a-parser.com/resources/254/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

После вчерашнего релиза в Яндексе поменялась верстка и SE::Yandex перестал работать.

Сегодня было выпущено исправление, теперь SE::Yandex снова работает
В связи с высокой популярностью данного парсера, это исправление было включено в релиз на stable канале.

Также в обновленном релизе была сделана оптимизация потребления памяти, что устранило проблему с повышенным использованием ОЗУ, возникшую в одной из предыдущих версий.

Улучшения

• Добавлена поддержка сессий в JavaScript парсерах
• В SE::Google::Modern добавлена поддержка сессий и улучшена производительность за счет уменьшения частоты появления каптч/рекаптч
• Добавлена переменная $query.prev - показывает запрос, который использовался на предыдущем уровне
  
• Для JS парсеров добавлен метод this.logger.putHTML, который позволяет вывести в лог HTML код
• В Lite версию добавлен SE::Google::Modern и Util::ReCaptcha2
  
• В x86 версиях добавлено предложение перейти на x64
  
• Добавлена возможность переименовывания пресетов
• В окне выбора пресета для папок реализована "память на сворачивание"
• Изменены иконки для JS парсеров
• Исправлены ошибки с переводом в интерфейсе
• Исправлено отображение HTML тегов в логах
• Исправлен баг при импорте с вложенным парсером
• Исправлен баг с прокруткой при сохранении JS парсеров и пресетов
• Доработан Конструктор регулярных выражений...