A-Parser - парсер для профессионалов SEO

В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor

В конструкторах запросов улучшена логика при разделении запроса на части

Исправления в связи с изменениями в выдачи

• SE::Yandex - пропускались некоторые ссылки
• SE::MailRu, SE::Baidu

Исправления

• Исправлена поддержка тега meta http-equiv в парсере Net::HTTP
• Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
• В парсере SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
• Исправлена ошибка в Тестировщике...

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по...

Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:

• уменьшение потребления памяти
• больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков

Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

Улучшения

• Все парсеры позиций в поисковых системах( SE::Google::position, SE::Yandex::position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
• Для парсера SE::Yandex добавлена возможность указать язык результатов поиска

Исправления в связи с изменениями в выдаче

• SE::Google,...

Смотрите новые видео уроки от Дениса Бартаева, подписывайтесь на наш канал!

A-Parser: обзор личного кабинета и процесса оплаты


A-Parser: установка, запуск и обновление


A-Parser: настройка, добавление прокси, запуск задания


Оставляйте в комментариях пожелания для будущих видео!

В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения

• Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
• В парсере Net::HTTP не передаются пустые хедеры
• В парсере SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата

Исправления в связи с изменениями в выдачи

• SE::Yandex,...