A-Parser - парсер для профессионалов SEO

Улучшения

• Парсер Net::Whois теперь поддерживает работу с интернациональными доменами(IDN, например яндекс.рф)
• Для парсера SE::AOL добавлена опция No results is error - в некоторых случаях аол может вернуть пустую выдачу на вполне нормальный запрос, с этой опцией запросы с пустой выдачей будут перепаршиваться повторно

Исправления

• Парсер картинок SE::Google::Images в связи с изменением в выдаче
• Парсер SE::AOL в связи с изменением в выдаче
• При использовании API после некоторого числа запросов оно переставало отвечать
• Парсер SE::Baidu в связи с изменением в выдаче
• Исправлена ошибка в обработке списка файлов запросов, что приводило к невозможности выбрать файл запроса из папки queries/
• Опция Try in...

Всех с наступающим Новым годом! Мы заготовили вам большой подарок, включающий более 30 изменений!


Интерфейс претерпел множество изменений:

• Переработано отображение задания в очереди, теперь оно более наглядное и информативное
• Настройки теперь сгруппированы по закладкам, что сильно упрощает навигацию
• Появилась возможность перемещать задание непосредственно в начало или в конец очереди
• Обновлен перевод всех элементов на русский язык
• В задании отображается прогресс в виде процента выполненных запросов
• Иконка теперь корректно отображается во всех браузерах
• Основное окно теперь можно позиционировать в верхний левый угол и масштабировать на всю рабочую область браузера
• Исправлена ошибка в импорте пресетов

Добавлены новые парсеры, общее число парсеров перевалило за 50:

• Rank::Linkpad - парсер беклинков(линк, анкор, уровень вложенности) и статистики(число...

Улучшения

• Полностью переписан парсер картинок SE::Google::Images - теперь он парсит новую выдачу, до 10 страниц по 100 результатов
• Парсер SE::Bing теперь поддерживает парсинг Bing News, также теперь можно выбрать время выдачи(за все время, за 24 часа, за неделю или за месяц)
• Парсер HTML::LinkExtractor теперь автоматически считает внутренними ссылки с поддоменов www. и ftp., возможность учитывать все поддомены как внутренние оставлена без изменений

Исправления

• Исправлен парсер SE::Bing::LangDetect в связи с изменением в выдачи
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
• Парсер SE::Google некорректно работал с...

Улучшения:

• Улучшения в работе с сессиями в парсере SE::Google - уменьшено использование каптч
• Улучшения в работе с сессиями в парсере SE::Yandex::WordStat::ByDate - уменьшено использование каптч
• Парсер Net::HTTP теперь возвращает контент для обработки при любых ответах сервера(в т.ч. неудачных)

Исправления:

• В парсере SE::Google не распознавалась каптча
• В парсере SE::Yandex не сохранялись сессии
• HTTP прокси с авторизацией не работали в комбинации с некоторыми парсерами(например SE::Yandex)
• Макрос результата {firstquery} (первый запрос при использовании вложенного парсинга или парсинга с подстановками) не корректно работал с подстановками
• Исправлено определение количества результатов в выдаче в парсере SE::Google
• Парсер...

Теперь в настройках Антигейта( Util::AntiGate) появилась возможность указать дополнительные настройки для каптчи: длину, регистрозависимость, состоит ли каптча только из цифр или её необходимо отправить русскоговорящему сотруднику, и т.п.

Яндекс ввел показ русской каптчи в выдачи, теперь парсер корректно обрабатывает её:


В дополнении к этому в парсере SE::Yandex появилась опция эмуляции браузера, что позволяет добиться высокой скорости парсинга и малого расхода каптч. Парсинг топ-50 выдачи Яндекса в 500 потоков с использованием антигейта(средняя скорость ~2000 запросов в минуту):


Исправления:

• Исправлен парсинг сниппетов в парсере SE::Google

Подробнее тут: Изменения в версии 1.0.183