A-Parser - парсер для профессионалов SEO

15-й выпуск Сборника рецептов. В нем мы будем парсить Google PageSpeed Insights, который позволяет оценивать скорость загрузки, юзабилити сайтов и даже получать их скриншоты; сделаем кастомный парсер Яндекс.Картинок и научимся получать полные ссылки из выдачи Baidu. Поехали!

Анализ скорости загрузки и юзабилити сайтов
У Google есть довольно неплохой сервис PageSpeed Insights, который измеряет скорость загрузки веб-страниц, оценивает их юзабилити и даже делает скриншоты страниц. При этом оценивается обычная и мобильная версия парсера. Поэтому мы не могли обойти стороной такой сервис и не сделать для него парсер. О том, что получилось - читайте по ссылке выше.


Кастомный парсер Яндекс Картинок
На форуме неоднократно спрашивали когда в А-Парсер будет добавлен парсер картинок Яндекса. На данный момент такой парсер уже есть: SE::Yandex::Images. Но в данной...

В версии 1.1.626 добавлена поддержка каптчи при логине в Яндекс аккаунт в парсерах SE::Yandex, SE::Yandex::WordStat и SE::Yandex::Direct::Frequency:



Также для этих парсеров добавлена настройка Remove bad accounts, которая автоматически удаляет аккаунты с неверным логин/паролем или требующие подтверждения по телефону. Опция включена по умолчанию

Добавлен новый парсер картинок SE::Yandex::Images, поддерживает все фильтры(размер, ориентация, тип, цвет, тип файла...). Как известно Яндекс отлично индексирует все картинки для взрослых - отличный способ набрать контента для своих доров/тюбов. В дополнении есть возможность выставить безопасный поиск



Парсер Яндекс картинок также поддерживает работу с антигейтом(anti-captcha, rucaptcha, CapMonster - любой сервис с поддержкой API антигейта)

Исправления в связи с...

В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

Улучшения

• Уменьшение потребления памяти
• Оптимизация парсера SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)

Исправления в связи с изменениями в выдаче

• SE::Google, SE::AOL, SE::Yandex, SE::Dogpile, SE::YouTube, SE::Bing

Исправления

• Исправлен SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
• Исправлен Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
• Исправлена работа с сессиями в SE::Yandex::WordStat

После ужесточения парсинга со стороны гугла A-Parser стал парсить его быстрее чем раньше, результаты тестирования парсинга в 1000 потоков, 1 страница по 100 результатов - более 4000 запросов в минуту



Улучшения

• Переработан парсер SE::Google - увеличена скорость парсинга в 10-20 раз
• Названия пресетов заданий теперь сортируются при добавлении

Исправления

• SE::Google - исправлена обработка каптчи в связи с изменением выдачи
• Net::Whois - исправлена работа с некоторыми зонами
• SE::Yandex::Register - исправлена работа с каптчей при регистрации аккаунта
• Исправлено отображение дебаг информации для прокси чекеров

Улучшения

• В очереди заданий теперь запоминается текущая страница отдельно для активных и завершенных задач
• Добавлена возможность вывести время выполнения каждого запроса

Исправления в связи с изменениями в выдаче

• SE::Yandex, SE::Bing, SE::Yandex::Register, SE::Comcast, SE::DisconnectMe, SE::Bing::Translator, Rank::LinkPad, SE::DuckDuckGo, SE::Yandex::Direct::Frequency

Исправления

• Улучшена обработка кодировки текста в HTML::TextExtractor
• В очереди заданий в некоторых случаях могли не отображаться кнопки управления заданием