Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX
Не упустите этот момент, возможно розыгрыш произойдёт только один раз
В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor
В конструкторах запросов улучшена логика при разделении запроса на части
16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!
Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.
Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по...