Улучшения Новый парсер Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам Новый парсер Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта Новый парсер Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com В парсере SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil Удалены 5 устаревших парсеров: SE::Google::pR - сервис больше не существует, SE::Google::Maps - выдача зависит от гео прокси, Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, Rank::Category - нет подходящего сервиса, Rank::DMOZ - dmoz прекратил свое существование в марте Теперь парсер SE::Yandex по умолчанию использует https, избегая ненужного редиректа Исправления в связи с изменениями в выдаче SE::Bing, Rank::Archive, SE::AOL, SE::IxQuick, SE::Yahoo, Rank::Linkpad Исправления JavaScript парсеры: исправлена обработка checkbox в настройках JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче SE::Google::Trends - исправлена работа с неанглийскими запросами В парсере Net::HTTP исправлена работа опции Check next page в редких случаях Исправлена работа со сжатым контентом для редких сайтов
По дмоз: есть инфа, что в скором времени сюда https://www.curlie.org/top/index.html переедет, с сохранением всей базы
