Новые парсеры:
позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:
-
SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
- SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
- SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru
- Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
- Могут учитываться позиции поддоменов
- Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
- В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции
- Теперь парсер поддерживает работу с несколькими серверами
- Поддерживает настройку числа попыток и таймаута для запросов
- Может подключаться к серверам в случайной последовательности что позволяет распределить нагрузку на сами сервера
- Улучшена обработка ошибок от сервера
- Для парсеров Net::HTTP,
HTML::LinkExtractor и
Rank::CMS добавлена возможность указать произвольный User-Agent
- Для парсера SE::Yandex::WordStat добавлена возможность удаления + (плюса) из найденных ключевых слов
- Через API теперь можно запросить список живых проксей, подробнее в документации по API
- Добавлен макрос array[].size при формировании результата, позволяет вывести размер определенного массива
- Улучшена скорость декомпрессии gzip, тем самым повысив максимальную скорость при полной загрузке парсера