A-Parser - парсер для профессионалов SEO

Улучшения

• Новый модуль SEO::Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
• Новый парсер Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
• Для парсера Net::Whois добавлена возможность вручную указать адрес whois-сервера
• В поле Additional headers парсера Net::HTTP теперь возможно использовать переменные из конструктора запросов
• Добавлена опция позволяющая перезаписывать файл результата
• Добавлена возможность поиска пресета задания по названию
• Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
• В очереди заданий теперь отображаются названия пресетов

Исправления

• Парсер Rank::Ahrefs исправлен в связи с изменением в выдачи
• Исправлен вывод Raw results для парсера Net::Whois...

Улучшения

• SE::Seznam - парсер чешской поисковой системы seznam.cz
• SE::AOL::Suggest - парсер подсказок с поисковой системы AOL
• Уменьшено начальное потребление памяти на 40%
• В парсере Net::HTTP добавлена возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора
• Добавлена опция позволяющая сохранять параметры окна интерфейса A-Parser
• Добавлена возможность пропускать обновления на определенную версию
• Улучшено отображение интерфейса при изменении размеров окна и растягивании на весь экран
• Добавлен параметр командной строки -nofork позволяющий отключить многоядерную обработку результатов

Исправления

• Исправлено отображение текущий версии A-Parser для пользователей Lite версии
• Исправлена работа тестового парсинга с некоторыми ресурсами
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
• Исправлена работа опции...

Улучшения

• Теперь парсер-паук для сбора ссылок HTML::LinkExtractor основывается на парсере Net::HTTP и поддерживает все его возможности и опции, включая работу с Cookies
• В парсер SE::Google добавлена возможность подставлять в запросы найденные Related keywords, что позволяет собрать большую базу тематических ключевых слов, которая будет сильно отличаться от подсказок
• Добавлена возможность выбора текущего пресета для прокси-чекера через API
• В парсере SE::Google добавлен обход лишнего редиректа на HTTPS
• Улучшена скорость обработки HTTPS запросов на некоторых сайтах, затрагивает парсер SE::Yandex::WordStat
• На ОС Windows x64 парсер может использовать до 3Гб оперативной памяти
• В интерфейсе добавления заданий появилась возможность сворачивать настройки парсеров
• Улучшен импорт пресетов: теперь при совпадении названий пресетов настроек парсеров пользователю будет...

Этот пост продолжает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга

Парсим базу для XRumer: 420000 форумов за 9 часов

Учимся быстро собирать большие базы методом перебора



За 9 часов работы:

• Было обработано 525254 запроса на максимальную глубину
• Спаршено 68 миллионов ссылок, 420к из которых подходят под фильтр и уникальны по домену
• Средняя скорость парсинга составила 1000 запросов в минуту

Собираем 1.65 миллиона email со страниц контактов за 2.5 часа

Парсим ссылки на страницы с контактными данными, затем собираем с них email-адреса

• Средняя скорость обработки составила 12000 ссылок...

Улучшения парсера HTML::LinkExtractor

• Добавлена опция Follow links позволяющая выбрать порядок следования по ссылкам: только по внутренним, по внутренним и внешним, только по внешним
• Добавлен массив результатов $followlinks, который содержит ссылки для последующего перехода, над этим массивом можно применять фильтры и конструкторы результатов, что позволяет переходить только по определенным ссылкам(например только по топикам форумов)
• Добавлена корректная обработка тега <base href=

Другие улучшения

• Теперь парсер автоматически определяет кодировку по содержимому страницу, если другие методы не дали результатов. В случае если кодировку определить не удается и она не является корректной с точки зрения UTF-8 то содержимое страницы становится недоступным для обработки. Данное улучшение призвано исправить редкие проблемы когда файл результата A-Parser'а невозможно использовать в качестве запросов, т.к. файл мог содержать...