-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление
A-Parser - парсер для профессионалов SEO
ноя
15
Новые парсеры:
- SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
- SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
- SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru
- Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
- Могут учитываться позиции поддоменов
- Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
- В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции
ноя
14
Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/Rank-CMS
Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков
Переработан и улучшен парсер Rank::CMS:
Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.
Подробнее тут: 0.9.284
Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков
Переработан и улучшен парсер Rank::CMS:
- база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
- база почищена от мусора, теперь парсер определяет 186 различных CMS
Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.
Подробнее тут: 0.9.284
ноя
05
В этой версии:
Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.
Теперь сжатие gzip используется во всех парсерах по умолчанию.
Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.
Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.
Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}
Исправления затронули:
Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.
Теперь сжатие gzip используется во всех парсерах по умолчанию.
Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.
Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.
Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}
Исправления затронули:
- HTTP движок
- фильтр результатов
- парсер SE::Yandex::WordStat
окт
17
Внимание! При обновлении на эту версию необходимо дополнительно скопировать папку files/proxy из дистрибутива, удалить файл files/proxy_sites.txt, теперь этот файл переименован в files/proxy/sites.txt
В этой версии несколько улучшений прокси чекера:
В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами
Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы...
В этой версии несколько улучшений прокси чекера:
- Загрузка проксей из локального файла
- Возможность указать дополнительные регулярные выражения при парсинге проксей с внешних источников
- Сохранение живых проксей в локальный файл для последующего использования в других программах
В API добавлена возможность парсинга нескольких запросов в многопоточном режиме, а также опция позволяющая возвращать результат выполнения в виде структуры данных, подробнее в документации: User API, взаимодействие с другими программами и скриптами
Парсер Net::HTTP теперь автоматически перекодирует содержимое страницы...
окт
10
В этой версии полностью закончена разработка нового сетевого стека:
Исправлен парсер SE::Yandex, в парсер SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.
Список изменений тут: 0.9.233
- Добавлена поддержка SSL/TLS для работы с сокетами
- Новый HTTP движок поддерживает HTTPS, старый движок полностью отключен
Исправлен парсер SE::Yandex, в парсер SE::Google::Suggest добавлена возможность выбора регионального домена гугла для парсинга.
Список изменений тут: 0.9.233
Страница 66 из 69