-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление
A-Parser - парсер для профессионалов SEO
окт
14
Новый парсер SE::Yandex::Direct::Frequency - проверка частотности ключевых слов через Яндекс.Директ.
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере HTML::TextExtractor теперь корректно обрабатываются списки(<select>)
Исправления в связи с изменением в выдаче:
Без распознавания каптчи средняя скорость проверки 3000 ключевых слов в минуту при 500 потоках:
На хороших проксях и при большем числе потоков можно добиться скорости более 20000 кеев в минуту
В парсере HTML::TextExtractor теперь корректно обрабатываются списки(<select>)
Исправления в связи с изменением в выдаче:
- Rank::Alexa
- SE::Google - определение запросов по которым нет результатов
- Исправлена логика работы Parse all results(Parse to level) совместно с макросами перебора букв(или фраз из файла)
- При парсинге ...
окт
02
Важное улучшение - теперь все парсеры(а их 43) проходят ежедневное автоматическое тестирование, что позволяет оперативно реагировать на изменения в выдаче или работе всех сервисов, с которыми работает A-Parser.
Улучшения:
Улучшения:
- Новый макрос результата {dump} - выводит в удобном виде все результаты получаемые парсером
- Улучшен парсинг SE::AOL - теперь необходимо гораздо меньше попыток для успешного парсинга
- Теперь парсер SE::Bing парсит до 1000 результатов с каждого запроса
- В парсере SE::Google::PR если у домена или страницы нету PageRank то в результате выведет -1
- Парсер SE::DMOZ переименован в Rank::DMOZ
- Исправлена работа уникализации результатов в тесте A-Parser'а
- Исправлено автоматическое удаление временных файлов при...
сен
06
Новый метод уникализации DataBase - не использует оперативную память, 100% точность. Убраны старые методы Dynamic, DynamicHash, 16-64mb как неактуальные, подробности тут
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы ...
Реализовано лимитирование потоков, в случае превышения потоков в задании парсер выдаст ошибку и не запустит задание. На Windows лимит установлен в 2000 потоков, на Linux в 10000(или меньше если ulimit -n меньше)
Исправлена обработка каптчи в парсере SE::Yandex. Также теперь можно указать регион поиска в цифровом формате через Extra query string, возможность выбора региона из списка сохраняется
В API добавлена возможность переопределить настройки пресета в методах oneRequest и bulkRequest. Добавлен новый метод getParserPreset - позволяет изучить доступные настройки для каждого парсера. Обновлен модуль AParser.pm
Добавлен парсер новой поисковой системы ...
авг
26
Расширение API:
В парсеры SE::Bing::Suggest и SE::Yahoo::Suggest добавлена опция Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней...
- Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
- Новый метод getTaskConf - получение полных настроек задания по его ID
- AParser.pm - Perl модуль, реализует текущее API
В парсеры SE::Bing::Suggest и SE::Yahoo::Suggest добавлена опция Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней...
авг
17
Вновь исправлен SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч
Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла SE::Google::*
Исправления:
Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.
Обновлен список языков для всех парсеров гугла SE::Google::*
Исправления:
- В парсере HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
- В парсере SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
- Исправлено зависание при парсинге SE::Baidu
- В...
Страница 60 из 69