-
Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
-
Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!Скрыть объявление
A-Parser - парсер для профессионалов SEO
май
25
Улучшения
Исправления в связи с изменениями в выдачи
Исправления
- В парсере Net::Whois добавлен парсинг названия регистратора домена
Исправления в связи с изменениями в выдачи
Исправления
- Исправлено падение при использовании JavaScript(tools.js) на Windows, также исправлена некорректная работа на Linux
- Исправлена проблема с логином на некоторых аккаунтах Яндекса
- Исправлено определение ранка в парсере Rank::Alexa для доменов с www.
- Исправлена работа с некоторыми доменными зонами в парсере Net::Whois, а также отображение статуса для некоторых зон
- Исправлено падение Rank::CMS при использовании опции -nofork
- Исправлены проблемы в работе нового прокси чекера: отключение чекера при изменении настроек, переопределение чекера в задании, а также проблема с отображением в некоторых...
май
13
Денис Бартаев рассказывает, как собрать отзывы о компании в необходимом регионе:
Подписывайтесь на наш канал!
Оставляйте в комментариях свои идеи и пожелания для будущих видео
- Парсинг отзывов с популярного сервиса
- Работа с парсером Net::HTTP, переход по сайту в глубину
- Использование конструкторов запросов и результатов
- Получение нескольких элементов контента одним регулярным выражением
- Работа с асинхронными запросами в A-Parser
- Просмотр результата в табличном виде в Excel
Подписывайтесь на наш канал!
Оставляйте в комментариях свои идеи и пожелания для будущих видео
май
02
В этой версии проделана большая работа по улучшению проверки прокси и добавлению возможности использования разных источников прокси:
- Появилась возможность запускать сразу несколько прокси чекеров, каждый поддерживает собственные настройки и собственный рабочий каталог с возможностью указать различные источники проксей
- В настройках задания, появилась возможность указать прокси от каких чекеров должны использоваться(выбор между всеми или перечисление конкретных)
- Более того в одном задании каждый парсер может использовать различные источники прокси
- Добавлен график живых прокси и статистика по обработке источников
- Уменьшено потребление памяти при большом числе живых прокси
- В API теперь возможно получить список всех живых прокси, а также список прокси для конкретных прокси чекеров
апр
26
13-й выпуск Сборника рецептов. В нем мы научимся сохранять результат в файл дампа SQL, который будет сразу готов для импорта в базу данных; познакомимся с очень полезным инструментом $tools.query, с помощью которого можно объединять несколько заданий в одно и делать другие интересные вещи; а также увидим еще несколько полезных рецептов.
Вывод результата в формате дампа SQL
С вопросом "можно ли сохранять результаты сразу в базу данных" очень часто обращаюся пользователи в техподдержку. И так, как на данный момент напрямую сохранять результаты в БД нет возможности (но планируется), то предлагаю вариант выводить их в файл дампа, а потом импортировать в базу данных. Как это делается - показано по ссылке выше.
Обзор инструмента $tools.query
$tools.query довольно часто встречается в примерах на форуме. В А-Парсере этот инструмент появился уже больше года назад, но обзора по нему...
Вывод результата в формате дампа SQL
С вопросом "можно ли сохранять результаты сразу в базу данных" очень часто обращаюся пользователи в техподдержку. И так, как на данный момент напрямую сохранять результаты в БД нет возможности (но планируется), то предлагаю вариант выводить их в файл дампа, а потом импортировать в базу данных. Как это делается - показано по ссылке выше.
Обзор инструмента $tools.query
$tools.query довольно часто встречается в примерах на форуме. В А-Парсере этот инструмент появился уже больше года назад, но обзора по нему...
апр
07
В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
- Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
- Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
- Теперь информация о запросах $response формируется только по требованию
- Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
- Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
- В планировщике заданий также используется имя...
Страница 48 из 68