1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

1.1.434 - парсинг частотности Яндекс.Директ с большой скоростью, улучшения использования памяти

Тема в разделе "Новости", создана пользователем Forbidden, 29 фев 2016.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.790
    В этой версии проделана большая работа по добавлению поддержки агрегации запросов. Теперь парсер частотности ключевых слов SE::Yandex::Direct::Frequency SE::Yandex::Direct::Frequency может получать данные со скоростью 20000-50000 слов\минуту

    Улучшения
    • Уменьшено потребление памяти при использовании большого числа потоков и\или нескольких парсеров в одном задании
    • Уменьшено потребление памяти при большой очереди завершенных заданий
    • В парсере SE::Yandex::Direct::Frequency SE::Yandex::Direct::Frequency добавлена возможность выбрать все регионы или выбрать несколько определенных
    • В парсере SE::Yandex::Direct::Frequency SE::Yandex::Direct::Frequency добавлена поддержка Яндекс аккаунтов, а так же поддержка AntiGate и парсинг по 500 ключевых слов за один запрос
    • В парсере SE::Yandex::Direct::Frequency SE::Yandex::Direct::Frequency добавлена возможность выбора периода за последний месяц, за определенный месяц, за квартал или за год
    • Для Windows и Linux улучшена поддержка юникода в именах файлах, независимо от языка интерфейса ОС
    • Добавлена возможность просматривать логи только неудачных запросов
    • В API добавлена возможность указать флаг removeOnComplete при добавлении задания, тем самым задания будут автоматически удалятся после завершения
    • В просмотре логов теперь можно выделить данные для копирования
    • В парсере Net::HTTP Net::HTTP добавлен параметр Max cookies count, ограничивающий число Cookie для сохранения
    • В парсере Net::HTTP Net::HTTP расширен список кодов ответов, а также добавлена возможность указать регулярное выражения для проверки кода ответа
    • В очереди заданий теперь можно искать необходимые задания по названию, номеру, подстроке в запросах, имени файлов запросов и результатов
    • В парсере HTML::LinkExtractor HTML::LinkExtractor добавлена опция Check next page, позволяющая расширить логику перехода по ссылкам
    • Добавлена опция Page as new query, которая передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода
    Исправления в связи с изменениями выдачи
    Исправления
    • Исправлено отображение длинных выпадающих меню
    • Исправлена кодировка запросов в просмотре логов
    • Исправлено падение при использовании опции Parse to level в некоторых ситуациях
    • Исправлено падение в парсере SEO::Ping SEO::Ping
    • Прокси с авторизацией теперь сохраняются корректно в файл живых прокси alive.txt
    • Исправлена работа с прокси при указании пустой пары логин\пароль для авторизации
    • В парсере SE::Yandex::WordStat SE::Yandex::WordStat теперь при использовании опции Remove + from keywords плюсы удаляются также для фраз правого столбика
    • Исправлено экранирование символа + в HTTP запросах

    Все изменения и описания новых возможностей скоро будут доступны в документации
     
    limoshkaa, Support и vipdenya нравится это.

Поделиться этой страницей