1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

1.1.619 - большая оптимизация потребления памяти, увеличение скорости парсинга Яндекса

Тема в разделе "Новости", создана пользователем Forbidden, 17 авг 2016.

  1. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    [​IMG]

    В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

    Улучшения
    • Уменьшение потребления памяти
    • Оптимизация парсера SE::Yandex SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)
    Исправления в связи с изменениями в выдаче
    Исправления
    • Исправлен SE::Google SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
    • Исправлен Net::HTTP Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
    • Исправлена работа с сессиями в SE::Yandex::WordStat SE::Yandex::WordStat
     
    #1 Forbidden, 17 авг 2016
    vipdenya нравится это.
  2. Sander180

    Sander180 A-Parser Pro License
    A-Parser Pro

    Регистрация:
    9 апр 2016
    Сообщения:
    4
    Симпатии:
    2
    Как в этой версии обстоят дела с пробивом гугла ? Капчи так же лезут ?
     
    #2 Sander180, 17 авг 2016
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    капчи лезут, скорость в 300 потоках на наших проксях около 150 запросов в минуту
     
    #3 Forbidden, 17 авг 2016
  4. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
    У меня раньше потреблял 2Gb теперь вот так...
    [​IMG]
     
    #4 vipuncle, 18 авг 2016
  5. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    и что должен показать этот скрин? общее использование памяти системой?
     
    #5 Forbidden, 18 авг 2016
  6. vipuncle

    vipuncle A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 апр 2015
    Сообщения:
    125
    Симпатии:
    42
    Он мне говорит о том что щас жрет оперативку как сумашедший!

    Aug 18 23:22:09.26635 GC takes 28.0332491397858
    Out of memory!

    Скушал всю оперативку и вылетел...
     
    #6 vipuncle, 18 авг 2016
  7. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    а ты уверен, что это он всё скушал ? )) процессы надо скринить, а не общее состояние системы. может у тебя просто пяти гб не хватило системе + апарсеру + ещё каким-то программам, вот он и вылетел, когда на ноуте закончилась оперативка, которую сожрала система + другой софт.

    я вот например после этого обновления с потреблением памяти, не видел ни разу, чтобы больше 800 метров апарсер кушал, за что большое спасибо форбу :)
     
    #7 DeLaKroiX, 19 авг 2016
  8. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    #8 Forbidden, 19 авг 2016
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)

Поделиться этой страницей