1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

socks5 awm (speed)

Тема в разделе "Делимся опытом", создана пользователем high_skill, 27 сен 2014.

  1. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    добрый день . взял в awmproxy Безлимитный тариф

    то есть в описаний тарифа сказано в 4000 потоков :
    На обычных безлимитных тарифах количество возможных потоков упирается в 4000-5000 соединений


    железо

    [​IMG]

    активных потоков из 1500 всего 37

    [​IMG]

    а тут уже 17

    [​IMG]

    и начинает падать в итоге таск заканчивается



    [​IMG]

    тут retries уменьшил до 2х . запросы почти все уходят в неудачные ! скорость на активных потоках 1К около . я хз много или мало ли это .


    сама суть проблемы : не могу выжимать полные потоки и скорости

    что то может не так сделано? соксы на авм реально дают 4К потоков ?

    спасибо
     
    #1 high_skill, 27 сен 2014
    Последнее редактирование: 27 сен 2014
  2. Bran

    Bran A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 авг 2013
    Сообщения:
    32
    Симпатии:
    3
    Кажись, такая хрень с потоками - специфика parse all results. Делай сам подстановки.

    Ну а на последнем скрине все в норме, что тебя смущает?
     
  3. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.341
    Симпатии:
    1.799
    а сколько должно быть? :) у тебя запросы заканчиваются

    т.е. не был включен Parse all results

    Тут уже включен Parse all results но зачем то выставлено 2 попытки, это ответ на вопрос почему все запросы в неудачные уходят

    1 Гб оперативной памяти это очень мало для работы в 500-1000 потоков, т.к. из этих 1Гб почти 100% заберет ОС Windows
     
  4. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    Xeon E3 1220v2 8 GB 2 x1 TB 1Gbit/sec OC Debian - сможет держать 4000 потоков ? или как думаете сколько оптимально будет возможно ставить
     
  5. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    то есть типа $query {az:aaa:zzz} ?
     
  6. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.341
    Симпатии:
    1.799
    Для парсинга гугла оптимально 1000-2000 потоков
    Для других задач можно будет и 4000 потоков использовать, например чек алексы через апи и другие более простые задачи
     
  7. high_skill

    high_skill A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 июн 2013
    Сообщения:
    56
    Симпатии:
    7
    спасибо большое за развернутые ответы . благодарю за помощь !


    извеняйте меня за нубские вопросы :)
     

Поделиться этой страницей