Купил сервер помощнее, включил несколько заданий в парсере на 1500+ потоков. Смотрю статистику загрузки сервера - http://jaanv.com/1/proc.jpg Парсер загружает по максимуму только одно ядро из 8. Мощности сервера простаивают. Как распределить нагрузку между свободными ядрами?
Канала хватает, а вот ядро забивается на 100% при скорости в ~30,000. Как можно запустить несколько парсеров на одном сервере? Нужно как-то разнести их на разные порты? И планируется ли версия парсера под многоядерные процессоры?
не получается 2 копии парсера запустить. Создал config.txt, прописал в нем: bind: 0.0.0.0:9091 bind: 0.0.0.0:9092 bind: 0.0.0.0:9093 где 0.0.0.0 - IP сервера В результате, парсер загружается на порту 9093, а на 9091 и 9092 - проблема при загрузке страницы. Как правильно прописать конфиг?
что именно не получилось? для каждой отдельной копии парсера необходимо создать собтвенную директорию, и в каждом отдельном config.txt прописать конкретный порт
Ну во-первых врятли твой локальный ип 127.0.1.1, локальный ип это 127.0.0.1 Во-вторых раз ты закрываешь ип в конфиге значит там указан какой то конкретный ип, и значит к нему и надо подключаться
