Всем привет. 1. Не могу разобраться с потоками/load threads count/check treads Всегда беру пакет по 100 прокси Проверка этих прокси не нужна. Правильно ли выставляю настройки, чтобы работало на макс скорости? 2. Переводчик бинг переводит на текущих настройках долго имхо 50мб файл - перевод около 6-7 часов правильно ли прописаны настройки и норм ли скорость парсинга? из опыта спасибо
Здравствуйте. Параметр load threads count, в данном случае на скорость не влияет, поэтому можно оставить как есть. Т.к. проверка прокси у вас на скрине отключена, параметр check threads вообще не учитывается. В настройках потоков параметр Threads count можно поставить 100, так как проверка отключена и на нее не используются потоки. В целом, если вы используете наши прокси, тогда в проксичекере достаточно отключить только проверку, остальные настройки можно оставить по-умолчанию. Если другие - тогда в большинстве случаев подойдут тоже настройки по-умолчанию, и если проверка не требуется, ее также можно отключить. Мы проверили работу SE::Bing::Translator, скриншот ниже. Средняя скорость немного выше, чем у вас, но не на много. При этом нужно учитывать, что скорость может зависеть от характеристик сервера, канала интернета и т.п.
спасибо за быстрый ответ хост на кот. запущен a-parser (только под него) 2 ядра Xeon 6 Gb sas - покупаю только ваши прокси всегда - если я ставлю 100, тогда превышение лимита разобрался, почему так. общий лимит потоков почему-то установлен 100, поэтому, упирался в него. спасибо ускорить перевод я так понимаю никак? я почему спрашиваю, возможно файлы разбивать и делать их меньше (не 50мб файл, а 5-10) ну или может есть еще какие танцы с бубном - или же тут всё упирается в скорость перевода?
Да, верно, причина в общем лимите потоков. Скорее всего никак. Разбивка файлов тоже не поможет. Как вы видите, скорость примерно одинакова, как у вас, так и у нас при тесте. Единственный вариант - парсить без прокси, но есть риск получить бан IP.
