В новой версии А-парсера появились настройки:
CPU ядер(обработка заданий) и
CPU ядер(обработка результатов)
Вопросы:
1) Это настройки для КАЖДОГО задания или целиком на весь А-парсер?
2) Сколько ядер выбрать для компа на I7 - 4 ядра\8 потоков?
3) Я большее количество данных получаю регулярками в задании и совсем немного - в конструкторе результатов. Может это сейчас не оптимально и лучше большую част делать в конструкторе результатов, чтобы освободить ядра для работы с потоками (закачка страниц), и максимально нагрузить ядра обработки результатов? Есть какая-то золотая середина? В конструкторе результатов я использую до 30 полей.
В среднем задании обрабатывается до 1 млн УРЛ, поэтому экономия времени очень важна.
CPU ядер(обработка заданий) и
CPU ядер(обработка результатов)
Вопросы:
1) Это настройки для КАЖДОГО задания или целиком на весь А-парсер?
2) Сколько ядер выбрать для компа на I7 - 4 ядра\8 потоков?
3) Я большее количество данных получаю регулярками в задании и совсем немного - в конструкторе результатов. Может это сейчас не оптимально и лучше большую част делать в конструкторе результатов, чтобы освободить ядра для работы с потоками (закачка страниц), и максимально нагрузить ядра обработки результатов? Есть какая-то золотая середина? В конструкторе результатов я использую до 30 полей.
В среднем задании обрабатывается до 1 млн УРЛ, поэтому экономия времени очень важна.