Имею License type: A-Parser Enterprise License
License created: Sun Jul 30 15:19:40 2017
Updates till: Sat Jun 11 08:15:12 2022
Last available version: 1.2.1511
Сделал пресет для Net::HTTP, купил тут прокси 100 потоков, парсю несколько дней, скорость 1200 в среднем.
Нашел на этом же компе СТАРУЮ версию А-парсера, запустил и настроил те же прокси.
Решил проверить, какая скорость будет на ней этого же пресета, все другие настройки одинаковые на обоих версиях.
На старой версии - скорость значительно БОЛЬШЕ - 1600
Посмотрите на HTTP трафик, который показывает диспетчер задач (Windows 10)- слева новая версия (скорость 1200), справа - старый парсер - скорость 1600
Обратите внимание на большие зубцы кривой слева и гораздо более спокойную кривую справа.
Параметры компа:
I7-4700HQ, RAM 16Gb, SSD 512
Антивирус отключен.
Старая версия Апарсера:
A-Parser Pro v1.2.360
aparser.exe 25.12.18 19:15
49 325 568 bytes
Парсинг: Скорость текущая/общая 1717/1694
Количество ядер CPU=6, других настроек ядер в этой версии еще не было.
Новая версия Апарсера:
A-Parser Enterprise v1.2.1511
aparser.exe 28.05.22 12:53
44 204 544 bytes
Парсинг: Скорость текущая/общая 1298/1256
CPU ядер (обработка заданий)=3
CPU ядер (обработка результатов)=4
Memory Saver=Best Speed
Почему старя парсит быстрее?
ЗАДАЧА: Восстановить прежнюю
скорость парсинга.
License created: Sun Jul 30 15:19:40 2017
Updates till: Sat Jun 11 08:15:12 2022
Last available version: 1.2.1511
Сделал пресет для Net::HTTP, купил тут прокси 100 потоков, парсю несколько дней, скорость 1200 в среднем.
Нашел на этом же компе СТАРУЮ версию А-парсера, запустил и настроил те же прокси.
Решил проверить, какая скорость будет на ней этого же пресета, все другие настройки одинаковые на обоих версиях.
На старой версии - скорость значительно БОЛЬШЕ - 1600
Посмотрите на HTTP трафик, который показывает диспетчер задач (Windows 10)- слева новая версия (скорость 1200), справа - старый парсер - скорость 1600
Обратите внимание на большие зубцы кривой слева и гораздо более спокойную кривую справа.
Параметры компа:
I7-4700HQ, RAM 16Gb, SSD 512
Антивирус отключен.
Старая версия Апарсера:
A-Parser Pro v1.2.360
aparser.exe 25.12.18 19:15
49 325 568 bytes
Парсинг: Скорость текущая/общая 1717/1694
Количество ядер CPU=6, других настроек ядер в этой версии еще не было.
Новая версия Апарсера:
A-Parser Enterprise v1.2.1511
aparser.exe 28.05.22 12:53
44 204 544 bytes
Парсинг: Скорость текущая/общая 1298/1256
CPU ядер (обработка заданий)=3
CPU ядер (обработка результатов)=4
Memory Saver=Best Speed
Почему старя парсит быстрее?
ЗАДАЧА: Восстановить прежнюю


