Net::Whois очень низкая скорость парсинга.

  • Автор темы Автор темы btr
  • Дата начала Дата начала

btr

A-Parser Enterprise License
A-Parser Enterprise
Добрый день.
Не использовал раньше этот парсер, понадобилось.
200 потоков, 18000 прокси(из них примерно 2000 приват остальное паблик).
Запускаю парсер, всплеск скорости до 3000 запросов в минуту, и после этого скорость начинает падать, падает до 10-20 запросов в минуту и так и болтается в этом районе.
Причем статистика показывает что проксей в бане нету. Настройки парсера следующие:
upload_2018-12-18_12-25-57.png
Подскажите куда копать, как увеличить скорость парсинга?
 
Здравствуйте.
Что пишет в логе задания ?
18/12 16:07:03
Parser Net::Whois::0 parse query flynotes.io
18/12 16:07:03
Use proxy http://123.58.10.107:8080
18/12 16:07:03
Sleeping 5 seconds before request
18/12 16:07:07
Connect(1): whois.nic.io:43 - 200 Connected
18/12 16:07:08
Parse response: 2
18/12 16:07:08
Use proxy http://186.237.32.90:8080
18/12 16:07:08
Sleeping 5 seconds before request
18/12 16:07:15
Connect(2): whois.nic.io:43 - 200 Connected
18/12 16:07:16
Parse response: 2
18/12 16:07:16
Use proxy http://46.188.34.190:35889
18/12 16:07:16
Sleeping 5 seconds before request
18/12 16:07:27
Connect(3): whois.nic.io:43 - 200 Connected
18/12 16:07:28
Parse response: 2
18/12 16:07:28
Use proxy http://176.56.66.84:44669
18/12 16:07:28
Sleeping 5 seconds before request
18/12 16:07:35
Connect(4): whois.nic.io:43 - 200 Connected
18/12 16:07:36
Parse response: 2
18/12 16:07:36
Use proxy http://110.5.110.98:55060
18/12 16:07:36
Sleeping 5 seconds before request
18/12 16:07:42
Connect(5): whois.nic.io:43 - 200 Connected
18/12 16:07:42
Parse response: 2
18/12 16:07:42
Use proxy http://200.69.81.198:50268
18/12 16:07:42
Sleeping 5 seconds before request
18/12 16:07:48
Connect(6): whois.nic.io:43 - 200 Connected
18/12 16:07:48
Parse response: 2
18/12 16:07:48
Use proxy http://85.238.105.176:40313
18/12 16:07:48
Sleeping 5 seconds before request
18/12 16:08:16
Connect(7): whois.nic.io:43 - 200 Connected
18/12 16:08:16
Parse response: 2
18/12 16:08:16
Use proxy http://185.158.114.14:48240
18/12 16:08:16
Sleeping 5 seconds before request
18/12 16:08:22
Connect(8): whois.nic.io:43 - 200 Connected
18/12 16:08:22
Parse response: 2
18/12 16:08:22
Use proxy http://195.62.53.253:31015
18/12 16:08:22
Sleeping 5 seconds before request
18/12 16:08:28
Connect(9): whois.nic.io:43 - 200 Connected
18/12 16:08:28
Parse response: 2
18/12 16:08:28
Use proxy http://109.68.187.22:3128
18/12 16:08:28
Sleeping 5 seconds before request
18/12 16:08:49
Connect(10): whois.nic.io:43 - 200 Connected
18/12 16:08:50
Parse response: 2

Примерно вот так, домен не зарегистрирован, видимо парсер этого не понимает, и делает попытки пока они не кончатся.
 
Выложите в спойлер код импорта пресета
eJyNVG1v2jAQ/iuR14ptol0oL0NBm0Q7kDq10JWifSAIeclBvRo7tR1KhfjvOzsh
AVZpE5LJne+5Nz93G2KoftJ3CjQYTYLJhiTumwSkz7gBNZNiFlMDpEoSqjQoazUh
AzBB8PNRMo0XYw3enZLrV1LdEPOaAKLlCpRiscWxGOW5VEtq0HfKDepWlKfWbHIa
incXrc/thu+feWHqN+qRO5v2bNTcOXdnq+M1681W2/e93LLhzgt3+v8AZ0adtl9v
XhQeGg7b8N1l+788hGI86nm2I51QRPbf++LE86zC9xU/wJ9X8WZepIAaljew6lVO
deUDosQbKPct5EtpRRfWJrM986I84nXfsxdfvbwQVHnPKahXDBeSTkiOw+7pLdBK
YSisSvQG30JxOiXb6bRKspfRfZcOPsxJUjvPqVBcjugKHqR9TMahVCNRYECX9jn7
973e7Nvwtns9GM3qSynM47lZWxc0jplNivIshKVRGXYs2LPjg5BoawtioPtKLstg
rspdehNy4mSCLlKH/ZFhSDCnXEOVaMy1TxEaH98wZDU1Ug0Tmw/qN0SKLuc3sAJe
mjn/lynjMXK+O0fQdQ5822T4l49tUd5+KJyLF4U5kMCoFJ044XJ4W4JieSMXu148
ASRFdwZWs5QKCod5JnkcnOMEhB238nW6Sak6SPjgAQ6VkRRzthjmI7yzTMUDLouh
uJLLhIOtQKSc4wNouC+Z0NV5w61QJngMvnIhMK0Y5jTbCUZKrr+PslQTxZBpTZvg
Enu2HzV3GVHOx/c3+zdkjzwu+mRX36d9ZjpK2jJxPhYSWWT3noG1OWIweoN1QkUM
2L/adlo4t5GsmG/EYn1u9vciSuViDOxixQ8FJneAw0tc75LMIGODe6F5MYQZyauH
23Onx7VwomDBNPISYpQ2mC1T4OZ+i1Pu2ojOf1EhII44UJEmCK+1XWzDliBT66/l
O76gV21i4BTTIc0d+uoRoidA1pOPqMJ6V05wiCjFBmS5b7dI3d/6LmuJbb9tAerQ
XCNZbQf/ANrkJcw=

В списке доменов много не зарегистрированных, возможно это тоже влияет.
 
Назад
Верх