Добрый день. Не использовал раньше этот парсер, понадобилось. 200 потоков, 18000 прокси(из них примерно 2000 приват остальное паблик). Запускаю парсер, всплеск скорости до 3000 запросов в минуту, и после этого скорость начинает падать, падает до 10-20 запросов в минуту и так и болтается в этом районе. Причем статистика показывает что проксей в бане нету. Настройки парсера следующие: Подскажите куда копать, как увеличить скорость парсинга?
Спойлер 18/12 16:07:03 Parser Net::Whois::0 parse query flynotes.io 18/12 16:07:03 Use proxy http://123.58.10.107:8080 18/12 16:07:03 Sleeping 5 seconds before request 18/12 16:07:07 Connect(1): whois.nic.io:43 - 200 Connected 18/12 16:07:08 Parse response: 2 18/12 16:07:08 Use proxy http://186.237.32.90:8080 18/12 16:07:08 Sleeping 5 seconds before request 18/12 16:07:15 Connect(2): whois.nic.io:43 - 200 Connected 18/12 16:07:16 Parse response: 2 18/12 16:07:16 Use proxy http://46.188.34.190:35889 18/12 16:07:16 Sleeping 5 seconds before request 18/12 16:07:27 Connect(3): whois.nic.io:43 - 200 Connected 18/12 16:07:28 Parse response: 2 18/12 16:07:28 Use proxy http://176.56.66.84:44669 18/12 16:07:28 Sleeping 5 seconds before request 18/12 16:07:35 Connect(4): whois.nic.io:43 - 200 Connected 18/12 16:07:36 Parse response: 2 18/12 16:07:36 Use proxy http://110.5.110.98:55060 18/12 16:07:36 Sleeping 5 seconds before request 18/12 16:07:42 Connect(5): whois.nic.io:43 - 200 Connected 18/12 16:07:42 Parse response: 2 18/12 16:07:42 Use proxy http://200.69.81.198:50268 18/12 16:07:42 Sleeping 5 seconds before request 18/12 16:07:48 Connect(6): whois.nic.io:43 - 200 Connected 18/12 16:07:48 Parse response: 2 18/12 16:07:48 Use proxy http://85.238.105.176:40313 18/12 16:07:48 Sleeping 5 seconds before request 18/12 16:08:16 Connect(7): whois.nic.io:43 - 200 Connected 18/12 16:08:16 Parse response: 2 18/12 16:08:16 Use proxy http://185.158.114.14:48240 18/12 16:08:16 Sleeping 5 seconds before request 18/12 16:08:22 Connect(8): whois.nic.io:43 - 200 Connected 18/12 16:08:22 Parse response: 2 18/12 16:08:22 Use proxy http://195.62.53.253:31015 18/12 16:08:22 Sleeping 5 seconds before request 18/12 16:08:28 Connect(9): whois.nic.io:43 - 200 Connected 18/12 16:08:28 Parse response: 2 18/12 16:08:28 Use proxy http://109.68.187.22:3128 18/12 16:08:28 Sleeping 5 seconds before request 18/12 16:08:49 Connect(10): whois.nic.io:43 - 200 Connected 18/12 16:08:50 Parse response: 2 Примерно вот так, домен не зарегистрирован, видимо парсер этого не понимает, и делает попытки пока они не кончатся.
Спойлер eJyNVG1v2jAQ/iuR14ptol0oL0NBm0Q7kDq10JWifSAIeclBvRo7tR1KhfjvOzsh AVZpE5LJne+5Nz93G2KoftJ3CjQYTYLJhiTumwSkz7gBNZNiFlMDpEoSqjQoazUh AzBB8PNRMo0XYw3enZLrV1LdEPOaAKLlCpRiscWxGOW5VEtq0HfKDepWlKfWbHIa incXrc/thu+feWHqN+qRO5v2bNTcOXdnq+M1681W2/e93LLhzgt3+v8AZ0adtl9v XhQeGg7b8N1l+788hGI86nm2I51QRPbf++LE86zC9xU/wJ9X8WZepIAaljew6lVO deUDosQbKPct5EtpRRfWJrM986I84nXfsxdfvbwQVHnPKahXDBeSTkiOw+7pLdBK YSisSvQG30JxOiXb6bRKspfRfZcOPsxJUjvPqVBcjugKHqR9TMahVCNRYECX9jn7 973e7Nvwtns9GM3qSynM47lZWxc0jplNivIshKVRGXYs2LPjg5BoawtioPtKLstg rspdehNy4mSCLlKH/ZFhSDCnXEOVaMy1TxEaH98wZDU1Ug0Tmw/qN0SKLuc3sAJe mjn/lynjMXK+O0fQdQ5822T4l49tUd5+KJyLF4U5kMCoFJ044XJ4W4JieSMXu148 ASRFdwZWs5QKCod5JnkcnOMEhB238nW6Sak6SPjgAQ6VkRRzthjmI7yzTMUDLouh uJLLhIOtQKSc4wNouC+Z0NV5w61QJngMvnIhMK0Y5jTbCUZKrr+PslQTxZBpTZvg Enu2HzV3GVHOx/c3+zdkjzwu+mRX36d9ZjpK2jJxPhYSWWT3noG1OWIweoN1QkUM 2L/adlo4t5GsmG/EYn1u9vciSuViDOxixQ8FJneAw0tc75LMIGODe6F5MYQZyauH 23Onx7VwomDBNPISYpQ2mC1T4OZ+i1Pu2ojOf1EhII44UJEmCK+1XWzDliBT66/l O76gV21i4BTTIc0d+uoRoidA1pOPqMJ6V05wiCjFBmS5b7dI3d/6LmuJbb9tAerQ XCNZbQf/ANrkJcw= В списке доменов много не зарегистрированных, возможно это тоже влияет.
Создана задача по этому запросу https://a-parser.com/threads/5014/ Будет исправлено в следующих версиях
