1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Net::Whois очень низкая скорость парсинга.

Тема в разделе "Техническая поддержка", создана пользователем btr, 18 дек 2018.

  1. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    Добрый день.
    Не использовал раньше этот парсер, понадобилось.
    200 потоков, 18000 прокси(из них примерно 2000 приват остальное паблик).
    Запускаю парсер, всплеск скорости до 3000 запросов в минуту, и после этого скорость начинает падать, падает до 10-20 запросов в минуту и так и болтается в этом районе.
    Причем статистика показывает что проксей в бане нету. Настройки парсера следующие:
    upload_2018-12-18_12-25-57.png
    Подскажите куда копать, как увеличить скорость парсинга?
     
  2. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Здравствуйте.
    Что пишет в логе задания ?
     
  3. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    18/12 16:07:03
    Parser Net::Whois::0 parse query flynotes.io
    18/12 16:07:03
    Use proxy http://123.58.10.107:8080
    18/12 16:07:03
    Sleeping 5 seconds before request
    18/12 16:07:07
    Connect(1): whois.nic.io:43 - 200 Connected
    18/12 16:07:08
    Parse response: 2
    18/12 16:07:08
    Use proxy http://186.237.32.90:8080
    18/12 16:07:08
    Sleeping 5 seconds before request
    18/12 16:07:15
    Connect(2): whois.nic.io:43 - 200 Connected
    18/12 16:07:16
    Parse response: 2
    18/12 16:07:16
    Use proxy http://46.188.34.190:35889
    18/12 16:07:16
    Sleeping 5 seconds before request
    18/12 16:07:27
    Connect(3): whois.nic.io:43 - 200 Connected
    18/12 16:07:28
    Parse response: 2
    18/12 16:07:28
    Use proxy http://176.56.66.84:44669
    18/12 16:07:28
    Sleeping 5 seconds before request
    18/12 16:07:35
    Connect(4): whois.nic.io:43 - 200 Connected
    18/12 16:07:36
    Parse response: 2
    18/12 16:07:36
    Use proxy http://110.5.110.98:55060
    18/12 16:07:36
    Sleeping 5 seconds before request
    18/12 16:07:42
    Connect(5): whois.nic.io:43 - 200 Connected
    18/12 16:07:42
    Parse response: 2
    18/12 16:07:42
    Use proxy http://200.69.81.198:50268
    18/12 16:07:42
    Sleeping 5 seconds before request
    18/12 16:07:48
    Connect(6): whois.nic.io:43 - 200 Connected
    18/12 16:07:48
    Parse response: 2
    18/12 16:07:48
    Use proxy http://85.238.105.176:40313
    18/12 16:07:48
    Sleeping 5 seconds before request
    18/12 16:08:16
    Connect(7): whois.nic.io:43 - 200 Connected
    18/12 16:08:16
    Parse response: 2
    18/12 16:08:16
    Use proxy http://185.158.114.14:48240
    18/12 16:08:16
    Sleeping 5 seconds before request
    18/12 16:08:22
    Connect(8): whois.nic.io:43 - 200 Connected
    18/12 16:08:22
    Parse response: 2
    18/12 16:08:22
    Use proxy http://195.62.53.253:31015
    18/12 16:08:22
    Sleeping 5 seconds before request
    18/12 16:08:28
    Connect(9): whois.nic.io:43 - 200 Connected
    18/12 16:08:28
    Parse response: 2
    18/12 16:08:28
    Use proxy http://109.68.187.22:3128
    18/12 16:08:28
    Sleeping 5 seconds before request
    18/12 16:08:49
    Connect(10): whois.nic.io:43 - 200 Connected
    18/12 16:08:50
    Parse response: 2

    Примерно вот так, домен не зарегистрирован, видимо парсер этого не понимает, и делает попытки пока они не кончатся.
     
  4. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    Выложите в спойлер код импорта пресета
     
  5. btr

    btr A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    11 фев 2013
    Сообщения:
    198
    Симпатии:
    116
    eJyNVG1v2jAQ/iuR14ptol0oL0NBm0Q7kDq10JWifSAIeclBvRo7tR1KhfjvOzsh
    AVZpE5LJne+5Nz93G2KoftJ3CjQYTYLJhiTumwSkz7gBNZNiFlMDpEoSqjQoazUh
    AzBB8PNRMo0XYw3enZLrV1LdEPOaAKLlCpRiscWxGOW5VEtq0HfKDepWlKfWbHIa
    incXrc/thu+feWHqN+qRO5v2bNTcOXdnq+M1681W2/e93LLhzgt3+v8AZ0adtl9v
    XhQeGg7b8N1l+788hGI86nm2I51QRPbf++LE86zC9xU/wJ9X8WZepIAaljew6lVO
    deUDosQbKPct5EtpRRfWJrM986I84nXfsxdfvbwQVHnPKahXDBeSTkiOw+7pLdBK
    YSisSvQG30JxOiXb6bRKspfRfZcOPsxJUjvPqVBcjugKHqR9TMahVCNRYECX9jn7
    973e7Nvwtns9GM3qSynM47lZWxc0jplNivIshKVRGXYs2LPjg5BoawtioPtKLstg
    rspdehNy4mSCLlKH/ZFhSDCnXEOVaMy1TxEaH98wZDU1Ug0Tmw/qN0SKLuc3sAJe
    mjn/lynjMXK+O0fQdQ5822T4l49tUd5+KJyLF4U5kMCoFJ044XJ4W4JieSMXu148
    ASRFdwZWs5QKCod5JnkcnOMEhB238nW6Sak6SPjgAQ6VkRRzthjmI7yzTMUDLouh
    uJLLhIOtQKSc4wNouC+Z0NV5w61QJngMvnIhMK0Y5jTbCUZKrr+PslQTxZBpTZvg
    Enu2HzV3GVHOx/c3+zdkjzwu+mRX36d9ZjpK2jJxPhYSWWT3noG1OWIweoN1QkUM
    2L/adlo4t5GsmG/EYn1u9vciSuViDOxixQ8FJneAw0tc75LMIGODe6F5MYQZyauH
    23Onx7VwomDBNPISYpQ2mC1T4OZ+i1Pu2ojOf1EhII44UJEmCK+1XWzDliBT66/l
    O76gV21i4BTTIc0d+uoRoidA1pOPqMJ6V05wiCjFBmS5b7dI3d/6LmuJbb9tAerQ
    XCNZbQf/ANrkJcw=

    В списке доменов много не зарегистрированных, возможно это тоже влияет.
     
  6. Support Денис

    Support Денис A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 июн 2017
    Сообщения:
    586
    Симпатии:
    185
    btr нравится это.

Поделиться этой страницей