1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Число активных заданий становится меньше

Тема в разделе "1.0.91", создана пользователем maddin, 8 июл 2013.

  1. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    Почему-то со временем число активных заданий меньше становится - ставлю 4, а потом до 1 доходит, хотя в ожидании ещё задания есть. Может нужно придумать проверку числа активных заданий как-то. А то в настройках 4, падает до 1, хотя в настройках 4, ставлю 7 и получается как 4, куда-то 3 потока делось, но потом опять 1 поток.
    Ещё задание бывает скорость 0 ссылок в минуту и висит в активном состоянии больше часа - ничего не парсит, хотя потоки и всё установлено, приходится удалять такое задание и заново добавлять или на стоп ставить чтобы не занимало поток напрасно.
    И что-то с вылетом нужно придумать, видимо из-за того, что потоков много + число активных заданий - A-parser не справлется и вылетает. Было бы хорошо если бы A-parser мог нагружать все ядра процессора, а не одно, тогда и вылетов меньше было бы и потоков больше можно было ставить. Либо какой-то контроль процесса придумать? Чтобы при вылете A-parser сам восстанавливался.
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Проверю


    А в дебаге не смотрел что он делает?


    тут ненадо ничего придумывать, на Windows нельзя превышать лимит в 2000 потоков
     
    maddin нравится это.
  3. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    в дебаге не глянул, позже как такое будет - гляну, редко, но бывает, 1 задание висело так несколько часов активное, пока сам его не остановил, потоков 0, скорость 0, только поток (активных заданий) занимало.
    спасибо, точно больше 2000потоков, а если ещё учесть число потоков чека прокси, то совсем превысил, буду опять на unix переходить, глюки винды надоели
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.336
    Симпатии:
    1.791
    Это не глюки винды или парсера :) ненадо порочить честь парсера :)
    Просто на Windows у парсера есть лимит в 2048 потоков и 1.2-1.8 гб потребляемой памяти
     
    maddin нравится это.
  5. maddin

    maddin A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    13 дек 2012
    Сообщения:
    59
    Симпатии:
    1
    Не не, честь парсера ни в коем разе не порочу. Только этим парсером и пользуюсь, уже начал забывать названия других парсеров, в сравнении с великим A-Parser они просто блекнут :)
    Очень жду возможности составления заданий с передачей результатов по цепочке из одного задания в другое - это будет очередная бомба :)
     

Поделиться этой страницей