1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Ошибка Баг в парсере гугл модерн

Тема в разделе "Отклоненные задачи", создана пользователем DeLaKroiX, 5 фев 2018.

  1. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    продолжение темы: https://a-parser.com/posts/13252/

    вот настройки: http://joxi.ru/brRp0B9UQW74J2 там не сфоткано, но Request retries стоит значение 10000000. при этом постоянно есть фейловые запросы, чего быть не должно: http://joxi.ru/MAj98gOtvqj8b2
    лог прикрепил. проверялось на последней версии апарсера..

    ps. лог сбросил в файле потому что ваш новый интерфейс дёргается вверх-вниз, сбрасывая выделение и не давая ничего скопировать, ну и была у меня ещё проблема, когда после нескольких часов работы в логе собралось достаточно большое кол-во данных, ну и было какое-то кол-во сфейленных запросов, так вот - галочка "Показывать только фейловые потоки" не срабатывала, новую тему по этому поводу создавать не буду, т.к. воспроизводить баг долго.
     

    Вложения:

    • 3082.zip
      Размер файла:
      901,5 КБ
      Просмотров:
      4
    #1 DeLaKroiX, 5 фев 2018
    Последнее редактирование: 5 фев 2018
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.575
    Симпатии:
    2.172
    Добрый вечер.
    От файла .db толку мало. Покажите скрином либо скопируйте текстом лог потока, в котором есть неудачный. Только так можно увидеть его причину и уже из этого делать выводы, баг это или нет.

    Насчет интерфейса, если о проблемах с ним упоминать вот так в контексте других задач, то они сами по себе не решатся. Если вы замечаете какие-то проблемы, то создавайте отдельную задачу на каждую, где четко опишите что именно дергается, при каких условиях и в каких меню. И уже исходя из этого, будут вноситься исправления.
     
  3. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    logId: 1
    0

    06/02 01:03:00

    Parser SE::Google::Modern::0 parse query intext:parent directory inurl:/wp-content/uploads/2014/07 ps
    0

    06/02 01:03:00

    Use proxy socks://186.205.32.131:34389
    0

    06/02 01:03:00

    Parse page 1
    0

    06/02 01:03:05

    GET(1): https://www.google.com/search?q=int...ontent/uploads/2014/07 ps&num=100&hl=en&gl=US - 503 (2.77 KB)
    0

    06/02 01:03:05

    Decode from utf-8(meta http-equiv)
    0

    06/02 01:03:05

    Google show recaptcha
    0

    06/02 01:03:05

    ProxyLess mode
    0

    06/02 01:03:05

    POST(1): http://антикапча/in.php - 200 OK (0 KB)
    0

    06/02 01:03:05

    Task created, id: 11753
    0

    06/02 01:03:15

    GET(1): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:03:15

    Decode from utf-8(header content-type)
    0

    06/02 01:03:15

    Status: CAPCHA_NOT_READY
    0

    06/02 01:03:26

    GET(2): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:03:26

    Decode from utf-8(header content-type)
    0

    06/02 01:03:26

    Status: CAPCHA_NOT_READY
    0

    06/02 01:03:36

    GET(3): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:03:36

    Decode from utf-8(header content-type)
    0

    06/02 01:03:36

    Status: CAPCHA_NOT_READY
    0

    06/02 01:03:46

    GET(4): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:03:46

    Decode from utf-8(header content-type)
    0

    06/02 01:03:46

    Status: CAPCHA_NOT_READY
    0

    06/02 01:03:56

    GET(5): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:03:56

    Decode from utf-8(header content-type)
    0

    06/02 01:03:56

    Status: CAPCHA_NOT_READY
    0

    06/02 01:04:06

    GET(6): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0.01 KB)
    0

    06/02 01:04:06

    Decode from utf-8(header content-type)
    0

    06/02 01:04:06

    Status: CAPCHA_NOT_READY
    0

    06/02 01:04:16

    GET(7): http://антикапча/res.php?key=&action=get&id=11753 - 200 OK (0 KB)
    0

    06/02 01:04:16

    Decode from utf-8(header content-type)
    0

    06/02 01:04:16

    Error: empty response
    0

    06/02 01:04:16

    Error recognize recaptcha: Empty response
    0

    06/02 01:04:16

    Use proxy socks://68.4.77.165:19168
    0

    06/02 01:04:20

    GET(2): https://www.google.com/search?q=int...ontent/uploads/2014/07 ps&num=100&hl=en&gl=US - 503 (2.77 KB)
    0

    06/02 01:04:20

    Decode from utf-8(meta http-equiv)
    0

    06/02 01:04:20

    Google show recaptcha
    0

    06/02 01:04:20

    ProxyLess mode
    0

    06/02 01:04:20

    POST(1): http://антикапча/in.php - 200 OK (0 KB)
    0

    06/02 01:04:20

    Task created, id: 11863
    0

    06/02 01:04:30

    GET(1): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:04:30

    Decode from utf-8(header content-type)
    0

    06/02 01:04:30

    Status: CAPCHA_NOT_READY
    0

    06/02 01:04:40

    GET(2): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:04:40

    Decode from utf-8(header content-type)
    0

    06/02 01:04:40

    Status: CAPCHA_NOT_READY
    0

    06/02 01:04:50

    GET(3): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:04:50

    Decode from utf-8(header content-type)
    0

    06/02 01:04:50

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:01

    GET(4): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:01

    Decode from utf-8(header content-type)
    0

    06/02 01:05:01

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:11

    GET(5): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:11

    Decode from utf-8(header content-type)
    0

    06/02 01:05:11

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:21

    GET(6): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:21

    Decode from utf-8(header content-type)
    0

    06/02 01:05:21

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:31

    GET(7): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:31

    Decode from utf-8(header content-type)
    0

    06/02 01:05:31

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:41

    GET(8): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:41

    Decode from utf-8(header content-type)
    0

    06/02 01:05:41

    Status: CAPCHA_NOT_READY
    0

    06/02 01:05:51

    GET(9): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:05:51

    Decode from utf-8(header content-type)
    0

    06/02 01:05:51

    Status: CAPCHA_NOT_READY
    0

    06/02 01:06:01

    GET(10): http://антикапча/res.php?key=&action=get&id=11863 - 200 OK (0.01 KB)
    0

    06/02 01:06:01

    Decode from utf-8(header content-type)
    logId: 3
    0

    06/02 01:11:28

    Parser SE::Google::Modern::0 parse query intext:parent directory inurl:/wp-content/uploads/2014/06 site:.org f
    0

    06/02 01:11:28

    Use proxy socks://179.219.245.154:23130
    0

    06/02 01:11:28

    Use existing session
    0

    06/02 01:11:28

    Parse page 1
    0

    06/02 01:11:28

    Use proxy socks://179.219.245.154:23130
    0

    06/02 01:11:36

    GET(1): https://www.google.com/search?q=int...loads/2014/06 site:.org f&num=100&hl=en&gl=US - 503 (2.88 KB)
    0

    06/02 01:11:36

    Decode from utf-8(meta http-equiv)
    0

    06/02 01:11:36

    Google show recaptcha
    0

    06/02 01:11:36

    ProxyLess mode
    0

    06/02 01:11:37

    POST(1): http://антикапча/in.php - 200 OK (0 KB)
    0

    06/02 01:11:37

    Task created, id: 12184
    0

    06/02 01:11:47

    GET(1): http://антикапча/res.php?key=&action=get&id=12184 - 200 OK (0.01 KB)
    0

    06/02 01:11:47

    Decode from utf-8(header content-type)
    0

    06/02 01:11:47

    Status: CAPCHA_NOT_READY
    0

    06/02 01:11:57

    GET(2): http://антикапча/res.php?key=&action=get&id=12184 - 200 OK (0.01 KB)
    0

    06/02 01:11:57

    Decode from utf-8(header content-type)
    0

    06/02 01:11:57

    Status: CAPCHA_NOT_READY
    0

    06/02 01:12:08

    GET(3): http://антикапча/res.php?key=&action=get&id=12184 - 200 OK (0 KB)
    0

    06/02 01:12:08

    Decode from utf-8(header content-type)
    0

    06/02 01:12:08

    Error: empty response
    0

    06/02 01:12:08

    Error recognize recaptcha: Empty response
    0

    06/02 01:12:08

    Use proxy socks://189.122.54.194:38819
    0

    06/02 01:12:12

    GET(2): https://www.google.com/search?q=int...loads/2014/06 site:.org f&num=100&hl=en&gl=US - 503 (2.81 KB)
    0

    06/02 01:12:12

    Decode from utf-8(meta http-equiv)
    0

    06/02 01:12:12

    Google show recaptcha
    0

    06/02 01:12:12

    ProxyLess mode
    0

    06/02 01:12:13

    POST(1): http://антикапча/in.php - 200 OK (0 KB)
    0

    06/02 01:12:13

    Task created, id: 12209
    0

    06/02 01:12:23

    GET(1): http://антикапча/res.php?key=&action=get&id=12209 - 200 OK (0.01 KB)
    0

    06/02 01:12:23

    Decode from utf-8(header content-type)
    0

    06/02 01:12:23

    Status: CAPCHA_NOT_READY
    0

    06/02 01:12:33

    GET(2): http://антикапча/res.php?key=&action=get&id=12209 - 200 OK (0.01 KB)
    0

    06/02 01:12:33

    Decode from utf-8(header content-type)
    0

    06/02 01:12:33

    Status: CAPCHA_NOT_READY
    0

    06/02 01:12:43

    GET(3): http://антикапча/res.php?key=&action=get&id=12209 - 200 OK (0.49 KB)
    0

    06/02 01:12:43

    Decode from utf-8(header content-type)
    0

    06/02 01:12:54

    POST(1): https://ipv4.google.com/sorry/index - 200 OK (124.07 KB)
    0

    06/02 01:12:54

    Decode from utf-8(header content-type)
    0

    06/02 01:12:54

    Total grabbed 99 links
    0

    06/02 01:12:54

    Parse page 2
    0

    06/02 01:13:00

    GET(1): https://www.google.com/search?q=int.../06 site:.org f&num=100&hl=en&gl=US&start=100 - 200 (111.65 KB)
    0

    06/02 01:13:00

    Decode from utf-8(header content-type)
    0

    06/02 01:13:00

    Total grabbed 199 links
    0

    06/02 01:13:00

    Parse page 3
    0

    06/02 01:13:05

    GET(1): https://www.google.com/search?q=int.../06 site:.org f&num=100&hl=en&gl=US&start=200 - 200 (82.08 KB)
    0

    06/02 01:13:05

    Decode from utf-8(header content-type)
    0

    06/02 01:13:05

    Total grabbed 204 links
    0

    06/02 01:13:05

    No more pages
    0

    06/02 01:13:05

    Save good session
     
  4. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    3.339
    Симпатии:
    1.799
    проблема еще актуальна?
     
  5. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    при неудачном парсинге в логе пишет вот так:
    Maybe regexp has not found a match on this page, but the results may be there...
     

Поделиться этой страницей