1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Улучшение [1.2.2246] SE::Google - none в $totalcount вместо числа

Тема в разделе "1.2.2262", создана пользователем smstic, 7 мар 2024.

  1. smstic

    smstic A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    8 дек 2012
    Сообщения:
    5
    Симпатии:
    1
    Работа через прокси (без прокси пока такого не замечал).
    Где-то около 10% результатов выдает "none" в $totalcount вместо числа.
    Два скриншота с примерами (в большинстве случаев парсинг происходит, как на первом скриншоте, но иногда, как на втором, но на объеме этих вариантов очень много).

    По факту парсинг происходит с успешным результатом - и это как раз не удобно. Неудачные запросы не сохраняются т.к. парсер определяет это как успешно. Приходится в ручном режиме отбирать эти none и парсить снова и так несколько раз.

    Предложение как исправить:
    Если $totalcount = "none", то определять это как неуспешный ответ, т.к. $totalcount по определению не может быть пустым (даже если Google ничего не находит, выдает "0"). И, соответственно, парсить до тех пор, пока не закочатся попытки, тогда уже и выдавать "none" (но оно так и будет, т.к. переменная и останется пустая). Потом уже можно и добавлять попытки, и парсить снова неудачные запросы (т.к. они уже запишутся), т.е. все как обычно.

    googletotalcount1.png


    googletotalcount2.png
     
    Dan Dan нравится это.
  2. Dan Dan

    Dan Dan A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 мар 2020
    Сообщения:
    28
    Симпатии:
    6
    да, поддерживаю, проблематичная штука, я часто делаю такой парсинг и много времени трачу не перепроверку рандомных строк
     
    smstic нравится это.
  3. Support Ilia

    Support Ilia Moderator
    Команда форума A-Parser Enterprise

    Регистрация:
    6 апр 2020
    Сообщения:
    400
    Симпатии:
    75
    Если на странице нет данных, то так и должно быть none в результате. Если вы считаете что в этом случае нужно заново попытаться спарсить результаты по запросу, то просто добавьте в формате результата этот же запрос снова в очередь используя [% tools.query.add(query) %]
     
    smstic нравится это.
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.558
    Симпатии:
    2.168
    В SE::Google SE::Google добавлена опция Empty totalcount is error, при включении которой запрос будет считаться неудачным, если отсутствует значение для $totalcount, и соответственно будут делаться повторные попытки. По-умолчанию отключена.
     
    smstic нравится это.

Поделиться этой страницей