1. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Как одним заданием парсить ссылки и проверять их код ответа?

Тема в разделе "Техническая поддержка", создана пользователем kleim, 2 дек 2018.

  1. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Здравствуйте!Как можно при парсинге ссылок из поисковых систем,сразу их проверять на 200 ok - статус?
     
  2. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
  3. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Только после сбора,через NET:HTTP?
     
  4. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
  5. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Плохо,очень тормозит работу это(И мусора много собирается почему то...
     
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    267
    Симпатии:
    96
    либо js-парсерами я думаю такое реализуемо, где-то были примеры как выдачу парсить
     
  7. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Спасибо,попробую поискать информацию
     
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.547
    Симпатии:
    2.163
    Вот почти готовый пример JS парсера, который решает данную задачу одним заданием: https://a-parser.com/resources/134/
    Только вместо сбора тайтлов нужно выводить код ответа и при необходимости сразу фильтровать по нему. Также для увеличения скорости, можно включить Read only headers в Net::HTTP Net::HTTP.
     
    kleim нравится это.
  9. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Благодарю вас!
     
    Support нравится это.

Поделиться этой страницей