Как одним заданием парсить ссылки и проверять их код ответа?

Тема в разделе "Техническая поддержка", создана пользователем kleim, 2 дек 2018.

  1. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Здравствуйте!Как можно при парсинге ссылок из поисковых систем,сразу их проверять на 200 ok - статус?
     
  2. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
  3. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Только после сбора,через NET:HTTP?
     
  4. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
  5. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Плохо,очень тормозит работу это(И мусора много собирается почему то...
     
  6. DeLaKroiX

    DeLaKroiX A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 дек 2015
    Сообщения:
    200
    Симпатии:
    76
    либо js-парсерами я думаю такое реализуемо, где-то были примеры как выдачу парсить
     
  7. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Спасибо,попробую поискать информацию
     
  8. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    2.160
    Симпатии:
    1.473
    Вот почти готовый пример JS парсера, который решает данную задачу одним заданием: https://a-parser.com/resources/134/
    Только вместо сбора тайтлов нужно выводить код ответа и при необходимости сразу фильтровать по нему. Также для увеличения скорости, можно включить Read only headers в Net::HTTP Net::HTTP.
     
    kleim нравится это.
  9. kleim

    kleim A-Parser Pro License
    A-Parser Pro

    Регистрация:
    12 май 2017
    Сообщения:
    8
    Симпатии:
    1
    Благодарю вас!
     
    Support нравится это.

Поделиться этой страницей