Как одним заданием парсить ссылки и проверять их код ответа?

[kleim]

Здравствуйте!Как можно при парсинге ссылок из поисковых систем,сразу их проверять на 200 ok - статус?

 

[DeLaKroiX]

никак

 

[kleim]

Только после сбора,через NET:HTTP?

 

[DeLaKroiX]

угу

 

[kleim]

Плохо,очень тормозит работу это(И мусора много собирается почему то...

 

[DeLaKroiX]

либо js-парсерами я думаю такое реализуемо, где-то были примеры как выдачу парсить

 

[kleim]

Спасибо,попробую поискать информацию

 

[Support]

Вот почти готовый пример JS парсера, который решает данную задачу одним заданием: https://a-parser.com/resources/134/
Только вместо сбора тайтлов нужно выводить код ответа и при необходимости сразу фильтровать по нему. Также для увеличения скорости, можно включить Read only headers в Net::HTTP.

 

[kleim]

Благодарю вас!