Проверить наличие строк в html-коде сайта

Тема в разделе "Техническая поддержка", создана пользователем worker, 12 янв 2017.

  1. worker

    worker A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    29 июн 2013
    Сообщения:
    7
    Симпатии:
    1
    Доброго времени суток!
    Необходимо грабить список сайтов и проверять наличие строк в их коде.
    Проблема в том, что этих строк, к примеру, 10000.
    Есть ли способ решения этой задачи с помощью a-parser? Может, как-то через subs?
     
  2. Forbidden

    Forbidden Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    9 мар 2013
    Сообщения:
    2.953
    Симпатии:
    1.545
    Возможно сформировать свою базу для Rank::CMS Rank::CMS будет лучшим вариантом, но при этом нужно понимать что с таким объемом строк сам парсинг лучше не запускать более чем в 10-20 потоков(без прокси)
     

Поделиться этой страницей