1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Несколько вопросов [TOR, HEADERS]

Тема в разделе "Делимся опытом", создана пользователем Егор Ерохин, 7 май 2020.

  1. Егор Ерохин

    Егор Ерохин A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2020
    Сообщения:
    13
    Симпатии:
    3
    Привтствую!
    Приобрел продукт только вчера и еще многое не понял, поэтому с вашего позволения задам несколько вопросов.

    1. Как лучше пустить A-Parser через TOR на linux?
    Я вижу только вариант с указанием локального прокси-сервера 127.0.0.1:9050 в файле прокси.
    Но будет ли парсер в многопоточном режиме нормально работать через один IP:Рort?
    Может стоит поднять сотню портов TORа?
    Или поднять проксю с сотней портов и завернуть ее трафик на 9050?

    2. Парсинг ответов сервера (response headers)
    Разобрался как спарсить одну строку из заголовка посредством регулярок в редакторе заданий, но
    не понял как полностью распарсить заголовок ответа если из него нужны несколько строк.
    На форуме нашел похожую тему, но там с использованием JS, а мне хотелось бы этого избежать.
    Возможно ли сделать это в редакторе заданий?

    Буду благодарен за любую инфу куда копать, особенно интересует вопрос как лучше прокинуть а-парсер в тор.
     
  2. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Да, будет, только нужно включить опцию Reuse proxy between retries в используемом конфиге потоков.

    Уточните, пожалуйста, какой парсер используется и какие именно нужны заголовки?
     
    Егор Ерохин нравится это.
  3. Егор Ерохин

    Егор Ерохин A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2020
    Сообщения:
    13
    Симпатии:
    3
    Спасибо за ответ! Буду пробовать.

    Используется Net::HTTP
    Да любые, по аналогии сделаю, просто не освоился еще.
    Ну вот, например server и x-powered-by

    Сервер получаю регексом
    Код:
    Server: (.+?)\n
    Но так и не понял как получать и обрабатывать сразу несколько строк.
    Возможно я проморгал и есть специальный парсер для заголовков.
     
  4. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.372
    Симпатии:
    2.102
    Можно выбирать регулярными выражениями из $headers, либо выводить из обьекта $response:
    [​IMG]
     
    Егор Ерохин нравится это.
  5. Егор Ерохин

    Егор Ерохин A-Parser Pro License
    A-Parser Pro

    Регистрация:
    5 май 2020
    Сообщения:
    13
    Симпатии:
    3
    Ага, понял, спасибо!
    Я неправильно пихал в результаты.
     
    Support нравится это.

Поделиться этой страницей