Несколько вопросов [TOR, HEADERS]

[Егор Ерохин]

Привтствую!
Приобрел продукт только вчера и еще многое не понял, поэтому с вашего позволения задам несколько вопросов.

1. Как лучше пустить A-Parser через TOR на linux?
Я вижу только вариант с указанием локального прокси-сервера 127.0.0.1:9050 в файле прокси.
Но будет ли парсер в многопоточном режиме нормально работать через один IP:Рort?
Может стоит поднять сотню портов TORа?
Или поднять проксю с сотней портов и завернуть ее трафик на 9050?

2. Парсинг ответов сервера (response headers)
Разобрался как спарсить одну строку из заголовка посредством регулярок в редакторе заданий, но
не понял как полностью распарсить заголовок ответа если из него нужны несколько строк.
На форуме нашел похожую тему, но там с использованием JS, а мне хотелось бы этого избежать.
Возможно ли сделать это в редакторе заданий?

Буду благодарен за любую инфу куда копать, особенно интересует вопрос как лучше прокинуть а-парсер в тор.

 

[Support]

Но будет ли парсер в многопоточном режиме нормально работать через один IP:Рort?

Да, будет, только нужно включить опцию Reuse proxy between retries в используемом конфиге потоков.

Парсинг ответов сервера (response headers)

Уточните, пожалуйста, какой парсер используется и какие именно нужны заголовки?

 

[Егор Ерохин]

Спасибо за ответ! Буду пробовать.

Используется Net::HTTP
Да любые, по аналогии сделаю, просто не освоился еще.
Ну вот, например server и x-powered-by

Сервер получаю регексом

Server: (.+?)\n

Но так и не понял как получать и обрабатывать сразу несколько строк.
Возможно я проморгал и есть специальный парсер для заголовков.

 

[Support]

например server и x-powered-by

Можно выбирать регулярными выражениями из $headers, либо выводить из обьекта $response:

 

[Егор Ерохин]

Ага, понял, спасибо!
Я неправильно пихал в результаты.