Улучшение парсинг произвольного текста со списка урлов

[brxbrx]

Со списка урлов парсил весь текст из боди, очищал от мусора - тегов и т.д.

 

[sergeda]

Очень нужная фича

 

[lexone]

Тоже за!

 

[Forbidden]

будет

 

[Forbidden]

HTML::TextExtractor:

 

[lexone]

Forbidden, большое тебе спасибо. У меня просьба, можешь сделать аналог http://x-parser.ru/software/1-x-parser-light.html? Ибо у него очень тяжко парсить, каптча и скорость ужасны...

 

[Forbidden]

Forbidden, большое тебе спасибо. У меня просьба, можешь сделать аналог http://x-parser.ru/software/1-x-parser-light.html? Ибо у него очень тяжко парсить, каптча и скорость ужасны...

а в чем проблема сейчас это делать? (после выхода следующей версии с HTML::TextExtractor)

 

[Force68]

а в чем проблема сейчас это делать? (после выхода следующей версии с HTML::TextExtractor)

Forbidden, это бы было просто супер - тоже хотел вас попросить рассмотреть возможность добавить в а-парсер такой функционал.

 

[Forbidden]

Какой такой? кто нибудь по человечески объяснит?

 

[Force68]

Какой такой? кто нибудь по человечески объяснит?

ну как бы:

....автоматический парсер контента по списку ключевых слов. Алгоритмы парсера сделаны так, чтобы пользователю не нужно было производить какие-либо настройки, связанные с привязкой к шаблону сайтов-доноров. Все манипуляции с контентом парсер производит автоматически, и с достаточно высокой вероятностью находит непосредственно тело статьи среди всего контента отпарсенной страницы....

 

[Forbidden]

Ну дак в чем проблема напарсить линков через тот же SE::Yandex, а потом пройтись HTML::TextExtractor? он собирает все текстовые блоки, с указанием минимального размера

 

[WarGuss]

Forbidden если не сложно, выложите пожалуйста пример (если уже скажем есть ключи, как собрать статьи).

 

[Support]

Просто воспользуйтесь парсером HTML::TextExtractor
Примеров на форуме есть много:
http://a-parser.com/threads/1822/
http://a-parser.com/threads/1820/
http://a-parser.com/threads/1678/