Подскажите парсер текста

[vipdenya]

Как такового примера нет. Понимаю, что варианты могут быть разные. Буду крайне признателен, если Вы поделитесь пресетом таким, каким его видите Вы с технической точки зрения.
Хотя, как пример, есть такие ссылки, и нужно с них вытащить текст, который более-менее удовлетворяет условиям выше.

http://www.akkaunt-wf.ru/
http://vaiper-shop.ru/
http://mmo-shop.ru/buy-warface-accounts
http://doomxtf.com/magazin/warface.html
http://www.wmcentre.net/lg.php?s=22369
https://www.cheapseller.ru/warface.php
http://dimikey.com/others/accounts/
https://www.youtube.com/watch?v=I1-xe_W1tYo
http://steame.ru/category/akkaunty_warface
http://buytoplay.ru/obyavleniya/warface
http://wf-rus.ru/forum/10
http://rango-hack.ru/forums/warface-черный-рынок.105/
http://rango-hack.ru/categories/Черный-Рынок-Игровых-Аккаунтов.115/
http://www.market4game.ru/forums/warface-varfehjs-rynok-akkauntov.1213/
http://www.e-players.ru/warface_acc.php
http://ocash.ru/Price.php?g=22
http://warfacer.forum2x2.ru/f5-forum
http://warfaceakkishop.com/
http://akkaunti.net/index.php?e=products&c=warface
http://cheat-master.ru/forum/176

 

[vipdenya]

Жаль, что так и не ответили

 

[Support]

Двумя постами выше я описал свое видение решения этой задачи. Просто попробуйте все это реализовать.

 

[vipdenya]

Сделал так

1. Не понял, как реализовать 4-й пункт из ваших рекомендаций (выводим результат, используя шаблонизатор и его функцию .ucfirst (Ссылка) для перевода первой буквы в верхний регистр.)

2. Чтобы вы еще добавили?
И еще вопрос. Результаты с этого пресета я сохраняю в формате texts/${query.key}.txt т.е. название файла - запрос
Далее другим пресетом нужно спарсить сниппеты по этим же запросам. Как сделать, чтобы результаты дописывались в эти файлы?

 

[Support]

Результаты с этого пресета я сохраняю в формате texts/${query.key}.txt т.е. название файла - запрос
Далее другим пресетом нужно спарсить сниппеты по этим же запросам. Как сделать, чтобы результаты дописывались в эти файлы?

Указываете такое же имя файла, и результаты будут дописываться (галочка Перезаписать файл должна быть снята!)

 

[Карабас Барабас]

В 1.1.292 "Добавлена опция "Конструктор запросов на всех уровнях", позволяющая использовать конструктор запросов на всех уровнях вложенного парсинга"
Теперь можно парсинг текста по ключевым словам в один таск сделать, передавая $link в вложенный парсер HTML::LinkExtractor?
Если да, то расскажите подробней плиз.

 

[Support]

Не совсем понятен вопрос.
Пример использования данной опции есть здесь: http://a-parser.com/threads/1880/
Благодаря ей, цепочка категорий передается через Конструктор запросов с предыдущего уровня на следующий.

 

[Карабас Барабас]

Не совсем понятен вопрос.
Пример использования данной опции есть здесь: http://a-parser.com/threads/1880/
Благодаря ей, цепочка категорий передается через Конструктор запросов с предыдущего уровня на следующий.

Если коротко: то можно ли в одно действие спарсить текст по ключам, а не в два, как описано в топике ранее?
Если развернуто: то мне надо сделать анализатор текстов, которые в топе по ВЧ.
1. Паршу гугл - получаю линки
europese roulette * http://www.roulette-spelen.nl/roulette-spelregels/europees-roulette/
europese roulette * http://www.roulettesystemen.nl/soorten-roulette/europese-roulette.html
europese roulette * http://www.roulettesystemen.nl/soorten-roulette/verschil-amerikaanse-europese-roulette.html
europese roulette * https://www.gratisroulette.info/gratis-alle-soorten-roulette/europees-roulette/
europese roulette * https://nl.wikipedia.org/wiki/Roulette_(spel)
europese roulette * http://www.europeesroulette.com/
europese roulette * https://www.onlineroulette.nl/europees-roulette
europese roulette * http://www.funnygames.nl/spel/europees_roulette.html
europese roulette * http://www.onlinerouletteveilig.com/europees-roulette/
live roulette * https://www.onlineroulette.nl/live-roulette
live roulette * http://www.livecasinoroulette.nl/
live roulette * http://www.rouletteonlinespelen.nl/live-roulette
live roulette * https://roulettespelen.org/liveroulette/
live roulette * http://www.roulettesystemen.nl/live-roulette.html
live roulette * http://www.oranjecasino.com/live-roulette.html
live roulette * http://www.liveroulette.nl/
live roulette * http://www.casinoslive.nl/live-roulette
live roulette * http://www.poldercasino.com/live-casino
live roulette * http://www.roulettespelen.tv/live-roulette-spelen/
gratis roulette * https://www.onlineroulette.nl/gratis-roulette-online
gratis roulette * https://roulettespelen.org/
gratis roulette * https://www.casinostrategie.nl/gratis-roulette/
gratis roulette * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
gratis roulette * http://gratisroulettespelen.net/
gratis roulette * http://www.gratisroulette.net/
gratis roulette * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
gratis roulette * http://www.roulette.nl/gratis-roulette-spelen/
gratis roulette * http://spele.nl/roulette/
gratis roulette * http://www.roulette-geld.com/
roulette * http://www.rouletteonlinespelen.nl/
roulette * https://www.onlineroulette.nl/
roulette * http://www.funnygames.nl/spel/roulette.html
roulette * https://nl.wikipedia.org/wiki/Roulette_(spel)
roulette * http://www.roulette-spelen.nl/roulette-spelregels/roulette-spelregels-in-het-kort/
roulette * http://www.roulette-spelen.nl/
roulette * http://www.casinotop10.nl/roulette
roulette * http://www.roulette.nl/
roulette * https://roulettespelen.org/
holland casino roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
holland casino roulette * https://www.hollandcasino.nl/nl/spelen/multi-roulette
holland casino roulette * http://www.pokercity.nl/holland-casino-onthult-spelgeheimen-0008000616710030.aspx
holland casino roulette * http://www.ionica.nl/slimmer-dan-het-casino/
holland casino roulette * https://www.casinostrategie.nl/speluitleg-roulette/
holland casino roulette * http://www.avotek.nl/roulette-automaat/
holland casino roulette * http://www.gelderlander.nl/regio/nijmegen-e-o/nijmegen/man-wint-218-000-euro-in-holland-casino-in-nijmegen-1.4855618
holland casino roulette * http://forum.fok.nl/topic/1377383
holland casino roulette * [MEDIA=youtube]utbtoFuoqEo[/MEDIA]
online roulette * https://www.onlineroulette.nl/
online roulette * http://www.rouletteonlinespelen.nl/
online roulette * http://www.roulette.nl/
online roulette * http://www.casinotop10.nl/roulette
online roulette * http://www.roulette42.nl/
online roulette * http://roulettespelersonline.nl/
online roulette * https://roulettespelen.org/
online roulette * https://www.roulettespelenonline.info/
online roulette * https://www.onlineroulettespel.nl/
online roulette * http://www.roulettesites.nl/
online roulette voor geld * https://www.onlineroulette.nl/online-roulette-echt-geld
online roulette voor geld * https://www.onlineroulette.nl/
online roulette voor geld * http://www.roulettegeld.nl/
online roulette voor geld * https://roulettespelen.org/roulettevoorgeld/
online roulette voor geld * http://www.onlineroulette.nu/
online roulette voor geld * http://www.roulette-geld.com/
online roulette voor geld * http://www.rouletteonlinespelen.nl/online-roulette-voor-geld
online roulette voor geld * http://www.rouletteonlinespelen.nl/
online roulette voor geld * http://roulettevoorgeld.info/
online roulette voor geld * http://roulette.voorgeld.net/
roulette spelen * https://roulettespelen.org/
roulette spelen * http://www.rouletteonlinespelen.nl/
roulette spelen * http://www.roulettespelen.nl/
roulette spelen * http://www.roulette-spelen.nl/
roulette spelen * https://www.onlineroulette.nl/
roulette spelen * https://www.onlineroulette.nl/roulette-spelen
roulette spelen * http://gratisroulettespelen.net/
roulette spelen * http://www.funnygames.nl/spel/roulette.html
roulette spelen * http://www.roulettespelen.com/
roulette spelen * http://www.roulettesystemen.nl/roulette-spelen.html
amerikaans roulette * https://nl.wikipedia.org/wiki/Amerikaanse_roulette
amerikaans roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
amerikaans roulette * http://www.roulettesystemen.nl/soorten-roulette/amerikaanse-roulette.html
amerikaans roulette * http://www.vrijparkeren.nl/speluitleg/speluitleg-amerikaanse-roulette/
amerikaans roulette * https://www.gratisroulette.info/amerikaans-roulette/
amerikaans roulette * https://www.onlineroulette.nl/amerikaans-roulette
amerikaans roulette * https://www.onlineroulettespel.nl/amerikaans-europees-roulette/
amerikaans roulette * http://www.roulette-spelen.nl/roulette-spelregels/amerikaans-roulette/
amerikaans roulette * http://www.casinogokken.net/spelregels/roulette/
casino roulette * https://www.onlineroulette.nl/
casino roulette * https://roulettespelen.org/
casino roulette * http://www.speeleiland.nl/casino-roulette.htm
casino roulette * http://www.livecasinoroulette.nl/
casino roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
casino roulette * http://www.rouletteonlinespelen.nl/kroon-casino-roulette
casino roulette * http://www.rouletteonlinespelen.nl/oranje-casino-roulette
casino roulette * http://www.roulette.nl/
casino roulette * http://www.roulettesystemen.nl/roulette-spelen.html
gratis roulette spelen * https://roulettespelen.org/
gratis roulette spelen * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
gratis roulette spelen * http://gratisroulettespelen.net/
gratis roulette spelen * http://gratis-roulette.info/
gratis roulette spelen * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
gratis roulette spelen * http://spele.nl/roulette/
gratis roulette spelen * http://www.roulette.nl/gratis-roulette-spelen/
gratis roulette spelen * https://www.onlineroulette.nl/
gratis roulette spelen * https://www.casinostrategie.nl/gratis-roulette/
gratis roulette spelen * http://www.roulettesystemen.nl/gratis-oefenspel.html
2. мне надо по каждому кею текст объединить в один. на пример кей gratis roulette spelen:
gratis roulette spelen * https://roulettespelen.org/
gratis roulette spelen * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
gratis roulette spelen * http://gratisroulettespelen.net/
gratis roulette spelen * http://gratis-roulette.info/
gratis roulette spelen * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
gratis roulette spelen * http://spele.nl/roulette/
gratis roulette spelen * http://www.roulette.nl/gratis-roulette-spelen/
gratis roulette spelen * https://www.onlineroulette.nl/
gratis roulette spelen * https://www.casinostrategie.nl/gratis-roulette/
gratis roulette spelen * http://www.roulettesystemen.nl/gratis-oefenspel.html
- все 10 текстов надо записать в файл gratis roulette spelen.txt
3. над каждым созданный текстовым файлом сделать такой http://prntscr.com/8za16j не хитрый анализ

Я понимаю что можно это легко сделать в 2 действия, но мне этим пресетом надо будет пользоватся много раз, поэтому лучше, для экономии времени его сделать в одно действие(если это возможно).

 

[Support]

Я думаю, что Конструктор запросов на всех уровнях вам в данном случае никак не поможет.

 

[Карабас Барабас]

Ок. Спасибо. Возможно ли это вообще сделать апарсером? (без ис-я дополнительно подключаемых скриптов)

 

[Support]

Нет. На данный момент передача результатов одного парсера другому в рамках одного задания не возможна.

 

[Карабас Барабас]

Спасибо

 

[woodoo]

кто может составить пресет, чтобы парсило статьи (не сниппеты) с сайтов, длиной не менее 30 слов , без мусора и сохранялось вот в таком формате?

Заголовок статьи (Запрос)
Контент: Вступительная часть
<!--more-->
http://url_kartinki.jpg
[MEDIA=youtube]SASbBm9bRGI[/MEDIA]
Контент: Продолжение

и чтобы результаты сохранялись в разные файлы тхт (пример: nazvanie_zaprosa.txt)
Спасибо заранее.

 

[Support]

кто может составить пресет

Вам сюда:
http://a-parser.com/threads/1795/
http://a-parser.com/threads/1192/

 

[Apalon]

Нет. На данный момент передача результатов одного парсера другому в рамках одного задания не возможна.

Aplaniruieta takie vozmojnosti?

Bilo neploho parsiti i obrabativati danie v Real Time

 

[Support]

Aplaniruieta takie vozmojnosti?

http://a-parser.com/threads/373/

 

[jfx]

Подскажите где настроить размер сохраняемого текста, чтобы тхт файлы были не сильно большие, допустим максимум 500 кб

 

[Support]

Такой настройки нету, по-умолчанию все результаты сохраняются в один файл. Если требуется разбивать файлы по объёму, можно воспользоваться методом отсюда, немного модифицировав его:

Спойлер: Шаблон

[% maxSize = 500000;

FOREACH t IN p1.texts;
    size = size + t.text.length;
END;
USE Math;
Math.int(size / maxSize) _ '.txt' %]

 

[jfx]

у меня происходит парсинг как здесь http://a-parser.com/threads/837/#post-4485
то есть каждый запрос - новый файл:
europese roulette|http://www.roulette-spelen.nl/roulette-spelregels/europees-roulette/
live roulette|https://www.onlineroulette.nl/live-roulettelive
roulette|http://www.roulettespelen.tv/live-roulette-spelen/gratis

Хотелось бы, что бы не записывалось в каждый файл текстовки больше 500 кб

 

[Support]

Это тоже решается с помощью Template Toolkit. В Формате результата пишем шаблон, который обьединяет весь текст в одной переменной и выводит только нужное его количество.