1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление

Подскажите парсер текста

Тема в разделе "Техническая поддержка", создана пользователем kolya757, 30 мар 2015.

  1. vipdenya

    vipdenya A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 июл 2014
    Сообщения:
    57
    Симпатии:
    9
    Как такового примера нет. Понимаю, что варианты могут быть разные. Буду крайне признателен, если Вы поделитесь пресетом таким, каким его видите Вы с технической точки зрения.
    Хотя, как пример, есть такие ссылки, и нужно с них вытащить текст, который более-менее удовлетворяет условиям выше.
    Код:
    http://www.akkaunt-wf.ru/
    http://vaiper-shop.ru/
    http://mmo-shop.ru/buy-warface-accounts
    http://doomxtf.com/magazin/warface.html
    http://www.wmcentre.net/lg.php?s=22369
    https://www.cheapseller.ru/warface.php
    http://dimikey.com/others/accounts/
    https://www.youtube.com/watch?v=I1-xe_W1tYo
    http://steame.ru/category/akkaunty_warface
    http://buytoplay.ru/obyavleniya/warface
    http://wf-rus.ru/forum/10
    http://rango-hack.ru/forums/warface-черный-рынок.105/
    http://rango-hack.ru/categories/Черный-Рынок-Игровых-Аккаунтов.115/
    http://www.market4game.ru/forums/warface-varfehjs-rynok-akkauntov.1213/
    http://www.e-players.ru/warface_acc.php
    http://ocash.ru/Price.php?g=22
    http://warfacer.forum2x2.ru/f5-forum
    http://warfaceakkishop.com/
    http://akkaunti.net/index.php?e=products&c=warface
    http://cheat-master.ru/forum/176
     
  2. vipdenya

    vipdenya A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 июл 2014
    Сообщения:
    57
    Симпатии:
    9
    Жаль, что так и не ответили
     
  3. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Двумя постами выше я описал свое видение решения этой задачи. Просто попробуйте все это реализовать.
     
  4. vipdenya

    vipdenya A-Parser Pro License
    A-Parser Pro

    Регистрация:
    25 июл 2014
    Сообщения:
    57
    Симпатии:
    9
    Сделал так
    [​IMG]
    1. Не понял, как реализовать 4-й пункт из ваших рекомендаций (выводим результат, используя шаблонизатор и его функцию .ucfirst (Ссылка) для перевода первой буквы в верхний регистр.)

    2. Чтобы вы еще добавили?
    И еще вопрос. Результаты с этого пресета я сохраняю в формате texts/${query.key}.txt т.е. название файла - запрос
    Далее другим пресетом нужно спарсить сниппеты по этим же запросам. Как сделать, чтобы результаты дописывались в эти файлы?
     
    kaznokrad нравится это.
  5. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    [​IMG]
    Указываете такое же имя файла, и результаты будут дописываться (галочка Перезаписать файл должна быть снята!)
     
  6. Карабас Барабас

    Регистрация:
    4 ноя 2015
    Сообщения:
    19
    Симпатии:
    2
    В 1.1.292 "Добавлена опция "Конструктор запросов на всех уровнях", позволяющая использовать конструктор запросов на всех уровнях вложенного парсинга"
    Теперь можно парсинг текста по ключевым словам в один таск сделать, передавая $link в вложенный парсер HTML::LinkExtractor?
    Если да, то расскажите подробней плиз.
     
  7. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Не совсем понятен вопрос.
    Пример использования данной опции есть здесь: http://a-parser.com/threads/1880/
    Благодаря ей, цепочка категорий передается через Конструктор запросов с предыдущего уровня на следующий.
     
  8. Карабас Барабас

    Регистрация:
    4 ноя 2015
    Сообщения:
    19
    Симпатии:
    2
    Если коротко: то можно ли в одно действие спарсить текст по ключам, а не в два, как описано в топике ранее?
    Если развернуто: то мне надо сделать анализатор текстов, которые в топе по ВЧ.
    1. Паршу гугл - получаю линки
    europese roulette * http://www.roulette-spelen.nl/roulette-spelregels/europees-roulette/
    europese roulette * http://www.roulettesystemen.nl/soorten-roulette/europese-roulette.html
    europese roulette * http://www.roulettesystemen.nl/soorten-roulette/verschil-amerikaanse-europese-roulette.html
    europese roulette * https://www.gratisroulette.info/gratis-alle-soorten-roulette/europees-roulette/
    europese roulette * https://nl.wikipedia.org/wiki/Roulette_(spel)
    europese roulette * http://www.europeesroulette.com/
    europese roulette * https://www.onlineroulette.nl/europees-roulette
    europese roulette * http://www.funnygames.nl/spel/europees_roulette.html
    europese roulette * http://www.onlinerouletteveilig.com/europees-roulette/
    live roulette * https://www.onlineroulette.nl/live-roulette
    live roulette * http://www.livecasinoroulette.nl/
    live roulette * http://www.rouletteonlinespelen.nl/live-roulette
    live roulette * https://roulettespelen.org/liveroulette/
    live roulette * http://www.roulettesystemen.nl/live-roulette.html
    live roulette * http://www.oranjecasino.com/live-roulette.html
    live roulette * http://www.liveroulette.nl/
    live roulette * http://www.casinoslive.nl/live-roulette
    live roulette * http://www.poldercasino.com/live-casino
    live roulette * http://www.roulettespelen.tv/live-roulette-spelen/
    gratis roulette * https://www.onlineroulette.nl/gratis-roulette-online
    gratis roulette * https://roulettespelen.org/
    gratis roulette * https://www.casinostrategie.nl/gratis-roulette/
    gratis roulette * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
    gratis roulette * http://gratisroulettespelen.net/
    gratis roulette * http://www.gratisroulette.net/
    gratis roulette * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
    gratis roulette * http://www.roulette.nl/gratis-roulette-spelen/
    gratis roulette * http://spele.nl/roulette/
    gratis roulette * http://www.roulette-geld.com/
    roulette * http://www.rouletteonlinespelen.nl/
    roulette * https://www.onlineroulette.nl/
    roulette * http://www.funnygames.nl/spel/roulette.html
    roulette * https://nl.wikipedia.org/wiki/Roulette_(spel)
    roulette * http://www.roulette-spelen.nl/roulette-spelregels/roulette-spelregels-in-het-kort/
    roulette * http://www.roulette-spelen.nl/
    roulette * http://www.casinotop10.nl/roulette
    roulette * http://www.roulette.nl/
    roulette * https://roulettespelen.org/
    holland casino roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
    holland casino roulette * https://www.hollandcasino.nl/nl/spelen/multi-roulette
    holland casino roulette * http://www.pokercity.nl/holland-casino-onthult-spelgeheimen-0008000616710030.aspx
    holland casino roulette * http://www.ionica.nl/slimmer-dan-het-casino/
    holland casino roulette * https://www.casinostrategie.nl/speluitleg-roulette/
    holland casino roulette * http://www.avotek.nl/roulette-automaat/
    holland casino roulette * http://www.gelderlander.nl/regio/nijmegen-e-o/nijmegen/man-wint-218-000-euro-in-holland-casino-in-nijmegen-1.4855618
    holland casino roulette * http://forum.fok.nl/topic/1377383
    holland casino roulette * [MEDIA=youtube]utbtoFuoqEo[/MEDIA]
    online roulette * https://www.onlineroulette.nl/
    online roulette * http://www.rouletteonlinespelen.nl/
    online roulette * http://www.roulette.nl/
    online roulette * http://www.casinotop10.nl/roulette
    online roulette * http://www.roulette42.nl/
    online roulette * http://roulettespelersonline.nl/
    online roulette * https://roulettespelen.org/
    online roulette * https://www.roulettespelenonline.info/
    online roulette * https://www.onlineroulettespel.nl/
    online roulette * http://www.roulettesites.nl/
    online roulette voor geld * https://www.onlineroulette.nl/online-roulette-echt-geld
    online roulette voor geld * https://www.onlineroulette.nl/
    online roulette voor geld * http://www.roulettegeld.nl/
    online roulette voor geld * https://roulettespelen.org/roulettevoorgeld/
    online roulette voor geld * http://www.onlineroulette.nu/
    online roulette voor geld * http://www.roulette-geld.com/
    online roulette voor geld * http://www.rouletteonlinespelen.nl/online-roulette-voor-geld
    online roulette voor geld * http://www.rouletteonlinespelen.nl/
    online roulette voor geld * http://roulettevoorgeld.info/
    online roulette voor geld * http://roulette.voorgeld.net/
    roulette spelen * https://roulettespelen.org/
    roulette spelen * http://www.rouletteonlinespelen.nl/
    roulette spelen * http://www.roulettespelen.nl/
    roulette spelen * http://www.roulette-spelen.nl/
    roulette spelen * https://www.onlineroulette.nl/
    roulette spelen * https://www.onlineroulette.nl/roulette-spelen
    roulette spelen * http://gratisroulettespelen.net/
    roulette spelen * http://www.funnygames.nl/spel/roulette.html
    roulette spelen * http://www.roulettespelen.com/
    roulette spelen * http://www.roulettesystemen.nl/roulette-spelen.html
    amerikaans roulette * https://nl.wikipedia.org/wiki/Amerikaanse_roulette
    amerikaans roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
    amerikaans roulette * http://www.roulettesystemen.nl/soorten-roulette/amerikaanse-roulette.html
    amerikaans roulette * http://www.vrijparkeren.nl/speluitleg/speluitleg-amerikaanse-roulette/
    amerikaans roulette * https://www.gratisroulette.info/amerikaans-roulette/
    amerikaans roulette * https://www.onlineroulette.nl/amerikaans-roulette
    amerikaans roulette * https://www.onlineroulettespel.nl/amerikaans-europees-roulette/
    amerikaans roulette * http://www.roulette-spelen.nl/roulette-spelregels/amerikaans-roulette/
    amerikaans roulette * http://www.casinogokken.net/spelregels/roulette/
    casino roulette * https://www.onlineroulette.nl/
    casino roulette * https://roulettespelen.org/
    casino roulette * http://www.speeleiland.nl/casino-roulette.htm
    casino roulette * http://www.livecasinoroulette.nl/
    casino roulette * https://www.hollandcasino.nl/nl/spelen/amerikaanse-roulette
    casino roulette * http://www.rouletteonlinespelen.nl/kroon-casino-roulette
    casino roulette * http://www.rouletteonlinespelen.nl/oranje-casino-roulette
    casino roulette * http://www.roulette.nl/
    casino roulette * http://www.roulettesystemen.nl/roulette-spelen.html
    gratis roulette spelen * https://roulettespelen.org/
    gratis roulette spelen * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
    gratis roulette spelen * http://gratisroulettespelen.net/
    gratis roulette spelen * http://gratis-roulette.info/
    gratis roulette spelen * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
    gratis roulette spelen * http://spele.nl/roulette/
    gratis roulette spelen * http://www.roulette.nl/gratis-roulette-spelen/
    gratis roulette spelen * https://www.onlineroulette.nl/
    gratis roulette spelen * https://www.casinostrategie.nl/gratis-roulette/
    gratis roulette spelen * http://www.roulettesystemen.nl/gratis-oefenspel.html
    2. мне надо по каждому кею текст объединить в один. на пример кей gratis roulette spelen:
    gratis roulette spelen * https://roulettespelen.org/
    gratis roulette spelen * http://www.rouletteonlinespelen.nl/gratis-roulette-spelen
    gratis roulette spelen * http://gratisroulettespelen.net/
    gratis roulette spelen * http://gratis-roulette.info/
    gratis roulette spelen * http://www.casinotop10.nl/flash-casino/gratis-roulette.shtml
    gratis roulette spelen * http://spele.nl/roulette/
    gratis roulette spelen * http://www.roulette.nl/gratis-roulette-spelen/
    gratis roulette spelen * https://www.onlineroulette.nl/
    gratis roulette spelen * https://www.casinostrategie.nl/gratis-roulette/
    gratis roulette spelen * http://www.roulettesystemen.nl/gratis-oefenspel.html
    - все 10 текстов надо записать в файл gratis roulette spelen.txt
    3. над каждым созданный текстовым файлом сделать такой http://prntscr.com/8za16j не хитрый анализ

    Я понимаю что можно это легко сделать в 2 действия, но мне этим пресетом надо будет пользоватся много раз, поэтому лучше, для экономии времени его сделать в одно действие(если это возможно).
     
    #28 Карабас Барабас, 5 ноя 2015
    Последнее редактирование модератором: 5 ноя 2015
  9. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Я думаю, что Конструктор запросов на всех уровнях вам в данном случае никак не поможет.
     
  10. Карабас Барабас

    Регистрация:
    4 ноя 2015
    Сообщения:
    19
    Симпатии:
    2
    Ок. Спасибо. Возможно ли это вообще сделать апарсером? (без ис-я дополнительно подключаемых скриптов)
     
  11. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Нет. На данный момент передача результатов одного парсера другому в рамках одного задания не возможна.
     
  12. Карабас Барабас

    Регистрация:
    4 ноя 2015
    Сообщения:
    19
    Симпатии:
    2
  13. woodoo

    woodoo A-Parser Pro License
    A-Parser Pro

    Регистрация:
    7 фев 2015
    Сообщения:
    38
    Симпатии:
    5
    кто может составить пресет, чтобы парсило статьи (не сниппеты) с сайтов, длиной не менее 30 слов , без мусора и сохранялось вот в таком формате?

    Заголовок статьи (Запрос)
    Контент: Вступительная часть
    <!--more-->
    http://url_kartinki.jpg
    [MEDIA=youtube]SASbBm9bRGI[/MEDIA]
    Контент: Продолжение

    и чтобы результаты сохранялись в разные файлы тхт (пример: nazvanie_zaprosa.txt)
    Спасибо заранее.
     
  14. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
  15. Apalon

    Apalon A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    31 июл 2015
    Сообщения:
    20
    Симпатии:
    2
    Aplaniruieta takie vozmojnosti?

    Bilo neploho parsiti i obrabativati danie v Real Time
     
  16. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
  17. jfx

    jfx A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2016
    Сообщения:
    7
    Симпатии:
    1
    Подскажите где настроить размер сохраняемого текста, чтобы тхт файлы были не сильно большие, допустим максимум 500 кб
     
  18. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Такой настройки нету, по-умолчанию все результаты сохраняются в один файл. Если требуется разбивать файлы по объёму, можно воспользоваться методом отсюда, немного модифицировав его:
    [​IMG]
    Код:
    [% maxSize = 500000;
    
    FOREACH t IN p1.texts;
        size = size + t.text.length;
    END;
    USE Math;
    Math.int(size / maxSize) _ '.txt' %]
     
    jfx нравится это.
  19. jfx

    jfx A-Parser Pro License
    A-Parser Pro

    Регистрация:
    13 сен 2016
    Сообщения:
    7
    Симпатии:
    1
    у меня происходит парсинг как здесь http://a-parser.com/threads/837/#post-4485
    то есть каждый запрос - новый файл:
    europese roulette|http://www.roulette-spelen.nl/roulette-spelregels/europees-roulette/
    live roulette|https://www.onlineroulette.nl/live-roulettelive
    roulette|http://www.roulettespelen.tv/live-roulette-spelen/gratis

    Хотелось бы, что бы не записывалось в каждый файл текстовки больше 500 кб
     
  20. Support

    Support Administrator
    Команда форума A-Parser Enterprise

    Регистрация:
    16 мар 2012
    Сообщения:
    4.527
    Симпатии:
    2.158
    Это тоже решается с помощью Template Toolkit. В Формате результата пишем шаблон, который обьединяет весь текст в одной переменной и выводит только нужное его количество.
    [​IMG]
     
    jfx нравится это.

Поделиться этой страницей