1. Этот сайт использует файлы cookie. Продолжая пользоваться данным сайтом, Вы соглашаетесь на использование нами Ваших файлов cookie. Узнать больше.
  2. Вступайте в наш Telegram чат: https://t.me/a_parser Нас уже 2600+ и мы растем!
    Скрыть объявление
Файлы cookie Telegram чат

А-Парсер и Пандора!

Тема в разделе "Трёп", создана пользователем Topper, 23 апр 2015.

Статус темы:
Закрыта.
Страница 3 из 22
  1. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Просто некоторые картинки из общего числа не сохраняются в файлы, по ключу будет например не 20 картинок, а 15.
    Ставить в страницу все равно есть из чего. Можно сделать поправку на то что некоторый процент картинок - битый, в пресете поставить парсить не 20, а 30 штук на ключ.
     
    #41 Topper, 23 май 2015
    Force68 нравится это.
  2. Sobesednic

    Sobesednic A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 сен 2014
    Сообщения:
    44
    Симпатии:
    14
    Предлагаю сделать одновременную работу GetLinks,GetTexts и GetImages или как вариант что бы можно было включать одновременный парсинг
     
    #42 Sobesednic, 23 май 2015
  3. ТОПчик

    ТОПчик New Member

    Регистрация:
    25 май 2015
    Сообщения:
    2
    Симпатии:
    0
    Привет народ. За сколько времени генерируете обычный дор, скажем на 2-3к ключей? Хочу прикупить, но пока в раздумьях.

    Topper, в примере, который ты сгенерировал картинка, текст и видео парсятся по 1 ключу. Возможно ли в дальнейшем реализовать парсинг не только по 1 ключу, но и, например, по случайному слову взятому из файла? Что-то типа "[APRANDLINE-(city.txt)]"
     
    #43 ТОПчик, 25 май 2015
    Последнее редактирование: 25 май 2015
  4. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Хорошо, внесу в планы
    Не осилил. Нужен пример файла ключей и результата
     
    #44 Topper, 25 май 2015
    Sobesednic нравится это.
  5. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    так тут все зависит от скорости парсинга - то есть кол-во потоков, качество проксей.
     
    #45 Force68, 25 май 2015
  6. ТОПчик

    ТОПчик New Member

    Регистрация:
    25 май 2015
    Сообщения:
    2
    Симпатии:
    0
    В пандоре есть макрос, позволяющий брать случайную строку из файла.
    Пусть этот файл имеет содержание:
    Волк
    Лиса
    Заяц
    и т.д.

    Вот я вставил этот макрос в шаблон. При генерации из файла была взята строка "Заяц".
    Возможно ли сделать парсинг текста, картики или видео по слову "Заяц"?
     
    #46 ТОПчик, 25 май 2015
  7. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Каким образом макрос [APRANDLINE-(city.txt)] поймет что вам нужен текст, а не видео или картинки?

    Тут нужно допиливать и пандору и LAP.
    В пандоре сделать смену ключа из шаблона: {APKEY-([RANDLINE-(city.txt)])} [APIMAGE] или другие AP макросы.. {/APKEY}
    А LAP научить тащить из шаблона все файлы, указанные для APKEY макроса. В этом примере city.txt. И запускать парсинг с этими ключами вместе.

    Важно то что парсить данные связка будет по всем строкам файла city.txt а не по взятым рандомным, так как во время парсинга еще не изместно какие данные выдаст RANDLINE
     
    #47 Topper, 25 май 2015
  8. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Ап LinkAParser 1.5

    Реализована одновременная обработка парсинга картинок, текста и видео

    Добавлена возможность допарсить текст, если после чистки текста его получено мало
    Если после N попыток текста по прежнему мало, то неудачные ключи сохраняются в отдельный файл

    Перескачайте LinkAParser.zip по той же ссылке
     
    #48 Topper, 26 май 2015
    List, Sobesednic и Force68 нравится это.
  9. Sobesednic

    Sobesednic A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 сен 2014
    Сообщения:
    44
    Симпатии:
    14
    [​IMG]
     
    #49 Sobesednic, 26 май 2015
  10. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    а у меня вот так

    [​IMG]
     
    #50 Force68, 26 май 2015
    Sobesednic нравится это.
  11. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Это чтобы враги не догадались.
    Завтра перезалью )
     
    #51 Topper, 26 май 2015
    Sobesednic нравится это.
  12. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Перезалил, пробуй.
     
    #52 Topper, 27 май 2015
    Sobesednic нравится это.
  13. Sobesednic

    Sobesednic A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    12 сен 2014
    Сообщения:
    44
    Симпатии:
    14
    Все отлично, спасибо;)
     
    #53 Sobesednic, 27 май 2015
  14. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Topper, маленький баг:
    при использовании удаленно линукс версии парсера, невозможно в настройках указать путь к файлу aparser.exe
    так как его нет :)

    [​IMG]
     
    #54 Force68, 6 июн 2015
  15. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Залил фикс 1.5.1, теперь указывается только папка парсера
     
    #55 Topper, 7 июн 2015
    Force68 и Sobesednic нравится это.
  16. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    Topper, что то не хочет у меня парсер работать если подключаю вдс с апарсером как сетевой диск,
    и утилитка FtpDrive тоже отказывается, давайте что нибудь порешаем чтоб без всякого гиморою можно было связку делать.
     
    #56 Force68, 7 июн 2015
  17. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    Странно, я тестил работу через FtpDrive . Все отлично работало. Единственно что нужно было в FtpDrive настроить - это указать имя программы *LinkAParser* в главном списке. А ты имеешь ввиду поддержку фтп ?
     
    #57 Topper, 8 июн 2015
  18. EceninPars

    EceninPars A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    14 янв 2013
    Сообщения:
    67
    Симпатии:
    14
    Почему-то при установке галочки "Неудачные писать в LinkAparser.badkeys.txt" ничего в этот файл не пишется, да и просто он не создается. Хотя при тесте на 100 ключей, примерно 7-10 ключей оказываются в итоге без контента. А при попытке допарсинга судя по логу ключи отправляются на допарсинг, парсятся ссылки и все - дальше по ним текст уже не парсится.
     
    #58 EceninPars, 8 июн 2015
  19. Topper

    Topper Active Member

    Регистрация:
    15 апр 2015
    Сообщения:
    112
    Симпатии:
    172
    А попытки допарсить исчерпаны? Или ты их не включил? Все настройки связаны друг с другом http://prntscr.com/7eibp8
     
    #59 Topper, 8 июн 2015
  20. Force68

    Force68 A-Parser Enterprise License
    A-Parser Enterprise

    Регистрация:
    25 фев 2013
    Сообщения:
    175
    Симпатии:
    49
    у меня на вин 8.1 она почему то нехочет работать ни под каким соусом - и под админом запускал и прочие кульбиты делал - тупо не создает диск и видимо не коннектится с вдской

    ну впринципе хотелось бы конешно иметь возможность простой связки "из коробки"
     
    #60 Force68, 8 июн 2015
Страница 3 из 22
Статус темы:
Закрыта.

Поделиться этой страницей