А-Парсер и Пандора!

[Topper]

Просто некоторые картинки из общего числа не сохраняются в файлы, по ключу будет например не 20 картинок, а 15.
Ставить в страницу все равно есть из чего. Можно сделать поправку на то что некоторый процент картинок - битый, в пресете поставить парсить не 20, а 30 штук на ключ.

 

[Sobesednic]

Предлагаю сделать одновременную работу GetLinks,GetTexts и GetImages или как вариант что бы можно было включать одновременный парсинг

 

[ТОПчик]

Привет народ. За сколько времени генерируете обычный дор, скажем на 2-3к ключей? Хочу прикупить, но пока в раздумьях.

Topper, в примере, который ты сгенерировал картинка, текст и видео парсятся по 1 ключу. Возможно ли в дальнейшем реализовать парсинг не только по 1 ключу, но и, например, по случайному слову взятому из файла? Что-то типа "[APRANDLINE-(city.txt)]"

 

[Topper]

Предлагаю сделать одновременную работу GetLinks,GetTexts и GetImages или как вариант что бы можно было включать одновременный парсинг

Хорошо, внесу в планы

Возможно ли в дальнейшем реализовать парсинг не только по 1 ключу, но и, например, по случайному слову взятому из файла? Что-то типа "[APRANDLINE-(city.txt)]"

Не осилил. Нужен пример файла ключей и результата

 

[Force68]

Привет народ. За сколько времени генерируете обычный дор, скажем на 2-3к ключей?

так тут все зависит от скорости парсинга - то есть кол-во потоков, качество проксей.

 

[ТОПчик]

Не осилил. Нужен пример файла ключей и результата

В пандоре есть макрос, позволяющий брать случайную строку из файла.
Пусть этот файл имеет содержание:
Волк
Лиса
Заяц
и т.д.

Вот я вставил этот макрос в шаблон. При генерации из файла была взята строка "Заяц".
Возможно ли сделать парсинг текста, картики или видео по слову "Заяц"?

 

[Topper]

Каким образом макрос [APRANDLINE-(city.txt)] поймет что вам нужен текст, а не видео или картинки?

Тут нужно допиливать и пандору и LAP.
В пандоре сделать смену ключа из шаблона: {APKEY-([RANDLINE-(city.txt)])} [APIMAGE] или другие AP макросы.. {/APKEY}
А LAP научить тащить из шаблона все файлы, указанные для APKEY макроса. В этом примере city.txt. И запускать парсинг с этими ключами вместе.

Важно то что парсить данные связка будет по всем строкам файла city.txt а не по взятым рандомным, так как во время парсинга еще не изместно какие данные выдаст RANDLINE

 

[Topper]

Ап LinkAParser 1.5

Реализована одновременная обработка парсинга картинок, текста и видео

Добавлена возможность допарсить текст, если после чистки текста его получено мало
Если после N попыток текста по прежнему мало, то неудачные ключи сохраняются в отдельный файл

Перескачайте LinkAParser.zip по той же ссылке

 

[Sobesednic]

 

[Force68]

а у меня вот так

 

[Topper]

Это чтобы враги не догадались.
Завтра перезалью )

 

[Topper]

Перезалил, пробуй.

 

[Sobesednic]

Все отлично, спасибо

 

[Force68]

Topper, маленький баг:
при использовании удаленно линукс версии парсера, невозможно в настройках указать путь к файлу aparser.exe
так как его нет

 

[Topper]

при использовании удаленно линукс версии парсера, невозможно в настройках указать путь к файлу aparser.exe

Залил фикс 1.5.1, теперь указывается только папка парсера

 

[Force68]

Topper, что то не хочет у меня парсер работать если подключаю вдс с апарсером как сетевой диск,
и утилитка FtpDrive тоже отказывается, давайте что нибудь порешаем чтоб без всякого гиморою можно было связку делать.

 

[Topper]

Странно, я тестил работу через FtpDrive . Все отлично работало. Единственно что нужно было в FtpDrive настроить - это указать имя программы *LinkAParser* в главном списке. А ты имеешь ввиду поддержку фтп ?

 

[EceninPars]

Почему-то при установке галочки "Неудачные писать в LinkAparser.badkeys.txt" ничего в этот файл не пишется, да и просто он не создается. Хотя при тесте на 100 ключей, примерно 7-10 ключей оказываются в итоге без контента. А при попытке допарсинга судя по логу ключи отправляются на допарсинг, парсятся ссылки и все - дальше по ним текст уже не парсится.

 

[Topper]

А попытки допарсить исчерпаны? Или ты их не включил? Все настройки связаны друг с другом http://prntscr.com/7eibp8

 

[Force68]

Странно, я тестил работу через FtpDrive . Все отлично работало. Единственно что нужно было в FtpDrive настроить - это указать имя программы *LinkAParser* в главном списке. А ты имеешь ввиду поддержку фтп ?

у меня на вин 8.1 она почему то нехочет работать ни под каким соусом - и под админом запускал и прочие кульбиты делал - тупо не создает диск и видимо не коннектится с вдской

ну впринципе хотелось бы конешно иметь возможность простой связки "из коробки"