А-Парсер и Пандора!

если в профиле стоит данная галка то да, удаляет.

 

В парсере тайтлов похоже ошибка, связанная с обработкой кодировок. Часто проскакивают тайтлы такого вида:
?????????° "???° ???????µ???????? N?N??±?µ?¶?µ"
Naeo -Iieiaay Aaa?aey- Iieiaay Aaa?aey: nai?iee aieoiaioia
A. ?oeia E. Eiaooi ?onneay iieeoey / ?onneay iieeoey

 

у меня у одного текстовка черт пойми какая парсится
Why do I have to complete a CAPTCHA?
Если функция включена, то следующий ролик начнет воспроизводиться автоматически.
Completing the CAPTCHA proves you are a human and gives you temporary access to the web property.
What can I do to prevent this in the future?
Введите капчу!
If you are on a personal connection, like at home, you can run an anti-virus scan on your device to make sure it is not infected with malware.
If you are at an office or shared network, you can ask the network administrator to run a scan across the network looking for misconfigured or infected devices.

И миллион других, стабильно процентов 20 текстовки
Юзаю прокси носка

 

Проверил у себя. Тоже куча текстовок с этим текстом есть. Но это наверное вопрос не к Linkaparser а к A-parser. Почему он не определяет это как ошибку. Кстати по - умолчанию правило извлечения текстовки настроено без прокси. Так что прокси тут не причем.

 

тоже самое есть..

 

@Topper предложение есть, как дополнительный функционал парсить в формат мультикей, и генерировать с этого формата доры!
Приведу пример, я сейчас паршу како йто адалт туб по ключам, складываю все это дело в мультикей файл, и потом юзаю этот файл для генерации дора.
Хотелось бы чтоб в линапарсере была возможность свой формат задавать, и уже разбирать его в шаблоне на ключи.
Допустим я сделал пресет в апарсере, который будет сладывать спаршенное в таком виде:
кей1;мультикей1-1;мультикей1-2;мультикей1-3
кей2;мультикей2-1;мультикей2-2;мультикей2-3
кей3;мультикей3-1;мультикей3-2;мультикей3-3
...
в линк апарсере сделать настраиваемые поля, и в шаблоне уже юзать как обычный мультикей.

PS это не только для адалта подходит, так же можно и развлекалово с ютуба парсить, или товарные фиды различных партнерок.

 

Ещё было бы удобно опционально разделять парсинг А-Парсером и остальную работу. Чтобы Линкапарсер накидал заданий А-Парсеру и остановился. Тем временем можно генерить из того, что уже есть. А потом, когда А-Парсер закончит, опять Линкапарсер включить и скачать новый контент.

 

А можно хранение контента оптимизировать? Сейчас из-за того, что все хранится в куче маленьких файлов с размером менее 4кб, место на диске пропадает. Реальный размер файлов и занимаемое на диске место может отличаться в два раза. Для больших HDD не смертельно, а если SSD использовать, то это становится проблемой. Можно хотя бы текст по каждому ключу не в разных файлах хранить, а в одном. Но лучше бы и другой контент как-то объединять в файлы с разделением внутри...

 

Подскажите что делаю не так:
прописываю
{PREVIEW}[APARTICLE]{/PREVIEW}

потом вставляю {CUTWORDS-5}[PREVIEW]{/CUTWORDS} и получается что выводится целая статья

 

Хотел спросить, а возможно несколько раз использовать одни и те же данные из папки "Кэша". К примеру если впервый раз спарсил по всем ключам весь контент.
Что бы для 100 сайтов не парсить каждый раз, а использовать уже готовый материал из папки?

Как я понимаю: данная галочка для того и создана. А как на деле это использовать?


Подкиньте плиз регулярочку для борьбы с китайцами.

 

Если давать те же ключи и папку с контентом в настройках не менять, то в любом случае он будет переиспользоваться.
Вне зависимости от галки. Без галки он просто будет пробовать ещё допарсить, если не будет хватать, а с галкой будет использовать только то, что есть.

 

Topper, в LinkAParser.extraregex.txt теперь можно стопслова писать как я понял?