Очистка текстов, сгенерированных ИИ 1.1.0

Минимальная версия A-Parser:

1.2.2835

Контент, сгенерированный ИИ, часто содержит характерные признаки, по которым легко понять, что текст написан не человеком. Например:

• Тире (—) вместо обычного дефиса (-)
• Кавычки вроде “ ” вместо стандартных " "
• Лишние пробелы или скрытые символы Unicode
• Другие элементы, не свойственные текстам, написанным человеком

Очистка текста от таких деталей делает его более читаемым и естественным, что помогает лучше удерживать внимание читателя, а также защищает от проверок на предмет генерации текстов.
Используется библиотека humanize-ai-lib, требуется предварительная установка одноименного модуля.

Запросы

• Обычные текстовые запросы, каждая строка - отдельный текст
• Список файлов, каждый файл - отдельный текст
• Список каталогов, парсер прочитает из каждого каталога список файлов и использует их в качестве запросов

Примеры запросов включены в пресет.

Возможности

• Возможность использовать в качестве запросов файлы и папки с файлами, парсер автоматически определит вид запросов и корректно обработает их
• Возможность настроить опции очистки
• Парсер не делает никаких http запросов, поэтому работает очень быстро и не требует прокси

Результаты

• В результат выводится очищенный текст. Есть возможность дополнительно вывести информацию о том, сколько символов в тексте было очищено, это может быть полезно для оценки эффективности работы метода очистки.
• Имя файла формируется на основании того, какой вид запроса был использован, полезно для создания структуры результата, идентичной структуре запросов