Перейти к основному содержимому

OpenAI::ChatGPT - парсер ChatGPT

img

Обзор парсера

Обзор парсера: настройка

Парсер ChatGPT. Сделан на основе официального API и использует API ключ.

Функционал A-Parser позволяет сохранять настройки парсинга парсера Google для дальнейшего использования (пресеты), задавать расписание парсинга и многое другое. Вы можете использовать автоматическое размножение запросов, подстановку подзапросов из файлов, перебор цифро-буквенных комбинаций и списков для получения максимально возможного количества результатов.

Сохранение результатов возможно в том виде и структуре которая вам необходима, благодаря встроенному мощному шаблонизатору Template Toolkit который позволяет применять дополнительную логику к результатам и выводить данные в различных форматах, включая JSON, SQL и CSV.

Собираемые данные

  • Ответ от ChatGPT
  • Количество использованых токенов

Возможности

  • Парсить ответ от ChatGPT
  • Возможность задать System prompt content

Варианты использования

  • Генерация ответов от ChatGPT на любые вопросы

Запросы

В качестве запросов необходимо указывать текст одной строкой, например:

int main() { std::cout << "Hello, user!"; return 0; }
What are 5 key points I should know when studying Ancient Rome?

Подстановки запросов

Вы можете использовать встроенные макросы для разможения запросов.

В формате запросов укажем перебор символов от a до zzzz, данный метод позволяет максимально ротировать поисковую выдачу и получать множество новых уникальных результатов:

$query {az:a:zzzz}

Данный макрос создаст 475254 дополнительных запросов на каждый исходный поисковый запрос, что в сумме даст 4 х 475254 = 1901016 поисковых запроса, цифра впечатляющая, но это совсем не проблема для A-Parser'а. При скорости 2000 запросов в минуту такое задание обработается всего за 16 часов.

Варианты вывода результатов

A-Parser поддерживает гибкое форматирование результатов благодаря встроенному шаблонизатору Template Toolkit, что позволяет ему выводить результаты в произвольной форме, а также в структуированной, например CSV или JSON

Вывод по умолчанию

Формат результата:

Used tokens: $total_tokens, Answer:\n$answer\n

Пример результата:

Used tokens: 54, Answer:
print("Hello, user!")
exit(0)
Used tokens: 290, Answer:
1. Founding and Early History: Ancient Rome was founded in 753 BCE by twin brothers Romulus and Remus. The city grew to become one of the most powerful and influential empires in world history.
2. Roman Republic: The Roman Republic was established in 509 BCE and lasted until 27 BCE. During this time, Rome developed a complex system of government, with two consuls elected annually, a senate, and assemblies of citizens.
3. Roman Empire: The Roman Empire began in 27 BCE when Augustus became the first Roman emperor. The empire grew to include much of Europe, the Middle East, and North Africa and lasted until the fall of the Western Roman Empire in 476 CE.
4. Achievements and Contributions: Ancient Rome made significant contributions to architecture, engineering, law, philosophy, art, literature, and language. Roman innovations include the arch, concrete, aqueducts, roads, and the Latin alphabet.
5. Decline and Fall: The Roman Empire faced numerous challenges, including economic instability, political corruption, military defeats, and invasions by barbarian tribes. The Western Roman Empire fell in 476 CE, while the Eastern Roman Empire (Byzantine Empire) survived until 1453 CE.

Возможные настройки

ПараметрЗначение по умолчаниюОписание
API domainapi.openai.comВозможность изменить домен для API запросов
API keyAPI ключ. Можно указать несколько (по одному на строку), для каждой попытки ключ будет случайно выбираться из доступных и не использованных в рамках текущего запроса.
Model namegpt-3.5-turboТип модели (gpt-4-1106-preview / gpt-4-vision-preview / gpt-4 / gpt-4-32k / gpt-3.5-turbo-0125 / gpt-3.5-turbo / gpt-3.5-turbo-1106 / gpt-3.5-turbo-instruct / gpt-3.5-turbo-16k / gpt-3.5-turbo-16k-0613).
Another model nameПозволяет указать другое название модели. Модели OpenAI API.
System prompt contentСодержимое System prompt
Temperature0.7Temperature
Top P1Top P
Maximum length256Максимальное количество используемых токенов
Presence penalty0Presence penalty
Frequency penalty0Frequency penalty