OpenAI::ChatGPT - ChatGPT スクレイパー
スクレイパーの概要
ChatGPT スクレイパーです。公式APIに基づいて構築されており、APIキーを使用します。
A-Parserの機能により、Googleスクレイパーの設定を将来の使用のために保存（プリセット）したり、スクレイピングのスケジュールを設定したりすることが可能です。クエリの自動増殖、ファイルからのサブクエリの挿入、英数字の組み合わせやリストの総当たりなどを使用して、可能な限り多くの結果を取得できます。
組み込みの強力なテンプレートエンジン Template Toolkit により、結果を必要な形式や構造で保存できます。これにより、結果に追加のロジックを適用したり、JSON、SQL、CSV を含む様々なフォーマットでデータを出力したりできます。
収集データ
- ChatGPTからの回答
- 使用されたトークン数
機能
- ChatGPTからの回答をスクレイピング
- System prompt content を設定可能
ユースケース
- あらゆる質問に対するChatGPTからの回答生成
クエリ
クエリとして、次のように1行に1つのテキストを指定する必要があります：
int main() { std::cout << "Hello, user!"; return 0; }
What are 5 key points I should know when studying Ancient Rome?
クエリの置換
クエリを増殖させるために 組み込みマクロ を使用できます。
クエリ形式で a から zzzz までの文字の総当たりを指定すると、検索結果を最大限にローテーションさせ、多くの新しいユニークな結果を得ることができます：
$query {az:a:zzzz}
このマクロは、元の各検索クエリに対して 475254 個の追加クエリを作成し、合計で 4 x 475254 = 1901016 個の検索クエリになります。これは膨大な数字ですが、A-Parserにとっては全く問題ありません。毎分 2000 クエリの速度であれば、このタスクは約 16 時間で完了します。
結果の出力例
A-Parserは、組み込みのテンプレートエンジン Template Toolkit により柔軟な結果フォーマットをサポートしており、任意の形式や、CSVやJSONなどの構造化された形式で結果を出力できます。
デフォルト出力
結果フォーマット：
Used tokens: $total_tokens, Answer:\n$answer\n
結果の例：
Used tokens: 54, Answer:
print("Hello, user!")
exit(0)
Used tokens: 290, Answer:
1. Founding and Early History: Ancient Rome was founded in 753 BCE by twin brothers Romulus and Remus. The city grew to become one of the most powerful and influential empires in world history.
2. Roman Republic: The Roman Republic was established in 509 BCE and lasted until 27 BCE. During this time, Rome developed a complex system of government, with two consuls elected annually, a senate, and assemblies of citizens.
3. Roman Empire: The Roman Empire began in 27 BCE when Augustus became the first Roman emperor. The empire grew to include much of Europe, the Middle East, and North Africa and lasted until the fall of the Western Roman Empire in 476 CE.
4. Achievements and Contributions: Ancient Rome made significant contributions to architecture, engineering, law, philosophy, art, literature, and language. Roman innovations include the arch, concrete, aqueducts, roads, and the Latin alphabet.
5. Decline and Fall: The Roman Empire faced numerous challenges, including economic instability, political corruption, military defeats, and invasions by barbarian tribes. The Western Roman Empire fell in 476 CE, while the Eastern Roman Empire (Byzantine Empire) survived until 1453 CE.
設定可能な項目
| パラメーター | デフォルト値 | 説明 |
|---|---|---|
| API domain | api.openai.com | APIリクエスト用のドメインを変更する機能 |
| API key | APIキー。複数指定可能（1行に1つ）。各試行において、現在のクエリ内で使用されていない利用可能なキーからランダムに選択されます。 | |
| Model name | gpt-3.5-turbo | モデルのタイプ（gpt-4-0613, gpt-4, gpt-3.5-turbo, gpt-5-search-api-2025-10-14, gpt-realtime-mini など、詳細は モデルリスト を参照） |
| Another model name | 別のモデル名を指定できます。OpenAI API モデル。 | |
| System prompt content | System prompt の内容 | |
| Temperature | 0.7 | Temperature |
| Top P | 1 | Top P |
| Maximum length | 256 | 使用するトークンの最大数 |
| Presence penalty | 0 | Presence penalty |
| Frequency penalty | 0 | Frequency penalty |
| Additional options | A-Parserで用意されていない 公式API の追加オプションを指定する機能。Additional options の使用例 |
モデルリスト
gpt-4-0613
gpt-4
gpt-3.5-turbo
gpt-5-search-api-2025-10-14
gpt-realtime-mini
gpt-realtime-mini-2025-10-06
sora-2
sora-2-pro
davinci-002
babbage-002
gpt-3.5-turbo-instruct
gpt-3.5-turbo-instruct-0914
dall-e-3
dall-e-2
gpt-4-1106-preview
gpt-3.5-turbo-1106
tts-1-hd
tts-1-1106
tts-1-hd-1106
text-embedding-3-small
text-embedding-3-large
gpt-4-0125-preview
gpt-4-turbo-preview
gpt-3.5-turbo-0125
gpt-4-turbo
gpt-4-turbo-2024-04-09
gpt-4o
gpt-4o-2024-05-13
gpt-4o-mini-2024-07-18
gpt-4o-mini
gpt-4o-2024-08-06
chatgpt-4o-latest
o1-mini-2024-09-12
o1-mini
gpt-4o-realtime-preview-2024-10-01
gpt-4o-audio-preview-2024-10-01
gpt-4o-audio-preview
gpt-4o-realtime-preview
omni-moderation-latest
omni-moderation-2024-09-26
gpt-4o-realtime-preview-2024-12-17
gpt-4o-audio-preview-2024-12-17
gpt-4o-mini-realtime-preview-2024-12-17
gpt-4o-mini-audio-preview-2024-12-17
o1-2024-12-17
o1
gpt-4o-mini-realtime-preview
gpt-4o-mini-audio-preview
computer-use-preview
o3-mini
o3-mini-2025-01-31
gpt-4o-2024-11-20
computer-use-preview-2025-03-11
gpt-4o-search-preview-2025-03-11
gpt-4o-search-preview
gpt-4o-mini-search-preview-2025-03-11
gpt-4o-mini-search-preview
gpt-4o-transcribe
gpt-4o-mini-transcribe
o1-pro-2025-03-19
o1-pro
gpt-4o-mini-tts
o3-2025-04-16
o4-mini-2025-04-16
o3
o4-mini
gpt-4.1-2025-04-14
gpt-4.1
gpt-4.1-mini-2025-04-14
gpt-4.1-mini
gpt-4.1-nano-2025-04-14
gpt-4.1-nano
gpt-image-1
codex-mini-latest
gpt-4o-realtime-preview-2025-06-03
gpt-4o-audio-preview-2025-06-03
o4-mini-deep-research
gpt-4o-transcribe-diarize
o4-mini-deep-research-2025-06-26
gpt-5-chat-latest
gpt-5-2025-08-07
gpt-5
gpt-5-mini-2025-08-07
gpt-5-mini
gpt-5-nano-2025-08-07
gpt-5-nano
gpt-audio-2025-08-28
gpt-realtime
gpt-realtime-2025-08-28
gpt-audio
gpt-5-codex
gpt-image-1-mini
gpt-5-pro-2025-10-06
gpt-5-pro
gpt-audio-mini
gpt-audio-mini-2025-10-06
gpt-5-search-api
gpt-3.5-turbo-16k
tts-1
whisper-1
text-embedding-ada-002