OpenAI::Completions - OpenAI Completions scraper
Översikt av scrapern
Scraper OpenAI Completions. Scraper för Completions-metoden från OpenAI. Byggd på det officiella API:et och använder en API-nyckel. Liknar scrapern 
OpenAI::ChatGPT, den största skillnaden är avsaknaden av alternativet System prompt content och andra typer av modeller för generering.
Funktionaliteten i A-Parser gör det möjligt att spara inställningar för denna scraper för framtida bruk (förinställningar), schemalägga dataskrapning och mycket mer. Du kan använda automatisk multiplikation av frågor, infogning av underfrågor från filer, generering av alfanumeriska kombinationer och listor för att få största möjliga mängd resultat.
Resultaten kan sparas i det format och den struktur du behöver, tack vare den inbyggda kraftfulla mallmotorn Template Toolkit som gör det möjligt att tillämpa extra logik på resultaten och exportera data i olika format, inklusive JSON, SQL och CSV.
Insamlade data
- Svar från OpenAI
- Antal använda tokens
Funktioner
- Skrapa svar från OpenAI
Användningsfall
- Generering av svar från OpenAI på valfria frågor
Frågor
Som frågor måste text anges på en rad, till exempel:
What are 5 key points I should know when studying Ancient Rome?
Frågesubstitutioner
Du kan använda inbyggda makron för att multiplicera frågor.
I frågeformatet anger vi en genomgång av tecken från a till zzzz, denna metod gör det möjligt att maximera rotationen av sökresultaten och få många nya unika resultat:
$query {az:a:zzzz}
Detta makro kommer att skapa 475254 extra frågor för varje ursprunglig sökfråga, vilket totalt ger 4 x 475254 = 1901016 sökfrågor, en imponerande siffra, men det är inget problem för A-Parser. Med en hastighet på 2000 frågor per minut kommer en sådan uppgift att behandlas på bara 16 timmar.
Exempel på resultatutdata
A-Parser stöder flexibel formatering av resultat tack vare den inbyggda mallmotorn Template Toolkit, vilket gör det möjligt att mata ut resultat i valfri form, såväl som i strukturerad form, till exempel CSV eller JSON
Standardutdata
Resultatformat:
Used tokens: $total_tokens, Answer:\n$answer\n
Exempel på resultat:
Used tokens: 290, Answer:
1. Founding and Early History: Ancient Rome was founded in 753 BCE by twin brothers Romulus and Remus. The city grew to become one of the most powerful and influential empires in world history.
2. Roman Republic: The Roman Republic was established in 509 BCE and lasted until 27 BCE. During this time, Rome developed a complex system of government, with two consuls elected annually, a senate, and assemblies of citizens.
3. Roman Empire: The Roman Empire began in 27 BCE when Augustus became the first Roman emperor. The empire grew to include much of Europe, the Middle East, and North Africa and lasted until the fall of the Western Roman Empire in 476 CE.
4. Achievements and Contributions: Ancient Rome made significant contributions to architecture, engineering, law, philosophy, art, literature, and language. Roman innovations include the arch, concrete, aqueducts, roads, and the Latin alphabet.
5. Decline and Fall: The Roman Empire faced numerous challenges, including economic instability, political corruption, military defeats, and invasions by barbarian tribes. The Western Roman Empire fell in 476 CE, while the Eastern Roman Empire (Byzantine Empire) survived until 1453 CE.
Möjliga inställningar
| Parameter | Standardvärde | Beskrivning |
|---|---|---|
| API domain | api.openai.com | Möjlighet att ändra domän för API-anrop |
| API key | API-nyckel. Flera kan anges (en per rad), för varje försök väljs en nyckel slumpmässigt bland de tillgängliga som inte använts inom den aktuella frågan. | |
| Model name | text-davinci-003 | Modelltyp (gpt-3.5-turbo-instruct / babbage-002 / davinci-002 / text-davinci-003) |
| Temperature | 0.7 | Temperature |
| Top P | 1 | Top P |
| Maximum length | 256 | Maximalt antal tokens som används |
| Presence penalty | 0 | Presence penalty |
| Frequency penalty | 0 | Frequency penalty |