OpenAI::Completions - scraper OpenAI Completions
Przegląd scrapera
Scraper OpenAI Completions. Scraper metody Completions od OpenAI. Stworzony na podstawie oficjalnego API i wykorzystuje klucz API. Analogiczny do scrapera 
OpenAI::ChatGPT, główną różnicą jest brak opcji System prompt content oraz inne typy modeli do generowania.
Funkcjonalność A-Parser pozwala zapisywać ustawienia tego scrapera do dalszego wykorzystania (presety), ustalać harmonogram scrapowania i wiele więcej. Możesz korzystać z automatycznego mnożenia zapytań, podstawiania podzapytań z plików, generowania kombinacji alfanumerycznych oraz list, aby uzyskać maksymalną możliwą liczbę wyników.
Zapisywanie wyników jest możliwe w dowolnej formie i strukturze, dzięki wbudowanemu potężnemu silnikowi szablonów Template Toolkit, który pozwala stosować dodatkową logikę do wyników i eksportować dane w różnych formatach, w tym JSON, SQL i CSV.
Gromadzone dane
- Odpowiedź od OpenAI
- Liczba wykorzystanych tokenów
Możliwości
- Scrapowanie odpowiedzi od OpenAI
Warianty użycia
- Generowanie odpowiedzi od OpenAI na dowolne pytania
Zapytania
Jako zapytania należy podawać tekst w jednej linii, na przykład:
What are 5 key points I should know when studying Ancient Rome?
Podstawienia w zapytaniach
Możesz użyć wbudowanych makr do mnożenia zapytań.
W formacie zapytań określimy generowanie znaków od a do zzzz, ta metoda pozwala maksymalnie rotować wyniki wyszukiwania i uzyskiwać wiele nowych unikalnych wyników:
$query {az:a:zzzz}
To makro utworzy 475254 dodatkowych zapytań dla każdego zapytania początkowego, co łącznie da 4 x 475254 = 1901016 zapytań, liczba imponująca, ale nie stanowi to żadnego problemu dla A-Parser. Przy prędkości 2000 zapytań na minutę takie zadanie zostanie przetworzone w zaledwie 16 godzin.
Warianty wyprowadzania wyników
A-Parser obsługuje elastyczne formatowanie wyników dzięki wbudowanemu silnikowi szablonów Template Toolkit, co pozwala mu na wyprowadzanie wyników w dowolnej formie, a także w formie ustrukturyzowanej, np. CSV lub JSON
Domyślne wyjście
Format wyniku:
Used tokens: $total_tokens, Answer:\n$answer\n
Przykład wyniku:
Used tokens: 290, Answer:
1. Founding and Early History: Ancient Rome was founded in 753 BCE by twin brothers Romulus and Remus. The city grew to become one of the most powerful and influential empires in world history.
2. Roman Republic: The Roman Republic was established in 509 BCE and lasted until 27 BCE. During this time, Rome developed a complex system of government, with two consuls elected annually, a senate, and assemblies of citizens.
3. Roman Empire: The Roman Empire began in 27 BCE when Augustus became the first Roman emperor. The empire grew to include much of Europe, the Middle East, and North Africa and lasted until the fall of the Western Roman Empire in 476 CE.
4. Achievements and Contributions: Ancient Rome made significant contributions to architecture, engineering, law, philosophy, art, literature, and language. Roman innovations include the arch, concrete, aqueducts, roads, and the Latin alphabet.
5. Decline and Fall: The Roman Empire faced numerous challenges, including economic instability, political corruption, military defeats, and invasions by barbarian tribes. The Western Roman Empire fell in 476 CE, while the Eastern Roman Empire (Byzantine Empire) survived until 1453 CE.
Możliwe ustawienia
| Parametr | Wartość domyślna | Opis |
|---|---|---|
| API domain | api.openai.com | Możliwość zmiany domeny dla zapytań API |
| API key | Klucz API. Można podać kilka (jeden na linię), dla każdej próby klucz będzie wybierany losowo z dostępnych i nieużywanych w ramach bieżącego zapytania. | |
| Model name | text-davinci-003 | Typ modelu (gpt-3.5-turbo-instruct / babbage-002 / davinci-002 / text-davinci-003) |
| Temperature | 0.7 | Temperature |
| Top P | 1 | Top P |
| Maximum length | 256 | Maksymalna liczba użytych tokenów |
| Presence penalty | 0 | Presence penalty |
| Frequency penalty | 0 | Frequency penalty |