OpenAI::Completions - scraper OpenAI Completions
Présentation du scraper
Scraper OpenAI Completions. Scraper de la méthode Completions d'OpenAI. Conçu sur la base de l'API officielle et utilise une clé API. Analogue au scraper 
OpenAI::ChatGPT, la différence principale résidant dans l'absence de l'option System prompt content et d'autres types de modèles pour la génération.
La fonctionnalité d'A-Parser permet de sauvegarder les paramètres de collecte de données de ce scraper pour une utilisation ultérieure (présélections), de définir un calendrier de collecte et bien plus encore. Vous pouvez utiliser la multiplication automatique des requêtes, la substitution de sous-requêtes à partir de fichiers, l'itération de combinaisons alphanumériques et de listes pour obtenir le maximum de résultats possible.
La sauvegarde des résultats est possible dans la forme et la structure dont vous avez besoin, grâce au puissant moteur de gabarits intégré Template Toolkit qui permet d'appliquer une logique supplémentaire aux résultats et d'exporter les données dans divers formats, y compris JSON, SQL et CSV.
Données collectées
- Réponse d'OpenAI
- Nombre de tokens utilisés
Fonctionnalités
- Parser la réponse d'OpenAI
Cas d'utilisation
- Génération de réponses d'OpenAI à n'importe quelles questions
Requêtes
En tant que requêtes, vous devez spécifier le texte sur une seule ligne, par exemple :
What are 5 key points I should know when studying Ancient Rome?
Substitutions de requêtes
Vous pouvez utiliser les macros intégrées pour multiplier les requêtes.
Dans le format des requêtes, indiquons une itération de caractères de a à zzzz, cette méthode permet de faire pivoter au maximum les résultats de recherche et d'obtenir de nombreux nouveaux résultats uniques :
$query {az:a:zzzz}
Cette macro créera 475254 requêtes supplémentaires pour chaque requête de recherche initiale, ce qui donnera au total 4 x 475254 = 1901016 requêtes de recherche, un chiffre impressionnant, mais ce n'est pas du tout un problème pour A-Parser. À une vitesse de 2000 requêtes par minute, une telle tâche sera traitée en seulement 16 heures.
Variantes d'affichage des résultats
A-Parser prend en charge un formatage flexible des résultats grâce au moteur de gabarits intégré Template Toolkit, ce qui lui permet d'afficher les résultats sous une forme arbitraire, ainsi que structurée, par exemple CSV ou JSON
Affichage par défaut
Format du résultat :
Used tokens: $total_tokens, Answer:\n$answer\n
Exemple de résultat :
Used tokens: 290, Answer:
1. Founding and Early History: Ancient Rome was founded in 753 BCE by twin brothers Romulus and Remus. The city grew to become one of the most powerful and influential empires in world history.
2. Roman Republic: The Roman Republic was established in 509 BCE and lasted until 27 BCE. During this time, Rome developed a complex system of government, with two consuls elected annually, a senate, and assemblies of citizens.
3. Roman Empire: The Roman Empire began in 27 BCE when Augustus became the first Roman emperor. The empire grew to include much of Europe, the Middle East, and North Africa and lasted until the fall of the Western Roman Empire in 476 CE.
4. Achievements and Contributions: Ancient Rome made significant contributions to architecture, engineering, law, philosophy, art, literature, and language. Roman innovations include the arch, concrete, aqueducts, roads, and the Latin alphabet.
5. Decline and Fall: The Roman Empire faced numerous challenges, including economic instability, political corruption, military defeats, and invasions by barbarian tribes. The Western Roman Empire fell in 476 CE, while the Eastern Roman Empire (Byzantine Empire) survived until 1453 CE.
Paramètres possibles
| Paramètre | Valeur par défaut | Description |
|---|---|---|
| API domain | api.openai.com | Possibilité de modifier le domaine pour les requêtes API |
| API key | Clé API. Vous pouvez en spécifier plusieurs (une par ligne), pour chaque tentative, une clé sera choisie au hasard parmi celles disponibles et non utilisées dans le cadre de la requête actuelle. | |
| Model name | text-davinci-003 | Type de modèle (gpt-3.5-turbo-instruct / babbage-002 / davinci-002 / text-davinci-003) |
| Temperature | 0.7 | Temperature |
| Top P | 1 | Top P |
| Maximum length | 256 | Nombre maximum de tokens utilisés |
| Presence penalty | 0 | Presence penalty |
| Frequency penalty | 0 | Frequency penalty |