Zum Hauptinhalt springen

FreeAI::Server::OpenAI — OpenAI API Server auf Basis integrierter KI-Modell-Scraper.

OpenAI Server

Übersicht des Parsers

Der Parser bietet die Möglichkeit, einen eigenen OpenAI-kompatiblen API-Server bereitzustellen, mit dem Sie sich über Ihre Anwendungen (z. B. Cherry Studio, Cline usw.) und Skripte verbinden können – sowohl über das offizielle OpenAI SDK als auch über gewöhnliche HTTP-Anfragen. Der Parser ermöglicht den Zugriff auf kostenlose und kostenpflichtige Modelle, die A-Parser erfasst.

Liste der unterstützten Modelle:

Verbindung zu Cherry Studio

  • Einstellungen (obere rechte Ecke)
  • Liste der Provider, ganz unten auf "Hinzufügen"
  • Beliebigen Namen festlegen, Provider type muss OpenAI sein
  • API Key eintragen (beliebiger Schlüssel)
  • Host eintragen (wird in FreeAI::Server::OpenAI konfiguriert), standardmäßig http://127.0.0.1:3000
  • Über die Schaltfläche "Manage" die benötigten Modelle hinzufügen
Verbindungsvideo ansehen

Verbindung zu Cherry Studio

Verbindung über OpenAI SDK

Verbindung zu FreeAI::Server::OpenAI über nodejs + openai sdk
Beispielcode
import OpenAI from "openai";

(async function () {
const openai = new OpenAI({
baseURL: "http://127.0.0.1:3000/v1", //Link, unter dem FreeAI::Server::OpenAI läuft
apiKey: "123",
});

const completion = await openai.chat.completions.create({
model: "FreeAI::ChatGPT", //Modell ist der Name des Parsers aus der FreeAI::Server::OpenAI Liste, Liste der unterstützten Modelle im Abschnitt "Übersicht des Parsers"
messages: [{ role: "user", content: "Why is the sky blue?" }], //Anfrage an das Modell
});

console.log(completion.choices[0].message.content); //Ausgabe der Antwort vom KI-Modell
})();

Ergebnis per HTTP-Anfrage erhalten

Verbindung zu FreeAI::Server::OpenAI über nodejs http request
Beispielcode
const resp = await fetch("http://127.0.0.1:3000/v1/chat/completions", {
method: "POST",
headers: {
Authorization: "Bearer 123",
"Content-Type": "application/json",
},
body: JSON.stringify({
model: "FreeAI::ChatGPT", //Modell ist der Name des Parsers aus der FreeAI::Server::OpenAI Liste, Liste der unterstützten Modelle im Abschnitt "Übersicht des Parsers"
messages: [{ role: "user", content: "Einsatzgebiete von nodejs" }], //Anfrage an das Modell
}),
});

if (!resp.ok) {
const text = await resp.text();
throw new Error(`HTTP ${resp.status}: ${text}`);
}

const data = await resp.json();
console.log(data.choices?.[0]?.message?.content);

Mögliche Einstellungen

ParameternameStandardwertBeschreibung
Listen Host127.0.0.1IP-Adresse oder Hostname der Schnittstelle, an der der Dienst eingehende Verbindungen akzeptiert
Listen Port3000Portnummer, an der der Dienst eingehende Verbindungen akzeptiert
FreeAI::ChatGPT presetdefaultPreset für FreeAI::ChatGPT Parser
FreeAI::Copilot presetdefaultPreset für FreeAI::Copilot Parser
FreeAI::DeepAI presetdefaultPreset für FreeAI::DeepAI Parser
FreeAI::GoogleAI presetdefaultPreset für FreeAI::GoogleAI Parser
FreeAI::Kimi presetdefaultPreset für FreeAI::Kimi Parser
FreeAI::Perplexity presetdefaultPreset für FreeAI::Perplexity Parser