Pular para o conteúdo principal

FreeAI::Server::OpenAI — servidor OpenAI API baseado em scrapers integrados de modelos de IA.

OpenAI Server

Visão geral do scraper

O scraper oferece a possibilidade de implantar seu próprio servidor de API compatível com OpenAI, ao qual você pode se conectar a partir de seus aplicativos (por exemplo, Cherry Studio, Cline, etc.) e scripts — tanto por meio do SDK oficial da OpenAI quanto usando solicitações HTTP comuns. O scraper fornece acesso a modelos gratuitos e pagos que o A-Parser extrai.

Lista de modelos suportados:

Conexão ao Cherry Studio

  • Configurações (canto superior direito)
  • Lista de provedores, no final "adicionar"
  • Definimos um nome arbitrário, o Provider type deve ser OpenAI
  • Inserimos a API Key (qualquer chave)
  • Inserimos o host (configurado em FreeAI::Server::OpenAI) inicialmente http://127.0.0.1:3000
  • Botão "Manage" para adicionar os modelos necessários
Ver vídeo de conexão

conexão ao cherry studio

Conexão via OpenAI SDK

Conexão ao FreeAI::Server::OpenAI via nodejs + openai sdk
Código do exemplo
import OpenAI from "openai";

(async function () {
const openai = new OpenAI({
baseURL: "http://127.0.0.1:3000/v1", //Link onde o FreeAI::Server::OpenAI está rodando
apiKey: "123",
});

const completion = await openai.chat.completions.create({
model: "FreeAI::ChatGPT", //O modelo é o nome do scraper da lista FreeAI::Server::OpenAI, a lista de modelos suportados está na seção "Visão geral do scraper"
messages: [{ role: "user", content: "Why is the sky blue?" }], //Consulta ao modelo
});

console.log(completion.choices[0].message.content); //Saída da resposta do modelo de IA
})();

Obtendo resultado por solicitação HTTP

Conexão ao FreeAI::Server::OpenAI via solicitação http nodejs
Código do exemplo
const resp = await fetch("http://127.0.0.1:3000/v1/chat/completions", {
method: "POST",
headers: {
Authorization: "Bearer 123",
"Content-Type": "application/json",
},
body: JSON.stringify({
model: "FreeAI::ChatGPT", //O modelo é o nome do scraper da lista FreeAI::Server::OpenAI, a lista de modelos suportados está na seção "Visão geral do scraper"
messages: [{ role: "user", content: "Áreas de uso do nodejs" }], //Consulta ao modelo
}),
});

if (!resp.ok) {
const text = await resp.text();
throw new Error(`HTTP ${resp.status}: ${text}`);
}

const data = await resp.json();
console.log(data.choices?.[0]?.message?.content);

Configurações possíveis

Nome do parâmetroValor padrãoDescrição
Listen Host127.0.0.1Endereço IP ou hostname da interface na qual o serviço aceita conexões de entrada
Listen Port3000Número da porta na qual o serviço aceita conexões de entrada
FreeAI::ChatGPT presetdefaultPreset para o scraper FreeAI::ChatGPT
FreeAI::Copilot presetdefaultPreset para o scraper FreeAI::Copilot
FreeAI::DeepAI presetdefaultPreset para o scraper FreeAI::DeepAI
FreeAI::GoogleAI presetdefaultPreset para o scraper FreeAI::GoogleAI
FreeAI::Kimi presetdefaultPreset para o scraper FreeAI::Kimi
FreeAI::Perplexity presetdefaultPreset para o scraper FreeAI::Perplexity