Portate il vostro modello
Ogni provider è raggiunto attraverso lo stesso client di chat completion compatibile con OpenAI con un URL di base e una chiave diversi. Cambiate provider senza toccare il codice, concatenateli per il failover, oppure puntate tutto a un modello locale e scollegatevi.
Provider supportati
La pagina Provider mostra lo stesso elenco con un indicatore di configurato e attivo per provider, link di registrazione e un catalogo curato di modelli per provider per il selettore di modello.
| Anthropic | a pagamento con credito gratuito sui nuovi account |
|---|---|
| OpenAI | a pagamento |
| Google Gemini | piano gratuito, poi a pagamento |
| Groq | piano gratuito con limiti di frequenza; serve modelli di ragionamento aperti |
| OpenRouter | una chiave per centinaia di modelli con un piano gratuito a rotazione |
| Perplexity | modelli con ricerca web integrata |
| DeepSeek | a pagamento, il costo più basso |
| Mistral | piano sperimentale gratuito; hosting in UE |
| Ollama | self-hosted sulla vostra macchina; nulla esce dalla rete |
| Together AI | modelli aperti, alcuni endpoint gratuiti |
| Cerebras | inferenza molto veloce, piano gratuito |
| Hyperbolic | modelli aperti in hosting |
| Hugging Face | API di inferenza sui modelli della community |
| Cohere | forte nella sintesi |
| n8n | un vostro workflow che espone un webhook di chat completion |
| Cloudflare Workers AI | richiede un token API e l'ID dell'account |
Selezionare un provider
Il provider attivo è una variabile di ambiente più la chiave di quel provider. Cambiarlo dalla dashboard scrive la nuova scelta nel file di ambiente, così sopravvive ai riavvii.
AI_PROVIDER=gemini GEMINI_API_KEY=... AI_HTTP_TIMEOUT_SECONDS=20
Air-gapped con Ollama
Eseguite un modello sullo stesso host o su una macchina nella vostra rete e puntate InRoots verso di esso. L'SDK richiede un valore di chiave, quindi qualsiasi segnaposto funziona. I modelli piccoli richiedono circa 8 GB di RAM; quelli migliori di più. In combinazione con un database IP locale sul vostro host, un server di chat self-hosted e le risposte vocali disattivate, nulla che riguardi le vostre persone esce dal perimetro.
AI_PROVIDER=ollama OLLAMA_API_KEY=ollama OLLAMA_BASE_URL=http://localhost:11434/v1
Ruoli dei modelli
- I modelli di ragionamento (gpt-oss, serie o) spendono token a ragionare prima di rispondere; un budget troppo piccolo restituisce un successo vuoto. InRoots fissa il budget minimo a 400 token e richiede uno sforzo di ragionamento basso nella forma che ogni provider si aspetta, poi ripiega sul testo di ragionamento se la risposta è vuota.
| summary | riepiloghi e l'assistente; mai soggetti al budget |
|---|---|
| fallback | chiamate di classificazione e instradamento; soggette al budget giornaliero |
| reasoning | giudizi critici per l'accuratezza, come la validità di un motivo di ritardo; promossi al modello più forte del provider, oppure AI_REASONING_MODEL |
Failover
Ogni chiamata passa da un unico punto di ingresso resiliente: prima il provider attivo, poi ogni provider configurato nell'ordine di failover, provando il modello predefinito e poi i modelli del catalogo di ciascuno. Se un provider ha esaurito il credito, è limitato o rifiuta la sua chiave, risponde il successivo. L'ordine è modificabile dagli admin; i provider omessi vengono accodati, così una chiave appena aggiunta partecipa comunque.
- Un job di sicurezza ogni 15 minuti sonda il provider attivo con una richiesta da un token e, in caso di errore, passa al primo provider configurato funzionante nella catena (chiave di automazione ai_failsafe, attiva per impostazione predefinita).
- Una sonda dello stato dei provider avvisa la dashboard quando una chiave è scaduta.
- Ogni ripiego viene scritto nel registro di audit come ai_provider_fallback.
gemini, openai, anthropic, openrouter, deepseek, mistral, groq, together, cerebras, cohere, hyperbolic, huggingface, ollama