KI-Modelle unter
Ihrer Kontrolle.
Der IIO AI Hub betreibt 26 Sprachmodelle auf EU-Hardware — 11 lokal für €0 pro Token, 15 Cloud-Modelle als Fallback. OpenAI-API-kompatibel. HITL-Gates integriert. Keine Datenweitergabe an US-Dienste.
AI Hub Kennzahlen
gesamt
€0/Token
Routing
EU-Hardware
Kosten
Lokale Modelle zuerst. Cloud als Fallback.
Das Cost-Based-Routing wählt automatisch das effizienteste Modell für jede Anfrage. Lokale Modelle haben immer Priorität (cost=0.0).
Meta's Spitzenmodell für Instruction-Following. Deutsch, Englisch, multilingual. Ideal für Textgenerierung, Zusammenfassungen.
Schnell und effizient für einfache Aufgaben. Geringer VRAM-Bedarf. Ideal für Chat, Klassifizierung.
Spezialisiertes Code-Modell von Meta. Python, JavaScript, TypeScript, SQL, Bash. Ideal für Developer-Workflows.
Mixture-of-Experts Architektur. Hohe Qualität bei geringerem Ressourcenverbrauch. Gut für komplexe Reasoning-Tasks.
sentence-transformers/all-MiniLM und nomic-embed-text für Vektorsuche, RAG-Systeme und semantische Ähnlichkeitssuche.
6 weitere Modelle lokal verfügbar — darunter Phi-3, Gemma 2, spezialisierte Finanz- und Rechtsmodelle. Auf Anfrage konfigurierbar.
Anthropic's Spitzenmodell für komplexe Reasoning-Tasks. Nur wenn lokale Kapazität überschritten. EU AI Act konform genutzt.
OpenAI-Modelle als letzter Fallback. Cost-Based-Routing sorgt für minimalen Einsatz. HITL-Gate vor sensitiven Anfragen.
Weitere 13 Cloud-Modelle über aimlapi.com — für Spezialaufgaben und als Kapazitätspuffer. Alle mit HITL-Gate-Check.
Wie der AI Hub Anfragen verarbeitet.
LiteLLM als zentrales Routing-Layer. HITL-Check vor kritischen Aktionen. Cost-Based-Routing für optimale Effizienz.
kompatibler Client
Cost-Based-Routing
Virtual Keys
HITL / BLOCK
per Gate-Level
96GB VRAM
OpenAI / aimlapi
KI mit menschlicher
Kontrolle.
Jede KI-Anfrage läuft durch den Gate-Check. Kritische Aktionen — externe Kommunikation, Finanz-Transaktionen, Deployments — warten auf explizite Freigabe.
Ihre Anwendung sendet eine Anfrage an den AI Hub über den OpenAI-kompatiblen Endpunkt.
Das System klassifiziert die Anfrage: AUTO (sofort), NOTIFY (informiert), HITL (wartet auf Freigabe) oder BLOCK (abgelehnt).
HITL-Anfragen werden per Matrix/E-Mail an den zuständigen Operator gesendet. Mobil genehmigbar. Vollständig protokolliert.
Nach Freigabe wird die Aktion ausgeführt. Token-Verbrauch, Gate-Entscheid und Ergebnis werden im Cost-Ledger protokolliert.
# hitl-gate-definitions.yaml # Gate für externe Kommunikation gate_id: gate.external-comm-ai name: "KI-generierte externe Nachricht" level: HITL trigger: - ai_generated: true - channel: external approver: operator_admin timeout_h: 4 fallback: BLOCK evidence_required: true audit_log: always # Ergebnis: kein AI-Text geht extern # ohne explizite Freigabe.
OpenAI-kompatibel. Einmal wechseln, überall nutzen.
Jede Anwendung die OpenAI-API versteht, funktioniert sofort mit dem IIO AI Hub.
# Nur base_url und api_key ändern from openai import OpenAI client = OpenAI( base_url="https://api.iio.space:4000", api_key="your-virtual-key" # IIO Virtual Key ) response = client.chat.completions.create( model="llama-3-70b-local", # lokal, €0/Token messages=[{ "role": "user", "content": "Analysiere diesen Vertrag..." }] ) # → Automatisches Routing: lokal wenn möglich # → HITL-Check je nach Gate-Konfiguration # → Audit-Trail automatisch erzeugt
AI Hub ist in allen Paketen enthalten.
KI-Modelle unter Ihrer Kontrolle —
EU-gehostet, lokal, HITL-gesichert.
Starten Sie kostenlos oder buchen Sie eine Demo, um den AI Hub live zu erleben.