KI-Infrastruktur
Stand der KI-Komponenten: der KI-Helfer ist abgeschaltet. Was vorbereitet ist, was geplant ist und was heute nachweisbar läuft.
KI-Infrastruktur
Diese Seite beschreibt, wie die KI-Komponenten von DARION-AI aufgebaut sind. Wichtig vorab: der KI-Helfer ist heute nicht in Betrieb. Die Kachel ist in der Navigation sichtbar, die Funktionen dahinter sind abgeschaltet.
Aktueller Stand
| Komponente | Stand |
|---|---|
| KI-Helfer im Arbeitsbereich | abgeschaltet |
Chat-Schnittstelle /api/v1/ki-helper/chat | antwortet mit 404 |
| KI-Blase in der Oberfläche | wird nicht geladen |
| Sprachmodell auf eigener Hardware | vorbereitet, nicht scharf geschaltet |
| Embedding-Dienst | vorbereitet, nicht scharf geschaltet |
| Wissensindex mit pgvector | Tabellen vorhanden, nicht befüllt |
| Voice und Telefonie | nicht gebaut |
Zwei Schalter im Code steuern das. In der Modul-Konfiguration stehen die Fähigkeiten documents und tools auf false. Solange das so ist, weist die Chat-Schnittstelle jede Anfrage ab. Auch die Deployment-Werte für den Modellzugang und den Embedding-Dienst sind abgeschaltet.
Was vorbereitet ist
Der Weg ist gebaut, aber nicht freigegeben. Vorgesehen ist folgender Aufbau:
- Sprachmodell auf eigener GPU. Ein Server im eigenen Netz stellt einen OpenAI-kompatiblen Endpunkt mit vLLM bereit. Der Zugang ist mit einem Bearer-Token gesichert.
- LiteLLM als Proxy. Alle Modellaufrufe des Produkts laufen über einen eigenen Proxy. Dieser Proxy kennt nur das eigene Modell und keine Zugänge zu fremden Anbietern.
- Embedding-Modell BGE-M3 von BAAI, betrieben mit Text Embeddings Inference auf eigener Hardware.
- Wissensindex mit pgvector in derselben Postgres-Datenbank, getrennt nach Arbeitsbereich.
- assistant-ui als Chat-Komponente im Frontend. Die Bibliothek ist eingebunden.
Alle diese Teile laufen im eigenen Netz auf Hetzner-Servern. Es ist keine Übermittlung an einen Anbieter außerhalb der EU vorgesehen.
Was es noch nicht gibt
- Keinen laufenden KI-Helfer. Fragen an die Chat-Schnittstelle werden abgewiesen.
- Keinen befüllten Wissensindex. Der Dienst, der Dokumente aufnimmt, ist nicht scharf geschaltet.
- Kein Reranking. Eine zweite Sortierstufe für Treffer ist im Konzept beschrieben, aber nicht ausgerollt.
- Keine Telefonie und keine Sprachein- und -ausgabe. Weder Carrier noch Sprach-Erkennung noch Sprach-Ausgabe sind eingerichtet.
- Keinen Zugriff des KI-Helfers auf deine Daten. Ohne aktive Fähigkeiten liest er nichts.
- Kein Datum für die Freischaltung. Frag beim Team nach dem aktuellen Stand.
Protokollierung
Die Chat-Schnittstelle schreibt bei jeder Anfrage einen Eintrag in den Audit-Trail. Diese Vorkehrung erfüllt die Protokollpflicht aus Artikel 12 der KI-Verordnung. Wirksam wird sie erst mit der Freischaltung des KI-Helfers. Solange die Fähigkeiten abgeschaltet sind, entsteht kein Eintrag, weil keine Anfrage durchgeht.
Was wir zusichern
- Kein Training mit deinen Daten. Deine Inhalte gehen nicht in das Training fremder Modelle.
- Betrieb in der EU. Die vorgesehene Hardware steht in den Hetzner-Rechenzentren FSN1 und NBG1.
- Kein stiller Start. Der KI-Helfer wird nicht ohne Ankündigung aktiv.
Verwandt
- Stack: Frontend, Backend und Datenbank.
- Architektur: Mandantentrennung und Modul-Schalter.
- KI-Helfer: Was du im Arbeitsbereich siehst.
- DSGVO: Weitere Verarbeiter und Auftragsverarbeitung.