Echtzeit-KI im Callcenter: eine Referenzarchitektur

Im Callcenter fallen die entscheidenden Momente eines Gesprächs, während es noch läuft: Die Kundin zögert, der Kunde wird ungeduldig, jemand signalisiert Interesse. Die meisten Lösungen für Sprachanalyse zeichnen das Gespräch auf und werten es hinterher aus. Dann bleibt nur noch, einen Bericht zu schreiben.

In den vergangenen Jahren habe ich eine Echtzeit-KI-Callcenter-Plattform entwickelt, die Gespräche live mithört, parallel analysiert und den Mitarbeitenden konkrete Vorschläge anzeigt, solange der Kunde noch am Telefon ist. Als wir anfingen, gab es erstaunlich wenig öffentliches Material dazu, wie man ein solches System aufbaut. Das meiste waren Herstellerseiten, Patente und Forenbeiträge.

Dieser Artikel ist die Referenzarchitektur, die ich mir zu Beginn gewünscht hätte: die Schichten, die Abwägungen in jeder einzelnen und die Entscheidungen, die mehr zählen als die Wahl des Modells.

Das Ziel: Nutzen, solange der Kunde noch in der Leitung ist

Es hilft, drei Generationen von KI im Kundenservice zu unterscheiden:

1. Aufzeichnung und Stichproben. Gespräche werden aufgezeichnet, ein Qualitätsteam hört sich eine kleine Stichprobe an. Die meisten Gespräche werden nie geprüft.
2. Analyse nach dem Gespräch. Jedes Gespräch wird transkribiert und im Batch ausgewertet. Nützlich für Trends, aber die Erkenntnis kommt erst, wenn das Gespräch vorbei ist.
3. Unterstützung in Echtzeit. Das Gespräch wird transkribiert und analysiert, während es läuft, und die Ergebnisse erreichen die Mitarbeitenden innerhalb von Sekunden.

Alles Folgende betrifft die dritte Generation. Ihre entscheidende Randbedingung ist die Latenz: Ein richtiger Vorschlag, der drei Sekunden zu spät kommt, ist wertlos, weil der Kunde längst beim nächsten Thema ist.

Die Architektur im Überblick

 Kundenaudio ────┐
                 ├─► Medienschicht (WebRTC / SIP-Bridge)
 Agentenaudio ───┘              │
                                ▼
                    Streaming-Spracherkennung
                    (vorläufige + finale Segmente)
                                │
                                ▼
                    Ereignisstrom der Transkriptsegmente
                                │   + Audiomerkmale (Tonfall, Tempo)
          ┌─────────────────────┼─────────────────────┐
          ▼                     ▼                     ▼
      Stimmung          Absicht / Verhalten    Kaufbereitschaft
          └─────────────────────┼─────────────────────┘
                                ▼
                    Empfehlungs-Engine ──► Agentenansicht (live)

 Nach dem Gespräch: finales Transkript ──► Zusammenfassung + Bericht ──► CRM

Fünf Schichten mit jeweils eigener Aufgabe:

1. Medienschicht: Sie liefert beide Gesprächsseiten als getrennte Audiostreams.
2. Streaming-Spracherkennung: Sie wandelt Audio fortlaufend und in kleinen Schritten in Text um.
3. Parallele Analyse: Stimmung, Absicht und Kaufbereitschaft werden nebeneinander berechnet, aus dem Text und aus dem Audiosignal selbst.
4. Empfehlungs-Engine: Sie macht aus den Analyseergebnissen wenige, konkrete und rechtzeitige Vorschläge für die Mitarbeitenden.
5. Nachbearbeitung: Sie erstellt Zusammenfassung und Bericht und übergibt beides an die Systeme, die das Team ohnehin nutzt.

1. Medienschicht: zwei saubere Audiostreams

Alles Weitere hängt davon ab, dass das Audio zuverlässig und mit möglichst wenig Verzögerung aus dem Gespräch kommt.

• Telefonie im Browser (WebRTC). Auf unserer Plattform laufen Gespräche über eine WebRTC-basierte Kommunikationsschicht. Die Mitarbeitenden telefonieren im Browser, und der Medienserver kann das Audio jedes Teilnehmers direkt in die Analysepipeline abzweigen. Das ist der einfachste Weg zu Echtzeit-Audio.
• Bestehende Telefonie (SIP / TK-Anlage). Viele Callcenter arbeiten bereits mit einer Telefonanlage. Live-Audio aus diesen Systemen zu bekommen, ist oft der schwierigste Teil des ganzen Projekts: In der Regel braucht man eine SIP-basierte Aufzeichnungsschnittstelle oder eine Media-Bridge, die die Streams weiterleitet. Manche Cloud-Telefonieplattformen geben überhaupt keinen Zugriff auf Echtzeit-Audio. Klären Sie das vor allem anderen.
• Sprecher getrennt halten. Erfassen Sie Kunde und Mitarbeitende als zwei Streams statt als eine gemischte Aufnahme. Dann muss das System nicht erraten, wer was gesagt hat (Sprecherdiarisierung), was in Echtzeit langsam und fehleranfällig ist. Außerdem lässt sich die Stimmung des Kunden analysieren, ohne dass die Stimme der Mitarbeitenden hineinspielt.

2. Streaming-Spracherkennung

Die Spracherkennung ist das Fundament: Stimmungsanalyse, Absichtserkennung und Vorschläge sind nur so gut wie das Transkript darunter.

• Streamen statt stapeln. Senden Sie Audio in kurzen Abschnitten und verarbeiten Sie die Ergebnisse, sobald sie eintreffen. Auf das Satzende zu warten, kostet Sekunden, die Sie nicht haben.
• Vorläufige und finale Ergebnisse. Streaming-Engines liefern zunächst schnelle vorläufige Hypothesen, die sich mit weiterem Audio noch ändern, und danach eine finale Fassung jedes Segments. Nutzen Sie die vorläufigen Ergebnisse für alles, was sofort wirken muss (etwa ein Live-Transkript), und die finalen für alles, was eine Analyse oder einen Vorschlag auslöst. Sonst flackern die Vorschläge, während sich der Text ändert.
• Endpunkterkennung. Wie die Engine entscheidet, dass eine Äußerung zu Ende ist, wirkt sich direkt auf die Latenz aus. Stimmen Sie sie auf gesprochene Dialoge ab, die voller kurzer Pausen sind.
• Mit eigenen Gesprächen testen. Telefonqualität, Akzente, Produktnamen und gemischtsprachige Begriffe senken die Genauigkeit. Die Hauptsprache der Plattform ist Türkisch, eine agglutinierende Sprache, die für überwiegend auf Englisch trainierte Engines besonders schwierig ist. Herstellerdemos sagen wenig aus; ein paar hundert eigene aufgezeichnete Gespräche sagen sehr viel.

3. Parallele Analyse

Jedes finale Transkriptsegment wird als Ereignis veröffentlicht. Unabhängige Worker lesen denselben Strom und analysieren ihn gleichzeitig aus unterschiedlichen Blickwinkeln:

• Stimmung. Wie sich die Gesprächsatmosphäre von Redebeitrag zu Redebeitrag entwickelt. Der Text ist nur die Hälfte des Signals; Tonfall, Tempo und Lautstärke tragen die andere Hälfte. Deshalb werden Audiomerkmale zusammen mit den Worten ausgewertet.
• Absicht und Verhalten. Fragt der Kunde nach Informationen, erhebt er einen Einwand, vergleicht er Angebote, will er abspringen?
• Kaufbereitschaft. Eine Einschätzung, wie wahrscheinlich ein Kauf ist, auf Grundlage dessen, was gesagt wird und wie es gesagt wird.

Diese Analysen als getrennte Konsumenten eines einzigen Ereignisstroms zu betreiben, hat zwei Vorteile. Sie bremsen sich nicht gegenseitig aus, und Sie können eine davon hinzufügen, ersetzen oder neu trainieren, ohne die anderen anzufassen. Ein bewährtes Muster: Jeder Worker hält ein kurzes, mitlaufendes Fenster des Gesprächs als Kontext vor, statt bei jedem Segment das gesamte Gespräch neu zu verarbeiten.

4. Die Empfehlungs-Engine

Hier steckt der größte Teil der Produktarbeit. Rohe Analysewerte helfen Mitarbeitenden mitten im Gespräch nicht weiter; ein kurzer, gut getimter Hinweis schon.

• Wenige und konkrete Vorschläge. Ein Vorschlag, der zum Moment passt, ist besser als fünf allgemeine. Zeigen Sie die nächste sinnvolle Frage, die Antwort auf einen bestimmten Einwand oder das Produkt, das zu dem passt, was der Kunde gerade gesagt hat.
• Schwellenwerte und Sperrzeiten. Blenden Sie einen Vorschlag nur ein, wenn das zugrunde liegende Signal stark genug ist, und wiederholen Sie denselben Hinweis nicht alle paar Sekunden.
• Trends statt Zahlen. Mit „Stimmung 0,42“ kann niemand etwas anfangen. Ein Pfeil, der zeigt, dass das Gespräch kippt, ist deutlich hilfreicher.
• Akzeptanz messen. Erfassen Sie, welche Vorschläge die Mitarbeitenden tatsächlich nutzen. Das ist die ehrlichste Qualitätskennzahl, die Sie haben, und das beste Trainingssignal, um die Engine zu verbessern.

Die Ergebnisse sollten über eine dauerhafte Verbindung wie WebSocket auf den Bildschirm der Mitarbeitenden gelangen, damit nichts auf ein Neuladen der Seite wartet.

5. Nach dem Gespräch: Zusammenfassung, Bericht, Übergabe

Wenn das Gespräch endet, liegen das vollständige, finale Transkript und alle Analyseergebnisse vor. Das ist der richtige Zeitpunkt für aufwendigere Verarbeitung:

• Eine schriftliche Zusammenfassung des Gesprächs: Anlass, Vereinbarungen, offene Punkte.
• Ein strukturierter Bericht mit den Analyseergebnissen.
• Die Übergabe an die Systeme, die das Team ohnehin nutzt, etwa das CRM.

Dieser Schritt ist weniger sichtbar als die Live-Vorschläge. Er nimmt den Mitarbeitenden aber die Nachbearbeitung ab, die sonst nach jedem einzelnen Gespräch anfällt, und sorgt dafür, dass jedes Gespräch im gleichen Format dokumentiert ist.

Warum die KI nie mit dem Kunden spricht

Voicebots, die direkt mit Kunden sprechen, sind sinnvoll für kurze, regelbasierte Aufgaben wie eine Terminvereinbarung oder eine Statusabfrage zur Bestellung. Für Verkaufs- und Beziehungsgespräche haben wir uns bewusst anders entschieden: Auf unserer Plattform spricht die KI nie mit dem Kunden.

Das System schätzt Stimmung und Kaufbereitschaft des Kunden in Echtzeit ein. Für Mitarbeitende ist diese Einschätzung ein wertvoller Hinweis. Würde sie dem Kunden gegenüber direkt umgesetzt, hieße eine Fehleinschätzung, im falschen Ton zu antworten. Deshalb bleibt die Stimme der KI auf dem Bildschirm der Mitarbeitenden, und am Telefon spricht immer ein Mensch, der entscheidet. Das erleichtert auch die Einführung erheblich: Die Mitarbeitenden sehen das System als Werkzeug, das ihnen hilft, nicht als etwas, das sie ersetzt.

Das Latenzbudget

Ein hilfreicher Ansatz für den Entwurf ist ein Budget für den gesamten Weg – vom Ende einer Äußerung des Kunden bis zum Vorschlag auf dem Bildschirm –, von dem jede Schicht einen Anteil bekommt:

• Erfassung und Transport: Halten Sie den Audioweg kurz und vermeiden Sie zusätzliche Zwischenstationen zwischen Medienserver und Spracherkennung.
• Spracherkennung: Streamen Sie kleine Abschnitte und stimmen Sie die Endpunkterkennung ab.
• Analyse: Lassen Sie die Worker parallel laufen, halten Sie ihre Kontextfenster kurz und setzen Sie auf dem Live-Pfad kleine, schnelle Modelle ein.
• Auslieferung: Senden Sie Ergebnisse per Push über eine offene Verbindung.

Aufwendige Arbeit, etwa ein großes Sprachmodell, das die vollständige Zusammenfassung schreibt, gehört in die Nachbearbeitung, nicht auf den Live-Pfad.

Datenschutz und DSGVO

Gesprächsaudio und Transkripte sind personenbezogene Daten, oft in großen Mengen. Nach der DSGVO, dem türkischen Datenschutzgesetz KVKK und vergleichbaren Regelungen müssen einige Entscheidungen auf Architekturebene getroffen werden, nicht erst im Nachhinein:

• Anrufende informieren. Weisen Sie zu Beginn des Gesprächs darauf hin, dass es aufgezeichnet und analysiert wird; die DSGVO verlangt eine transparente Information der Betroffenen. Für die Aufzeichnung selbst ist in Deutschland in der Regel eine Einwilligung erforderlich.
• Sensible Daten schwärzen. Entfernen Sie Kartennummern, Ausweis- oder Steuernummern aus den Transkripten, bevor sie gespeichert oder an ein Modell gesendet werden.
• Wissen, wo verarbeitet wird. Laufen Spracherkennung oder Sprachmodell bei einem Anbieter außerhalb der EU, werden Audio und Transkripte in ein Drittland übermittelt, wofür die DSGVO eigene Voraussetzungen vorsieht. Entscheiden Sie das bei der Wahl des Anbieters.
• Speicherfristen festlegen, und zwar getrennt für Audio, Transkripte und Analyseergebnisse.

Das ist keine Rechtsberatung; beziehen Sie Ihre Datenschutzbeauftragte oder Ihren Datenschutzbeauftragten frühzeitig ein. Ausführlicher behandle ich das Thema in der DSGVO-Checkliste für generative KI.

Wo Sie anfangen sollten

1. Zuerst den Audiozugang klären. Stellen Sie sicher, dass Ihre Telefonie zwei getrennte Echtzeit-Streams liefern kann.
2. Spracherkennung mit eigenen Gesprächen messen. Wählen Sie die Engine anhand Ihrer Daten aus, nicht anhand von Demos.
3. Mit Gesprächszusammenfassungen beginnen. Sie sind risikoarm, sofort nützlich und liefern einen gelabelten Datensatz echter Gespräche.
4. Live-Vorschläge mit einem kleinen Pilotteam einführen. Dessen Rückmeldungen prägen Timing, Schwellenwerte und Oberfläche stärker als jedes Konzeptpapier.
5. Vom ersten Tag an einige Kennzahlen verfolgen: durchschnittliche Gesprächsdauer, Nachbearbeitungszeit, Erstlösungsquote, Abschlussquote und Akzeptanz der Vorschläge.

Fazit

Bei einem Echtzeit-KI-Callcenter geht es weniger um ein einzelnes cleveres Modell als um eine Pipeline, die von Anfang bis Ende schnell bleibt: sauberes Audio, Streaming-Spracherkennung, parallele Analyse und eine Empfehlungs-Engine, die weiß, wann sie still sein sollte. So aufgebaut, ersetzt das System keine Mitarbeitenden. Es macht sie im Gespräch besser vorbereitet und nimmt ihnen danach den Papierkram ab.

Die Plattform selbst finden Sie auf der Projektseite. Wenn Sie etwas Ähnliches planen und die Architektur besprechen möchten, werfen Sie einen Blick auf KI und Automatisierung oder nehmen Sie Kontakt auf.