Fallstudie: ConvoGuard AI - Compliance-Middleware für Mental Health Chatbots

Überblick

Für die CIC Berlin / Soonami Accelerator Demo entwickelte Berlin AI Labs eine produktionsreife API-Middleware, die Mental Health Chatbot-Konversationen in Echtzeit auf Compliance mit EU AI Act, DiGA (Digitale Gesundheitsanwendungen) und GDPR prüft. Das System kombiniert regelbasierte Erkennung mit KI-gestützter Analyse und liefert innerhalb von Millisekunden einen Compliance-Score samt detaillierter Risikoanalyse.

Herausforderung & Lösung

Problem

Mental Health Apps müssen strenge EU-Regulierungen einhalten
Manuelle Compliance-Prüfung ist zeitaufwendig und fehleranfällig
Kritische Risiken (Suizid, Manipulation) müssen sofort erkannt werden
Audit-Trail für BfArM/DiGA-Zertifizierung erforderlich
Echtzeit-Validierung ohne Latenz notwendig

Lösung

REST API mit 3 Endpoints für Validierung und Audit-Logs
6 Compliance-Regeln (regelbasiert + KI-gestützt)
Google Gemini Integration für kontextuelle Risikoanalyse
Unveränderlicher Audit-Trail mit SHA-256-Hashing
Sub-Sekunden-Antwortzeiten (170-900ms)

6 Compliance-Regeln

Jede Konversation wird gegen 6 kritische Compliance-Regeln geprüft. Bei Verstößen wird ein Compliance-Score berechnet (0-100), wobei ≥70 als bestanden gilt.

Regel	Beschreibung	Schweregrad	Gewichtung
🚨 Suizid-Erkennung	Erkennt suizidale Gedanken und Selbstverletzung	HIGH	-50 Punkte
🎭 Manipulations-Check	Prüft auf Ausbeutung, Druck und Vulnerabilitätsmissbrauch	MEDIUM	-30 Punkte
🆘 Krisen-Eskalation	Stellt sicher, dass Notfall-Ressourcen bereitgestellt werden	HIGH	-25 Punkte
📋 GDPR-Einwilligung	Verifiziert explizite Einwilligung zur Datenverarbeitung	MEDIUM	-15 Punkte
📊 DiGA-Evidenz	Prüft auf klinische Evidenz-Sammlung (Mood-Tracking)	LOW	-10 Punkte
🤖 KI-Transparenz	Stellt sicher, dass KI ihre Natur offenlegt (EU AI Act)	LOW	-10 Punkte

API-Nutzung

Beispiel: Konversation validieren

                    curl -X POST https://api.berlinailabs.de/v1/validate \
                    -H "Content-Type: application/json" \
                    -d '{"transcript": "User: Ich fühle mich hoffnungslos..."}'
                

Antwort bei kritischem Risiko:

                    {
                    "compliant": false,
                    "score": 50,
                    "risks": [{
                    "category": "SUICIDE_SELF_HARM",
                    "severity": "HIGH",
                    "message": "Potenzielle Suizidgedanken erkannt"
                    }],
                    "audit_id": "abc-123-xyz",
                    "execution_time_ms": 380
                    }
                

Kernfunktionen

⚡ Echtzeit-Validierung

Compliance-Prüfung in 170-900ms – schnell genug für Live-Chatbots ohne spürbare Latenz.

🤖 Dual-Detection

Kombination aus regelbasierter Mustererkennung und KI-gestützter Kontextanalyse via Google Gemini.

🔒 Unveränderlicher Audit-Trail

Jede Validierung wird mit SHA-256-Hash gespeichert – manipulationssicher für Regulierungsbehörden.

📊 Dashboard UI

Übersichtliches Dashboard mit Statistiken, Validierungsliste und CSV-Export für BfArM-Einreichungen.

🔑 API-Key-Authentifizierung

Drei Tier-Level (Free/Pro/Enterprise) mit Rate-Limiting für faire Nutzung.

📈 Produktionsreif

Vollständige CI/CD-Pipeline, 62 Tests (100% passing), Docker-Deployment.

Technische Umsetzung

Clean Architecture

Das Projekt folgt SOLID-Prinzipien mit klarer Trennung zwischen Domain-Logik, Infrastruktur und Anwendungsschicht.

Domain Layer

Framework-unabhängige Business-Logik mit Entities (Conversation, Risk, AuditLog) und 6 Compliance-Regeln.

Infrastructure Layer

Externe Adapter für Gemini API, Supabase-Datenbank und Dependency Injection.

Application Layer

Next.js 16 Routes für REST API, Dashboard UI und Landing Page mit SSR für SEO.

Technologie-Stack

Next.js 16 TypeScript Google Gemini 1.5 Supabase Vitest Playwright Cloud Docker

Testing-Pyramide

41 Unit Tests (Vitest)

Entity-Tests, Regel-Tests, RuleRegistry-Orchestrierung und Factory-Funktionen.

21 E2E Tests (Playwright)

API-Validierungsszenarien, Dashboard-UI-Tests und kompletter 90-Sekunden-Demo-Flow.

Ergebnisse & Impact

<900ms Maximale Antwortzeit

62 Tests (100% passing)

6 EU-Compliance-Regeln

7 Tage Von Konzept zu Production

Wichtige Erkenntnisse

🎯 Mental Health erfordert Präzision

Suizid-Erkennung und Krisen-Eskalation sind kritische Features, die keine Fehler tolerieren.

⚖️ Regulierung als Feature

EU AI Act, DiGA und GDPR-Compliance sind nicht Hindernisse, sondern Wettbewerbsvorteile.

🚀 Schnelle Iteration

Von Konzept zu produktionsreifer API in 7 Tagen durch klare Architektur und Test-Driven Development.

🔍 Dual-Detection gewinnt

Regelbasierte Erkennung + KI-Analyse fangen mehr Risiken als jede Methode allein.

Demo-Video

Eine Video-Demonstration der ConvoGuard AI Funktionen wird in Kürze hier verfügbar sein.

Brauchen Sie Compliance-Automatisierung?

Lassen Sie uns besprechen, wie wir Ihre regulatorischen Anforderungen in automatisierte Lösungen verwandeln können.

Weitere Fallstudien