Human-in-the-Loop AI — Die Anforderungen des EU AI Act und NIST, die tatsächlich für Agent-Deployments gelten
Der EU AI Act und das NIST AI Risk Management Framework sind keine Empfehlungen
Der EU AI Act und das NIST AI Risk Management Framework sind keine Empfehlungen. Sie sind keine Best Practices, die man ignorieren kann, während man seine Agentenstrategie ausarbeitet. Für Unternehmen, die KI-Agenten einsetzen, erfordern beide Frameworks jetzt dasselbe: nachvollziehbare menschliche Kontrolle, die geschult, messbar und nachweisbar ist. Und für Hochrisiko-KI-Systeme tritt diese Anforderung am 2. August 2026 in Kraft.
Die meisten Unternehmen, die menschliche Kontrolle als reine Governance-Entscheidung betrachten, sind bereits nicht mehr compliant. Dieser Blog ist der praktische Leitfaden zu dem, was die Frameworks tatsächlich erfordern – und wie man die Architektur dafür vor dem August-Deadline aufbaut.
Die drei Frameworks – EU AI Act, NIST AI RMF und ISO/IEC 42001
Drei Frameworks regulieren die KI-Überwachung für Unternehmen im Jahr 2026. Sie unterscheiden sich in Ursprung und Rechtsstatus, aber sie konvergieren auf dieselbe Kernanforderung.
EU AI Act: Die meisten Bestimmungen treten am 2. August 2026 in Kraft. Artikel 14 erfordert menschliche Kontrolle für Hochrisiko-KI-Systeme. Die Kontrolle muss bedeutsam, effektiv und ins System eingebaut sein – keine nachträgliche Prüfung, nachdem der Agent bereits gehandelt hat. Hochrisiko-Kategorien umfassen Beschäftigungsentscheidungen, Kredit- und Finanzentscheidungen, Management kritischer Infrastrukturen und Anwendungen der Strafverfolgung. Strafen bei Nichteinhaltung erreichen bis zu 3 % des globalen Jahresumsatzes. Wenn du EU-Kunden oder -Mitarbeiter bedienst, gilt das Gesetz unabhängig vom Hauptsitz deines Unternehmens.
NIST AI RMF: In den USA freiwillig, aber zunehmend durch Bundesverträge und Landesregulierung vorgeschrieben. Die Govern-Funktion spezifiziert, dass die menschliche Kontrolle über KI-Systeme durch geeignete Mechanismen aufrechterhalten werden muss. Das Schlüsselwort ist demonstrable: Du musst nachweisen können, wer welche Entscheidungen überwacht hat, mit welcher Autorität und mit welchen Informationen zum Zeitpunkt der Entscheidung.
ISO/IEC 42001: Der erste globale Standard für KI-Managementsysteme, veröffentlicht 2023. Die Zertifizierung signalisiert KI-Governance-Reife und stimmt mit den Überwachungsanforderungen des NIST AI RMF überein.
Der Konvergenzpunkt: Alle drei erfordern menschliche Kontrolle, die eingebettet ist, nicht angehängt. Für KI-Agenten bedeutet das HITL-Architektur – der Mensch muss im Ausführungspfad sein, bevor risikoreiche Aktionen ausgeführt werden, nicht im Nachhinein.
Was nachvollziehbare menschliche Kontrolle für KI-Agenten tatsächlich bedeutet
Die meisten Unternehmen glauben, menschliche Kontrolle bedeute ein Manager, der gelegentlich nachschaut, was der Agent getan hat. Das ist nicht das, was die Frameworks erfordern. Demonstrable bedeutet vier Dinge.
Identifizierter Mensch: Welche spezifische Person hat die Aktion genehmigt? Nicht „ein Mensch" – eine namentlich genannte Person mit dokumentierter Autorität, diese Entscheidung zu treffen.
Zeitlich begrenzt: In welchem Zeitfenster wurde genehmigt? Die Genehmigung muss vor der Aktion erfolgt sein, und die verstrichene Zeit muss protokolliert werden.
Verteidigbare Begründung: Welche Informationen hatte dieser Mensch, als er genehmigte? Er brauchte genug Kontext, um eine informierte Entscheidung zu treffen – nicht nur die Ausgabe des Agenten, sondern auch die Begründung und die relevanten Daten.
Prüfpfad: Jede Genehmigung, Ablehnung und Modifikation muss protokolliert und abrufbar sein. Wenn ein Regulierer fragt, was bei einer bestimmten Agentenaktion an einem bestimmten Datum passiert ist, musst du es rekonstruieren können.
Der Durchsetzungsmechanismus ist Identity Governance. Identity Governance bindet KI-Agentenaktionen an Identity-Richtlinien, sodass der Agent nicht handeln kann, ohne dass eine menschliche Identität an der Autorisierung hängt. Es pausiert die Agentenausführung, bis ein namentlich genannter Mensch genehmigt. Es leitet Genehmigungsanfragen basierend auf Aktionstyp und Organisationsrichtlinie an die richtige autorisierte Person weiter. Es erzwingt zeitlich begrenzte Entscheidungsfenster. Und es protokolliert jeden Eingriff für Audits.
Ohne Identity Governance hast du eine Richtlinie. Damit hast du eine compliant Architektur.
Die Hochrisiko-Kategorien, die obligatorisches HITL auslösen
Wenn deine KI-Agenten einen dieser Workflows berühren, ist HITL keine Option. Es ist gesetzlich vorgeschrieben unter dem EU AI Act.
Beschäftigungsentscheidungen: Lebenslauf-Screening, Kandidatenbewertung, Leistungsbeurteilung, Beförderungsempfehlungen.
Finanzentscheidungen: Kredit-Scoring, Kreditvergabe, Versicherungs underwriting, Risikobewertung.
Grundlegende Dienste: Zugang zu Bildung, Wohnraum, öffentlichen Diensten.
Kritische Infrastruktur: Energienetzmanagement, Wasseraufbereitung, Verkehrssysteme.
Strafverfolgung: Gesichtserkennung, prädiktive Polizeitools, Beweisanalyse.
Die praktische HITL-Triggerliste für die meisten Unternehmen: Agenten, die im Namen des Unternehmens kommunizieren, Agenten, die Mitarbeiter- oder Kundendaten modifizieren, Agenten, die Finanztransaktionen genehmigen oder ablehnen, Agenten, die personenbezogene Daten in großem Umfang verarbeiten, und Agenten in regulierten Branchen einschließlich Finanzen, Gesundheitswesen und Recht.
Auch wenn du nicht in der EU bist: Wenn du EU-Kunden bedienst oder EU-Bürger beschäftigst, gilt der EU AI Act für diese Interaktionen.
Der HITL-Architektur-Stack
Compliantes HITL aufzubauen erfordert fünf Infrastrukturkomponenten.
Identity Layer: Dein Identity Provider, integriert mit deiner Agent-Orchestrierungsplattform. Der Agent kann nicht handeln, ohne dass eine verifizierte menschliche Identität an der Autorisierung hängt.
Policy Engine: Definiert, welche Agentenaktionen HITL basierend auf der Risikokategorisierung erfordern. Niedrigrisiko-Aktionen laufen ohne Pause weiter. Mittelrisiko lösen Monitoring mit Alarm aus. Hochrisiko löst vollständiges Pausieren und Genehmigen aus.
Approval Router: Leitet die Anfrage an die richtige autorisierte Person basierend auf Aktionstyp, Abteilung und Identity-Richtlinie weiter.
Time-Box Enforcement: Jede Genehmigungsanfrage hat eine SLA-Uhr. Wenn der Mensch nicht innerhalb des Fensters antwortet, läuft die Anfrage ab und der Agent eskaliert.
Audit Log: Unveränderlicher Datensatz jeder Genehmigung, Ablehnung, Modifikation und jedes Ablaufs. Erfasst die Identität des Menschen, Zeitstempel, verfügbare Informationen und Ergebnis.
Was Auditoren konkret fragen werden: die Identität des Menschen, der jede Hochrisiko-Aktion genehmigt hat, die Informationen, die ihm zum Zeitpunkt der Genehmigung zur Verfügung standen, die verstrichene Zeit zwischen Anfrage und Genehmigung, und was passiert ist, als ein Mensch nicht innerhalb des Zeitfensters geantwortet hat.
Die Compliance-Frist im August 2026
Die meisten Bestimmungen des EU AI Act treten am 2. August 2026 in Kraft. Strafen gelten ab diesem Datum: bis zu 3 % des globalen Jahresumsatzes.
Die Compliance-Lücke für die meisten Unternehmen ist erheblich. Die meisten Organisationen, die heute Agenten einsetzen, haben keine HITL-Architektur. Sie haben einige menschliche Überprüfungsprozesse, die nicht erfüllen würden, was Artikel 14 erfordert – dass die Überwachung bedeutsam, effektiv und ins System eingebaut sein muss.
HITL-Architektur zu bauen, nachdem Agenten bereits in Produktion sind, ist schwieriger als vorher. Die Agenten müssen modifiziert werden, um Pause-and-Approve-Workflows zu unterstützen. Die Identity-Richtlinien müssen definiert werden. Die autorisierten Menschen müssen benannt und geschult werden. Das parallel zum Betrieb von Agenten in der Produktion zu tun, schafft operationelles Risiko.
Der Drei-Schritte-Compliance-Aufbau:
Erstens, inventarisiere deine Agenten. Welche berühren Hochrisiko-Workflows? Dieses Inventar wird deine HITL-Implementierungs-Roadmap.
Zweitens, benenne autorisierte Menschen. Welche Menschen können welche Aktionen genehmigen? Das ist eine Frage des Organisationsdesigns, keine IT-Frage.
Drittens, baue die HITL-Infrastruktur. Identity Binding, Approval Routing, Time-Boxing, Audit Logging. Die Infrastruktur muss vor dem August-Deadline stehen.
Beginne mit dem Inventar. Wenn du KI-Agenten in der Produktion hast und keine HITL-Compliance-Architektur, bleiben dir ungefähr vier Monate.