Wie testet man die KI und was hat die ISO 42001 damit zu tun?

Sie wollen ihre mit KI arbeitenden Systeme testen? Dabei gibt es einiges zu beachten, das ISTQB hat eine Methodik dafür und hat auch eine Ausbildung dazu entwickelt. Aber auch die ISO 42001 kann eine Rolle spielen. Daber ist der Zusammenhang zwischen dem ISTQB Certified Tester AI Testing (CT-AI) und einem AI Management System (AIMS) nach ISO/IEC 42001 enger, als es auf den ersten Blick erscheint.

Die beiden Standards adressieren die KI auf unterschiedliche Ebenen:

• ISTQB CT-AI betrachtet primär die Qualitätssicherung und Verifikation von KI-Systemen.

• ISO/IEC 42001 betrachtet die Governance und das Management von KI-Systemen auf Organisationsebene.

Man könnte vereinfacht sagen:

ISO 42001 setzt den Rahmen und definiert, dass und warum KI kontrolliert werden muss.

ISTQB AI Testing liefert Methoden und Nachweise dafür, wie technische Qualität und Risiken der KI überprüft werden können!

Unterschiedliche Betrachtungsebenen

ISO/IEC 42001	ISTQB CT-AI
Managementsystem	Engineering- und QS-Disziplin
Governance	Verifikation und Validierung
Organisation	KI-System
Prozesse und Verantwortlichkeiten	Testmethoden und Testaktivitäten
Risiken und Kontrollen	Nachweise über die Wirksamkeit der Kontrollen

ISO 42001 fordert nicht explizit bestimmte Testmethoden oder Testverfahren. Die Norm verlangt jedoch, dass Risiken identifiziert, behandelt und überwacht werden und dass geeignete Kontrollen zur Sicherstellung der Wirksamkeit von KI-Systemen etabliert werden.

Genau hier entstehen die Berührungspunkte zum AI Testing.

AI Testing als operative Kontrolle im Sinne von ISO 42001

ISO 42001 folgt derselben Managementsystemlogik wie ISO 27001, in der das Risko und das Risikomanagement mit Maßnahmen eine Rolle spielen. AI Testing kann hierbei als technische und organisatorische Kontrolle innerhalb des AIMS verstanden werden.

Beispiele:

AI-Risiko	Mögliche ISO-42001-Kontrolle	Beitrag des AI-Testings
Halluzinationen	Qualitätskontrollen	Accuracy- und Robustheitstests
Bias	Fairness Governance	Bias- und Fairness-Tests
Datenqualität	Data Governance	Test der Trainingsdatenqualität
Drift	Monitoring	Drift Detection und Regressionstests
Fehlende Robustheit	Modellvalidierung	Adversarial Testing
Nicht reproduzierbare Ergebnisse	Change Management	Regression Testing

Der AI Tester liefert somit Evidenz dafür, dass die definierten Kontrollen tatsächlich wirksam sind.

Mapping auf ISO 42001 Anforderungen

Kapitel 6 der Norm behandelt die Planung

ISO 42001 verlangt die Behandlung von Risiken und Chancen, so wäre zum Beispiel folgendes denkbar:

Identifiziertes Risiko: Das KI-Modell diskriminiert Bewerbergruppen aufgrund unausgewogener Trainingsdaten.

Massnahme im AIMS: Durchführung periodischer Fairness- und Bias-Tests.

Nachweis: Ergebnisse aus dem AI-Testprozess nach ISTQB CT-AI.

Der Testprozess wird damit Teil des Risk Treatments.

Kapitel 8 dreht sich um den Betrieb

Die Norm fordert die kontrollierte Entwicklung und den Betrieb von KI-Systemen. Hier liefern AI-Tests beispielsweise:

• Teststrategie

• Testpläne

• Testfälle

• Testdatenmanagement

• Validierungsergebnisse

• Freigabekriterien

Dies entspricht klassischen SDLC- und MLOps-Kontrollen.

Kapitel 9 zielt auf eine Performance Evaluation

ISO 42001 fordert:

• Monitoring

• Measurement

• Evaluation

• Analyse

AI-Testmetriken eignen sich unmittelbar als Input:

• Accuracy

• Precision

• Recall

• F1 Score

• False Positive Rate

• False Negative Rate

• Fairness-Indikatoren

• Drift-Indikatoren

• Robustheitsmetriken

Diese Metriken werden zu AIMS-Kennzahlen.

Kapitel 10 sucht die Verbesserung

Wenn Tests Defizite aufdecken, entstehen daraus:

• Corrective Actions

• Model Retraining

• Anpassungen der Trainingsdaten

• Verbesserungen der Governance

Dies entspricht direkt dem kontinuierlichen Verbesserungsprozess des AIMS.

AI Testing als Evidenz für Auditoren

Eine häufige Herausforderung bei ISO-42001-Audits lautet:

"Wie weisen Sie nach, dass Ihr KI-System die definierten Anforderungen tatsächlich erfüllt?"

Typische Antworten wie

"Wir haben Richtlinien" oder "unsere Entwickler prüfen das" oder "das Modell funktioniert gut."

reichen in der Regel nicht aus.

AI Testing erzeugt dagegen auditierbare Evidenz:

• Testpläne

• Testfälle

• Testdaten

• Testergebnisse

• Abweichungen

• Korrekturmaßnahmen

• Freigabeentscheidungen

Damit wird AI Testing zu einem wichtigen Bestandteil der objektiven Evidenz im AIMS.

Zusammenhang mit Annex A der ISO 42001

Die Kontrollen des Annex A sind bewusst technologieoffen formuliert. Viele davon benötigen jedoch technische Evidenz. HIer einige Beispiele:

Annex-A-Thema	Möglicher Beitrag von AI Testing
AI System Validation	Modelltests
Data Quality	Datensatztests
Monitoring	Performance- und Drift-Tests
Transparency	Erklärbarkeitsprüfungen
Fairness	Bias-Tests
Robustness	Adversarial Testing
Continuous Improvement	Regressionstests

Der ISTQB AI Tester liefert somit einen erheblichen Teil der technischen Nachweise für die Umsetzung dieser Kontrollen.

Ein mögliches Governance-Modell

ISO 42001 AIMS gewährleistet eine AI Policy, AI Risk Management, AI Controls und AI Governance.

Darauf baut das AI Lifecycle Management auf und beschreibt Data Governance im Development, Deployment und Monitoring.

Die nötigen Informationen für das Monitoting kann das AI Testing (ISTQB CT-AI) liefern mit Functional Testing, Bias Testing, Robustness Testing, Explainability Testing, Data Quality Testing und Regression Testing

Einordnung

Aus Sicht eines Informationssicherheits- oder Qualitätsmanagers lässt sich die Beziehung am besten mit der Analogie zur Informationssicherheit beschreiben, man kann z. B. folgendes verknüpfen:

Informationssicherheit	KI
ISO 27001	ISO 42001
Penetration Testing	AI Testing
Security Controls	AI Controls
Audit Evidence	Test Evidence

Natürlich ist AI Testing nicht das direkte Äquivalent eines Penetrationstests, aber die Governance-Logik ist vergleichbar:

Ein ISMS ohne technische Security-Prüfungen bleibt theoretisch. Ein AIMS ohne strukturierte AI-Tests bleibt ebenfalls weitgehend eine Governance-Hülle ohne belastbare Evidenz über die tatsächliche Qualität, Fairness, Robustheit und Zuverlässigkeit der eingesetzten KI-Systeme.

Vorteil des Zusammenspiels der Norm und des ISTQB-Standards

Daher kann der Test unter Nutzung der Logik des ISTQB Certified Tester AI Testing als ein wesentlicher Enabler für die operative Umsetzung und die auditierbare Wirksamkeit eines AI Management Systems nach ISO/IEC 42001 betrachtet werden.

Grundlagen

Aber natürlich deckt ein Test nach ISTQB nicht alles ab, er liefert wichtige Informationen, die Prüfungen und Kontrollen sind je nach Riskosituation zu erweitern. Es braucht ein Gesamtkonzept, um das sichere und effiziente Management einer KI im Unternehmen zu gewährleisten.

Wer testet?

Man kann eigene Mitarbeiter in dem ISTQB-Standard ausbilden oder einen Experten vom Markt gewinnen, aber auch die Test-Leistung von spezialisierten Dienstleistern zukaufen.

Der ISTQB Certified Tester AI Testing (CT-AI) hat Fahrt aufgenommen, ist aber noch nicht überall etabliert. Aber das ist nur eine Frage der Zeit, der Wert dieser Testmethodik ist klar!