42001-06 Folgenabschätzung für KI-Systeme

Für: V, IA, EA
Quelle: ISO/IEC 42001:2023(en), Englisch. 3.24, 6.1.4, 8.4, A.5, B.5

Die Folgenabschätzung ist nicht die Risikobeurteilung. 6.1.2 beurteilt KI-Risiken, einschließlich möglicher Folgen für Organisation, Personen und Gesellschaften. 6.1.4 ist ein eigener Prozess. Seine Ergebnisse müssen in der Risikobeurteilung berücksichtigt werden. Die Anmerkung zu 6.1.2 erlaubt, die Folgenabschätzung beim Beurteilen der Folgen zu nutzen. „Can“. Sie ersetzt 6.1.4 nicht.

6.1.4 verlangt, einen Prozess zu definieren, um die möglichen Folgen für Personen oder Gruppen von Personen oder beide und für Gesellschaften zu beurteilen, die sich aus Entwicklung, Bereitstellung oder Nutzung von KI-Systemen ergeben können. Die Folgenabschätzung muss die möglichen Folgen bestimmen, die Bereitstellung, beabsichtigte Nutzung und vorhersehbare Fehlanwendung eines KI-Systems für diese Personen und für Gesellschaften haben. Sie muss dem konkreten technischen und gesellschaftlichen Kontext Rechnung tragen, in dem das System bereitgestellt wird, und den anwendbaren Rechtsräumen. Das Ergebnis muss dokumentiert werden. Soweit angemessen kann das Ergebnis relevanten interessierten Parteien verfügbar gemacht werden, wie die Organisation sie bestimmt. „Can“.

Die Anmerkung sagt, in manchen Kontexten, etwa bei sicherheits- oder privatsphärekritischen Systemen, könne die Organisation verlangen, dass fachspezifische Folgenabschätzungen, zum Beispiel zu Safety, Privatsphäre oder Security, als Teil der gesamten Risikotätigkeiten durchgeführt werden. „Can“.

8.4 verlangt, die Folgenabschätzungen nach 6.1.4 in geplanten Abständen durchzuführen oder wenn wesentliche Änderungen vorgeschlagen werden einzutreten. Der englische Wortlaut ist „proposed to occur“. Er ist nicht derselbe wie in 8.2, dort „proposed or occur“.

A.5 ist die Referenzgruppe in Tabelle A.1. Das Ziel: Auswirkungen von KI-Systemen auf Personen oder Gruppen oder beide und auf Gesellschaften über den Lebenszyklus beurteilen. Ob eine Zeile notwendig ist, ergibt 6.1.3. Ist sie notwendig, lautet die Maßnahme:

A.5.2: einen Prozess einrichten, um die möglichen Folgen für Personen oder Gruppen oder beide und für Gesellschaften zu beurteilen, die sich aus dem KI-System über seinen Lebenszyklus ergeben können.

A.5.3: die Ergebnisse dokumentieren und für einen festgelegten Zeitraum aufbewahren. Die Norm nennt keine Zahl von Jahren.

A.5.4: die möglichen Auswirkungen auf Personen oder Gruppen von Personen über den Lebenszyklus beurteilen und dokumentieren.

A.5.5: die möglichen gesellschaftlichen Auswirkungen über den Lebenszyklus beurteilen und dokumentieren.

Anhang B wiederholt diese Maßnahmen überwiegend mit „should“ und gibt Umsetzungsanleitung. B.5.2 sagt, die Organisation sollte auf der Grundlage von Zweck und Nutzung beurteilen, ob ein System die Rechtsposition oder Lebenschancen von Personen, ihr körperliches oder psychisches Wohlbefinden, universelle Menschenrechte oder Gesellschaften betrifft. Verfahren sollten Umstände, Elemente, die durchführende Stelle, die Nutzung der Abschätzung und die möglicherweise betroffenen Personen und Gesellschaften einschließen, aber nicht darauf beschränkt sein. Die Elemente können Identifikation, Analyse, Bewertung, Behandlung sowie Dokumentation, Berichterstattung und Kommunikation umfassen. „Can include“. Das ist keine zweite Soll-Liste neben 6.1.4. Dieselbe Anleitung sagt, die Prozesse könnten je nach Rolle, Domäne und Fach variieren, etwa Security, Privatsphäre und Safety. Die Organisation sollte bestimmen, ob fachspezifische Abschätzungen im Risikomanagement KI-Überlegungen ausreichend aufnehmen. ISO/IEC 23894 beschreibt nach der Anmerkung, wie eine Organisation Folgenanalysen als Teil eines Risikomanagements durchführen kann. Die Norm liegt nicht vor.

B.5.3: Dokumentation kann helfen zu bestimmen, was Nutzern und anderen Parteien kommuniziert werden sollte. Abschätzungen sollten aufbewahrt und bei Bedarf aktualisiert werden. Aufbewahrungsfristen können Organisationsfristen folgen oder von rechtlichen oder anderen Anforderungen informiert sein. Was dokumentiert werden sollte, nennt die Anleitung als erwägbare Punkte, darunter beabsichtigte Nutzung und vernünftigerweise vorhersehbare Fehlanwendung, positive und negative Auswirkungen, vorhersehbare Fehler, relevante demografische Gruppen, Komplexität, die Rolle von Menschen einschließlich Aufsicht, Beschäftigung und Qualifizierung. „Should consider“, nicht der Wortlaut von A.5.3.

B.5.4: beim Beurteilen sollte die Organisation ihren Steuerungsgrundsätzen, der KI-Politik und den Zielen Rechnung tragen. Spezifische Schutzbedürfnisse von Gruppen wie Kindern, beeinträchtigten Personen, älteren Personen und Beschäftigten sollten berücksichtigt werden. Bereiche, die je nach Zweck und Nutzung betrachtet werden können, umfassen unter anderem Fairness, Rechenschaft, Transparenz und Erklärbarkeit, Security und Privatsphäre, Safety und Gesundheit, finanzielle Folgen, Zugänglichkeit und Menschenrechte. „Can include“. Wo nötig, sollte die Organisation Fachleute konsultieren.

B.5.5: gesellschaftliche Auswirkungen können nützlich oder nachteilig sein. Beispiele der Anleitung sind Umwelt, Wirtschaft, Staat, Gesundheit und Sicherheit, Normen und Kultur. Die Organisation sollte die Auswirkungen im Zusammenhang mit ihren Umweltzielen betrachten, möglichen Missbrauch und historischen Schaden, und positive wie negative Ergebnisse. ISO/IEC TR 24368 wird als Überblick über ethische und gesellschaftliche Bedenken genannt und nicht nacherzählt. Die Beispiele sind Anleitung, keine Pflichtmatrix.

Dokumentierte Information: Das Ergebnis der Folgenabschätzung muss dokumentiert werden (6.1.4). Aufbewahrte dokumentierte Information über die Ergebnisse aller Folgenabschätzungen (8.4). Ist A.5.3 notwendig, müssen die Ergebnisse dokumentiert und für einen festgelegten Zeitraum aufbewahrt werden.

Nicht in diesem Text: eine Methode der Folgenabschätzung, eine Pflicht, jeden Punkt aus B.5.4 und B.5.5 abzuarbeiten, und ein Menschenrechts- oder Umweltgutachten. 6.1.4 und, soweit notwendig, A.5 sind die Anforderungen. Die Risikobeurteilung bleibt 6.1.2.