Prüfung von KI-Systemen

Das BDO Vorgehensmodell für Künstliche Intelligenz in der Software

1. Zunehmender Einsatz selbstlernender Softwarelösungen

Jenseits funktionsreicher, aber letztlich deterministischer Algorithmen hat die Verwendung von selbstlernenden Softwarelösungen (vereinfacht: „KI-Systeme“) in den letzten Jahren massiven Zuwachs verzeichnet.

Während anfangs eher produktionsferne Aktivitäten im Servicemanagement und der Logistik in der Industrie sowie im Back-Office-Bereich bei Kreditinstituten im Vordergrund standen, wird der Einsatz von KI-Systemen mittlerweile entlang der gesamten Wertschöpfungskette angestrebt. Motiviert wird dies regelmäßig durch eine hohe Datenverfügbarkeit und Rechenleistung sowie einer Standardisierbarkeit der jeweiligen Aktivität. Doch ergeben sich in der Praxis mehrere Herausforderungen:

• Wann verwendet man einen Algorithmus, der „dazu lernt“ und damit zur Künstlichen Intelligenz zu rechnen ist?
• Ist die gewählte Maßnahme für die Problemstellung geeignet und effizient?
• Wie kann man die Entwicklung und Qualitätssicherung eines KI-Systems abbilden?
• Wer ist für die Ergebnisse und deren Umsetzung verantwortlich?

Die Fragestellungen berühren verschiedene Themenbereiche, die von praktischen Herausforderungen der Datenverfügbarkeit bis hin zu ethischen Fragestellungen führen.

2. Der EPS 861 als neues Rahmenwerk für die prüferische Begleitung von KI-Systemen

Mit dem Entwurf eines IDW Prüfungsstandards Prüfung von KI-Systemen (IDW EPS 861) (02.2022) hat nun der Berufsstand reagiert. Mit dem Standard werden erstmals einheitliche Grundlagen für die Identifikation, Prüfung und Beurteilung von KI-Systemen festgelegt. Damit sind die Voraussetzungen geschaffen worden, innovative Lösungen in der Prüfung des gesamten Kontroll-Setups zu berücksichtigen und Prüfungssicherheit an Gesellschafter, Aufsichtsbehörden und Geschäftspartner zu kommunizieren.

Im Allgemeinen geht der Standard auf folgende Aspekte ein:

• Die Erlernung neuer mathematisch-berechenbarer Modelle, Daten oder deren Verwendungen als entscheidender Aspekt einer künstlichen Intelligenz
• Der Bezug der KI-Lösung zum gesamten umgebenden Kontrollsystem und deren Komponenten („KI-System“)
• Die Festlegung von angemessene Prüfungskriterien die wesentlich für die Beurteilung eines KI-Systems sind
• Darüber hinaus wird das etablierte Verfahren der Aufnahme, Angemessenheits- und Funktionsprüfung auf die Besonderheiten einer evolutionär vorgehenden KI-Lösung durch eine Feedbackschleife angepasst.

(Zum Vergrößern auf das Bild klicken) 

3. Unser Serviceangebot für Ihre KI-Entwicklungen

Wir haben uns maßgeblich an der Entwicklung des neuen Prüfungsstandards beteiligt. Luc Ernes als Mitglied des Arbeitskreises hat hier hohen Wert auf Praxistauglichkeit und Technologieoffenheit gelegt, um der Innovationskraft der geprüften Unternehmen Rechnung zu tragen. Der Fachbereich IT & Controls Assurance bietet Dienstleistungen hinsichtlich der Prüfung von KI-Systemen nach EPS861 an, davon ausgehend, dass dieser sich nach Ende der Kommentierungsphase als finaler PS verabschiedet und sich als anerkannter Standard etablieren wird.

Um unsere Mandanten noch intensiver bei der Entwicklung, dem Betrieb und der Verfeinerung von KI-basierten Lösungen zu unterstützen, haben wir die Anforderungen des Prüfungsstandards in ein konsistentes Vorgehensmodell einfließen lassen. Dieses berücksichtigt den gesamten Lebenszyklus eines KI-Systems und vereint die betriebswirtschaftliche, rechtliche und technische Perspektive in dessen Betrieb.

(Zum Vergrößern hier klicken)

Unser Vorgehensmodell berücksichtigt sowohl die Anforderungen des EPS 861 als auch gängige Branchenstandards wie bspw. ein modifiziertes CRISP-DM und das KI-Stufensystem des Frauenhofer Instituts. Wir begleiten Sie damit durch alle Phasen Ihres KI-Projektes:

Angebotsanfrage

Entlang der Prozessschritte begleiten Sie unsere KI-Experten aus den Bereichen IT & Controls Assurance, Performance Advisory sowie unserem Kooperationspartner BDO Legal Rechtsanwaltsgesellschaft mbH. Gemeinsam stellen wir sicher, dass Sie eine effiziente, robuste Lösung für Ihr Unternehmen entwickeln.