Inhaltsverzeichnis
In meinem Artikel “Künstliche Intelligenz im Vertragscontrolling – eine Teamarbeit?” habe ich beschrieben, wie wir mit einer von PASS erstellten KI-basierten Lösung unsere vorjuristische Vertragsprüfung in einem nie dagewesenen Umfang optimiert haben, sowohl in Bezug auf die Produktivität als auch die Qualität der Prüfungsprozesse. Motiviert durch diese Ergebnisse haben wir dieselbe Software eingesetzt, um die Konformität unseres Internen Kontrollsystems (IKS) mit den Regelwerken des Information Security Management Systems (ISMS) und des IT-Betriebs zu überprüfen.
Das Interne Kontrollsystem (IKS) der PASS Gruppe
Basierend auf Gesetzen, Standards und der eigenen Strategie definiert ein Unternehmen auf der obersten Stufe seines Governance-Modells zunächst Kontrollziele. Unter diesen Zielen sind alle Aktivitäten und Maßnahmen (sogenannte Kontrollen) festgelegt, die zum Erreichen der Ziele notwendig sind. Auf der operativen Ebene beschreiben Richtlinien/Leitlinien, wie diese Kontrollen umgesetzt werden.
Die Implementierung dieses Modells für die von PASS Gesellschaften im Kundenauftrag zu erbringenden IKT-Dienstleistungen, die von Softwareentwicklung über das IT-Servicemanagement bis zum Betrieb in eigenen Rechenzentren reichen, ist das Interne Kontrollsystem (IKS) der PASS Gruppe. Als Dokumentationsbasis, Plattform zum Risikomanagement wie auch für interne und externe Prüfungen dient dabei die PASS GRC Suite.
Die Leitlinien von PASS basieren auf einem hierarchischen Modell und sie enthalten Verfahrensanweisungen und Vorgaben für die operative Umsetzung. Für die Nutzung von IT-Infrastruktur, das Informationssicherheitsmanagementsystem (ISMS), den Betrieb von Rechenzentren und die Maßnahmen zur Geschäftskontinuität (Notfall-/Wiederherstellungsplanung) sind dies Dokumente, die jedem Mitarbeiter zugänglich sind. Ergänzend kommen Vorgaben hinzu, beispielsweise zur Softwareentwicklung in einem Wiki namens comPASS oder weitere themenspezifische Wikis.
Dieses System zeichnet sich durch drei kritische Stellen aus:
- Die Angemessenheit der Kontrollziele und Kontrollen, um die relevanten Gesetze, insbesondere die Regulatorik, vertragliche Anforderungen, die eigene Unternehmensstrategie und selbstverständlich auch die Anforderungen des Marktes zu erfüllen.
- Die Eignung der Leitlinien und sonstigen operativen Anweisungen, um die definierten Kontrollziele zu erreichen und die Kontrollen vollständig abzubilden.
- Die wirksame Umsetzung der Leitlinien und operativen Anweisungen in der Praxis.
Jeder dieser Punkte hat seine besondere Herausforderung. Bei Punkt 2 geht es um die Analyse großer Textmengen. Unsere dokumentengebundenen Leitlinien (ohne Wikis) haben einen Umfang von über 400 Seiten, die auf Konformität mit den 44 Kontrollzielen und deren 147 Kontrollen abzugleichen sind. Diese Aufgabe kann von menschlichen Prüfern bestenfalls stichprobenhaft wahrgenommen werden. Sie ist aber prädestiniert für den Einsatz von Künstlicher Intelligenz (KI).
Set-up der PASS KI-Software
Das Prinzip der Prüfung von Dokumenten durch ein (beliebig auswählbares) Large Language Model (LLM), wie wir es bereits zur Vertragsanalyse erfolgreich angewendet haben, basiert auf den folgenden Bestandteilen:
- Es wird eine Richtlinie (Guideline) erstellt, die das Regelwerk zur Prüfung der Dokumente repräsentiert.
- Es werden die auf Konformität mit dem Regelwerk zu prüfenden Dokumente in den Arbeitsbereich unserer Software hochgeladen, d.h. in einen sicheren Bereich im PASS Rechenzentrum.
- Vordefinierte Prompt-Elemente geben dem LLM klare Anweisungen zu seiner Aufgabe, definieren die Perspektive, aus der es diese bearbeiten soll, und legen fest, wie das Ergebnis formuliert oder bewertet werden soll.
Wird eine Analyse gestartet, so extrahiert die Software zunächst alle Dokumenteninhalte. Sie erstellt aus diesem Extrakt, dem Regelwerk und den Prompt-Elementen einen scheinbar endlosen Prompt und übergibt ihn, vergleichbar mit einem Chat, zur Ausführung an das zuvor ausgewählte LLM. Die vom LLM zurückgegebene Antwort wird anschließend in der Software lokal abgelegt, in einer GUI angezeigt und bei Bedarf als PDF-Bericht zur Verfügung gestellt.
Bei der Anwendung zur Vertragsanalyse enthält die Richtlinie zu einem bestimmten Vertragstyp alle Klauseln und Kriterien in der gewünschten unternehmensspezifischen Ausprägung. Zur Konformitätsprüfung der Leitlinien mit dem IKS wurde hierfür aus der PASS GRC Suite ein Export mit den Beschreibungen aller Kontrollziele und Kontrollen erstellt und dieser Text als Richtlinie eingefügt.
Bei den Prompt-Elementen ändert sich die Rolle der KI von einem “professionellen Rechtsexperten, der sich auf Verträge nach deutschem und internationalem Recht spezialisiert hat” zu einem “Experten für professionelles Informationssicherheitsmanagement und spezialisiert auf Informationssicherheitsstandards wie ISO/IEC 27001:2022 sowie damit verbundene Vorschriften”.
Sind diese Definitionen erfasst und gespeichert, werden die Leitliniendokumente ausgewählt und die KI-Analyse gestartet.
Vollständige Dokumentenprüfung in anderthalb Minuten
Die Ergebnisse der vollständigen Konformitätsprüfung von mehr als 400 Seiten Leitlinientext mit den 44 Kontrollzielen und 147 Kontrollen stehen, abhängig vom gewählten LLM, nach knapp 1,5 Minuten zur Verfügung. Die von der KI erstellte Zusammenfassung zeigt einen kurzen, aber auf den Punkt gebrachten Überblick über die Dokumente und hebt dabei die wesentlichen Aspekte hervor. Bemerkenswert ist, dass die KI bereits von sich aus, d.h. ohne explizite Aufforderung, auf die Einschränkung hinweist, dass diese Analyse keine Aussage über die Wirksamkeit der Maßnahmen-Implementierung erlaubt.
An die Zusammenfassung schließt sich der Bereich Schlüsselinformationen mit strukturierten Metadaten über die ausgewerteten Dokumente an.
Eine quantitative und qualitative Beurteilung der Konformität dieser Dokumente mit dem Internen Kontrollsystem erfolgt als Kriterienbewertung. Strukturell ist die Bewertung nach Kontrollzielen unterteilt, die in der Richtlinie vorgegeben wurden, und sie orientiert sich an den Beschreibungen der Kontrollen eines Ziels. Quantitativ verwendet die KI wie von uns gewünscht eine Skala von 0 bis 20, wobei ein Score von 20 die Höchstpunktzahl ist und uneingeschränkte Konformität bedeutet. Im Text wird insbesondere begründet, welche Aspekte zu einem Abzug von der Höchstpunktzahl geführt haben.
Der Nutzen einer solchen KI-gestützten Konformitätsprüfung besteht einerseits in der Vorbereitung von Audits. Andererseits stellen die Analyseergebnisse eine wertvolle Grundlage zur Verbesserung der Systeme dar, was durch die Kategorie “KI-Vorschläge” zusätzlich unterstützt wird.
Probleme durch nicht-immer-deterministisches Verhalten und Halluzinationen
Führt man eine KI-basierte Dokumentenanalyse mehrmals mit identischem Input, d.h. gleichen Dokumenten, gleichen Richtlinien, gleichen Prompt-Elementen, durch, so wird man feststellen, dass der Output geringfügig abweicht. In der Regel sind die Unterschiede marginal und widersprechen sich keineswegs. Sie können folgende Ursachen haben:
- Temperature und probabilistische Auswahl: Stoßen aktuelle Sprachmodelle hinsichtlich der Muster und Zusammenhänge, die sie während des Trainings gelernt haben, auf Lücken, berechnen sie Wahrscheinlichkeiten für mögliche, plausibel klingende Ergänzungen. Wenn die sogenannte Temperature, eine “Stellschraube” des LLM, die vom Betreiber oder in der API geändert werden kann, höher als 0 eingestellt ist, wählt die KI dabei nicht immer die wahrscheinlichste Option, sondern variiert zufällig innerhalb eines Wahrscheinlichkeitsrahmens. Das erzeugt die Illusion von Kreativität.
- In-Context Learning: KIs sind in der Lage, ihre Aktivierungsmuster für aktuelle Rechenschritte temporär zu verändern und dadurch die Gewichtung neu erworbener Informationen zu ändern. Dies kann sich bei einer wiederholten Analyse des gleichen Objekts in unserer Software, d.h. bei einer Fortsetzung desselben Kontextes, durch abweichende Ergebnisse auswirken. Aber: Diese Erkenntnisse fließen nicht dauerhaft in das Grundmodell ein. Sobald ein neuer Kontext startet (ein neues Objekt in unserer Software erstellt wird), ist dieses Wissen wieder gelöscht.
Diese Unschärfen können in extremen Ausprägungen zu dem Effekt führen, dass Ergebnisse plausibel wirken, faktisch aber falsch sind. Werden diese von der KI zudem noch selbstbewusst und überzeugend präsentiert, spricht man in solchen Fällen von Halluzinationen.
Peer Reviews erhöhen die Sicherheit
PASS hat seine Software mit einer Funktion versehen, die das Ergebnis der ersten Dokumentenanalyse einem Audit unterzieht. Genau genommen handelt es sich um ein Peer Review. Dabei ist der Gutachter eine andere KI, idealerweise auf Basis eines anderen LLM. Der Gutachter erhält den Vertragstext, die Kriterien, das Prüfungsergebnis der ersten KI sowie den expliziten Auftrag zum Audit. Sein Ergebnis sind Bestätigungen oder Korrekturvorschläge, qualifiziert begründet und belegt durch Verweise beispielsweise auf Textstellen in den geprüften Dokumenten. Gleichzeitig wird zu jeder überprüften Schlüsselinformation oder Kriterienbewertung auch ein Konfidenzwert geliefert, mit welcher Wahrscheinlichkeit das korrigierte Ergebnis aus Sicht des Gutachters zutreffend ist. Diese Funktion hat sich bereits bei der Vertragsanalyse gut bewährt. Sie vermindert die im vorigen Abschnitt begründete inhärente Unglaubwürdigkeit von KI-Aussagen.
Fazit
Unsere Software zur KI-gestützten Dokumentenanalyse hat nun schon mindestens zwei Bereiche im Unternehmen stark verändert. Die Mitarbeitenden im Vertragscontrolling sparen je Vertrag mehrere Tage Aufwand, in denen sie bisher die zum Vertrag gehörenden Dokumente durchgelesen und auf Risiken für das eigene Unternehmen bewertet haben. Die Prozesslaufzeit für diese vorjuristische Vertragsprüfung konnte dadurch von zwei bis drei Wochen auf drei Minuten reduziert werden. Hinzu kommt die qualitative Verbesserung, denn die KI prüft den gesamten Vertragsinhalt mit der gleichen Aufmerksamkeit und Konzentration, was einem Menschen, besonders bei dieser Art der Lektüre, nicht gelingt.
Ähnlich verhält es sich mit den in diesem Beitrag geschilderten Compliance-Prüfungen unserer ISMS-Leitlinien. Kein Prüfer, weder intern noch extern, wird in der Lage sein, diese Dokumente vollumfänglich und mit der Gründlichkeit einer KI auf Übereinstimmung mit dem IKS oder mit normativen oder regulativen Vorgaben zu prüfen.
Bei diesen Anwendungsfällen ist auch bemerkenswert, dass kein einziger Arbeitsplatz verloren gegangen ist, auch nicht partiell. Es sind immer noch Menschen notwendig, die vernünftige Entscheidungen über die Akzeptanz von Risiken treffen oder mit dem Vertragspartner über Modifikationen verhandeln. Auch im Kontext von IKS und ISMS kann die KI vieles an Dokumenteninhalt prüfen und verbessern, sie kann uns aber nicht dahingehend prüfen, ob die beschriebenen Maßnahmen auch in der realen Welt umgesetzt und immer wirksam sind – und uns am Ende ein Zertifikat erteilen.
KI ist ein Werkzeug. Nutzen wir es schlecht, produziert es in kürzester Zeit mehr Fehler und Probleme, als je ein anderes Werkzeug in der Lage gewesen wäre. Setzen wir es geschickt ein, kann es alleine im geschäftlichen Umfeld Effizienz und Qualität außerordentlich steigern.
Bilder: Google Gemini, PASS
