Das Vertragscontrolling der PASS Consulting Group ist gerade durch ein Team von intelligenten Agenten verstärkt worden. Geht künftig ein neuer Vertragsentwurf ein, erhält das Management innerhalb von fünf Minuten einen Überblick über dessen Risiken. Ursache dieses im hohen Faktorenbereich liegenden Zeitgewinns ist Teamarbeit. Sie beginnt mit dem Peer Review des Vertrags durch zwei unterschiedliche Künstliche Intelligenzen (KIs). Dies ist naheliegend, denn heute basieren KIs auf neuronalen Netzen, die auf Basis ihres (unterschiedlichen) Wissens Theorien entwickeln, verifizieren und zugehörige Antworten wahrscheinlichkeitsbasiert erstellen. Ähnlich dem Menschen können durch die gegenseitig reflektierte Teamarbeit von KIs deutlich bessere Leistungen erzielt werden als nur die Summe der Einzelleistungen. Zeit also, um diese intelligenten Agenten zu unseren ziemlich besten Freunden zu machen.
Die Evolution der „Künstlichen Intelligenz“
Künstliche Intelligenz wirkt heute allgegenwärtig, ist jedoch keineswegs eine Erfindung der letzten Jahre. Schon vor etwa 50 Jahren existierten sogenannte Expertensysteme, die auf Basis von fest programmiertem Wissen, Algorithmen und Regelwerken Auskünfte aus einem klar abgegrenzten Fachgebiet geben konnten. Aus heutiger Sicht würde man diese Technologie allerdings nicht mehr als moderne KI einordnen.
Fortschritte durch Vektorraummodelle
Zu Beginn des neuen Jahrtausends konnten mit dem Einsatz weiterer Technologien, darunter klassische Vektorraummodelle, deutlich leistungsfähigere KI-Systeme entwickelt werden.
Diese waren erstmals in der Lage,
- Informationen intelligent aus unstrukturierten Texten zu extrahieren.
- Textinhalte automatisiert zu klassifizieren.
- qualifizierte Antworten auf natürlichsprachliche Anfragen zu generieren.
Sprachverarbeitung erwies sich als ein Bereich, den KI besonders gut beherrschen kann. Übersetzungen zwischen beliebigen Sprachen sind längst Standard, und auch Simultanübersetzungen gesprochener Sprache werden zunehmend zur Normalität. Klassische Vektorraum-KIs können jedoch nur so gut werden wie die Vorgaben, die man ihnen macht.
Der Durchbruch neuronaler Netze
Moderne Neuronale Netzwerke funktionieren grundlegend anders. Sie nutzen hierarchisches Musterlernen, bekannt als Deep Learning, um aus großen Datenmengen eigenständig Schlüsse zu ziehen.
Dadurch können sie:
- Theorien entwickeln
- Hypothesen überprüfen
- Ergebnisse verifizieren oder falsifizieren
Zudem sind heutige KI-Systeme längst nicht mehr auf Text beschränkt, sondern können auch Bilder, Audio sowie Sourcecode verarbeiten und sogar neu generieren. Der Preis dieser Leistungsfähigkeit ist jedoch eine eingeschränkte Nachvollziehbarkeit: Moderne KI bleibt oft eine Black Box, da nicht mehr transparent ist, wie genau ein Ergebnis zustande kommt.
Herausforderung: Halluzinationen
Moderne KI-Systeme erzeugen Ausgaben auf Basis von Wahrscheinlichkeiten. Falsch eingeschätzte Wahrscheinlichkeiten können zu sogenannten Halluzinationen führen: Aussagen, die plausibel wirken, aber faktisch falsch sind.
Large Language Models als nächster Evolutionssprung
Durch den enormen Innovationswettbewerb der letzten zwei Jahre sind aus dieser Technologie mehrere Large Language Models (LLMs) entstanden, die mit dem gesamten, im Internet öffentlich verfügbaren Wissen trainiert wurden. In der Folge konnten diese Modelle ein hohes Verständnis komplexer Zusammenhänge entwickeln. Gleichzeitig stehen sie nahezu jedem Anwender zur Verfügung. Die Möglichkeiten ihrer Nutzung sind oft nur durch die Phantasie und Kreativität der Nutzer begrenzt und haben meiner Meinung nach in naher Zukunft ein sehr großes Potenzial für eine industrielle Revolution.
Analyse von Vertragsinhalten durch Large Language Models
PASS hat für die Prüfung von Dokumenten durch ein LLM eine Software erstellt, die als Frontend dient und das LLM sozusagen als Backend nutzt. In dieser Software, die im PASS-Rechenzentrum, d.h. in einer sicheren Systemumgebung, läuft, werden die zu prüfenden Dokumente hochgeladen. Es können Ausgabestrukturen, Regeln und Kriterien für die Prüfung hinterlegt werden. Wird eine Prüfung angestoßen, erstellt die Software aus dem Inhalt der Dokumente, den ausgewählten Strukturdefinitionen, Regeln und Kriterien einen Prompt und übergibt diesen an das gewünschte LLM. Dabei können ausgewählte Informationen, beispielsweise Namen von Vertragspartnern, vor der Übergabe an das LLM automatisch anonymisiert werden. Ein Upload von Dokumenten zum LLM ist nicht notwendig.
Die PASS Software nimmt den Output des LLM entgegen, formatiert ihn entsprechend der vorgegebenen Definition und legt ihn lokal ab. Die an das LLM gesendeten Daten werden entsprechend der mit dessen Betreiber vereinbarten Parameter nicht zum Training verwendet und nach Abschluss der Sitzung gelöscht.
KI als Risk Analyst von Kundenverträgen – Ausgangssituation
Unternehmensspezifische Prägung der Kriterien für eine Dokumentenprüfung
Die Bewertungskriterien der Prüfung eines bestimmten Dokumententyps können in unserer Software frei definiert werden. Dadurch ist die Lösung grundsätzlich flexibel für beliebige Themen einsetzbar. Über die Nutzung im Kontext von Fördermittelanträgen wurde bereits berichtet. Aufgrund meiner Erfahrungen mit der Lösung werde ich mich nachfolgend auf unsere Vertragsprüfungen fokussieren.
Die Grundstruktur unserer Software sind elementare Kriterien, die beliebig Richtlinien zugeordnet werden können. Dabei lässt sich unser Bedarf an Vertragsprüfungen auf genau drei Richtlinien einschränken:
- Vorvertragliche Vertraulichkeitsvereinbarungen.
- Übergeordnete Regelungen, die als juristischer Rahmen für Leistungsvereinbarungen dienen (z.B. Rahmenvertrag, AGB).
- Die Leistungsvereinbarungen selbst.
Subunternehmer, Subdienstleister (LV): Sollen bei der Leistungserbringung Subunternehmer bzw. Subdienstleister eingesetzt werden, sind diese im Vertrag zu benennen und es ist anzugeben, welcher Art die Zulieferung oder Dienstleistung ist. Handelt es sich bei einem der Vertragspartner um ein Finanzunternehmen mit Sitz in der EU, ist ferner für jeden Subunternehmer bzw. Subdienstleister anzugeben, an welchem Ort (Stadt und Land) er (1) die Leistung erbringt und (2) Daten gespeichert werden.
Gewährleistung (RV): Die Gewährleistungsfrist muss angegeben sein. Wird der Vertrag nach deutschem Recht geschlossen und ist der Vertragspartner kein Verbraucher (nicht B2C), kann im Vertrag vereinbart werden, dass die Gewährleistungsfrist auf ein Jahr verkürzt wird oder auch vollständig entfällt. Handelt es sich um deutsches Recht und ist der Vertragspartner ein Verbraucher (B2C), muss die Gewährleistungsfrist genau zwei Jahre betragen.
Vorgaben dieser Art reichen völlig aus. Das LLM erkennt selbst, ob es sich um ein Finanzunternehmen mit Sitz in der EU handelt – oder ob es um B2B oder B2C geht.
Ergebnis einer Vertragsprüfung
Die Vertragsprüfung basiert primär auf dem verwendeten LLM, ist jedoch ausgerichtet an den in unserer Lösung festgelegten Kriterien, die zur Laufzeit erst an das LLM übergeben werden. Im Regelfall wartet man 30 Sekunden auf das Ergebnis. Interessanterweise ist diese Zeit recht konstant, d.h. unabhängig vom Umfang des Vertragswerks und von der Anzahl der Kriterien.
Der Output entspricht einer Struktur, die wir in unserer Software selbst festlegen können. Aktuell präferieren wir Tabs wie Zusammenfassung, Schlüsselinformationen, Bewertung der Kriterien und Vorschläge der KI für Verbesserungen. Auf Wunsch kann man die Ausgabe als PDF herunterladen.
Durch die Aufbereitung des Outputs kann der Mensch seinen Blick schnell auf jene Themen fokussieren, die schlecht bewertet wurden. Sie finden sich auch zuverlässig in der Vorschlagsliste der KI für Verbesserungen. Stellt man Optimierungsbedarf an der eigenen Kriterienbeschreibung fest, kann man diese leicht innerhalb der Software ändern – und die nächste Vertragsanalyse findet auf Basis der geänderten Kriterien statt.
Generierung der Kriterien
Mit einem weiteren interessanten Feature lassen sich Prüfungskriterien aus vorgegebenen Texten automatisch ableiten. Dies funktioniert gut mit Gesetzestexten oder EU-Verordnungen. Über einen Prompt lässt sich gezielt Einfluss auf die inhaltlichen Schwerpunkte nehmen, etwa indem die Analyse ausschließlich auf Verträge zwischen einem Finanzunternehmen und einem IKT-Dienstleister oder auf bestimmte Vertragstypen fokussiert wird. Ebenso kann die gewünschte Struktur der Kriterien vorgegeben werden, beispielsweise indem für die zu untersuchende Verordnung des Digital Operational Resilience Act (DORA) eine Differenzierung zwischen Verträgen mit kritischen oder wichtigen Funktionen und solchen ohne entsprechende Relevanz erfolgen soll. Nach sehr kurzer Zeit liefert die KI zum Gesetzestext eine Reihe von Kriterien, nach denen künftig Verträge auf ihre Konformität hin überprüft werden können. Selbstverständlich können generierte Kriterien editiert werden, beispielsweise um zu präzisieren, in welchen Fällen sie überhaupt relevant sind.
Dieses Feature ermöglicht es, beliebige Regelwerke, Gesetze und Verordnungen in die eigenen Vertragsprüfungen einzubeziehen. Wir haben dies erfolgreich mit DORA, dem Data Act und der EU DSGVO praktiziert. Interessanterweise hat die KI beim AI Act die Kriterienerstellung verweigert, was aber offensichtlich nur am Umfang der Verordnung und einem daraus resultierenden Time-out oder einer Überschreitung der maximalen Promptlänge gelegen hat.
Peer Reviews der KIs
Eine Frage, die sich nach jeder von einer KI durchgeführten Vertragsanalyse stellt, ist die nach der Konfidenz. Es liegt in der Natur Neuronaler Netzwerke, dass sie mitunter andere Prioritäten setzen als der menschliche Nutzer, Input falsch interpretieren oder Mutmaßungen geringer Wahrscheinlichkeit als Fakten darstellen.
Das neueste Feature ist vergleichbar mit einem Peer Review des ersten Prüfungsergebnisses. Ein anderes LLM, nennen wir es Gutachter, erhält den Vertragstext, die Kriterien, das Prüfungsergebnis der ersten KI sowie den expliziten Auftrag zur Qualitätssicherung. Die Ergebnisse, die typischerweise nach etwa 2,5 Minuten zur Verfügung stehen, sind Bestätigungen oder Korrekturvorschläge, qualifiziert begründet und belegt durch Verweise beispielsweise auf den Vertragstext. Gleichzeitig wird zu jeder überprüften Schlüsselinformation oder Kriterienbewertung auch ein Konfidenzwert geliefert, mit welcher Wahrscheinlichkeit das Ergebnis aus Sicht des Gutachters zutreffend ist.
Für diese Funktion gilt das gleiche wie für eine gut organisierte menschliche Teamarbeit: Das Ganze ist mehr als die Summe seiner Teile. Der Nutzen durch das geschickte Zusammenspiel zweier auf Neuronalen Netzwerken basierender intelligenter Agenten ist deutlich höher als der doppelte, durch eine einzelne KI erzielbare Nutzen.
Der Zeitgewinn im Vertragscontrolling
Selbstverständlich darf die Analyse durch KIs nicht als Rechtsberatung verstanden werden und sie ersetzt nicht eine (mindestens) finale Prüfung durch einen spezialisierten Fachanwalt für IT-Recht. Absolut erstaunlich ist jedoch der Zeitgewinn. Nehmen wir den Fall eines umfangreichen Vertragswerks, das komplexe Softwareentwicklung, Lizenzierung, Systembetrieb mit Cybersicherheit und Notfallplanung umfasst und von der Rechtsabteilung eines potenziellen Kunden selbst erstellt wurde. Alleine mit der ersten Vorprüfung waren unsere Mitarbeiter im Vertragscontrolling in der Vergangenheit zwei bis fünf Tage beschäftigt.
Danach gaben wir die Vertragsentwürfe an unsere ausgelagerte Rechtsberatung, damit sich diese darin einliest und die Punkte, welche im Rahmen einer Nachverhandlung mit dem Kunden in unserem Sinne verbessert werden müssen, erarbeitet. Bis zum Beginn von Nachverhandlungen mit dem potenziellen Kunden waren dann in der Regel zwei bis drei Wochen vergangen.
Heute läuft dieser Prozess anders ab. Wir laden die Vertragsdokumente in unserem Frontend, das im eigenen Rechenzentrum läuft, hoch (ca. 20 Sekunden). Danach wählen wir die passende Richtlinie mit der gewünschten unternehmensspezifischen Prägung der Kriterien und starten die erste Analyse (ca. 30 Sekunden). Sicherheitshalber bitten wir anschließend noch die Gutachter-KI um ein Peer-Review (ca. 2,5 Minuten).
Nach einer kurzen Sichtung exportieren wir das Ergebnis, hängen es an das Vorgangsticket und weisen es dem verantwortlichen Management zu. Im Regelfall liefern wir am Tag des Vertragseingangs unserer Rechtsberatung bereits nicht nur die Vertragsentwürfe, sondern zusätzlich ein qualifiziertes Analyseergebnis, das, wie oben beschrieben, strukturierte Schlüsselinformationen, begründete und mit Verweisen belegte Kriterienbewertungen sowie konkrete Vorschläge zur Änderung enthält.
Ein Blick über den Tellerrand des Vertragscontrollings
Von der beschriebenen Anwendung ist lediglich das von uns erstellte bzw. auf Grundlage von Gesetzen und Verordnungen generierte Regelwerk, bestehend aus Richtlinien und Kriterien, spezifisch auf das Vertragscontrolling zugeschnitten. Lassen wir diesen „fachlichen Kern“ außer Acht, haben wir es mit einer Lösung zu tun, die sich weitgehend selbständig ihr Regelwerk auf Basis einer schriftlich fixierten Ordnung erstellen kann – mit der Option zur manuellen Optimierung durch uns. Danach kann es Dokumente in wenigen Minuten Prozesslaufzeit auf ihre Konformität überprüfen, Ergebnisse begründen, Gründe mit Verweisen belegen, die Verlässlichkeit der eigenen Aussagen bewerten, Verbesserungen vorschlagen – und dies final in einer festgelegten Struktur dokumentieren.
Stellt man der Lösung die Verwaltungs- und Rechtsgrundlagen für EU-Fördermittel, die formalen Zulassungskriterien und die inhaltlichen Bewertungskriterien für Fördermittelanträge zur Verfügung, kann sie eingereichte Fördermittelanträge in wenigen Minuten prüfen und Vorschläge zur Optimierung machen. Gibt man ihr die Unternehmensrichtlinien für monatlich einzureichende Abrechnungen der Mitarbeiter, idealerweise auch gleich die gesetzlichen Grundlagen, kann sie eine solche Abrechnung künftig schneller überprüfen, als der Kaffeeautomat dem Mitarbeiter einen Kaffee zubereitet.
Wie eingangs gesagt: „Die Möglichkeiten ihrer Nutzung sind oft nur durch die Phantasie und Kreativität der Nutzer begrenzt…“
Zu diesem Beitrag: Während ich selbst die Fähigkeiten moderner KIs zur Generierung von beispielsweise technischen Anleitungen oder Einleitungstexten in Handbüchern sehr schätze, möchte ich dem Leser versichern, dass ich diesen Artikel vollständig selbst verfasst habe.
Bildquellen: Google Gemini, PASS
