Was KI zur rechtlichen Prüfung beitragen kann

Einem juristischen Team liegen mitunter mehr Dokumente vor, als es vor dem nächsten Entscheid sorgfältig lesen kann. KI kann helfen, Datumsangaben zu erfassen, Darstellungen zu vergleichen und prüfenswerte Textstellen zu finden. Entscheidend ist, wie viel mehr Material sich so erschliessen lässt und wie verlässlich die Ergebnisse überprüft werden können.

Quellen und Feststellungen

Sprachmodelle können Dokumente zusammenfassen und übersetzen, Datumsangaben, Beträge und Parteien erfassen sowie Texte auf mögliche Widersprüche vergleichen. Dabei entstehen unterschiedliche Arten von Ergebnissen, die jeweils andere Prüfungen erfordern.

Ein Datum aus einem Brief ist etwas anderes als eine daraus berechnete Frist. Ein Widerspruch zwischen zwei Dokumenten ist etwas anderes als die Feststellung, dass eines falsch ist. Ein verlässliches Verfahren hält diese Unterschiede fest: Was steht in der Quelle, was wurde berechnet oder abgeleitet, und was beurteilt ein Anwalt?

Gibt ein Modell an, eine Mitteilung sei am 14. März versandt worden, muss die prüfende Person den Versandbeleg öffnen können. Das Datum auf der Mitteilung belegt für sich allein nicht, wann sie versandt wurde. Dieser kleine Unterschied kann wichtiger sein als die sprachliche Qualität der Zusammenfassung.

Auch Gewichtungen, Gruppierungen und Klassifizierungen müssen erkennen lassen, wie und wann sie entstanden sind. Ordnet ein System ein Dokument als unerheblich ein, hat es eine Auswahl getroffen. Dass das Dokument tatsächlich unerheblich ist, steht damit noch nicht fest.

Mehr Material prüfen

KI kann es ermöglichen, einen erheblich grösseren Dokumentenbestand anhand derselben Fragen zu prüfen. Sie kann mögliche Feststellungen mit Textstellen verknüpfen und Dateien kennzeichnen, die sich nicht verarbeiten liessen. Die Dokumentation muss zeigen, was einbezogen und ausgeschlossen wurde, wann das Material erhoben wurde und wo die Verarbeitung scheiterte.

Auch wenn jede Datei verarbeitet wurde, ist damit nicht jeder erhebliche Punkt erfasst. Eine gescannte Seite kann falsch gelesen, eine Frage zu eng gestellt oder ein Widerspruch übersehen werden. Widersprüche zwischen Quellen müssen sichtbar bleiben, bis eine verantwortliche Person sie klärt. Die Prüfung muss ebenso berücksichtigen, was übersehen worden sein könnte, wie das, was gefunden wurde.

Wenn das Modell die Rechtslage liefern soll

Wird ein Modell ohne vorgegebene Rechtsquellen nach der Rechtslage gefragt, kann es richtige Aussagen mit veralteten, nicht einschlägigen oder erfundenen Belegen verbinden. Der Ton der Antwort erlaubt keine verlässliche Unterscheidung.

Der gefährlichste Fehler kann ganz gewöhnlich wirken: eine plausible Fundstelle, eine vertraute Prüfungsvoraussetzung oder eine Aussage, die in einer anderen Rechtsordnung zutrifft. Er übersteht eine flüchtige Lektüre womöglich gerade deshalb, weil er zur erwarteten Antwort passt.¹

Eine unbelegte Antwort kann einen Rechercheansatz liefern. Die juristische Recherche bleibt dennoch zu leisten. Quellenangaben ermöglichen die Überprüfung. Zu klären bleibt, ob die Quellen existieren, weiterhin einschlägig sind und die Aussage in ihrem vollständigen Zusammenhang tragen.

Arbeitsregeln

• Aufgabe, Quellenbestand und gewünschtes Ergebnis festlegen.
• Eine Aussage aus der Quelle, eine nachvollziehbare Berechnung und eine Beurteilung unterscheiden.
• Jede wesentliche Tatsachen- oder Rechtsaussage mit den Quellen verknüpfen, auf die sie sich stützt.
• Lücken im erfassten Bestand, unlesbares Material, Widersprüche und Unsicherheiten festhalten.
• Das Verfahren an repräsentativem Material testen, dessen massgebende Ergebnisse unabhängig geprüft wurden.
• Benennen, wer die Arbeit prüft und die Verantwortung für ihre Verwendung übernimmt.

Vertraulichkeit, Anwaltsgeheimnis, der Schutz anwaltlicher Kommunikation (legal privilege), Datenschutz und Informationssicherheit setzen der Systemwahl Grenzen.² Bevor vertrauliches Material eingegeben wird, muss geklärt sein, wo es verarbeitet wird, wer darauf zugreifen kann und wie es gespeichert, weiterverwendet, übertragen, protokolliert und geschützt wird. Lokale Verarbeitung kann einzelne Risiken mindern. Zugriffskontrollen, Sicherungskopien und angebundene Dienste müssen dennoch geprüft werden. Namen zu entfernen reicht nicht aus, wenn die übrigen Angaben die betroffenen Personen erkennen lassen.

Das konkrete System prüfen

Zu prüfen ist das gesamte Verfahren, einschliesslich Suche, Texterfassung und menschlicher Kontrolle. Ein Modell kann mit einem Text gute Ergebnisse erzielen, den ein anderer Teil des Systems nicht findet oder nicht lesen kann. Repräsentatives Material, erwartete Ergebnisse und schwierige Fälle müssen vor dem Test feststehen.

Die Prüfung muss mindestens erfassen:

• übersehenes relevantes Material;
• Aussagen ohne Stütze in den festgelegten Quellen;
• Quellenangaben, die nicht existieren oder die Aussage nicht tragen;
• Antworten ausserhalb der gestellten Frage oder der zulässigen Quellen;
• die Zeit, die eine prüfende Person bis zu einem verlässlichen Ergebnis benötigt.

Modelle, Einstellungen und angebundene Quellen ändern sich. Nach wesentlichen Änderungen sind die Tests zu wiederholen; im Einsatz entdeckte Fehler müssen untersucht werden. Ein gutes Ergebnis bei einer Aufgabe sagt etwas über diese Aufgabe aus. Es belegt keine Verlässlichkeit bei anderen Aufgaben.

Verantwortung

Eine breitere Prüfung ist dann wertvoll, wenn sie die Grundlage der Beratung verbessert. Dafür braucht es eine Person, die die Belege prüfen, das Ergebnis hinterfragen und verbleibende Unsicherheiten erklären kann. Entscheidend ist, ob der Anwalt eine hinreichende Grundlage hat, um gestützt auf das Ergebnis zu handeln und die Klientschaft zu beraten.