Ein Problem, das ich regelmäßig in meinen Edge Cases teste. Normalerweise gibt es da aber zumindest bei den allermeisten LLMs heute relativ klare Strukturen, die eben einen zumindest „klassischen“ Missbrauch meist erfolgreich verhindern. Natürlich müssen sie korrekt initialisiert werden. Und das tut i. d. R. ein Mensch. Man muss vorher sowohl die Kompetenzen als auch die Constraints klar festgelegt haben, unter denen diese Kompetenzen handlungswirksam werden. Was jedoch heute anders ist, ist dass in Subagentensystem sozusagen über Funktionsskalen hinweg Rechte weitergegeben werden und da können Brüche oder fehlerhafte Interpretationen entstehen. Leider auch und manchmal besonders dann, wenn man das LLM klar anweist, exakt die vorherige Struktur zu übernehmen. Ein LLM interpretiert das gelegentlich als „kann ich machen, muss ich aber nicht.“ Ich würde daher das eine vom anderen trennen. Das erstgenannte ist etwas, das nicht erst seit generativer KI so sein sollte. Zumindest habe ich das seinerzeit schon (2008 - 2013) im von mir mitentwickelten Kernbanksystem modelliert. Damals sagte man noch schlicht „Fachkonzept“ dazu. Und die Rechteverwaltung erfolgte auch da schon über 2 Systeme, die korrekt miteinander gekoppelt werden mussten. Da ich die Methodenhoheit auf Konzernebene für dieses System innehatte, kannst du dir vielleicht vorstellen, mit welchen Tricks und Hintertürchen manche Kollegen da ankamen. War ne lustige Zeit 😎. Aber genau diese Tricks und Hintertürchen heißen heute „Angriff“, Promptinjection und noch viele kreative Begriffe mehr. Ich nenne sie kurz: Risikofaktor Mensch. Die nicht zwingend zuverlässige Zustandsveränderung von Agenten über Skalen hinweg und bei Langzeittrajektorien ist eine andere Frage. Die berührt sehr viel grundsätzlicher die Architektur der LLMs selbst und eben nicht nur die eigene innerhalb dieser Modelle. Da werden m. E. viel zu schnell leider auch von eigentlichen Fachleuten die Kategorien durcheinandergebracht. Denn aus dem Output eines Modells kannst du eben nicht auf konkrete Mechanismen in der LLM-Architektur schließen. Da neigen die meisten zu eher menschlichen Zuschreibungen in Kategorien wie Angriff oder Betrug bei unerwünschtem Verhalten von Agenten.

@Thomas Gessler Absolut, da haben wir eine sehr ähnliche Denkweise. Genau da läuft m. E. die Trennlinie und sie ist vielen glaube ich noch nicht bewusst. Zumindest ist das der Rückschluss, den ich aus den zunehmenden Meldungen über „unerwartetes Agentenverhalten“ schließe. Das aktuelle TEVV-Athlon Framework des NIST (war kommentierbar bis 06.10.) hat da m. E. die weitestgehenden Ansätze und trägt genau dieser Trennlinie grundsätzlich Rechnung.

@Thomas Gessler Da in meiner Architektur Integrität (neben weiteren Variablen) ebenfalls eine große Rolle spielt, interessiert mich, ob und wenn ja, wie du Integrität operationalisiert hast. Und wie kannst du messen, ob ein Modell operativ integer handelt/gehandelt also die Benchmark saturiert hat? Und wie genau ist diese Benchmark definiert? Ich selbst arbeite derzeit mit fallbezogenen Metriken, eine Benchmark würde ich daraus (noch) nicht ableiten. Integrität ist dort aktuell (meta)mathematisch zwar klar operationalisiert, würde jedoch nur in einer nativen Architektur dieser Art ihre volle Wirkung entfalten. In den Constraints aktueller LLMs lässt sich nur eine promptbasierte Proxy-Variante davon darstellen. Bei der Ideen-Entstehung bin ich ganz bei dir - selbst wenn etwas wie plötzliche Eingebung aussieht, stellt sich meist heraus, dass sich "einfach nur" mehrere über längere Zeit "lose" Fäden plötzlich zu einem stimmigen Gesamtgeflecht verbunden haben. Weil manche Fragen einen einfach nicht mehr losgelassen haben und man aus immer neuen Sachverhalten und Perspektiven so lange darüber nachgedacht hat, bis es "plötzlich" klick macht.

Jep, ein LLM interpretiert manchmal auch eine noch so präzise Anweisung gern mal als nicht zwingend zu befolgende Bitte ;-). Mir ist allerdings noch nicht ganz klar, was du mit „Enterprise-KI-System“ konkret meinst. Ein eigenes lokal gehostetes Open-Source-Modell? Ein agentisches System, einen innovativen Workflow oder eine spezielle Prozessautomation, die innerhalb der Constraints eines LLM betrieben wird? Ein soziotechnisches Gesamtsystem aus Menschen, Organisation, Governance, KI, Daten und Tools? Oder schlicht den Enterprise-Tarif von OpenAI & Co.? Bei „Systeme übernehmen Verantwortung“ wäre ich nämlich vorsichtig. KI hat Stand heute m. E. keine Verantwortung im eigentlichen Sinne. Die sollte bis auf Weiteres beim Menschen bzw. bei der verantwortlichen Organisation bleiben. Für mich wird die Frage interessant, wenn man Verantwortung nicht anthropomorph, sondern systemisch betrachtet: Welches System verändert welchen Zustand, wer trägt die daraus entstehenden Folgen und wo werden Kosten oder Nutzen internalisiert? In meiner eigenen systemisch-kybernetischen Betrachtung, u. a. unter Bezug auf Karen Barads Konzept der intra-action, spielt dabei Irreversibilität eine wichtige Rolle. Ein KI-Agent kann heute durchaus persistente technische Zustände verändern: Daten schreiben, Memory verändern, Dateien löschen, Prozesse auslösen usw. Das ist aber noch nicht dasselbe wie die Internalisierung der Folgen dieser Zustandsänderung. Anschauliches Beispiel: Löscht oder verändert ein KI-System Daten auf der Festplatte oder in der Kundendatenbank eines Unternehmens, kann diese Zustandsänderung sehr reale und möglicherweise irreversible Folgen haben. Ob das erwünscht war oder nicht, die wirtschaftlichen, rechtlichen, sozialen oder operativen Kosten bzw. Nutzen entstehen jedoch beim Menschen oder bei der Organisation. Der KI-Agent kann anschließend beim nächsten Task weitermachen oder sogar durch eine neue Instanz ersetzt werden. Die entstandenen Folgen verschwinden dadurch nicht. Selbst die verbrauchten Tokens bezahlt letztlich jemand anderes.

Kann ich aus aktueller Forschung bestätigen. Viele Agenten täuschen eine operativ logische und sehr überzeugende Funktionalität vor, vor allem in den deep Reasoning-Varianten, die jedoch in kritischen Szenarien zuerst operativ und dann strukturell schlicht wegbricht. Je tiefer das Reasoning, sprich je intelligenter die "Agenten" werden (m. E. ist der Begriff nicht ganz korrekt: es müsste eher kontextadaptive Ausführungsinstanzen heißen, da echte Agentic eine wechselseitige Zustandsveränderung voraussetzt, die hier nur simuliert wird), desto kreativer, eloquenter und "überzeugender" wird das sog. narrative Smoothing. Die Begründungen für eine "agentische" Handlung hören sich sehr überzeugend an, sind operativ jedoch zumindest ab einer kritischen Komplexitätsstufe höchst riskant bis fatal. Habe das die letzten Wochen sehr umfangreich in diversen Stresstestszenarien überprüft - es ist ein epistemisches, kein auf eine einzige KI bezogenes Problem. Eine strukturelle Verzerrung, die m. E. auf einem eher suboptimalen Benchmarking (RLHF, damit der Mensch als Referenz und Kontrollinstanz) basiert.

krass