Agentic AI: Zwischen technischer Autonomie und menschlicher Kontrolle

Die Ära der autonomen Agenten: Chancen und Grenzen von Agentic AI

Künstliche Intelligenz entwickelt sich rasant von reinen Assistenzsystemen hin zu autonomen Akteuren, sogenannten Agentic AI-Systemen. Während die Technologie hinter diesen Systemen immer ausgefeilter wird, werfen ihre praktischen Anwendungen in kritischen Bereichen wie der Medizin fundamentale Fragen bezüglich Vertrauen, Haftung und Kontrolle auf.

Zwei aktuelle wissenschaftliche Arbeiten beleuchten dieses Spannungsfeld: „The Hitchhiker's Guide to Agentic AI“ von Haggai Roitman beschreibt den technischen Stack und die Design-Muster dieser Systeme, während die Studie „The Clinician's Veto“ von Eileanor LaRocco und Kollegen die Grenzen der Autonomie bei der automatisierten Medikamentenverschreibung untersucht.

Der Stack von Agentic AI: Vom Fundament zur Anwendung

Um wirklich effektive agentische Systeme zu bauen, reicht es nicht aus, nur ein großes Sprachmodell (LLM) über eine API anzusprechen. Wie Roitman in seinem Leitfaden darlegt, erfordert die Entwicklung ein tiefes Verständnis des gesamten Technologie-Stacks.

1. Das LLM-Substrat (Die Basis)

Am Anfang steht das Fundament: Transformer-Architekturen, GPU-Optimierungen und effizientes Feintuning (z. B. mittels LoRA oder Mixture of Experts - MoE). Diese Ebene liefert die rohe Rechen- und Sprachleistung.

2. Alignment und Reasoning (Die Denkfähigkeit)

Damit ein System logisch handeln kann, bedarf es spezieller Trainingsmethoden:

• RLHF & DPO: Reinforcement Learning from Human Feedback und Direct Preference Optimization richten das Verhalten des Modells an menschlichen Wünschen aus.
• Reasoning-Modelle: Techniken wie Chain-of-Thought (CoT) und Test-Time Scaling ermöglichen es der KI, komplexe Probleme Schritt für Schritt zu durchdenken, bevor sie eine Antwort generiert.

3. Die Agenten-Ebene (Das Verhalten)

Hier entsteht die eigentliche Autonomie durch:

• Agentic RAG: Dynamische und zielgerichtete Informationsbeschaffung (Retrieval-Augmented Generation).
• Gedächtnissysteme: Kurzzeit-, Langzeit- und semantische Speicher, die dem Agenten Kontext über Interaktionen hinweg verleihen.
• Multi-Agenten-Koordination: Protokolle wie das Model Context Protocol (MCP) ermöglichen es verschiedenen KIs, miteinander zu kommunizieren und Aufgaben arbeitsteilig zu lösen.

Die Realitätsprobe: Autonomie in der Medizin

Die technischen Möglichkeiten sind beeindruckend, doch wie sieht der Einsatz in der Praxis aus? In den USA erlauben erste Gesetzesentwürfe (wie H.R. 238) und Pilotprojekte bereits eine KI-gestützte Medikamentenverschreibung. Hier stößt die absolute Autonomie jedoch an ethische und rechtliche Grenzen.

Die Studie „The Clinician's Veto“ zeigt, dass Ärzte autonome Systeme ohne strenge Kontrollmechanismen nicht akzeptieren würden. Die Forscher identifizierten drei architektonische Mindestanforderungen für den sicheren Einsatz:

1. Kalibrierte Konfidenz (Vertrauensschwellen)

Ärzte fordern, dass die KI bei jeder Entscheidung angibt, wie sicher sie sich ist. Fällt diese Sicherheit unter einen bestimmten Schwellenwert, muss das System die Entscheidung automatisch an einen Menschen eskalieren.

2. Unterscheidung von Unsicherheiten

Für Mediziner ist es entscheidend zu wissen, warum eine KI unsicher ist:

• Epistemische Unsicherheit (Modell-Ignoranz): Der KI fehlen Daten oder Training. In diesem Fall bevorzugen Mediziner, dass das System die Entscheidung komplett verweigert.
• Aleatorische Unsicherheit (Klinische Mehrdeutigkeit): Der Fall selbst ist komplex und lässt mehrere medizinisch vertretbare Wege zu. Hier wünschen sich Ärzte eine Zusammenfassung der konkurrierenden Optionen.

3. Inferenz-Transparenz und Haftung

Wer haftet, wenn die KI einen Fehler macht? Mediziner sind nur dann bereit, die Verantwortung für eine KI-Verschreibung zu übernehmen, wenn das System seine Entscheidungswege im Moment der Verschreibung vollkommen transparent offenlegt.

Fazit: Kooperation statt blinde Autonomie

Die Entwicklung zeigt einen klaren Trend: Während die technische Entwicklung (wie in „The Hitchhiker's Guide“ beschrieben) immer autonomere Systeme ermöglicht, zwingt uns die Praxis in kritischen Bereichen dazu, diese Autonomie einzuschränken.

Ein System, das den Anforderungen von Praktikern gerecht wird, agiert letztlich weniger als vollkommen freier Agent, sondern vielmehr als hochentwickeltes, streng überwachtes Werkzeug zur Entscheidungsunterstützung. Die Zukunft von Agentic AI liegt nicht im Ersetzen des Menschen, sondern in einer perfekt kalibrierten Zusammenarbeit.