KI-Agenten werden an der Arbeitswelt vorbei entwickelt

KI-Agenten werden für eine Minderheit trainiert. Das zeigt eine Studie der US-amerikanischen Universitäten Stanford und Carnegie Mellon. Demnach stammen fast alle Testszenarien aus dem IT-Bereich – der gerade einmal 7,6 Prozent der Arbeitswelt abdeckt.

KI-Agenten: Fokus auf Coding, Blindstellen im Rest der Arbeitswelt

Für ihre Analyse haben Forschende der Stanford University und der Carnegie Mellon University über 72.000 Testaufgaben aus gängigen KI-Benchmarks gesammelt und geprüft, für welche Berufe sie tatsächlich relevant sind. Zur Erklärung: KI-Benchmarks sind Tests, die messen, wie gut Künstliche Intelligenz Texte analysiert, Fachwissen anwendet oder Probleme löst.

Das Ergebnis ist eindeutig: Bereiche wie Management, Recht oder Ingenieurwesen – allesamt hoch digitalisiert und wirtschaftlich bedeutsam – sind kaum vertreten. Dabei liegt der Anteil digitaler Arbeit laut Studienautorinnen und -autoren im Management bei 88 Prozent und im Rechtsbereich bei 70 Prozent. Das Potenzial für KI-Unterstützung wäre also vorhanden – die Werkzeuge dafür scheinen jedoch kaum entwickelt zu werden.

Zwischenmenschliche Interaktion? Fehlanzeige

Ähnlich einseitig ist das Bild bei den getesteten Fähigkeiten. Laut Studie dominieren eng gefasste Aktivitäten wie "Informationen beschaffen" und "Mit Computern arbeiten" die Benchmarks – obwohl sie zusammen weniger als fünf Prozent der Gesamtbeschäftigung abdecken.

Die Fähigkeitskategorie "Interacting with Others" – also zwischenmenschliche Interaktion – fehlt in den Benchmarks hingegen fast vollständig. Dabei ist sie in der realen Arbeitswelt eine der am weitesten verbreiteten Anforderungen, in nahezu allen Berufsfeldern, wie die Studienautorinnen und -autoren betonen.

KI-Agenten scheitern bei steigender Komplexität

Die Studie liefert noch einen weiteren ernüchternden Befund: Je komplexer die Aufgaben, desto schneller stoßen KI-Agenten an ihre Grenzen. Die Forschenden messen die Komplexität daran, wie viele Arbeitsschritte notwendig sind – je mehr Schritte eine Aufgabe erfordert, desto komplexer ist sie. Das Ergebnis: Selbst in jenen Bereichen, in denen KI-Agenten aktuell am stärksten sind – etwa im Software Engineering – bricht die Erfolgsrate bei steigender Komplexität deutlich ein. Für Domänen wie Management oder Recht, die komplex, kontextabhängig und kaum automatisiert messbar sind, existieren demnach bislang kaum geeignete Benchmarks.

HR und Unternehmen sollten realistische Erwartungen haben

Für Personalverantwortliche und Unternehmen ergibt sich daraus eine wichtige Erkenntnis: Die aktuell verfügbaren KI-Agenten scheinen noch weit davon entfernt, typische Wissensarbeits- oder Führungsaufgaben zu übernehmen. Wer auf KI-Automatisierung in diesen Bereichen setzt, sollte also realistische Erwartungen haben.

Die Forschenden fordern eine Neuausrichtung der KI-Entwicklung: Benchmarks sollen reale Berufsdomänen künftig besser abdecken, realistischere Aufgaben enthalten und differenzierte Bewertungskriterien nutzen. Ohne diese Korrekturen, so die Warnung der Studienautorinnen und -autoren, laufe die Entwicklung von KI-Agenten an den wirtschaftlich und gesellschaftlich relevanten Einsatzgebieten vorbei.

Das könnte Sie auch interessieren:

Unternehmen investieren zu wenig in KI-Kompetenz

Akzeptiere was ist – und versuche, KI zu verstehen

KI-Agenten im Recruiting