ChatGPT & Steuern: ein Selbstversuch

Die Haufe Steuerredaktion hat sich im März 2023 zusammen mit Kollegen aus anderen Redaktionen Gedanken über die Einsatzmöglichkeiten von ChatGPT gemacht und dazu tiefgreifende Tests durchgeführt. Dabei standen neben Fragen, wie die Anwendung für die redaktionelle Arbeit und die Verbesserung und Weiterentwicklung unserer Datenbanken genutzt werden kann, auch die Einsatzmöglichkeiten in den Steuerkanzleien im Vordergrund. Im Rahmen der Tests wurde außerdem eine Redaktionsrichtlinie zum Einsatz von künstlicher Intelligenz entwickelt. Nachfolgend geben wir hier einen ersten Einblick in unsere Erfahrungen und geben eine Einschätzung ab, was ChatGPT & Co. für die Steuerberatung bedeuten.

Was haben wir getestet?

Wie gut kann ChatGPT mit steuerrechtlichen Sachverhalten umgehen? Um dieser Frage nachzugehen, haben wir zahlreiche Tests mit dem KI-Tool durchgeführt.

In unseren Fachdatenbanken für Steuerexperten, wie etwa dem Haufe Steuer Office, stellen wir u. a. Fachbeiträge, Kommentare und Arbeitshilfen sowie Rechtsgrundlagen zur Verfügung. Dazu gehören auch die Gerichtsentscheidungen, Verwaltungsanweisungen und Gesetzestexte. Wir sind der Frage nachgegangen: Kann ChatGPT Texte aus diesen Primärquellen zuverlässig zusammenfassen?

Außerdem testeten wir, wie gut ChatGPT Fachtexte, z. B. News aus unserem Portal haufe.de/steuern vereinfachen kann, sodass sie z. B. als Information für Mandanten geeignet sind.

Wie wurde getestet?

Da ChatGPT (GPT-4) zum Testzeitpunkt (März/April 2023) nur eine begrenzte Anzahl von Wörtern verarbeiten konnte, wurden nur Teile der jeweiligen Primärtexte (z. B. der Sachverhalt einer Entscheidung) in den jeweiligen Prompt eingefügt. Als Prompt wird die Eingabe des Benutzers in die Statuszeile bezeichnet, zu dem das System das Ergebnis liefern soll; es handelt sich also um die Aufgabe, die man ChatGPT stellt. Die Qualität des Prompts ist entscheidend für die Qualität der Ergebnisse, die ChatGPT liefert.

 Bewertet wurde mit Schulnoten anhand folgender Kriterien:

• Faktentreue/inhaltliche Richtigkeit,
• Sprache/Stil,
• Rechtschreibung/Grammatik.

Aus den Noten für diese Kriterien wurde eine Gesamtnote gebildet, wobei der inhaltlichen Richtigkeit das größte Gewicht zukam. Außerdem wurde beurteilt, ob der KI-Text zur Veröffentlichung geeignet wäre. Auch bei einer guten Gesamtnote war das nicht immer der Fall. Teilweise wurden die Tests mehrfach mit gleichem oder angepasstem Prompt durchgeführt.

Das waren unsere Ergebnisse

Die Qualität der Ergebnisse war sehr unterschiedlich. Rechtschreibung und Grammatik waren durchweg sehr gut, nahezu fehlerlos. Sprache und Stil waren in 80 % der Fälle gut bis sehr gut. Beim wichtigsten Kriterium, der inhaltlichen Qualität, überwogen die guten Ergebnisse leicht. Allerdings mussten wir feststellen, dass in einigen Fällen zwar keine expliziten Fehler im Text enthalten waren, ChatGPT jedoch bei der Zusammenfassung wichtige Punkte entweder weggelassen oder die genannten Punkte falsch gewichtet hatte. Im Ergebnis waren daher einige Antworten nicht zur Veröffentlichung geeignet, obwohl sie sprachlich gut waren und keine expliziten Falschaussagen enthielten.

Im weiteren Verlauf der Tests versuchten wir, Texte aus unserem Portal haufe.de/steuern, die für Steuerexperten geschrieben wurden, so zu vereinfachen, dass auch steuerliche Laien damit etwas anfangen können. Auf diese Weise könnten z. B. Mandanteninformationen aufbereitet werden.

Anzeige Besuchen Sie die Tax Talks Das bisher wahrscheinlich berühmteste Liebespaar der Geschichte sind Romeo und Julia. Noch. Denn vielleicht finden ChatGPT und Steuern ebenso zueinander. Unsere Expert:innen haben bereits ihre eigenen Erfahrungen gemacht. Ob daraus Liebe entstanden ist? Sie werden es in den Tax Talks zu ChatGPT & Steuern erfahren!

Das Vereinfachen der Texte gelang gut, allerdings ließen die Ergebnisse sprachlich bzw. grammatikalisch an einigen Stellen zu wünschen übrig. Außerdem wurde die Aussage durch sprachliche Ungenauigkeiten teilweise so verfälscht, dass die Texte sich nicht ohne Anpassungen für eine Veröffentlichung eigneten. Als Basis für eine weitere Bearbeitung hätte man sie aber durchaus verwenden können.

Und dann war da noch die Sache mit dem "Halluzinieren"! Immer wieder erfand ChatGPT vermeintliche Fakten, die nichts mit den vorgegebenen Sachverhalten zu tun hatten, sich aber durchaus plausibel anhörten. Ein Phänomen, das man durch geschickte Fragestellungen zwar minimieren, aber nie ganz ausschließen konnte.

Welche Einsatzmöglichkeiten für ChatGPT sind in Steuerkanzleien denkbar?

Neben den zuvor dargestellten redaktionellen Tests haben wir auch Ideen entwickelt, wie man ChatGPT gewinnbringend für den Kanzleialltag einsetzen könnte:

Ein Anwendungsfall könnten z. B. die bereits oben erwähnten Mandanteninformationen sein. Auch sonstige Schreiben an Mandanten (z. B. Anforderung von Unterlagen) oder an das Finanzamt können mit KI-Unterstützung vorbereitet werden. Hilfreich ist dabei, dass ChatGPT über 40 Sprachen beherrscht, so können z. B. auch Schreiben an ausländische Mandanten oder Behörden verfasst werden.

Seine Stärken beim Verfassen von Texten kann ChatGPT noch bei einer Reihe anderer Textformen ausspielen. So kann ChatGPT bei der Erstellung von Fachbeiträgen oder Vortragsfolien unterstützen, indem z. B. Gliederungen vorgeschlagen werden. Auch das Erstellen von Social Media Posts basierend auf Fachtexten (inklusive Hashtags und Emojis) ist möglich. E-Mails, Stellenanzeigen oder Werbeflyer für die nächste Mandantenveranstaltung sind ebenso denkbar, genauso wie "unangenehme" Schreiben (Kündigung einer Mandatsbeziehung, Trauerkarte). Dabei beachtet ChatGPT auch Vorgaben zur Tonalität (sachlich, emotional etc.). Gut vorstellbar ist auch, die KI zur Erstellung von Dokumentationen einzusetzen (Prozessbeschreibung, Verfahrensdokumentation o. ä.).

ChatGPT kann Texte auf Wunsch auch in Tabellenform ausgeben oder Excel-Tabellen inklusive Formeln erzeugen. Außerdem kann ChatGPT Programmcodes in diversen Programmiersprachen schreiben.

Darüber hinaus ist der Chatbot ein guter "Sparringspartner"; man kann ihn z. B. für ein "Brainstorming" nutzen oder mit seiner Hilfe Argumente sammeln. Nützlich ist dabei, dass man ihn auch auffordern kann, unterschiedliche Positionen einzunehmen. So kann man sich z. B. auf schwierige Gespräche mit Betriebsprüfern, Banken oder Mandanten vorbereiten.

Aber bitte beachten Sie auch hier: Stand heute sollte kein ChatGPT-Text ihre Kanzlei verlassen, der nicht vorher noch einmal gründlich von einem Menschen gegengelesen wurde.

Was bedeuten ChatGPT & Co. für die Steuerberatung?

Wer ChatGPT das erste Mal in Aktion erlebt, ist – trotz aller noch vorhandenen Fehler und Unzulänglichkeiten - beeindruckt von den Fähigkeiten, die der Chatbot an den Tag legt. Schnell wird klar, dass Anwendungen wie ChatGPT die Art, wie wir arbeiten, nachdrücklich verändern werden. Wie lange dieser Prozess dauern wird, ist schwer einzuschätzen. Klar erscheint jedoch, dass er nicht mehr aufzuhalten ist.

Tipp: Mit ChatGPT eröffnen sich interessante Möglichkeiten, um Zeit und Kosten in der Steuerberatungsbranche zu sparen. Mehr dazu im Trendbericht.

Dabei drängt sich die Frage auf, ob künstliche Intelligenz Berufe wie den des Steuerberaters überflüssig machen kann. Befragt man ChatGPT zu steuerlichen Sachverhalten, erhält man in Sekundenschnelle Antworten. Anders als bei Google muss man sich diese nicht aus diversen Internetseiten zusammensuchen, sondern bekommt sie sauber ausformuliert und sprachlich perfekt geliefert – bei Bedarf auch in nahezu allen relevanten Sprachen. Aber sind die Ergebnisse auch korrekt?

Unsere Tests zeigten: Viele Antworten hören sich sehr geschliffen an, sind aber bei genauerem Hinsehen falsch. Das liegt daran, dass ChatGPT Texte generiert, indem er Wahrscheinlichkeiten berechnet, welche Wörter in welcher Reihenfolge aneinandergereiht werden sollten. Mit den sich im Steuerrecht schnell verändernden rechtlichen Rahmenbedingungen und der veranlagungsbezogenen Arbeitsweise hat ChatGPT ein grundsätzliches Problem. Ein grundlegendes Verständnis des Geschriebenen liegt also nicht vor. So kommt es durchaus vor, dass Inhalte oder Quellenangaben „frei erfunden“ sind. Auch wenn die Antworten in einigen Fällen überraschend gut sind, darf man sich auf keinen Fall blind darauf verlassen. Nichtsdestotrotz hat ChatGPT (GPT-4) inzwischen die Prüfung zum Steuerfachangestellten bei Tests knapp bestanden.

Tipp: ChatGPT meistert steuerfachliche Prüfungsaufgaben: Was das für die Branche bedeutet, erörtert Journalist Karsten Zunke im Trendbericht. 

Fazit

Von einem Einsatz von ChatGPT als Steuerberaterersatz sind wir im Moment noch weit entfernt. ChatGPT ist eher als Assistent zu sehen, dessen Arbeitsergebnisse man in jedem Fall kontrollieren muss. Dennoch sollte man das Thema KI nicht als "Hype" abtun, denn die Entwicklung in diesem Bereich verläuft rasant. Noch während unserer kurzen Testphase konnten wir bereits wesentliche Verbesserungen feststellen.

Wie so oft werden Technologiefolgen kurzfristig überschätzt, aber langfristig unterschätzt. Wie wir gesehen haben, gibt es bereits heute zahlreiche Einsatzmöglichkeiten für ChatGPT in Steuerkanzleien. Weitere werden folgen, insbesondere wenn die Möglichkeiten der KI mit anderen Tools oder Inhalten verknüpft werden.

Für die Inhaber und Mitarbeiter der Steuerkanzleien heißt das, dass sie sich mit dem Thema KI auseinandersetzen müssen, auch wenn sie es aktuell - zu Recht - noch kritisch betrachten. Denn in der Gesellschaft und damit auch in den Unternehmen ist das Thema längst angekommen. Und wer als Berater seine Mandanten verstehen will, muss sich mit der Art, wie sie leben und arbeiten, beschäftigen. Wir empfehlen daher allen Steuerkanzleien, KI-Anwendungen wie ChatGPT aktiv auszuprobieren und sich die damit verbundenen Chancen und Risiken bewusst zu machen.