Limitationen und Grenzen von ChatGPT

+++ Tipp +++ In unserem Whitepaper „KI und ChatGPT in der Steuerberater-Kanzlei: Einordnung, Anwendung und Limitationen” erhalten Sie eine profunde Einführung ins Thema KI und lernen praktische Anwendungen kennen, die Sie gleich in Ihrer Kanzlei nutzen können. Klicken Sie hier und laden Sie Ihr Exemplar als PDF kostenlos herunter!

ChatGPT eignet sich hervorragend, um z.B. Denkanstöße und nützliche Textvorlagen zu erstellen. Der ChatBot hat aber einige Limitationen und Grenzen. Insbesondere, wenn Sie ihn zu Recherchezwecken nutzen, sollten Sie die Ergebnisse immer kritisch prüfen. In diesem Beitrag zeigen wir Ihnen „Schwachstellen“ und machen Sie fit für den verantwortungsvollen Umgang mit ChatGPT im Kanzleialltag.

1. Das Problem mit den Fakten

Vorweg die spannende Frage: Ist ChatGPT der bessere Steuerberater oder die bessere Steuerberaterin? Denn man könnte ja auf die Idee kommen, wenn das Ding wie mit einem Menschen interagieren kann, dann gebe ich jetzt einfach mal die Steuerfragen für meine Kunden ein und die KI löst das schon...

Die Antwort ist ganz klat: Nein!

Im Prinzip gibt ChatGPT nur statistisch plausible Antworten, da werden (bisher) keinerlei Fakten überprüft und deswegen spuckt die Maschine oft auch Nonsens aus (so genannte Halluzinationen).

Besonders tückisch ist in diesem Zusammenhang die so genannte trügerische Plausibilität.

Ein Beispiel: Wenn Sie ChatGPT nach drei wissenschaftlich anerkannten Büchern aus dem Bereich Steuerrecht für Einsteiger inklusive Autor, Erscheinungsjahr und Verlag fragen, dann passiert Erstaunliches. ChatGPT gibt uns fleißig richtig klingende Bücher mit entsprechenden Verlagen an. Dann kann man weiterfragen, ob ChatGPT die Bücher kurz zusammenfassen kann. Auch hier liefert der Bot selbstbewusst plausibel klingende Sätze. Das Problem: Die genannten Bücher gibt es gar nicht!

Oder Sie fragen nach einem bestimmten BMF-Schreiben. Dann werden auch solche frei erfunden.

Das ist auf der einen Seite durchaus belustigend – muss man aber wissen, um verantwortungsvoll mit ChatGPT umgehen zu können.

Also gilt bei allen Antworten von ChatGPT (und umso mehr bei faktenorientierten Anfragen), dass hier ein Mensch zwingend noch einmal gegenprüfen muss und ggf. die Antwort korrigieren muss.

2. Das Problem mit veralteten Trainingsdaten

Und auch, wenn Fakten grundsätzlich richtig wiedergegeben werden, so gibt es bei ChatGPT derzeit eine weitere große Einschränkung. Die Trainingsdaten, mit denen die Maschine gefüttert wird, reichen nur bis 2021. Das bedeutet natürlich, dass neuere Entwicklungen bei Antworten dann doch fehlen, auch wenn der Wissensstand bis 2021 korrekt wiedergegeben wurde. Achtung, Falle!

3. Weitere Limitationen von ChatGPT

Neben der Qualität der Antworten sind weitere Faktoren bei der Benutzung von ChatGPT zu beachten:

• Hohe Nutzerzahl: Es kommt immer wieder vor, dass ChatGPT aufgrund der hohen Zugriffszahlen nicht funktioniert, weil z.B. die Server überlastet sind
• Urheberrecht: Dieser Punkt ist derzeit noch gar nicht geklärt, dass heißt es gibt noch gar keine Regeln, ob es bei den Antworten von ChatGPT urheberrechtliche Probleme geben könnte
• Datenschutz: Ganz wichtig ist es, keine personenbezogenen Daten in ChatGPT einzugeben, denn alles, was eingegeben wird, kann wiederum von OpenAI zum Training des Bots genutzt werden. Auch Kanzlei-Internas sind deshalb ein absolutes No-Go. Hier sollten Sie Ihre Mitarbeiter unbedingt sensibilisieren. Texte sind also, wenn sensible Daten auftauchen, vorher zu anonymisieren.
• Erkennen von KI-generierten Inhalten: Software-Anbieter arbeiten nicht nur mit Hochdruck daran, KI-Anwendungen wie ChatGPT weiterzuentwickeln. Auch wird daran gearbeitet, KI-Inhalte nachträglich identifizieren zu können. Daran sollte denken, wer KI-Inhalte 1:1 übernehmen möchte und als sein geistiges Eigentum veröffentlichen möchte. Das könnte ähnlich wie bei Plagiaten am Ende übel ausgehen.

Fazit

KI-Tools wie ChatGPT sind Stand heute Sommer 2023 eher dazu gemacht, um Menschen bei der Arbeit zu unterstützen. Es ist definitiv noch kein Werkzeug, das die ganze Arbeit in der Steuerkanzlei von alleine erledigt. Also nutzen Sie ChatGPT gerne, um zum Beispiel den Schrecken des weißen Blattes loszuwerden, sich Anregungen geben zu lassen, für Brainstorming, für Werbetexte oder E-Mails in der Mandantenkommunikation. Aber auch hier immer MIT menschlicher Kontrolle. Die Anwendungsmöglichkeiten sind bereits vielfältig und sehr oft hilfreich, aber die Ergebnisse immer kritisch zu prüfen. Also bitte nicht hundertprozentig auf ChatGPTverlassen.