RAG-Chatbots, KI-Assistenzsysteme und Co: Einsatzszenarien in der öffentlichen Verwaltung

Ob Messen, Konferenzen, Vorträge, Fachliteratur: Es herrscht Einigkeit darüber, dass Künstliche Intelligenz (KI) viel Potenzial bereithält, die Abläufe in der öffentlichen Verwaltung effizienter zu gestalten und die Qualität von Entscheidungen zu verbessern. Sie kann bei der Automatisierung zeitraubender Routineaufgaben unterstützen, fundierte Entscheidungsgrundlagen schaffen und dadurch Raum für wichtige fachliche Aufgaben eröffnen.

Aber wie genau kann die KI helfen? Zur Einordnung der verschiedenen Anwendungsmöglichkeiten erläutern wir zunächst einige Grundbegriffe.

Grundlegende Technologien und Begriffe

Sprachmodelle / Large Language Models (LLM)

Bei Large Language Models handelt es sich um KI-Systeme, die mithilfe sehr großer Textmengen trainiert werden und in der Lage sind, geschriebene Sprache zu „verstehen“ sowie eigene Texte zu formulieren.

Retrieval-Augmented Generation (RAG)

RAG ist ein Architektur-Ansatz zum Einsatz von KI, bei dem der Prompt gezielt mit zusätzlichen Informationen (z.B. internen Dokumenten oder Datenbankquellen) angereichert wird, die im vortrainierten Sprachmodell nicht enthalten sind. So wird die Ausgabe eines Sprachmodells optimiert, indem es auf eine maßgebliche Wissensbasis außerhalb seiner Trainingsdatenquellen verweist, bevor eine Antwort generiert wird. Dies bedeutet, dass das Modell relevante Informationen aus externen Quellen abruft und diese in die generierte Antwort integriert.

Vektordatenbank

Um Texte maschinell verarbeiten zu können, werden sie in Zahlenwerte (Vektoren) übersetzt, die Beziehungen zwischen Wörtern und Sätzen abbilden. In einer Vektordatenbank sind diese Informationen effizient auffindbar, sodass das Sprachmodell schneller auf passende Textinhalte zugreifen kann.

Prompt Engineering

Die gezielte Formulierung von Eingaben („Prompts“) an ein Sprachmodell, um dessen Antworten so genau und relevant wie möglich zu gestalten, nennt man Prompt Engineering. Ein sorgfältig gestalteter Prompt steigert sowohl die Qualität als auch die Aussagekraft von KI-Ergebnissen.

Inference

Der Prozess, bei dem das KI-System auf Basis seines Trainings eine Antwort generiert, nennt sich Inference. Dies erfordert vor allem bei großen Modellen erhebliche Rechenleistung.

Fine-Tuning

Beim Fine-Tuning wird ein vortrainiertes Modell mit weiteren (behördenspezifischen) Informationen nachträglich trainiert, um dieses für spezielle Aufgaben oder Anwendungsfälle anzupassen.

Und welche Einsatzmöglichkeiten gibt es in der öffentlichen Verwaltung?

In unseren Projekten wurden bereits die folgenden Anwendungsfälle erfolgreich getestet:

Einsatz von RAG-Chatbots zur Recherche in internen Dokumenten

Mit Hilfe von RAG können Chatbots bei komplexen Rechercheaufgaben unterstützen. Ein Chatbot kann beispielsweise automatisiert relevante Textstellen aus internen Handbüchern, Konzepten, Dienstanweisungen oder Vermerken bereitstellen, wodurch sich der zeitintensive Suchaufwand deutlich reduziert.

Einsatz von KI-Assistenzsystemen zur Analyse eingereichter Unterlagen, z. B. internationaler Zeugnisse

Diese Systeme analysieren eingereichte Unterlagen eigenständig und gleichen sie mit den jeweiligen Anforderungen ab. Ob bei der Anerkennung ausländischer Abschlüsse oder anderen Fachanträgen – die KI kann eine erste Empfehlung abgeben, die von einer Fachkraft geprüft und final entschieden wird.

Prompt-Engineering zur Erleichterung der Stellenbewertung gemäß TVöD

Besonders anspruchsvolle Prozesse wie die Stellenbewertung können durch KI sinnvoll unterstützt werden. Hierzu erfasst das System die Tätigkeitsmerkmale, gleicht sie mit TVöD-Referenzdokumenten ab und schlägt eine Eingruppierung vor.

Wer die Wahl hat, hat die Qual. Oder doch nicht?

Grundsätzlich kommt für die Umsetzung der beschriebenen Anwendungsfälle in der öffentlichen Verwaltung die Nutzung von Open-Source-Lösungen oder proprietären Modellen infrage. Bei der Wahl zwischen einer Open-Source-Lösung (etwa Llama) und einem proprietären Modell (zum Beispiel ChatGPT) spielen Flexibilität und Support eine entscheidende Rolle.

Open-Source-Modelle sind häufig sehr anpassungsfähig und profitieren von einer aktiven Entwickler-Community. Sie sind jedoch mitunter aufwendiger einzuführen und benötigen entsprechendes Know-how sowie personelle Ressourcen für die eigenständige Wartung und Weiterentwicklung.

Proprietäre Systeme lassen sich in der Regel schneller implementieren und bieten einen festen Support, wobei die jeweiligen Lizenz- und Abrechnungsmodelle sorgfältig geprüft werden sollten. Häufig erfolgt die Abrechnung tokenbasiert, d. h. (vereinfacht dargestellt) aufwandsbezogen. Infolgedessen können die tatsächlich anfallenden Kosten in der Regel im Vorfeld kaum zuverlässig geschätzt werden.

Ein weiterer Aspekt ist die Beschaffung passender Hardware für den On-Premise-Betrieb von Sprachmodellen. Für die performante und qualitativ hochwertige Erledigung komplexer Aufgaben (insbesondere für das Training) werden in der Regel leistungsfähige und somit kostspielige Grafikprozessoren (GPUs) benötigt.

Und wie sicher ist das alles?

Gerade in der öffentlichen Verwaltung gelten strenge Vorschriften hinsichtlich Datenschutz, IT-Sicherheit und Rechtskonformität. Bei jedem KI-Projekt ist daher zu prüfen, welche Daten verarbeitet werden sollen (und dürfen), welche daraus Schutzmaßnahmen abzuleiten sind und wie sich der Einsatz technisch und organisatorisch in die bestehende Infrastruktur integrieren lässt. Eine sorgfältige Prüfung dieser Punkte ist unerlässlich, um Rechts- und Sicherheitsrisiken zu vermeiden.

Unser Fazit

Künstliche Intelligenz wird den Arbeitsalltag in der öffentlichen Verwaltung perspektivisch erheblich erleichtern und die Qualität von Entscheidungsprozessen steigern. Ob RAG-Chatbots, KI-Assistenzsysteme oder automatisierte Stellenbewertungen – richtig eingesetzt, eröffnet der Einsatz von KI-Sprachmodellen neue Handlungsspielräume und gestaltet Verwaltungsprozesse schneller, effizienter und nutzerfreundlicher.

Sind Sie an der Einführung der dargestellten Technologien interessiert oder haben Sie noch Fragen? Wenden Sie sich gerne an uns unter info@imtb.de . Wir begleiten Sie von der ersten Machbarkeitsanalyse über die technische Umsetzung bis hin zur Schulung Ihrer Mitarbeitenden. So schaffen wir gemeinsam eine zukunftsfähige, KI-gestützte Verwaltung, in der Sicherheit und Rechtskonformität gewährleistet sind.