Large Language Models (LLMs) sind inzwischen so gut in der Erstellung von Texten, dass der Eindruck entsteht, sie würden Sprache tatsächlich „begreifen“. Was sie so leistungsfähig macht, ist unter anderem das sogenannte Modellieren semantischer Ähnlichkeiten. Damit beschäftigt sich Iryna Gurevych, Professorin am Fachbereich Informatik der Technischen Universität Darmstadt und Academic Fellow an der Konrad Zuse School of Excellence in Learning and Intelligent Systems (ELIZA). Im Interview erläutert sie, was KI schon alles kann, wo es noch Anpassungsbedarf gibt und warum ethische Fragestellungen unbedingt berücksichtigt werden müssen. 

Frau Professorin Gurevych, Sie leiten das Ubiquitous Knowledge Processing Lab (UKP) an der TU Darmstadt. Was fasziniert Sie an der automatischen Sprachverarbeitung, und welche zentralen Fragestellungen treiben Ihre Forschung derzeit an?

Bereits in jungen Jahren begeisterte mich die Idee, dass eine Maschine Sprache wie ein Mensch verstehen und man diese Fähigkeit zielgerichtet programmieren könnte. Ich fand es außerdem interessant zu sehen, wie Maschinen im Bildungsbereich unterstützen. Beispielsweise ist es möglich, Lehrende zu entlasten, indem Aufgaben am Computer gelöst und die Lösungen automatisch geprüft werden. Die zugrundeliegende Maschinenintelligenz fasziniert mich bis heute, auch wenn die Methoden der automatischen Sprachverarbeitung heute ganz andere sind.

Inwiefern?

Während wir früher die Vorstellung hatten, alle Sprachregeln maschinenlesbar darzustellen und die Verarbeitung durch Regeln wie bei einer formalen Sprache zu fassen, sind die großen Sprachmodelle (LLMs) von heute auf sehr großen Datenmengen trainiert und extrem leistungsfähig. Wir erforschen die Funktionsweise von LLMs und versuchen, sie zu erklären. Außerdem forschen wir daran, wie man diese Modelle so gestalten kann, dass sie sicher sind und sich mit gesellschaftlichen Werten gut vereinbaren lassen. LLMs werden mittelfristig zum allgegenwärtigen Werkzeug und alltäglichen Begleiter von uns allen werden.

Ein zentraler Aspekt Ihrer Arbeit ist das Modellieren semantischer Ähnlichkeiten von Wörtern, Sätzen und Dokumenten. Warum ist dieses Thema so grundlegend für das Verständnis natürlicher Sprache durch Maschinen?

Semantische Ähnlichkeit bedeutet, wie ähnlich zwei sprachliche Einheiten in ihrer Bedeutung sind – auch wenn sie unterschiedlich formuliert sind. Bevor ein Sprachmodell antwortet, wird zunächst mithilfe semantischer Suche nach Texten gesucht, die inhaltlich zur Frage passen. Das liefert zusätzlichen wichtigen Kontext an das LLM, um die Anfragen der Nutzenden präzise und tagesaktuell zu beantworten. Man nennt dies auch Retrieval-Augmented Generation. Auch bei der Zusammenfassung von Texten spielt die semantische Ähnlichkeit eine zentrale Rolle: mithilfe solcher Methoden lassen sich die Texte semantisch clustern, sodass Paraphrasen in einem Cluster zusammengefasst werden. Die Maschine kann auf diesem Weg den Inhalt noch besser strukturieren, um eine finale Gesamtzusammenfassung zu erstellen.  

In einer Ihrer Studien haben Sie die Grenzen von KI-Sprachmodellen wie ChatGPT aufgezeigt, insbesondere hinsichtlich ihrer Fähigkeit zu selbstständigem, komplexem Denken. Ein ernst zu nehmendes Problem bleibt deren Hang zu sogenannten „Halluzinationen“. Welche Konsequenzen ergeben sich daraus für die zukünftige Entwicklung und den Einsatz solcher Modelle?

Wir können den Ergebnissen von LLMs noch kein allzu großes Vertrauen schenken und sollten diese als Nutzende routinemäßig überprüfen. Natürlich forschen wir auch daran, die Ausgaben von LLMs vertrauenswürdiger zu machen. Es gibt dennoch ein gewisses Spannungsfeld zwischen Kreativität und Zuverlässigkeit. Denn wir wollen schließlich im Kontext einiger Aufgaben, dass die Sprachmodelle kreativ sind, also Neues gezielt erfinden. Die gute Nachricht ist: Das Verhalten von großen Sprachmodellen ist heute schon bis zu einem gewissen Grad erklärbar – das wissen wir aus unserer Forschung. Wenn wir verstehen, wie die Modelle lernen, können wir deren Verhalten auch steuern und sie sicherer machen. 

Sie betonen die Bedeutung eines verantwortungsvollen Umgangs mit KI-Technologien. Welche ethischen Herausforderungen sehen Sie aktuell in der KI-Forschung, und wie sollten Forschende und Gesellschaft darauf reagieren?

Ethik ist ein wichtiges Thema für die KI. Im Augenblick ist das Training von KI noch viel zu wenig nach ethischen Gesichtspunkten gestaltet – da wird einfach alles aus dem Internet abgegriffen, was verfügbar ist. Generell sollte der Einsatz von LLMs eng überwacht werden, denn sie sind heute noch sehr weit davon entfernt, sicher zu sein. Wenn Kinder auf ihren mobilen Geräten mit großen Sprachmodellen kommunizieren, sind die Auswirkungen auf die Psyche eines Kindes weder verstanden noch erforscht. Das erfordert große gesellschaftliche Aufmerksamkeit und einen engen Austausch zwischen Forschung, Technologie-Providern und Gesellschaft.

Als Mitglied der Zuse School ELIZA engagieren Sie sich in der Ausbildung zukünftiger KI-Expertinnen und -Experten. Welche Ziele verfolgt ELIZA, und wie trägt die Graduate School zur internationalen Sichtbarkeit der deutschen KI-Forschung bei?

ELIZA schafft einen tollen Rahmen für die Ausbildung der nächsten Generation von KI-Expertinnen und -Experten im internationalen Umfeld. Durch Forschungsstipendien, Förderung von Veranstaltungen und internationalen Austausch schaffen wir Zugang zur Expertise in anderen europäischen Ländern. Das ist dringend notwendig, um weiterhin international mithalten zu können. Und es wird sich auszahlen: durch hochkarätige Publikationen in führenden Fachforen und durch geförderte Personen, die in Zukunft Schlüsselpositionen in der KI einnehmen werden.

Ihre Arbeit ist stark interdisziplinär ausgerichtet und umfasst Kooperationen mit internationalen Partnern. Welche Rolle spielen solche Kooperationen in Ihrer Forschung, und wie profitieren Studierende und Nachwuchsforschende davon?

Moderne KI-Forschung ist hochkomplex und entwickelt sich mit rasanter Geschwindigkeit weiter. Man kann daher als Einzelkämpferin nicht mehr Expertin für die ganze KI sein. Um erfolgreich zu sein, braucht man Allianzen, die es ermöglichen, in größeren und diversen Teams große Herausforderungen in der Forschung anzugehen. Es braucht einen engen Austausch und den frischen Blick von außen. Genau das erreichen wir mit unseren internationalen Partnern, die uns gezielt in den Bereichen ergänzen, in denen wir keine Experten sind. Das gilt in einem besonderen Maße für die Anwendungsgebiete der KI wie beispielsweise Psychologie, Ethik oder Medizin, aber auch andere Teilbereiche der KI selbst wie Robotik oder maschinelles Sehen.

Welche aktuellen Entwicklungen und Trends in der KI-Forschung halten Sie für besonders vielversprechend, und in welchen Bereichen sehen Sie das größte Potenzial für gesellschaftliche Anwendungen? 

KI wird mit größter Sicherheit weiterhin Einzug halten in die Arbeitswelt und in Bildung, was viele Berufe grundlegend verändern wird. Auch in meinem Beruf als Professorin wird sich vieles verändern. Viele Tätigkeiten werden in Zukunft auf meine persönliche KI-Assistenz ausgelagert, beispielsweise die Erstellung von Folien für die Vorlesung oder die Bewertung von schriftlichen Abgaben von Studierenden. Ich sehe meinen Beruf dennoch nicht gefährdet. Denn all das wird eine enge Zusammenarbeit von Menschen und Maschinen, gegebenenfalls in einem größeren Team, erfordern und uns zu einem qualitativ besseren Ergebnis verhelfen, das dennoch immer die persönliche Handschrift einer Expertin oder eines Experten tragen wird.

Interview: Klaus Lüber (5. Juni 2025)