Gro?e Sprachmodelle (Large Language Models, LLMs) haben die Welt im Sturm erobert, nachdem OpenAI seine generative Pretraining Transformer (GPT)-Engine auf den Markt gebracht und im November 2022 ChatGPT vorgestellt hatte. In nur zwei Monaten erreichte ChatGPT den bedeutenden Meilenstein von 100 Millionen w?chentlich aktiven Nutzern und erregte die Aufmerksamkeit von Gesch?fts- und Technologief¨¹hrern aus allen Branchen.

W?hrend eine wachsende Zahl von Nutzern LLMs in ihren Betrieb integrieren m?chte, erfordert die Technologie in ihrer jetzigen Form noch erhebliche Forschungs- und Entwicklungsarbeit, um eine optimale Leistung zu erzielen. Eine k¨¹rzlich durchgef¨¹hrte Umfrage unter 150 F¨¹hrungskr?ften aus 29 L?ndern ergab, dass der Unternehmen mit LLMs experimentieren, und diese Zahl d¨¹rfte noch weiter steigen - was die Notwendigkeit eines beschleunigten Entwicklungsparadigmas unterstreicht.

In kurzer Zeit haben LLMs heute eine breite Anwendung in allen Segmenten gefunden - von der Automatisierung des Kundendienstes bis zur Testautomatisierung und -validierung. Die zugrundeliegenden Systeme, einschlie?lich der Verarbeitung nat¨¹rlicher Sprache (NLP), sto?en jedoch nach wie vor an eine Reihe von Grenzen. Wir loten hier die Grenzen aus und versuchen zu ermitteln, was die Zukunft f¨¹r uns bereith?lt.

91Ô­´´

Obwohl LLMs unbestreitbar die Phantasie von Unternehmen und Nutzern auf der ganzen Welt befl¨¹gelt haben, sind sie nicht ohne einige kritische Einschr?nkungen. Dazu geh?ren:

In die Daten eingebettete Verzerrungen und Vorurteile

LLMs wurden entwickelt, um eine Sprache zu schaffen, die sich f¨¹r Menschen nat¨¹rlich anf¨¹hlt, aber nicht unbedingt, um genaue Informationen zu liefern. Dies kann zu Verzerrungen und falschen Ergebnissen f¨¹hren, wenn das Modell auf verzerrten Daten trainiert wird, was zu einer Tendenz zu "Halluzinationen" f¨¹hrt, d. h. zu ¨¹berzeugenden, aber sachlich falschen Ergebnissen.

Unternehmen m¨¹ssen daher sicherstellen, dass ihre Modelle auf unvoreingenommenen Daten trainiert werden, und die LLM-Vorhersagen anhand der tats?chlichen Unternehmensdaten ¨¹berpr¨¹fen.

Ein Beispiel daf¨¹r ist der KI-Chatbot Bard von Google, der in seinen Antworten f?lschlicherweise nicht existierende Entdeckungen des James-Webb-Weltraumteleskops erw?hnte. Dieser Fehler wirkte sich erheblich auf den Aktienwert von Google aus und verursachte einen Verlust , nachdem er in einer Live-Demonstration hervorgehoben wurde. In einem anderen Fall wurde ChatGPT in einem Rechtsfall verwendet, um rechtliche Pr?zedenzf?lle zu zitieren, die nicht existierten, was die Risiken aufzeigt, die entstehen, wenn man sich auf LLM-generierte Informationen ohne angemessene ?berpr¨¹fung verl?sst.

Datensicherheit und Datenschutz

LLMs lernen aus riesigen Datenmengen, die private oder vertrauliche Informationen wie pers?nliche Details, Gesch?ftsgeheimnisse oder Angaben zum geistigen Eigentum enthalten k?nnen. Folglich k?nnten diese Modelle solche Informationen w?hrend der Texterstellung oder -verarbeitung versehentlich preisgeben oder preisgeben. So kam es beispielsweise bei einem bekannten zu Datenlecks, als ein Ingenieur ChatGPT nutzte, um Fehler im Chipcode zu korrigieren. In einem anderen Fall kopierte ein anderer Mitarbeiter den Code zur Fehlererkennung in ChatGPT.

Diese F?lle verdeutlichen das Risiko: Wenn sensible Informationen an ein ?ffentliches LLM weitergegeben werden, k?nnten sie in dessen Trainingsdaten aufgenommen werden und mit bestimmten Aufforderungen abrufbar sein. Sicherheitsexperten warnen vor dieser Gefahr und raten, die mit LLMs geteilten Informationen sorgf?ltig zu pr¨¹fen. In Bezug auf den Schutz der Daten stellt die Bereitstellung von Llamma vor Ort eine sicherere Option dar als die Verwendung von GPT auf dem Cloud-Service von OpenAI.

Prompt-Injektionen

Prompt Injection ist ein Cybersecurity-Problem, bei dem Hacker Eingaben strategisch manipulieren, um die Antworten oder Aktionen von LLMs zu beeinflussen. So k?nnen Cyberkriminelle, die Anfragen in Kundendienst-Chatbots subtil ver?ndern, normal aussehende Fragen eingeben, aber Befehle einbetten, die Chatbots dazu bringen, sensible Benutzerdaten preiszugeben. Dies wird als direkte Prompt-Injektion bezeichnet, bei der der Angreifer die Prompts des Modells direkt ?ndert, um auf ansonsten nicht autorisierte Daten zuzugreifen.

Bei der indirekten Prompt-Injektion hingegen k?nnte der Hacker b?sartigen Code in ein Dokument einf¨¹gen. Wenn ein LLM dieses Dokument verarbeitet, vielleicht um seinen Inhalt zusammenzufassen, k?nnte der versteckte Code das LLM dazu verleiten, falsche oder sch?dliche Informationen zu generieren.

Die Risiken bei Prompt Injection reichen von unbefugten Datenlecks bis hin zur Manipulation automatischer Entscheidungen - was deutlich macht, wie wichtig es ist, LLMs gegen solche Schwachstellen zu sch¨¹tzen.

Kosten f¨¹r Entwicklung und Schulung

W?hrend ?ffentliche LLMs mehrere Nachteile haben, bringt die Einrichtung eines selbst gehosteten LLMs eigene Herausforderungen mit sich, vor allem finanzieller Natur. Die Entwicklung und Schulung von LLMs wie GPT-3, die OpenAI ¨¹ber gekostet haben, erfordern erhebliche Daten- und Rechenleistung, was sie zu einer teuren Investition f¨¹r jedes Unternehmen macht.

Dar¨¹ber hinaus erfordert die Bereitstellung und Wartung eines selbst gehosteten LLM mehr als nur die anf?ngliche Investition in spezialisierte Hard- und Software, die sich ¨¹ber einen Zeitraum von f¨¹nf Jahren auf ca. f¨¹r einfache Konfigurationen und bis zu 95.000 Dollar f¨¹r skalierbare Optionen belaufen kann. Zu den oft unerschwinglichen Kosten geh?ren auch die Ausgaben f¨¹r die Einstellung eines Teams von Datenwissenschaftlern und Support-Mitarbeitern, f¨¹r den Aufbau einer geeigneten Betriebsumgebung f¨¹r das LLM und f¨¹r die laufenden Wartungskosten.

Auswirkungen auf die Umwelt

Rechenzentren, die f¨¹r die Unterbringung der f¨¹r Sprachverarbeitungsmodelle ben?tigten Server unerl?sslich sind, verbrauchen eine gro?e Menge an Energie und tragen erheblich zu den Kohlenstoffemissionen bei. Modelle wie ChatGPT haben mit einem gesch?tzten j?hrlichen Kohlendioxidaussto? von eine erhebliche Auswirkung auf die Umwelt.

Eine andere Studie der Universit?t von Kalifornien hat den Wasserverbrauch von KI-Modellen aufgezeigt. Demnach wurden f¨¹r das Training des GPT-3-Modells von Microsoft in den Rechenzentren etwa Liter S¨¹?wasser verbraucht. Diese Menge entspricht dem Wasserbedarf f¨¹r die Produktion von Hunderten von Autos. Der Trainingsprozess erzeugt betr?chtliche W?rme, so dass gro?e Mengen an S¨¹?wasser zur K¨¹hlung ben?tigt werden.

Da die Sprachmodelle immer gr??er werden, ist es f¨¹r eine nachhaltige Entwicklung von entscheidender Bedeutung, Wege zu finden, um ihre Umweltauswirkungen zu verringern. Es ist jedoch wichtig festzustellen, dass die Umwelt- und Nachhaltigkeitsherausforderungen, mit denen wir konfrontiert sind, nicht nur f¨¹r gro?e Sprachmodelle (Large Language Models, LLMs) gelten, sondern f¨¹r die gesamte Landschaft der Cloud-Computing-Technologien.

91Ô­´´

Das schnelle Wachstum und die zunehmende Verbreitung von LLMs signalisieren einen Wandel in allen Branchen und Segmenten. Es ist ratsam, LLMs bei wichtigen Projekten mit Vorsicht einzusetzen und sicherzustellen, dass sie von Experten gepr¨¹ft werden. Die Modelle sind jedoch nach wie vor ideal f¨¹r kreative Aufgaben, die nicht das gleiche Ma? an Konzentration erfordern wie bei gesch?ftskritischen Auftr?gen.

Auf unserem Weg nach vorn m¨¹ssen wir unbedingt ein Gleichgewicht zwischen Innovation und ethischen Erw?gungen herstellen und sicherstellen, dass die LLM so entwickelt und eingesetzt werden, dass sie der Gesellschaft zugute kommen und gleichzeitig den Unternehmen helfen. Unser Weg zur ?berwindung dieser Grenzen muss daher eine gemeinsame Anstrengung sein, an der Entwickler, Nutzer und politische Entscheidungstr?ger beteiligt sind. Dabei sollten die Gr¨¹nde f¨¹r die Schaffung von LLMs er?rtert, ihr aktueller Status untersucht und ein Kurs f¨¹r ihre zuk¨¹nftige Entwicklung und Integration festgelegt werden.

Indem wir diese Herausforderungen direkt angehen, k?nnen wir das volle Potenzial von LLMs nutzen, um fundiertere, gerechtere und nachhaltigere L?sungen f¨¹r die Zukunft zu schaffen.