KI - kurz und informativ, Klartext "to Go" in unter 5 Minuten

Einführung in Total Cost of Ownership (TCO)

Die Total Cost of Ownership (TCO) umfasst die Gesamtkosten eines KI-Systems über dessen Lebensdauer. Die Formel für TCO besteht aus Anschaffungskosten, Betriebskosten, Wartungskosten, versteckten Kosten, Downtime-Kosten und dem End-of-Life-Value.

Vergleich mit dem Bau eines Schwimmbads

Der Bau eines Schwimmbads dient als anschauliches Beispiel, um die TCO zu erläutern. Während die Anschaffungskosten transparent sind, sind die langfristigen Betriebskosten oft nicht im Budget enthalten, was auch bei KI-Projekten der Fall ist.

Phasen eines KI-Projekts

KI-Projekte lassen sich in fünf Phasen unterteilen: Konzeption, Daten, Entwicklung, Betrieb und Ablösung. Besonders die Betriebskosten, die oft unzureichend berücksichtigt werden, sind entscheidend für die TCO.

Herausforderungen bei Betriebskosten

Betriebskosten können variabel sein und hängen von Faktoren wie der Nutzungshäufigkeit und Qualität der KI-Modelle ab. Die Kosten sind oft schwer vorhersehbar, insbesondere bei agentischen Systemen, wo eine einzelne Nutzeraktion mehrere Modellaufrufe auslösen kann.

Fehlermeldung und Überwachung von KI-Modellen

Im Gegensatz zu herkömmlichen Softwarelösungen sind Fehler in KI-Modellen oft nicht offensichtlich. Es ist notwendig, dass permanent überwacht wird, um Model Drift zu identifizieren und zu beheben, was zusätzliche Kosten verursacht.

Empfehlungen für die Kostenplanung

Es wird empfohlen, jährliche Fixkosten einzuplanen und die potenziellen versteckten Kosten sowie den End-of-Life-Value zu berücksichtigen. Zudem sollten Fragen zur Daten- und Modellverwaltung bei einem Anbieterwechsel geklärt werden.

Einführung in Mixture of Experts

Die Episode behandelt die Mixture of Experts Architektur, die in modernen Sprachmodellen verwendet wird. Der Unterschied zwischen der Gesamtzahl der Parameter und den aktiven Parametern wird erläutert, um die Effizienz und Kostenreduktion dieser Architektur zu verdeutlichen.

Funktionsweise klassischer Sprachmodelle

Klassische Sprachmodelle berechnen für jedes Token alle Parameter, was zu hohen Rechenoperationen führt. Dies wird mit dem Beispiel eines Klinikbesuchs verglichen, bei dem jeder Patient allen Ärzten vorgestellt wird, was ineffizient ist.

Die Lösung: Mixture of Experts

Mixture of Experts optimiert die Rechenleistung durch die Verwendung mehrerer kleiner Experten und eines Routers, der entscheidet, welches Expertenteam für die Verarbeitung eines Tokens zuständig ist. Nur ein Teil der Experten wird aktiv, was die Rechenkosten signifikant senkt.

Training der Experten

Die Experten spezialisieren sich während des Trainings selbst, wobei der Router mittrainiert wird. Die Spezialisierungen sind oft statistische Muster und nicht klar definierte Fachgebiete.

Herausforderungen der Architektur

Es gibt zwei Hauptprobleme: Load-Balancing, wo einige Experten bevorzugt werden und andere vernachlässigt, sowie Speicherprobleme, da alle Experten geladen werden müssen, auch wenn sie nicht aktiv sind.

Zusammenfassung

Die Mixture of Experts Architektur ermöglicht es, viele Parameter zu nutzen, während nur wenige aktiv sind. Dadurch wird die Effizienz erhöht, ohne die Gesamtgröße des Modells zu reduzieren.

Einführung in das Lernen von Maschinen

In dieser Episode wird erklärt, wie Maschinen durch das Erkennen von Mustern aus Daten lernen. Der zentrale Punkt ist die Optimierung, ein Bereich der angewandten Mathematik, der sich mit der Lösung von Optimierungsproblemen beschäftigt, die wir im Alltag häufig antreffen.

Optimierungsprobleme im Alltag

Optimierungsprobleme beziehen sich darauf, wie Menschen ständig versuchen, in verschiedenen Lebensbereichen ein Maximum oder Minimum zu finden, sei es in Bezug auf Geld, Glück oder Zeit. Um Maschinen das Lernen zu ermöglichen, sind eine messbare Größe und ein optimaler Zustand dieser Größe erforderlich.

Das Dartspiel als Beispiel

Das Beispiel eines Dartspiels wird verwendet, um die Konzepte greifbar zu machen. Hierbei wird eine Kostenfunktion eingeführt, die die Distanz zur Mitte der Dartscheibe in Geld umwandelt, was zeigt, dass das Ziel der Minimierung der Kosten besteht.

Mathematische Funktionen und Machine Learning

Der Zusammenhang zwischen Parametern und Kostenfunktionen wird erläutert, und es wird gezeigt, wie beim Machine Learning die Parameter so eingestellt werden, dass die Kostenfunktion minimiert wird. Beispiele wie die Vorhersage des Immobilienwerts anhand der Wohnfläche verdeutlichen den Prozess der Optimierung.

Lineare Regression und Optimierung

In der linearen Regression wird eine Gerade durch Datenpunkte gelegt, wobei das Ziel darin besteht, die mittlere quadratische Distanz dieser Linie zu minimieren. Dies zeigt, wie Optimierung in der Praxis funktioniert und die Herausforderungen bei komplexeren Modellen, wie neuronalen Netzen, auftreten.

Optimierungsalgorithmen

Der Einsatz von Optimierungsalgorithmen wie dem Gradientenabstieg wird angesprochen, um optimale Parameter für Modelle mit vielen Variablen zu finden. Die Kostenfunktion spielt eine zentrale Rolle, um zu bestimmen, wie gut die Modelleinstellungen sind.

Entscheidungen in der Optimierung

Abschließend wird hervorgehoben, dass die Definition dessen, was gut oder schlecht ist, letztlich von den Entscheidern im jeweiligen Fachbereich abhängt, und dass die Optimierung auf diese Ziele ausgerichtet sein sollte.