Was hat die Größe eines KI-Modells mit Kosten und Nachhaltigkeit zu tun?

Ja, ich gebe es zu: dieses Thema scheint auf den ersten Blick „nerdig“. Aber gerade deshalb ist es, glaube ich, für alle relevant, die mit KI mehr machen wollen als ein paar Prompts auszuprobieren. Erst recht mit Blick auf die Welle der KI-Agenten, die gerade auf uns zurollt.

Es kommt (doch) auf die Größe an...

In den letzten Monaten habe ich viele kleinere Open-Source-KI-Modelle (LLMs) getestet, vor allem die mit wenigen Parametern. Warum ist das so wichtig? Weil die Anzahl der Parameter direkt die Modellgröße und damit Hardwarebedarf, Energie und Kosten bestimmt. Schlussendlich entscheidet das über Wirtschaftlichkeit und Nachhaltigkeit.

Bisher galt für mich: Je größer das Modell, desto besser die Ergebnisse. Reduzierte, quantisierte Varianten haben mich in der Praxis nie ganz überzeugt.

... aber nicht alles, was groß ist, wirkt auch nachhaltig

Bisher! Denn in den letzten Wochen hatte ich einen gewissen Aha-Moment mit Gemma 3. Ein Open-Source Modell von Google, das auf dem Papier zwar klein wirkt, aber aus meiner Sicht wirklich gute Ergebnisse liefert. Gemma könnte man als die kleine Schwester von Gemini bezeichnen. Laut Google, liegt es im Chatbot Arena Test, im Elo-Score zwischen DeepSeek R1 671B und Llama 4 400B. Beides Modelle mit einem vielfachen an Ressourcenbedarf.

In echten RAG-Anwendungen (Wissensmanagement, Chatbots, Support) liefert Gemma 3, was zählt:

• Geringer Energiebedarf
• Niedrige Betriebskosten
• Zuverlässige Leistung

Klartext zu Kosten und Technik:

• Kosten: 1 Million Tokens (Input & Output, Model-as-a-Service) mit Gemma 3 27B kosten derzeit rund 10–20 Cent. Llama 3.3 liegt bei 50–70 Cent. GPT-4o sogar bei ca. 2 € im Input und 10 € im Output. Das sind Welten.
• Hardware: Während andere Top-Modelle 8, 16 oder mehr Hochleistungs-GPUs fordern, läuft Gemma 3 27B laut Google schon auf einer einzigen NVIDIA H100.
• Quantisierung vs. Alltagsleistung: Selbst das Gemma 3 12B QAT-Modell bringt auf meinem MacBook mit M4-Prozessor richtig gute Chat-Ergebnisse.

Weitere Details zu Gemma 3 von Google selbst unter: Gemma 3 QAT Models: Bringing state-of-the-Art AI to consumer GPUs.

Warum sollte das jemanden außerhalb der IT-Abteilung interessieren?

Weil es bei KI-Projekten nicht mehr nur um die reine Technik geht. Entscheidend sind Fragen wie:

• Wie viel Aufwand und Ressourcen stecken im laufenden Betrieb?
• Welche Modelle lassen sich überhaupt sauber und sicher in bestehende Prozesse integrieren - auch unter dem Aspekt Datenschutz und Datensicherheit?
• Wie sieht das Kosten-Nutzen-Verhältnis aus, wenn das Modell nicht nur in einem Pilotprojekt, sondern im echten Alltag läuft?

Man muss es nicht gleich dramatisieren: Die wenigsten Projekte scheitern an der Hardware oder den Energiekosten.

Aber spätestens, wenn der laufende Betrieb einer KI-getriebenen Anwendung 120 Euro pro User im Monat kostet statt 2,90 Euro mit einem effizienteren Ansatz, lohnt sich ein genauer Blick auf die Architektur. Ein schlankes Modell spart aber nicht nur Energie und Kosten, sondern macht es auch einfacher, Datenschutzanforderungen zu erfüllen und Betriebsaufwand im Griff zu behalten.

Was heißt das für Unternehmen?

"Good Enough“ ist ein Ansatz den ich derzeit für sehr vielversprechend halte. Mit wenig zusätzlichem Aufwand, lassen sich KI-Inhouse-Lösungen durch hybride Architekturen, deutlich effizienter machen, ohne an Qualität einzubüßen.

Für viele Chatbots, RAG-basierte Assistenten oder interne Sales-Agents ist „gut genug“ der nachhaltigere Weg. Leichte Modelle können gezielt für Aufgaben wie Klassifizierung oder GuardRailing (also die schnelle Prüfung und Filterung von KI-Antworten auf Plausibilität und Compliance) genutzt werden, während größere Modelle dort zum Einsatz kommen, wo maximale Textpräzision gefragt ist.

Das ist wie in einer gut geführten Küche:
Nicht jeder braucht den Sternekoch fürs Abendbrot – aber wenn’s drauf ankommt, steht das Team bereit.

Der strategische Unterschied: Prozessinnovation durch hybride Modellarchitekturen

• Effizienz und Nachhaltigkeit: Weniger Energie, geringere Kosten, trotzdem hohe Qualität.
• Flexibilität: Die Architektur wächst mit den Anforderungen ohne die System-Landschaft neu zu erfinden.
• Wirtschaftlicher Vorteil: Modulare Systeme senken langfristig die Investitionskosten und machen KI-Projekte robuster gegen technologische Disruptionen.

Ein echter Vorteil:

Wer will, kann solche kleinen Modelle auf eigener Hardware betreiben. Wer flexibel bleiben möchte, nutzt sie einfach in der Private Cloud, mit deutlicher weniger Hürden aber voller Kontrolle.

Fazit mit Augenzwinkern

Vielleicht klingt das alles ein bisschen „nerdig“ aber in der Realität entscheidet auch die technische Eleganz darüber, ob ein Projekt fliegt oder nicht.

Mein Rat: Nicht immer das größte Modell wählen, sondern das richtige Orchester zusammenstellen. Kosteneffizient, flexibel, anschlussfähig.

Wie siehst du das? Habt ihr schon mit kleineren KI-Modellen oder hybriden Architekturen experimentiert? Welche Erfahrungen habt ihr gemacht - gerade beim Thema Kosten, Betrieb oder Integration in eure Systemlandschaft?

Ich freue mich über Rückmeldungen, Anregungen und Erfahrungsaustausch. Meldet euch einfach jederzeit bei mir, wenn ihr Fragen habt oder Unterstützung für eure Projekte sucht.