37 www.net-im-web.de 12/25 Klassisch oder unsichtbar: Sie haben die Wahl! Der Langmatz GF-NVt L 3.0 ist das bewährte Multitalent für die Glasfasernetzverteilung – robust, flexibel, zukunftssicher. Abgerundet wird das Portfolio durch den revolutionären Unterflurverteiler EK881. Details auf unserer Webseite. www.langmatz.de Inferenzanfragen verarbeitet werden. Wenn eine Inferenzanforderung beim llm-d-Gateway eintrifft, wird sie nicht einfach an den nächsten verfügbaren Pod weitergeleitet. Stattdessen bewertet der Endpunkt-Picker (EPP), eine zentrale Komponente des Schedulers von llm-d, mehrere Echtzeitfaktoren, um das optimale Ziel zu ermitteln. Dazu zählen: • die Cache-Erkennung: Der Scheduler verwaltet einen Index des Cache-Status für alle laufenden vLLM-Replikate. Wenn eine neue Anfrage ein gemeinsames Präfix mit einer bereits zwischengespeicherten Session auf einem bestimmten Pod hat, priorisiert der Scheduler die Weiterleitung an diesen Pod. Dies erhöht die CacheTrefferquote erheblich, vermeidet redundante Prefill-Berechnungen und reduziert direkt die Latenz. • die Load Awareness: Über die einfache Zählung von Anfragen hinaus bewertet der Scheduler die tatsächliche Auslastung jedes vLLM-Pods unter Berücksichtigung der GPU-Speichernutzung und der Verarbeitungs-Warteschlangen, um Engpässe zu vermeiden. llm-d wurde für die Erweiterung und Interoperabilität mit vLLM entwickelt und kann auf verschiedenen Kuber- netes-Clustern ausgeführt werden, darunter auch Red Hat OpenShift. Die Vorteile von Open Source Generell lassen sich die technischen Hürden der KI-Inferenz somit durch verschiedene Open-Source-Ansätze adressieren. Bei proprietären Systemen stoßen Unternehmen in der Praxis auf Herausforderungen wie hohe Hardwarekosten, heterogene Architekturen, Latenzzeiten und fehlende Flexibilität. Open-Source-Ansätze können hier zielgerichtet helfen: Sie abstrahieren von spezieller Hardware, unterstützen verschiedene Architekturen und profitieren von weltweiten Communities, die kontinuierlich Innovationen einbringen. Technologische Fortschritte – etwa bei Komprimierung und Quantisierung – haben zudem die Einstiegshürden gesenkt, sodass das Betreiben einer eigenen Infrastruktur für Unternehmen heute deutlich leichter und effizienter ist. Die Vorteile von Open Source bei der KI-Inferenz zeigen sich auf unterschiedlichsten Ebenen: • Kosteneinsparungen: Open-SourceSoftware verringert Lizenzkosten und senkt dadurch Einstiegsbarrieren für Unternehmen. Dadurch können auch kleinere Organisationen KI-Inferenz-Lösungen umsetzen. • Innovation und Anpassbarkeit: Open-Source-Frameworks und Tools fördern schnelle Entwicklungszyklen, ermöglichen Anpassungen an spezifische Bedürfnisse und fördern den Wissensaustausch in der Community. • Transparenz und Vertrauen: Der offene Quellcode erleichtert die Überprüfung von Modellen und deren Entscheidungen, was gerade im Hinblick auf Erklärbarkeit und ethische Aspekte wichtig ist. Insgesamt lassen sich die Herausforderungen in der KI-Inferenz folglich vor allem durch den Einsatz offener Software bewältigen. Open-Source-Lösungen bieten Unternehmen zudem die Möglichkeit, KI-Inferenz unabhängig und flexibel zu nutzen – ob on-premises, in der Cloud oder in hybriden Umgebungen. Open Source bietet dabei die Flexibilität, die Kosteneffizienz und vor allem auch die Sicherheit, die für viele Unternehmen von entscheidender Bedeutung ist. www.redhat.com/de
RkJQdWJsaXNoZXIy MjE2Mzk=