Vier Amazon Bedrock-Inferenzoptionen, die sich auf die Kosten auswirken
Bei der Nutzung von Amazon Bedrock steigen die Kosten oft unerwartet trotz optimierter Prompts und Anwendungslogik. Vier spezifische Parameter auf Anfrageebene beeinflussen die verarbeitete Token-Anzahl sowie die anfalle
Einführung der nutzungsbasierten Preisgestaltung für bidirektionales Streaming mit Amazon SageMaker AI
AWS Marketplace unterstützt ab sofort eine nutzungsbasierte Abrechnung für die bidirektionale Streaming-Inferenz in Amazon SageMaker AI. Anbieter von KI-Modellen können dadurch die tatsächliche Nutzung während eines Livestreams taggenau und verbrauchsabhängig abrechnen. Als erster Launch-Partner integriert Deepgram seine Funktionen für Spracherkennung und Sprachsynthese in dieses neue Abrechnungsmodell. Dies ermöglicht flexiblere Monetarisierungsstrategien für Echtzeit-KI-Anwendungen auf der Cloud-Plattform.
SageMaker Inference unterstützt nun Multi-Instance GPU, um die GPU-Auslastung für Modell-Endpunkte zu maximieren
Amazon SageMaker Inference integriert ab sofort die NVIDIA Multi-Instance GPU-Technologie, um hardwareisolierte Partitionen auf einzelnen Grafikprozessoren zu erzeugen. Dadurch lassen sich mehrere Modelle parallel betreiben oder Ressourcen exakt auf den Bedarf kleinerer Workloads skalieren. Die neue Funktionalität erhöht die Effizienz von Modell-Endpunkten deutlich, indem sie die Auslastung der eingesetzten Hardware maximiert.
Einführung der Inferenz in Indien für Kimi K3 auf Amazon Bedrock
Amazon Bedrock bietet ab sofort In-Country-Inferenz für das Modell Kimi K3 in Indien an, wodurch die Datenverarbeitung lokal in den Regionen Mumbai und Hyderabad erfolgt. Nutzer können somit von optimierten geografischen Cross-Region-Inferenzoptionen profitieren und mithilfe von bereitgestelltem Beispielcode Dokumente in indischen Sprachen analysieren. Diese lokale Datenverarbeitung adressiert gezielt regulatorische Anforderungen und minimiert Latenzen bei der KI-gestützten Textverarbeitung.
Jenseits des KV-Caches: Training und Einsatz des linearen Aufmerksamkeitsmodells „Laplace 3B“ von i14 auf AWS Trainium2 mit nativem PyTorch
Das Unternehmen i14 hat das lineare Attention-Modell Laplace 3B erfolgreich auf AWS Trainium2 mit nativem PyTorch trainiert und bereitgestellt. Im Gegensatz zu herkömmlichen Transformer-Modellen bleibt der rekursive Zustand unabhängig von der Kontextlänge konstant bei 29,5 Megabyte pro Sequenz. Dadurch entfällt der wachsende Key-Value-Cache, was den Speicherbedarf beim Serving vorhersehbar und effizient hält. Diese Architektur bietet erhebliche Skalierungsvorteile für lange Sequenzen in der KI-Inferenz.
Wie Deepgram die Sprach-KI mit AWS Trainium in großem Maßstab optimierte
Deepgram hat in Zusammenarbeit mit AWS sein Spracherkennungsmodell Nova-3 für die Offline-Batch-Inferenz auf AWS Trainium2 portiert. Dabei kamen der AWS Neuron Stack, kernelnahe Optimierungen sowie eine datenparallele Rust-Laufzeitumgebung zum Einsatz. Durch diese architektonischen Anpassungen konnten der Durchsatz bei der Batch-Transkription signifikant gesteigert und die Betriebskosten gesenkt werden.
Push-basierte KV-Übertragung zur Verbesserung von TTFT und TPOT bei der disaggregierten Inferenz in vLLM
Für eine effizientere disaggregierte Inferenz von großen Sprachmodellen wurde in vLLM ein neuer push-basierter NIXL-Connector integriert. Dieser Ansatz verlagert die Transferkoordination des KV-Cache aus dem kritischen Pfad der Ausführung. In Benchmarks auf Amazon EC2 P5en Instanzen mit AWS EFA konnten dadurch die Time to First Token um das bis zu Dreifache und der Throughput beziehungsweise die TPOT-Werte um 30 Prozent gesteigert werden.
Zugriff auf OpenAI-GPT-Modelle auf Amazon Bedrock mit globaler, regionenübergreifender Inferenz in Thailand, Malaysia, Singapur, Indonesien und Taiwan
Amazon Bedrock ermöglicht nun die Ausführung ausgewählter OpenAI-Modelle über eine globale regionsübergreifende Inferenz in Standorten wie Singapur, Jakarta, Thailand, Malaysia und Taipeh. Technische Anwender erfahren in diesem Leitfaden, wie sie die Converse- sowie OpenAI-kompatible APIs nutzen, IAM- und SCP-Berechtigungen einrichten, Kontingente dimensionieren und die Inferenz aus der Quellregion überwachen. Die Integration bietet Entwicklern in diesen Regionen optimierte Leistung und vereinfachte Skalierbarkeit
Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen
Ein technischer Leitfaden demonstriert die Bereitstellung von Entscheidungsmodellen mittels llama.cpp auf Amazon SageMaker AI. Dabei werden OpenAI-kompatible Chat-Vervollständigungen über AWS Deep Learning Container realisiert und die Laufzeit um die SemIf-Erweiterung ergänzt, um Wahrscheinlichkeiten für definierte Optionen auf CPU oder GPU auszugeben.
Führen Sie Inferenz-Workloads mit mehreren Knoten mithilfe der Ray LLM Deep Learning-Container aus
Es wird die Bereitstellung eines großen Sprachmodells über zwei GPU-Knoten auf Amazon EKS unter Verwendung von Multi-Node Ray LLM Deep Learning Containers beschrieben. Dabei kommen separate Prefill- und Decode-Knoten hinter einem OpenAI-kompatiblen Endpunkt zum Einsatz. Die vorgefertigten Container stellen den gesamten Inferenz-Stack bereit, wodurch der Konfigurationsaufwand für komplexe verteilte Architekturen erheblich reduziert wird.
Amazon Bedrock erweitert Claude-Modellverfügbarkeit auf In-Country-Inferenz in Indien
Über den Cloud-Infrastrukturdienst Amazon Bedrock stehen fortan verschiedene Varianten der Claude-Modellfamilie für die regionale Inferenz in Indien bereit. Die Integration ermöglicht es Anwendern, KI-Workloads direkt innerhalb indischer Rechenzentren auszuführen und dabei relevante Anforderungen an die Datenverarbeitung lokal einzuhalten. Der Zugriff auf die Modelle erfolgt nahtlos über die etablierten Verwaltungskonsolen sowie programmatisch über die entsprechenden API-Schnittstellen.
Anthropic-Modelle auf Amazon Bedrock für regionales Inferenzing in Seoul und Singapur verfügbar
Amazon Bedrock unterstützt ab sofort die Sprachmodelle Claude Opus 5 und Claude Sonnet 5 für regionales Inferenzing in Seoul sowie Claude Sonnet 5 in Singapur. Unternehmen mit strengen Anforderungen an die lokale Datenverarbeitung in Südkorea und Singapur können diese KI-Modelle nun skalierbar einsetzen, wobei sämtliche Inferenzprozesse vollständig innerhalb der jeweiligen Region verbleiben. Damit wird die datenschutzkonforme Nutzung leistungsstarker Sprachmodelle in diesen asiatischen Märkten direkt vor Ort ermögl
Bilder und Videos generieren mit vLLM-Omni auf SageMaker AI – Teil 2
Zwei generative Medienmodelle lassen sich gemeinsam aus einem einzigen vLLM-Omni Deep Learning Container auf einer Cloud-Infrastruktur bereitstellen. Über Echtzeit-Inferenz wird zunächst ein Bild mittels FLUX.2-klein erzeugt. Im Anschluss erfolgt die Animation zu einem Video durch Wan2.1-VACE über asynchrone Inferenz, woraufhin die finale MP4-Datei direkt aus dem Objektspeicher abgerufen werden kann.
Amazon SageMaker Inference: Rückblick auf die Neuerungen der ersten Jahreshälfte 2026
In der ersten Hälfte des Jahres 2026 wurden insgesamt dreizehn Neuerungen für die Inferenzinfrastruktur im Bereich des verwalteten maschinellen Lernens veröffentlicht. Die Aktualisierungen erstrecken sich sowohl auf voll verwaltete Endpunkte als auch auf spezialisierte Cluster-Infrastrukturen für rechenintensive Workloads. Zu den zentralen technologischen Fortschritten gehören optimierte Empfehlungssysteme für Inferenzressourcen, kapazitätsbewusste Instanzpools sowie fortschrittliche Mechanismen wie gestaffeltes KV
Entwicklung eines KI-gestützten Produkttags-Systems mit serverancier Modellanpassung auf Amazon SageMaker
Die manuelle Verschlagwortung grosser Produktkataloge ist oft langsam und inkonsistent. Eine neue technische Anleitung zeigt, wie das Sprachmodell Qwen3-8B mithilfe von Supervised Fine-Tuning und Reinforcement Learning with Verifiable Rewards auf einer serverlosen Plattform angepasst wird. Durch anschliessende Bereitstellung für die asynchrone Inferenz entsteht eine skalierbare und kosteneffiziente Lösung zur vollautomatischen Kategorisierung von Handelsdaten.
Verringerung von Inferenz-Kaltstarts auf Amazon SageMaker HyperPod durch Modell-Caching
Amazon SageMaker HyperPod unterstützt ab sofort ein integriertes Modell-Caching für Inferenz-Workloads, das Modellgewichte und Container-Images vorab auf Cluster-Knoten lädt. Dadurch greifen Pods direkt auf lokalen NVMe-Speicher zu, anstatt Daten über das Netzwerk herunterzuladen. Diese Optimierung reduziert Ladezeiten bei Kaltstarts signifikant von ehemals mehreren Minuten auf wenige Sekunden. Die Funktion lässt sich direkt in bestehenden Clustern aktivieren, um die Bereitstellung großer Sprachmodelle und komplexe
Bereitstellung von Qwen3.8-2.4T-A95B auf Amazon SageMaker HyperPod mit vLLM
Diese technische Anleitung beschreibt die Bereitstellung des Open-Weight-Modells Qwen3.8-2.4T-A95B mit 2,4 Billionen Parametern auf Amazon SageMaker HyperPod unter Verwendung von vLLM. Im Fokus stehen dabei die Cluster-Bereitstellung, die NVFP4-Quantisierung sowie die Einrichtung eines OpenAI-kompatiblen Endpunkts. Dieser unterstützt integrierte Schlussfolgerungsfunktionen, Tool-Aufrufe und natives MTP Speculative Decoding für eine optimierte Inferenzleistung.
Rückblick auf die KI-Entwicklungen im August 2026
Der Monat August 2026 brachte zahlreiche Neuerungen für die Entwicklung von KI-Anwendungen, darunter erweiterte Kontextfenster von einer Million Token für OpenAI-Modelle sowie regionsübergreifende Inferenzen. Im Bereich der autonomen Agenten wurden Systeme vorgestellt, die auf dedizierter Rechenleistung bis zu vierzehn Tage lang kontinuierlich operieren können. Zudem wurden AWS-GovCloud-Kapazitäten ausgebaut und physische Robotiklösungen für den industriellen Einsatz integriert.
Vereinfachung von TorchServe-Workloads durch Ray Serve Deep Learning Container
Nach der Einstellung von TorchServe stehen Entwicklungsteams vor der Herausforderung, den gesamten GPU-Inferenz-Stack eigenständig zu verwalten. Abhilfe schaffen vorkonfigurierte und getestete Deep Learning Container, die Frameworks, GPU-Treiber und die Serving-Schicht in einer Umgebung bündeln. Anhand der Bereitstellung eines Vision-Language-Modells auf Amazon EKS lässt sich der effiziente Einsatz von Ray Serve auf einem einzelnen GPU-Knoten demonstrieren.
GPT-6 Astra ab sofort auf Amazon Bedrock verfügbar
Das KI-Modell GPT-6 Astra von OpenAI ist ab sofort allgemein auf der Plattform Amazon Bedrock verfügbar. Die Integration ermöglicht es Anwendern, anspruchsvolle Aufgaben mit erweiterten Analyse- und Entscheidungsfähigkeiten zu bearbeiten. Die Ausführung erfolgt über die skalierbare und auf hohe Leistung sowie Sicherheit ausgelegte Inferenz-Engine von Amazon Bedrock.
Benchmarking kleiner LLM-Inferenz auf SageMaker AI: G7 im Vergleich zu G5 und G6
Es wurden zwei Mixture-of-Experts-Modelle mit rund 30 Milliarden Parametern, konkret Qwen3-Coder-30B und NVIDIA Nemotron-3-Nano-30B, auf verschiedenen GPU-Instanzen von Amazon SageMaker AI evaluiert. Im Fokus der Untersuchung standen der Durchsatz, die Latenz sowie die Kosten pro Token über die Instanztypen G5, G6, G6e und G7 hinweg. Die Auswertung zeigt, wie sich der Einsatz von NVIDIA Blackwell GPUs in der G7-Instanzgeneration auf die Wirtschaftlichkeit und Leistungsfähigkeit bei Echtzeit-Inferenzprozessen auswir
Zugriff auf OpenAI-Modelle auf Amazon Bedrock aus Australien mit globaler regionsübergreifender Inferenz
Teams in Australien können ab sofort OpenAI-Modelle direkt über Amazon Bedrock in den Regionen Sydney und Melbourne nutzen und dabei auf eine globale regionsübergreifende Inferenz zurückgreifen. Die technische Implementierung umfasst den Aufruf der Sprachmodelle, die Nutzung von Prompt-Caching sowie die Einrichtung von Codex mittels OpenID-Connect-Authentifizierung. Zur Überwachung und Analyse des Systemverhaltens steht zudem die Integration mit Amazon CloudWatch zur Verfügung.
Lastverteilung bei SageMaker-Inferenzkomponenten: Salesforce erreicht Hochverfügbarkeit
Salesforce hat durch gezielte Platzierungssteuerung von Inferenzkomponenten auf Basis von Amazon SageMaker AI die Anforderungen an eine hochverfügbare Multi-AZ-Architektur erfolgreich umgesetzt. Mithilfe spezifischer Konfigurationsparameter lassen sich Modellkopien redundant über mehrere Verfügbarkeitszonen hinweg verteilen. Gleichzeitig bleibt die hohe Kosteneffizienz durch die gemeinsame Ausführung mehrerer Modelle auf derselben Infrastruktur vollständig erhalten. Dies stellt einen wichtigen architektonischen Sch
Einführung der indischen regionsübergreifenden Inferenz für OpenAI-Modelle auf Amazon Bedrock
Amazon Bedrock unterstützt ab sofort die neuesten Sprachmodelle für Kunden in Indien durch eine regionsübergreifende Inferenzarchitektur. Diese Bereitstellungsoption ermöglicht die Skalierung von Workloads bei strenger Einhaltung lokaler Datenverarbeitungsanforderungen. Sämtliche Inferenzanfragen und zugehörigen Daten verbleiben dabei physisch innerhalb der indischen Region. Unternehmen können somit leistungsstarke KI-Anwendungen betreiben und gleichzeitig nationale Compliance-Vorgaben für sensible Daten erfüllen.
Einführung der regionsübergreifenden Inferenz für OpenAI-GPT-5.6-Modelle auf Amazon Bedrock
Amazon Bedrock stellt die neuen OpenAI-GPT-5.6-Modelle in über 25 AWS-Regionen mittels regionsübergreifender Inferenz bereit. Durch den Einsatz geografischer und globaler Inferenzprofile lassen sich Anfragen dynamisch routen, um einen höheren Durchsatz und eine verbesserte Skalierbarkeit zu erreichen. Entwickler können diese Sprachmodelle sowohl über die nativen OpenAI-Schnittstellen als auch über die Converse-API ansprechen. Zudem werden Konfigurationsmöglichkeiten für Identitäts- und Zugriffsmanagement, Quoten un
Gestufter KV-Cache für große Sprachmodelle auf Amazon SageMaker HyperPod mit Curvine
Bei der Skalierung von Sprachmodell-Inferenz entsteht ein Kompromiss zwischen teuren GPU-Instanzen und langsamen Ladezeiten aufgrund begrenzter Kapazitäten für den Key-Value-Cache. Durch die Verlagerung des Caches in einen gemeinsam genutzten, verteilten NVMe-Speicherpool mittels Curvine auf Amazon SageMaker HyperPod lässt sich dieser Engpass beheben. Mehrere Replikate können dadurch auf kosteneffizienten Instanzen mit geschwindigkeiten nahe lokaler Datenträger auf den Cache zugreifen, was die Effizienz bei der Ver
Optimierungsintegration für große Sprachmodelle im Amazon SageMaker Python SDK
Das Amazon SageMaker Python SDK in Version 3 ermöglicht ab sofort den direkten Zugriff auf Inferenzempfehlungen für generative KI innerhalb von Jupyter-Notebooks. Entwickler können Endpunkte benchmarken, datenbasierte Bereitstellungsempfehlungen generieren und optimierte Konfigurationen nahtlos ohne Systemwechsel implementieren. Diese Funktionserweiterung strafft den Workflow zur Modellbereitstellung und unterstützt datengetriebene Entscheidungen bei der Ressourcenallokation im Cloud-Infrastrukturbereich.
Bereitstellung quantisierter Modelle auf Amazon SageMaker AI mit Unsloth
Dieser Leitfaden erläutert vier verschiedene Bereitstellungsmuster für KI-Modelle, die zuvor mit Unsloth quantisiert wurden. Die vorgestellten Ansätze umfassen die direkte Nutzung von Amazon EC2 für den Instanzzugriff sowie die Verwendung von Amazon SageMaker AI für verwaltete Inferenz-Endpunkte. Zudem wird die Integration in bestehende Container-Infrastrukturen mittels Amazon EKS oder Amazon ECS behandelt. Ergänzend werden bewährte operative Verfahren für den produktiven Einsatz dieser Modelle in der Cloud-Umgebun
Disaggregierte Prefill- und Decode-Prozesse für LLM-Inferenz auf SageMaker HyperPod
Die Implementierung von disaggregiertem Prefill und Decode (DPD) ermöglicht eine effizientere Ausführung von Large Language Models auf der SageMaker HyperPod-Infrastruktur. Durch die Nutzung des HyperPod Inference Operators in Verbindung mit vLLM können Rechenressourcen für die Initialisierungsphase und die Generierungsphase von Sprachmodellen separat skaliert werden. Dieser Ansatz optimiert die Durchsatzraten und reduziert die Latenzzeiten bei der Inferenz, indem die unterschiedlichen Anforderungen der beiden Phas
Auf dem Weg zu einer verifizierbaren LLM-Infrastruktur: Agenten-gesteuerter Nachweis der von Agenten implementierten Inferenz
Forscher stellen „vstack“ vor, einen fünfstufigen Workflow zur formalen Verifikation für codierende Agenten, der darauf ausgelegt ist, den Verifikationsengpass beim Aufbau schneller Inferenz-Engines von Grund auf zu beseitigen. Ergänzend dazu gibt es „veriserve“, einen Prototyp einer verifizierbaren LLM-Serving-Engine mit PD-Disaggregation. Das System stützt sich auf ein formal verifiziertes KV-Page-Lebenszyklus-Entwurfsmodell, um Korrektheit und Zuverlässigkeit in der KI-Infrastruktur zu gewährleisten.
Die derzeit wirksamste Maßnahme zur Senkung der KI-Kosten ist ein Rabatt des Cloud-Anbieters, lol
Steigende Gesamtkosten trotz sinkender Token-Preise bei KI-Inferenz erfordern gezielte Optimierungsmassnahmen. Zu den zentralen Hebeln zur Budgetreduktion gehören Prompt Caching, Batch-APIs, der Einsatz kleinerer Modelle sowie die strategische Abwägung zwischen Cloud-Miete und Eigenbetrieb. Trotz technologischer Effizienzsteigerungen bleiben Rabatte von Cloud-Anbietern oft der grösste finanzielle Hebel.
LLM-Prefill – was wir falsch gemacht haben
Bei der Entwicklung von Local Code mussten Entwickler feststellen, dass bisherige Erfahrungen mit Diffusionsmodellen nicht eins zu eins auf die Beschleunigung des LLM-Prefills übertragbar sind. Entgegen ursprünglicher Annahmen erfordert dieser Prozess andere architektonische Ansätze und Optimierungen. Die gewonnenen Erkenntnisse verdeutlichen die spezifischen Herausforderungen bei der effizienten Inferenz von großen Sprachmodellen.
Auf HN anzeigen: Tensward – Optimierung der lokalen KI-Inferenz
Mit Tensward wurde ein neues Werkzeug zur Profilierung und Diagnose von Large Language Model Inferenz auf lokalen GPUs veröffentlicht. Die Software misst vLLM-Setups unter realen Arbeitslasten und generiert konkrete Optimierungsvorschläge. Damit lassen sich Performance-Engpässe bei der Modellausführung gezielt analysieren und beheben. Entwickler erhalten somit einen präzisen Einblick in das Verhalten ihrer lokalen Hardware-Ressourcen.
Komprimieren Sie beliebige LLM-Dateien mit einem Klick um das Dreifache – nahezu verlustfrei und in Sekundenschnelle
Ein neues Verfahren ermöglicht die dreifache Kompression großer Sprachmodelle innerhalb von Sekunden bei nahezu verlustfreier Leistung. Diese Technologie optimiert die Effizienz von KI-Modellen erheblich und vereinfacht deren Bereitstellung auf ressourcenbeschränkter Hardware. Durch die deutliche Verkleinerung der Architektur sinken sowohl die Latenzzeiten als auch die Betriebskosten für rechenintensive Anwendungen im Enterprise-Umfeld.
Wichtige Kennzahlen zur LLM-Inferenz – in 5 Minuten erklärt
Der Artikel erklärt die zentralen Leistungsmetriken zur Messung der Inferenzperformance von großen Sprachmodellen. Anhand konkreter Formeln werden Kennzahlen wie Latenz, Token-Generierungsgeschwindigkeit und Systemlast detailliert analysiert. Dies ermöglicht Entwicklern eine präzise Bewertung und Optimierung ihrer KI-Infrastruktur im laufenden Betrieb.
Über FLOP/s hinaus: Vergleich von KI-Hardware für die Inferenz anhand von Speicher- und Kommunikationsanforderungen
Der klassische Vergleich von KI-Hardware anhand von Rechenleistung in FLOP/s greift bei Inferenz-Workloads häufig zu kurz. Für die effiziente Ausführung von Modellen spielen vor allem Speicherbandbreite und Kommunikationslatenzen eine entscheidende Rolle. Der Artikel beleuchtet alternative Metriken zur Leistungsbewertung von spezialisierten Prozessoren und Beschleunigern. Dies ermöglicht eine praxisnahere Architekturauswahl für moderne Deep-Learning-Anwendungen im Rechenzentrum.
FlashStates: Flexibles hybrides Zustandsmanagement für die agentenbasierte LLM-Inferenz
FlashStates optimiert die Inferenz von KI-Agenten auf GPUs durch ein effizientes hybrides Zustandsmanagement, bei dem Agenten-Turns nahtlos an vorherigen Punkten fortgesetzt werden. Durch den Einsatz von GLM-5.3-Flash NVFP4 auf NVIDIA B200-GPUs erreicht das System im Vergleich zu vLLM einen deutlich höheren Durchsatz bei stark reduzierten Latenzen. Diese Architektur ermöglicht es, deutlich mehr gleichzeitige Agentenprozesse pro Grafikkarte zu verarbeiten, was die Effizienz in produktiven KI-Umgebungen massiv steige
CUDA+ROCm-Dual-Backends für die LLM-Inferenz bei GPUs verschiedener Hersteller (bis zu 48 % schneller)
Ein neues Update integriert einen optionalen HIP-Experten-Helfer in die CUDA-Engine von Maya, um den gleichzeitigen Betrieb unterschiedlicher Grafikkarten wie der RTX 5090 und der Radeon 8060S bei der Inferenz von Sprachmodellen zu ermöglichen. Dabei übernimmt das CUDA-Backend rechenintensive Schichten der Aufmerksamkeit, während die gemischte Hardware-Architektur Leistungssteigerungen von bis zu 48 Prozent erzielt. Dieser Ansatz optimiert die Ressourcenauslastung heterogener Systeme im Bereich des maschinellen Ler
Ernie Evolve: automatisiertes Forschungssystem zur Verbesserung des KI-Trainings und der KI-Inferenz
Mit Ernie Evolve wurde ein automatisiertes Forschungssystem vorgestellt, das gezielt auf die Verbesserung von KI-Trainingsprozessen und Inferenz-Workloads ausgelegt ist. Die Technologie zielt darauf ab, die Effizienz und Leistungsfähigkeit großer Sprachmodelle autonom zu steigern. Durch automatisierte Optimierungsschritte soll der Entwicklungsaufwand in der KI-Forschung deutlich reduziert werden.
Bezahlung pro Stunde für eine vorkonfigurierte GPU oder pro Token für die Open-Source-LLM-Inferenz?
Bei der Nutzung von Open-Source-Sprachmodellen stellt sich die Frage nach dem optimalen Abrechnungsmodell zwischen fest konfigurierten GPU-Stunden und klassischen Token-basierten Anbietern. Der wesentliche Vorteil von dedizierten GPU-Stunden liegt im Wegfall restriktiver Nutzungslimits und der besseren Kontrollierbarkeit der Infrastruktur. Diese Methode eignet sich besonders für Workloads mit kontinuierlich hoher Auslastung und spezifischen Konfigurationsanforderungen.
VindexLLM – In Delphi 12 geschriebene Windows-Vulkan-GPU-GGUF-LLM-Inferenz-Engine
VindexLLM ist eine reine Delphi-basierte Inferenz-Engine für Large Language Models, die GGUF-Modelle direkt auf GPUs ausführt. Durch die Nutzung von Vulkan Compute Shaders wird eine vollständige Transformer-Inferenz ohne externe Abhängigkeiten wie Python ermöglicht. Die Software ist speziell für die Windows-Plattform konzipiert und bietet Entwicklern eine native Integration von KI-Modellen in Delphi-Anwendungen. Damit lassen sich komplexe Sprachmodelle performant und hardwarebeschleunigt lokal betreiben.
Together Compiler: Kontinuierliche Kompilierung für KI-Inferenz
Together AI hat den Together Compiler vorgestellt, der mithilfe von autonomen Agenten und persistenten Engines offene KI-Modelle in weniger als 24 Stunden optimiert. Das System passt die Inferenzleistung dynamisch an veränderte Lasten an und erreicht dabei einen bis zu 3,7-fachen Durchsatz. Durch kontinuierliche Kompilierung wird die Effizienz von Large Language Models in Produktionsumgebungen signifikant gesteigert.
FlashProve: Zero-Knowledge-Beweise für KI-Inferenz
FlashProve ist ein Forschungsprototyp, der die Erstellung von Zero-Knowledge-Beweisen für die Inferenz von Künstlicher Intelligenz ermöglicht. Das System erlaubt es nachzuweisen, dass ein bestimmtes KI-Modell eine Vorhersage korrekt berechnet hat, ohne dabei die zugrundeliegenden Gewichte oder sensiblen Eingabedaten preiszugeben. Das Projekt befindet sich in einem experimentellen Stadium und wird derzeit nicht aktiv weiterentwickelt.
LLM auf allem
Eine neuartige kuratierte Sammlung zeigt, wie sich kompakte Sprachmodelle auf extrem untypischer und ressourcenbeschränkter Hardware lokal ausführen lassen. Das Projekt demonstriert die Machbarkeit von KI-Inferenz auf Mikrocontrollern, Alltagsgeräten und historischen Systemen. Diese Entwicklung unterstreicht den Trend zu Edge-KI und flexibler Modellquantisierung für eingebettete Systeme.
Sovereign Inference Mesh – Geräteintegrierte KI-Inferenz und Edge-Computing auf Android
Das Sovereign Inference Mesh ermöglicht die Ausführung von künstlicher Intelligenz direkt auf Android-Geräten. Durch telefonnative Inferenz und lokales Edge-Computing werden datenschutzfreundliche Berechnungen ohne ständige Cloud-Anbindung realisiert. Diese Architektur stärkt die digitale Souveränität der Anwender durch dezentrale Ressourcenverarbeitung. Gleichzeitig sinken Latenzzeiten für mobile KI-Anwendungen spürbar.
Durch kostengünstigere KI-Inferenz wird es schwieriger, mit der Vermietung von Rechenleistung Gewinne zu erzielen.
Sinkende Kosten für die KI-Inferenz führen dazu, dass die Vermietung von Rechenkapazitäten zunehmend weniger profitabel wird. Marktteilnehmer und Plattformen wie OpenRouter reagieren auf diese Entwicklung, indem sie verstärkt auf Verarbeitungsgeschwindigkeit anstelle des rein kostenbasierten Wettbewerbs setzen. Diese Verschiebung erzwingt neue Geschäftsmodelle im Bereich der KI-Infrastruktur, da reine Preisnachlässe allein keine ausreichenden Margen mehr garantieren. Die Optimierung von Durchsatz und Latenzen rückt
UlaCache: Einheitliche logische Adressierung für sparsames LLM-Serving
Lange Kontexte erhöhen die Speicherkosten des Key-Value-Caches bei der Inferenz großer Sprachmodelle erheblich. Um diesen Overhead zu reduzieren, setzt sparsame Aufmerksamkeit auf die Auswahl historischer Token, erfordert jedoch die ständige Verfügbarkeit des zwischengespeicherten Speichers für spätere Dekodierungsschritte. Als Lösung wurde UlaCache entwickelt, ein neuartiges Verwaltungssystem für den KV-Cache. Das System basiert auf einem einheitlichen logischen Adressraum, der sich über GPU-Speicherpools und weit
GAAC: Verlustfreie KV-Cache-Kompression für schnellere LLM-Inferenz
Speicher- und Bandbreitenengpässe beim Betrieb grosser Sprachmodelle mit langen Kontexten auf Endgeräten werden zunehmend durch den wachsenden Key-Value-Cache verursacht. Als Lösung wird das System Group-Adaptive Additive Codec vorgestellt, welches eine verlustfreie Kompression des KV-Caches ermöglicht. Durch die gezielte Ausnutzung von Exponentenredundanzen reduziert die Technologie den Speicherbedarf signifikant und beschleunigt gleichzeitig die Inferenzprozesse deutlich.
Lernen Sie das LLM-Inferenzsystem auf Apple Silicon kennen
Ein neues Open-Source-Projekt ermöglicht Systemingenieuren den Einblick in die Funktionsweise von LLM-Inferenzsystemen auf Apple Silicon. Durch die Entwicklung einer minimalistischen Implementierung, die vLLM und Qwen kombiniert, werden Kernkonzepte der Modellinferenz verständlich. Das Projekt richtet sich an Entwickler, die die technischen Hintergründe und die Optimierung von Sprachmodellen auf der Apple-Architektur praxisnah nachvollziehen möchten.
ML Drift: KI-/ML-Inferenz der nächsten Generation auf der GPU am Edge
Google AI Edge hat mit ML Drift ein neues, universelles GPU-Computing-Framework vorgestellt, das die On-Device-Inferenz für Machine Learning und KI-Modelle signifikant beschleunigen soll. Die Lösung abstrahiert komplexe hardwarenahe Schnittstellen wie OpenGL ES, OpenCL, Metal sowie WebGPU und bietet Entwicklern eine einheitliche Grundlage zur Implementierung von Echtzeit-Anwendungen. Damit lassen sich rechenintensive Aufgaben wie anspruchsvolle Videoeffekte oder generative KI direkt auf Endgeräten ohne Cloud-Latenz
Leviathan-LLM-Inferenz
Das Open-Source-Projekt Leviathan widmet sich der effizienten Ausführung von Large Language Models. Entwickler können über GitHub zum Quellcode und zur Weiterentwicklung dieses Inferenz-Frameworks beitragen. Das Repository bietet grundlegende Werkzeuge zur Implementierung von KI-Modellen in verschiedenen Anwendungsszenarien. Die Plattform dient als Kollaborationspunkt für die Optimierung von Rechenprozessen bei Sprachmodellen.
Apple veröffentlicht RSI-Inference: Bewertung von Agenten für die selbstoptimierende LLM-Inferenz
Apple ML Research hat mit RSI-Inference einen neuen Benchmark vorgestellt, der untersucht, ob autonome KI-Agenten die Systeme optimieren können, auf denen Sprachmodelle ausgeführt werden. Das Framework basiert auf realen Optimierungsaufgaben aus weit verbreiteten Inferenz-Engines wie vLLM und SGLang. Für die Evaluation wurden über 50.000 GPU-Stunden sowie API-Token im Wert von 100.000 US-Dollar investiert. Ziel des Projekts ist es, die Fähigkeiten von Agenten im Bereich der rekursiven Selbstverbesserung auf Systeme
Lokale und verteilte LLM-Inferenz mit MLX und RDMA auf dem Mac Studio
Apple Silicon ermöglicht durch das Framework MLX die lokale Ausführung und Erforschung aktueller Sprachmodelle auf dem Mac Studio. Um den steigenden Ressourcenbedarf großer Modelle zu bewältigen, lassen sich mehrere Geräte über RDMA zu einem verteilten Cluster zusammenschließen. Diese Architektur skaliert die Inferenz-Leistung effizient und bietet Entwicklern eine datenschutzfreundliche Alternative zu Cloud-basierten Lösungen. Durch die Kombination von einheitlichem Speicher und schnellen Netzwerkschnittstellen wir
Heterogenität in der KI: Wege von der Inferenz zu komplexen Systemen (Dissertation)
Diese Dissertation untersucht die Heterogenität in der künstlichen Intelligenz und analysiert die technologischen Pfade von der reinen Inferenz hin zu komplexen Compound-Systemen. Im Fokus stehen architektonische Ansätze und Methoden zur Bewältigung unterschiedlicher Rechenlasten und Modellstrukturen. Die Arbeit beleuchtet, wie verschiedene KI-Komponenten effizient in integrierten Systemen zusammengeführt werden können, um die Leistungsfähigkeit und Skalierbarkeit zu erhöhen. Damit liefert sie wertvolle Einblicke i
Was passiert im KI-Chip, wenn man eine Frage stellt?
Bei der Verarbeitung einer Anfrage durch ein KI-Modell laufen komplexe Hardware-Prozesse im Halbleiter ab. Insbesondere spezialisierte Prozessoren wie GPUs und TPUs müssen enorme Datenmengen parallel bewegen und Matrixmultiplikationen in Echtzeit ausführen. Dabei greifen Speicherbandbreite, Rechenkerne und Cache-Architekturen nahtlos ineinander, um die Latenz bei der Inferenz gering zu halten. Die genaue Analyse dieser internen Abläufe hilft Ingenieuren dabei, die Energieeffizienz und Rechenleistung zukünftiger KI-
Der Entwickler des KI-Fahrlehrers gibt monatlich 1.000 Dollar aus, um die Demo am Laufen zu halten
Der Betrieb der interaktiven Demo Teach My Little Sister How to Drive verursacht monatliche Betriebskosten von rund 1.000 US-Dollar. Die Anwendung fungiert als virtueller Fahrlehrer und basiert im Kern auf einem ressourcenintensiven KI-Chatbot. Dieser Fall unterstreicht die anhaltenden Herausforderungen bei den laufenden Infrastruktur- und Inferenzkosten für Entwickler kleinerer KI-Projekte. Insbesondere bei frei zugänglichen Demonstrationen können API-Aufrufe moderner Sprachmodelle schnell erhebliche finanzielle B
Demo eines KI-Rennspiels zwingt Entwickler dazu, einen Bankkredit aufzunehmen, um das Projekt am Laufen zu halten
Ein experimentelles, vollständig durch Künstliche Intelligenz generiertes Fahrspiel verursacht extreme Betriebskosten. Die enormen Rechenressourcen, die für die Echtzeit-Inferenz und das Rendern der virtuellen Welt mittels KI erforderlich sind, übersteigen das Budget des Entwicklers deutlich. Um den Serverbetrieb aufrechtzuerhalten, musste dieser nun einen Bankkredit aufnehmen. Der Vorfall verdeutlicht die drastischen finanziellen Hürden und Infrastrukturkosten beim Betrieb generativer Echtzeit-Modelle.
Lokale LLM-Inferenz in großem Maßstab mit vLLM
Der Betrieb großer Sprachmodelle stellt Unternehmen und Infrastrukturbetreiber oft vor erhebliche Herausforderungen hinsichtlich Leistung und Ressourceneffizienz. Das Framework vLLM bietet hierfür fortschrittliche Ansätze, um die Inferenzgeschwindigkeiten zu maximieren und den Speicherbedarf drastisch zu senken. Durch innovative Techniken wie PagedAttention wird die Verwaltung des Arbeitsspeichers bei der Token-Generierung optimiert, wodurch deutlich höhere Durchsätze erreicht werden. Dies ermöglicht einen wirtscha
Lokale LLM-Inferenz in großem Maßstab mit vLLM
Die Bereitstellung großer Sprachmodelle verlagert sich zunehmend von rein externen API-Diensten hin zu selbst gehosteter Infrastruktur. Während bisherige Ansätze Sprachmodelle häufig als entfernte HTTP-Dienste nutzten und die Rechenlast an Dritte auslagerten, ermöglicht der Einsatz von vLLM eine skalierbare lokale Inferenz. Das Framework optimiert die Speicherauslastung durch fortschrittliche Paging-Mechanismen und steigert den Token-Durchsatz auf eigener Hardware signifikant. Dies bietet Entwicklern und IT-Archite
Wie viele KI-Agenten koennen auf den bis 2027 ausgelieferten KI-Chips laufen?
Aktuellen Schaetzungen zufolge koennten die bis zum Jahr 2027 ausgelieferten Speicherkapazitäten und KI-Chips ausreichen, um zwischen 33 und 171 Millionen gleichzeitige Agenten von Frontier-Modellen zu betreiben. Bei der Nutzung effizienterer Open-Source-Modelle steigt dieses Potenzial sogar in den Milliardenbereich. Die zugrundeliegenden Analysen basieren auf den prognostizierten HBM-Liefermengen, aktuellen Leistungstests sowie den geschätzten Kosten pro Agentenstunde im Inferenzbetrieb.
Cleer Dashboard – Der Energieverbrauch von KI-Inferenz im Fokus
Ein neues Analysedashboard bewertet den ökologischen Fußabdruck geschlossener KI-Modelle durch die Schätzung des energieintensiven Inferenzbetriebs auf Token-Ebene. Das Verfahren kombiniert empirische Messungen an Open-Source-Modellen mit Leistungsprofilen, um den Ressourcenbedarf proprietärer Systeme präzise zu ermitteln. Dabei fließen neben dem direkten Stromverbrauch von Beschleunigern und Host-Servern auch Infrastrukturfaktoren wie Kühlung, Leerlaufzeiten und Graue Energie in die Berechnungen ein. Anhand standa
Ario: Dezentrale KI-Inferenz und Systemische Transparenzarchitektur
Das Ario-Projekt stellt eine neuartige Infrastruktur vor, die auf die dezentrale Ausführung von Modellen der künstlichen Intelligenz ausgerichtet ist. Im Fokus steht dabei die Schaffung einer transparenten und verteilten Architektur für Inferenzprozesse, um datenschutzrechtliche und souveräne Anforderungen bei der Nutzung von KI-Systemen zu adressieren. Durch den Open-Source-Ansatz auf GitHub wird Entwicklern ein Framework zur Verfügung gestellt, um resiliente und nachvollziehbare KI-Workflows in verteilten Netzwer
Lokale Large Language Models auf allen Apple-Geräten
Es wurde eine simulationsbasierte Plattform vorgestellt, die eine detaillierte Übersicht über die Ausführbarkeit verschiedener Large Language Models auf unterschiedlichen Apple-Hardware-Architekturen bietet. Die Webanwendung generiert maschinenlesbare Datenstrukturen für KI-Modelle und funktioniert vollständig offline als Progressive Web App ohne jegliches Tracking oder kommerzielle Monetarisierung. Das System ermöglicht eine präzise Evaluierung lokaler Inferenz-Kapazitäten im Apple-Ökosystem.
Frage an die Community: Wo existieren für Solo-Entwickler noch Wettbewerbsvorteile bei der LLM-Inferenz?
In der aktuellen Entwicklerdiskussion wird der Frage nachgegangen, ob und in welchen Nischen Einzelpersonen oder kleine Teams noch spezialisierte Wettbewerbsvorteile im Bereich der Sprachmodell-Inferenz realisieren können. Angesichts der rasanten technologischen Standardisierung und der Dominanz großer Cloud-Infrastrukturen stehen vor allem Optimierungsansätze, Latenzminimierung und domänenspezifische Hardware-Adaption im Fokus. Es wird analysiert, welche architektonischen Ansätze und Effizienzsteigerungen notwendi
Eine funktionale Taxonomie für LLM-Inferenz bei agentenbasierten Aufgaben
Ein neues strukturelles Framework kategorisiert die Inferenzprozesse von großen Sprachmodellen bei agentenbasierten Aufgaben in die vier Phasen Initialisierung, Schlussfolgerung, Orchestration und Synthese. Zudem führt das Konzept den Begriff der Reasoning Yield ein, um den tatsächlichen Inferenzaufwand zur Auflösung von Unsicherheiten im Vergleich zu mechanischen Ausführungsschritten messbar zu machen. Dies ermöglicht eine präzisere Analyse und Optimierung von KI-Agentenarchitekturen.
Leistungsoptimierung für Künstliche Intelligenz
Eine neu zusammengestellte Sammlung von Lernressourcen widmet sich der Leistungsoptimierung von KI-Systemen. Die Fachmaterialien decken das gesamte Spektrum ab, das von den architektonischen Grundlagen von Grafikprozessoren bis hin zur effizienten Bereitstellung von Modellen in der Produktion reicht. Entwickler erhalten damit strukturierte Hilfestellungen zur Skalierung und Geschwindigkeitssteigerung von KI-Workloads.
Wie man einen KI-Agenten und einen Mac Mini fast überlastet
Ein Praxisbericht über lokale Sprachmodell-Experimente beleuchtet technische Herausforderungen beim Betrieb von KI-Agenten auf Consumer-Hardware. Die Untersuchung zeigt auf, wie hohe Rechenlasten zu thermischen Problemen führen können und welche Lehren sich aus Fehlkonfigurationen für zukünftige Deployments ableiten lassen. Solche empirischen Fehltritte bieten oft wertvollere Einblicke für die Systemstabilität als reibungslose Standardimplementierungen.
Strata: Ausführung eines KI-Modells mit 125 Milliarden Parametern auf einem normalen Gaming-PC
Mit Strata steht eine spezialisierte Inferenz-Engine zur Verfügung, die das Ausführen von Sprachmodellen mit bis zu 125 Milliarden Parametern auf handelsüblicher Consumer-Hardware ermöglicht. Die Software lässt sich unter Windows sowie Linux mit wenigen Klicks einrichten und stellt lokale API-Schnittstellen nach branchenüblichen Standards bereit. Zusätzlich wird eine optionale Bildverarbeitung unterstützt, um multimodale Anwendungen direkt auf dem lokalen System zu realisieren.
GPT-6.1 Sol löst GPT-6 Sol nach nur sieben Tagen ab und erreicht annähernd Astra-Intelligenz
Nach einer extrem kurzen Marktphase von nur einer Woche wurde die Modellvariante GPT-6 Sol durch das aktualisierte Release GPT-6.1 Sol abgelöst. Das neue System erzielt im internen Intelligenzindex nahezu das Niveau der leistungsstärkeren Astra-Architektur, benötigt dafür jedoch weniger als ein Viertel der bisherigen Ausführungskosten pro Aufgabe. Diese Entwicklung unterstreicht die rachsüchtige Innovationsgeschwindigkeit und den anhaltenden Trend zur drastischen Effizienzsteigerung bei komplexen Sprachmodellen.
Quail: Beschleunigung von KI-SQL durch gemeinsame Optimierung von Abfrageplaner und Inferenz-Engine
Zur Maximierung der Leistung bei KI-gestützten SQL-Abfragen wurde ein neuer Ansatz zur gemeinsamen Optimierung von Abfrageplanern und Inferenz-Engines entwickelt. Durch den Einsatz sogenannter KV-optimaler Left-Deep-Joins lassen sich die Effizienz und die Verarbeitungsgeschwindigkeit bei komplexen Datenabfragen deutlich steigern. Diese Methode adressiert direkt die inhärenten Leistungsengpässe an der Schnittstelle von relationalen Datenbanksystemen und maschinellem Lernen. Damit wird eine präzisere und ressourcensc
Steuerung von Sprachmodell-Anfragen über Inferenzanbieter hinweg durch TCP-ähnliche Überlastungsregelung
Ein neu entwickelter, adaptiver Router automatisiert die Verteilung von Anfragen für offene Sprachmodelle auf verschiedene Inferenzanbieter. Das System identifiziert kontinuierlich den kostengünstigsten, performantesten sowie stabilsten Dienstleister und verlagert den Datenverkehr bei Bedarf in Echtzeit. Dadurch entfällt der manuelle Eingriff durch Ingenieure bei Preis- und Leistungsschwankungen im Markt.
Hosting und Optimierung der Token-Geschwindigkeit von Sprachmodellen
Die Bereitstellung großer Sprachmodelle erfordert eine sorgfältige Architekturplanung, um hohe Durchsatzraten und geringe Latenzen bei der Inferenz zu gewährleisten. Zur Optimierung der Generierungsgeschwindigkeit und der Token-Verarbeitung kommen verschiedene Hardware-Beschleuniger, Quantisierungsverfahren und Caching-Strategien zum Einsatz. Eine effiziente Speicherverwaltung und angepasste Inferenz-Engines tragen maßgeblich dazu bei, die Systemleistung in Produktionsumgebungen zu maximieren.
Entscheidungsmodelle auf vLLM und Red Hat AI mit DiffusionGemma ausführen
Für stark regulierte Branchen wurde eine Lösung zur Implementierung strukturierter Entscheidungsprozesse mittels DiffusionGemma auf Red Hat AI vorgestellt. Ziel dieser Architektur ist es, eine latenzarme und vollständig selbst gehostete künstliche Intelligenz bereitzustellen. Durch die Kombination von vLLM und Red Hat AI lassen sich performante Inferenz-Pipelines realisieren, die den strengen Compliance-Anforderungen in regulierten Sektoren gerecht werden.
Schriften generieren, bei denen jedes LLM-Token die gleiche Breite besitzt
Es wurde ein neuartiger Ansatz zur Schriftgenerierung vorgestellt, bei dem die visuelle Breite jedes einzelnen Tokens in großen Sprachmodellen exakt gleich dimensioniert ist. Diese Monospace-Anpassung optimiert die visuelle Darstellung von Tokens im Kontext von LLM-Ausgaben, wodurch Code-Blöcke und strukturierte Textdaten präziser dargestellt werden können. Die Technik erleichtert die Analyse von Tokenisierungs- und Inferenzprozessen direkt auf der Benutzeroberfläche.
ServingStudio: Simulation, Analyse und Optimierung von LLM-Serving-Systemen
ServingStudio bietet einen umfassenden Ansatz zum Vergleichen verschiedener Serving-Konfigurationen auf Basis gemessener GPU-Laufzeiten. Ein integrierter Agent übernimmt die automatische Implementierung und Validierung vielversprechender Optimierungen in realen Serving-Frameworks. Damit lassen sich Effizienz und Durchsatz von Large Language Model Inferenz-Pipelines gezielt steigern. Das System unterstützt Entwickler bei der datengestützten Entscheidungsfindung und reduziert den manuellen Aufwand bei der Systemabsti
Bereitstellung von DiffusionGemma-Jev über eine typsichere und KI-kompatible API
Für die Ausführung und Bereitstellung des Diffusionsmodells DiffusionGemma-Jev wird eine typsichere und KI-kompatible Programmierschnittstelle implementiert. Diese Architektur gewährleistet eine robuste Datenvalidierung und nahtlose Integration in bestehende Machine-Learning-Pipelines. Entwickler erhalten somit standardisierte Zugriffsmöglichkeiten auf die Modellfunktionen, was die operationelle Effizienz bei der Inferenz steigert.
PicoLM v1.0-rc2: Ausfuehrung von Sprachmodellen auf Unix-Systemen und historischer Hardware
Die Inferenz-Engine PicoLM wurde in C99 entwickelt und ermoeglicht die Ausfuehrung gelaeufiger Sprachmodelle wie Llama-2, GPT-2, Qwen und Gemma auf einer aussergewoehnlich breiten Palette von Plattformen, die von historischen Systemen wie DOS und Tru64 bis hin zu modernen Architekturen reichen. Die Software legt einen starken Fokus auf CPU-SIMD-Optimierungen, plattformuebergreifende Portabilitaet und zusaetzliche Beschleunigungen mittels CUDA, HIP sowie experimenteller Vulkan- und IMMA-Kernel. Waehrend die Textgene
Trainierte KV-Cache-Bank macht jedes LLM zu einem Jev-ähnlichen Modell
Durch den Einsatz einer trainierten KV-Cache-Bank lässt sich die Architektur bestehender Large Language Models so erweitern, dass sie ein Jev-ähnliches Verhalten zeigen. Dieser Ansatz optimiert die Effizienz und Leistungsfähigkeit bei der Verarbeitung von Kontextdaten im Arbeitsspeicher erheblich. Die Methode bietet einen flexiblen Mechanismus zur Anpassung von Transformationsmodellen ohne aufwendiges Neutraining der gesamten Basisstruktur. Damit wird die Inferenzgeschwindigkeit verbessert und der Ressourcenbedarf
Abwägungen beim lokalen Betrieb von Sprachmodellen
Der lokale Betrieb von großen Sprachmodellen erfordert eine sorgfältige Abwägung verschiedener technischer Parameter wie Hardware-Ressourcen, Latenz und Inferenzgeschwindigkeit. Praktische Langzeiterfahrungen mit autonomen Agenten auf Basis lokaler Modelle verdeutlichen sowohl die Vorteile hinsichtlich Datenschutz und Unabhängigkeit als auch die Einschränkungen bei Rechenleistung und Energieverbrauch. Diese Erkenntnisse bieten wertvolle Orientierungspunkte für die Architekturoptimierung und die praxisnahe Bereitste
Wann eingreifen: Kausale Evaluierung von KI-Agenten
Bisherige statische Benchmarks greifen zu kurz, wenn es darum geht, den optimalen Zeitpunkt für menschliche oder modellbasierte Eingriffe in autonome Agentenprozesse zu bestimmen. Ein neu entwickeltes, methodisch fundiertes Framework nutzt randomisierte Interventionen und kausale Inferenz, um die dynamischen Effekte von Steuerungsmassnahmen innerhalb von Agenten-Trajektorien präzise zu bewerten. Durch die Schätzung dieser kausalen Effekte lassen sich Risiken verschiedener Handlungen quantifizieren und Sicherheits-R
GSQ: Hochpräzise Skalarquantisierung mit niedriger Präzision für LLMs durch Gumbel-Softmax-Sampling
Forscher haben GSQ vorgestellt, eine neue Methode zur Post-Training-Skalarquantisierung für große Sprachmodelle. Durch den Einsatz einer Gumbel-Softmax-Relaxation zur Optimierung von Rasterzuweisungen und Skalen schließt der Ansatz die Leistungslücke zwischen einfachen Skalarverfahren und komplexen Vektorquantisierungen bei niedrigen Bitraten wie 2 bis 3 Bits pro Parameter. GSQ bleibt mit bestehenden Skalar-Inferenz-Kernels kompatibel, verbessert bestehende GGUF-Formate und lässt sich auf Billionen-Parameter-Modell
LoBoost: Modellnative lokale konforme Prädiktion für Gradient-Boosted Trees
Gradient-Boosted Decision Trees gehören zu den leistungsfähigsten Modellen für tabuläre Regression, liefern standardmässig jedoch keine Quantifizierung von Unsicherheiten. Um diesen Mangel zu beheben, wurde LoBoost entwickelt, eine modellnative lokale konforme Methode, welche die bereits trainierte Blattstruktur von Ensemble-Modellen nutzt, um eine mehrskalige Partition des Merkmalsraumes zu definieren. Durch die Auswertung besuchter Blattpfade lassen sich Residuenquantile lokal schätzen, ohne dass zusätzliche Hilf
Kaltstart-Personalisierung durch bayessche adaptive Befragung
Zur Lösung des Kaltstart-Problems bei großen Sprachmodellen wurde ein Verfahren namens CAPE entwickelt, das Präferenzstrukturen über Nutzergruppen hinweg analysiert. Mittels eines offline trainierten Weltmodells und einer trainingsfreien bayesschen Inferenz ermittelt das System effizient relevante Nutzerpräferenzen durch gezielte Fragen. Der Ansatz übertrifft bisherige Reinforcement-Learning-Methoden deutlich hinsichtlich Genauigkeit und Interaktionseffizienz über verschiedene Anwendungsbereiche hinweg.
Ein Rechenmodell zur Ko-Adaption von Lehrenden und Lernenden
Effektives Lehren basiert auf gegenseitiger Anpassung, wird in Rechenmodellen jedoch oft als einseitiger Prozess betrachtet. Diese Arbeit stellt ein Bayes-basiertes Berechnungsframework vor, um die Ko-Adaption zwischen Lehrenden und Lernenden bei partieller Beobachtbarkeit in einer Konzeptlernaufgabe zu untersuchen. Anhand von Simulationen mit heterogenen Lerngruppen und verschiedenen Interaktionsmodi zeigt sich, dass vollständige Ko-Adaption mit zunehmender Erfahrung der Lehrenden die durchschnittlichen Interaktio
Ein hybrides Framework für erklärbare Luftfahrt-Risiken: Kausale Ketten aus Sicherheitsberichten
Ein neues hybrides Framework kombiniert große Sprachmodelle mit physikbasierten Modellen, um aus zehntausenden Unfalldokumenten automatisierte Kausalketten zu extrahieren. Mittels lokaler Sprachmodelle wird ein Kausalitäts-Wissensgraph erstellt, der einen Großteil der von Experten markierten Unfallursachen präzise rekonstruiert. Physikalische Berechnungen quantifizieren zusätzlich die Wahrscheinlichkeit spezifischer Ausfallmodi wie Vergaservereisung unter konkreten Wetterbedingungen. Die Methodik verbessert die Erk
LeapQuant: Effiziente lineare Attention durch präzise rekurrente Zustandsquantisierung
Hybride Sprachmodelle mit linearer Attention bieten zwar effiziente Langkontext-Verarbeitung, leiden jedoch unter Inzidenzen bei der wiederholten Aktualisierung ihrer rekurrenten Zustände. LeapQuant ist eine neue, trainingsfreie Methode zur verlustfreien 8-Bit-Quantisierung dieser Zustände, die durch fensterbasierte Quantisierung und die Pufferung von Ausreißern als Kompensations-Token Rundungsfehler minimiert. Umfassende Tests mit Modellen wie Qwen, Kimi und GLM belegen signifikante Geschwindigkeitssteigerungen un
Akzeptanzbewusstes Training von Entwurfsmodellen für spekulative Dekodierung
Die spekulative Dekodierung beschleunisiert die Inferenz großer Sprachmodelle durch den Einsatz kleinerer Entwurfsmodelle, deren Ausgaben von einem Zielmodell verifiziert werden. Bisherige Trainingsmethoden optimieren meist Proxy-Metriken wie die Kreuzentropie oder die Kullback-Leibler-Divergenz, anstatt die tatsächliche Akzeptanzlänge direkt zu maximieren. Zur Behebung dieses Defizits wurden neue, akzentuierte Trainingsverluste entwickelt, darunter die erwartete Akzeptanzlänge für gierige Verifikation und ein fens
Schätzung der Total-Variation-Distanz in autoregressiven Modellen
Verschiedene Inferenz-Optimierungen und Implementierungen großer Sprachmodelle führen dazu, dass formal identische Modelle in der Praxis merklich abweichende Ausgabeverteilungen erzeugen. Zur präzisen Vermessung dieser Unterschiede wurde ein effizienter Ansatz zur Schätzung der Total-Variation-Distanz zwischen autoregressiven Verteilungen entwickelt. Die Untersuchung analysiert verschiedene Zugriffsmodelle wie Stichproben- und Logit-Zugriff und belegt die Praxistauglichkeit anhand von Vergleichen zwischen Framework
Die Sterngeometrie des kritikbasierten Regularisierer-Lernens
Variatorische Regularisierung mittels datengetriebener Ansätze zeigt in der statistischen Inferenz beeindruckende Leistungen, doch die theoretischen Strukturen der dabei gelerntem Regularisierer sind bisher kaum verstanden. Um diese Lücke zu schließen, untersucht eine aktuelle Arbeit die Optimierung kritikbasierter Verlustfunktionen über eine spezifische Familie von Regularisierern, nämlich Minkowski-Funktionale sternförmiger Körper. Unter Verwendung von Werkzeugen der Sterngeometrie und der dualen Brunn-Minkowski-
Bayes-Inferenz bei inversen Problemen und Epidemie-Schwellenwertunsicherheit in heterogenen SIS-Modellen
Forscher untersuchen die Bayes-Inferenz der Persistenz anhand früher Beobachtungen eines heterogenen SIS-Reaktions-Diffusions-Modells mit Standardinzidenz. Die Analyse zeigt, dass die Dynamik der Prävalenz von den unbekannten Koeffizienten primär durch die Differenz aus Transmissions- und Wiederherstellungsraten sowie der Diffusivität abhängt. Diese Parameter bestimmen auch den Haupteigenwert, dessen Vorzeichen das Aussterben oder Überleben der Epidemie steuert. Die Arbeit beweist die globale Existenz und Eindeutig
Sable: Ein effizientes Sumcheck-Argument für die bitgenaue Inferenz großer Sprachmodelle
Mit Sable wurde ein kryptografisches Argumentsystem vorgestellt, das die bitgenaue und nachvollziehbare Inferenz quantisierter Transformer-Modelle auf einer einzelnen GPU ermöglicht. Durch den Einsatz ganzzahliger Funktionen ohne Gleitkommaoperationen und optimierter Sumcheck-Protokolle lassen sich auch komplexe Modelle wie Qwen effizient verifizieren. Das System erzielt hohe Beweisgeschwindigkeiten bei geringen Kosten und übertrifft bisherige Ansätze in der Leistung pro Parameter deutlich. Damit steht ein performa
Zuverlässige Vision-Language-Model-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Modelle werden zunehmend als automatisierte Juroren für multimodale und verkörperte Aufgaben eingesetzt, wobei herkömmliche Genauigkeitsmetriken oft versagen. Zur Lösung dieses Problems wird das Prinzip der zustandsbedingten Invarianz vorgeschlagen, das Stabilität gegenüber semantisch neutralen Darstellungsänderungen bei gleichzeitiger Kausalsensitivität fordert. Das zugehörige Benchmark-System GridWM-Judge untersucht visuelle Fundierung, Aktionsübergänge und kontrafaktische Diskriminierung anhand d
Differenziell private statistische Inferenz für Rankings aus paarweisen Vergleichen
Zur Auswertung von Nutzerpräferenzen und dem zuverlässigen Ranking großer Sprachmodelle unter Wahrung des Datenschutzes wurde ein neuer Ansatz auf Basis des Bradley-Terry-Modells und differentielle Privatsphäre entwickelt. Die Methodik liefert endliche Stichproben-Fehlerschranken für Schätzer sowie asymptotisch gültige Konfidenzintervalle für Einzelscores und paarweise Unterschiede. Durch eine Kombination aus Regularisierungskorrektur und einer Kalibrierung mittels Laplace- und Gaussschen Rauschen wird die Leistung
ForeSpark: Gemeinsame Budgetplanung für Entwurf und Verifikation im parallelen spekulativen Dekodieren
Parallele Entwurfsmodelle beschleunigen die Sprachmodell-Inskription, belasten jedoch bei hoher Auslastung das System durch verworfene Token. Um dieses Problem zu lösen, wurde ein System zur gemeinsamen Budgetallokation entwickelt, das Entwurfs- und Verifikationslängen pro Anfrage dynamisch anpasst. Ein kontextsensitiver Schätzer prognostiziert dabei die Akzeptanz von Kandidatenlängen, während ein leichtgewichtiger Planer die Ressourcen global verteilt. Die Implementierung im Framework vLLM zeigt eine signifikante
Anhaltende Leistungsabfälle beim agentenbasierten LLM-Serving mit Präfix-Caching
Aktuelle Untersuchungen zeigen, dass LLM-Agenten-Workloads mit wachsenden Kontexten zu metastabilen Zuständen beim Prefetch- und Präfix-Caching führen können. Kurzzeitige Lastspitzen versetzen Inferenz-Server wie vLLM und SGLang in einen dauerhaft degradierten Modus mit stark sinkenden Cache-Hit-Raten und massiven Backlogs. Ursache ist die Überlastung des KV-Cache-Pools durch unkontrolliertes Sitzungswachstum, wodurch konventionelles Drosseln oft wirkungslos bleibt. Ein neu entwickelter Budgetierungsansatz, der den
Decode Token Parallelism: Speichereffiziente verteilte Attention-Parallelisierung für skalierbares LLM-Decoding
Für das effiziente Serving großer Sprachmodelle bei hoher Konkurrenz und langen Kontexten wurde eine neue Architektur zur Verteilung von Rechenlasten entwickelt. Das Verfahren entkoppelt die Gewichtsplatzierung von der Attention-Zuweisung, wodurch Gewichtskopien überflüssig werden und Attention-Berechnungen lokal auf dem jeweiligen Node erfolgen. Lediglich Aktivationen des aktuellen Tokens werden netzwerkübergreifend übertragen, während dichte All-Reduce-Operationen innerhalb des NVLink-Bereichs verbleiben. Impleme
MediPFN: Amortisiertes In-Context Nuisance Learning und Inferenz für kausale Meditationsanalysen
Für kausale Meditationsanalysen wurde MediPFN als amortisiertes Inferenzframework vorgestellt, das vortrainierte tabellarische Foundation Models für die Nuisance-Prädiktion anpasst. Durch die Kombination von Kreuzvalidierung, Einflussfunktionseffizienz und simulierten Tabellen zur Quantilslernen-Fehlerbestimmung ermöglicht das System die effiziente Konstruktion von Konfidenzintervallen. Im Vergleich zu traditionellen Methoden wie dem Bootstrap reduziert der Ansatz den Rechenaufwand erheblich und erzielt eine präzis
Einseitige, expertenparallele All-to-All-Kommunikation für Mixture-of-Experts-Inferenz über NVLink
Für die effiziente Inferenz von Mixture-of-Modellen über NVLink wurde ein neues, einseitiges Kommunikationsverfahren entwickelt, das die Latenzengpässe bei kleinen Batch-Größen adressiert. Durch den direkten Datentransfer in Zielpuffer ohne vorherigen Metadatenaustausch entfallen klassische Synchronisationskosten. Das Verfahren übertrifft bestehende Frameworks wie DeepEP auf Blackwell-GPUs deutlich und beschleunigt die entsprechenden MoE-Schichten erheblich. Die Integration erfolgt über eine modulare Schnittstelle,
Multi-Future Drafting: Mixture-Block-Drafter für baumverifiziertes spekulatives Dekodieren
Spekulatives Dekodieren nutzt sogenannte Draft-Trees, um mehrere Token-Folgen parallel vorherzusagen und durch ein Zielmodell verifizieren zu lassen. Bisherige Produkt-basierte Ansätze führen jedoch zu fehlerhaften Mischformen oder sogenannten Chimeras, die die Effizienz mindern. Die neu entwickelte Methode des Multi-Future Drafting (MFD) ersetzt die bisherige Kettenregel durch gelernte Modus-Einbettungen, um kohärente Zukunftsblöcke in einem einzigen Vorwärtsdurchlauf zu erzeugen. Evaluierungen mit Qwen-Modellen v
DnNP: Entrauschung von Eingabeunsicherheiten in neuronalen Prozessen
Neuronale Prozesse bieten flexible Meta-Lernansätze zur Quantifizierung von Unsicherheiten, setzen bislang jedoch rauschfreie Eingaben voraus, was in realen Szenarien zu Qualitätseinbußen führt. Als Lösung wurden Denoising Neural Processes vorgestellt, die mittels variationaler Inferenz Korrekturen für verrauschte Eingabedaten direkt in das Meta-Lernen integrieren. Die Methode modelliert Unsicherheiten explizit und zeigt bei realen Anwendungen wie der Feinstaubinterpolation deutliche Verbesserungen der Vorhersagege
Kausale Koncepterklärungen für tiefe neuronale Modelle
Bisherige konzeptbasierte Erklärungen in neuronalen Netzen basieren meist auf reinen Korrelationen, was zu irreführenden Interpretationen führen kann. Zur Behebung dieses Defizits wurde das Causal Concept Wrapper Network (CCW-Net) entwickelt, welches interventionelle Mediationsanalyse als Trainingsziel nutzt. Dadurch werden kausale Effekte von Konzepten mit den Modellausgaben abgeglichen, um Notwendigkeit, Hinlänglichkeit und Unabhängigkeit sicherzustellen. Die Methode ermöglicht eine präzise Quantifizierung kausal
REAL-Verlustfunktion: Optimierung der erwarteten Akzeptanzlänge für spekulatives Dekodieren
Spekulatives Dekodieren beschleunigt die Inferenz großer Sprachmodelle, indem ein kleineres Entwurfsmodell Tokens vorschlägt, die ein Zielmodell parallel verifiziert. Bisherige Trainingsziele optimieren jedoch meist nur die Verteilungsähnlichkeit oder nutzen ungenaue Approximationen für die erwartete Akzeptanzlänge. Die neu entwickelte Verlustfunktion REAL schließt diese Lücke durch eine exakte Formulierung mittels Pfadgewichtung und Varianzreduktion. In Vergleichen übertrifft dieser Ansatz bestehende Methoden bei
SinkState: SVD zur Laufzeit für rekurrente Zustände in effizienten Hybrid-LLM-Serving-Systemen
Hybride Sprachmodelle, die Softmax- und lineare Attention kombinieren, leiden häufig unter redundantem Speicherbedarf in den rekurrenten Zuständen. Eine Untersuchung zeigt, dass die entsprechenden Tensoren einen stabilen, niedrigdimensionalen Unterraum bilden, der als linear attention sink bezeichnet wird. Das neu entwickelte System SinkState nutzt diese Eigenschaft für eine adaptive, niedrigrangige Speicherung mittels lokaler Singulärwertzerlegung und gepufferter Aktualisierungen. Dadurch wird der Spitzenbedarf de
Verallgemeinerung kausaler Entscheidungsfindung: Markow-Äquivalenz, Transportierbarkeit und Kontrafaktuale
Strukturelle kausale Banditen werden um partiell bekannte kausale Strukturen, umweltherausgreifende Informationen und realisierbare kontrafaktuale Aktionen erweitert. Neue grafische Kriterien und Suchalgorithmen bestimmen minimale Interventionsszenarien unter Markow-Äquivalenz. Zudem lassen sich Zielbelohnungsgrenzen durch partielle Transportierbarkeit ableiten und kontrafaktuale Ansätze zur Reduzierung des Suchraums formulieren. Experimente mit strukturellen kausalen Modellen demonstrieren die Auswirkungen dieser
Mechanistische Interpretierbarkeit tiefenneuraler Netze: Methoden, Frameworks und Perspektiven
Tiefenneurale Netze bilden die Grundlage für zahlreiche Anwendungen in der Bild-, Audio- und Sprachverarbeitung, während ihre internen Mechanismen oft schwer nachvollziehbar bleiben. Die mechanistische Interpretierbarkeit zielt darauf ab, jene internen Komponenten und Aktivierungen zu identifizieren, die kausal für spezifisches Netzwerkverhalten verantwortlich sind. Ein aktueller Übersichtsartikel beleuchtet die jüngsten Fortschritte in diesem Forschungsbereich zur Analyse kausaler Zusammenhänge. Dabei werden zentr
Deterministische und reproduzierbare Inferenz in exakter Integer-Arithmetik
Floating-Point-Inferenz ist oft plattformabhängig und nicht bit-genau reproduzierbar. Das Open-Source-Runtime tritify führt den Forward-Pass von komplexen Modellen wie Decoder-Sprachmodellen und Bildverarbeitungsstacks vollständig in exakter Integer-Arithmetik aus. Dadurch wird eine bit-identische Ausgabe über verschiedene Hardware-Architekturen wie CPUs und GPUs hinweg gewährleistet. Zudem ermöglicht dieser Ansatz eine dezentrale und verifizierbare Inferenz, bei der Berechnungen auf mehrere Maschinen aufgeteilt we
Tiefere Berechnung ohne Vergrößerung des KV-Cache: Rekurrente Tiefe für kausale Encoder-Decoder
Geschleifte Sprachmodelle vertiefen die Berechnung ohne zusätzliche Parameter, stoßen jedoch bei der Zwischenspeicherung von Key-Value-Zuständen an Leistungsgrenzen. Durch die Entwicklung eines geschleiften kausalen Encoder-Decoders lässt sich eine rekurrente Tiefe ohne jegliches Runden-basiertes KV-Wachstum erreichen. Die Rekurrenz wird dabei im Encoder platziert, um globale KV-Repräsentationen iterativ zu verfeinern, wodurch Sprachmodellierungsgewinne erzielt und die Langkontext-Skalierung bewahrt wird. Ein stoch
Vorhersagegestütztes LLM-Ranking mit adaptiv gesammeltem menschlichen Feedback
Das Framework Prediction-Powered Ranking kombiniert die Bewertungen von Large Language Models mit menschlichem Feedback, um die Präzision bei der Modellevaluierung zu steigern. Durch datengetriebene Gewichtungen minimiert der Ansatz die asymptotische Varianz und ermöglicht valide statistische Inzidenzen trotz adaptiver Stichprobenziehung. Experimente zeigen, dass sich die Evaluierungskosten signifikant senken lassen, während gleichzeitig die Güte der Schätzungen und Konfidenzintervalle im Vergleich zu rein menschli
Eine Temperatur für alle Fälle? Untersuchung von Sampling-Strategien bei großen Sprachmodellen
Die Sampling-Temperatur ist ein zentraler Parameter zur Steuerung von Zuverlässigkeit und Diversität bei der Inferenz großer Sprachmodelle. Obwohl der Einsatz variabler Temperaturen über verschiedene Samples hinweg theoretische Vorteile bietet, bleibt die Nutzung einer einzigen, optimierten Temperatur in der Praxis der Standard. Eine aktuelle Untersuchung analysiert das Erfolgsverhalten über verschiedene Modelle und Datensätze hinweg, um die Bedingungen für den Nutzen von Temperaturdiversität zu klären. Die Ergebni
ADIndex: Layer-Adaptive Sparse Attention Indexing durch gruppenbasierte Destillation
Zur Optimierung der Langkontext-Inferenz von sparsamen Aufmerksamkeitsmechanismen wurde ADIndex entwickelt, ein adaptives und destillationsbasiertes Indizierungsverfahren. Das Verfahren adressiert die hohe Latenz des bisherigen Indexierungsprozesses, indem es eine schichtweise Kalibrierung, eine gruppenbasierte Wissensdestillation sowie eine tokenbasierte Bank-Gemeinschaftnutzung kombiniert. Experimente mit Modellen wie DeepSeek-V3.2 und GLM-5.1 belegen erhebliche Geschwindigkeitssteigerungen bei der Präfill- und D
Inferenz und Unsicherheitsquantifizierung für Streaming r-PCA
Forscher haben neue theoretische Durchbrüche bei der Hauptkomponentenanalyse für Datenströme mittels Oja-Algorithmus erzielt. Die Arbeit liefert scharfe Konvergenzraten für den Operator-Norm-Fehler bei beliebigem Rang sowie eine asymptotische Normalverteilungsapproximation für den Unterraum-Schätzer. Zudem wurde ein Online-Multiplikator-Bootstrap-Algorithmus zur praktischen Unsicherheitsquantifizierung entwickelt und dessen Konsistenz mathematisch nachgewiesen. Die methodischen Beiträge erstrecken sich auch auf die
Twig: Parallele und speichereffiziente Baum-spekulative Dekodierung für hybride Attention-LLMs
Für große Sprachmodelle, die vollständige Attention mit rekurrenten linearen Attention-Schichten kombinieren, wurde ein neues Kernel-Laufzeit-System namens Twig entwickelt. Es ermöglicht die baumbasierte spekulative Dekodierung dieser Hybridmodelle durch eine baumstrukturierte Faktorisierung der linearen Rekurrenz, wodurch alle Knoten parallel verifiziert werden können. Dies beschleunigt die Verifikation deutlich und reduziert den temporären Speicherbedarf drastisch, während gleichzeitig mehr GPU-Speicher für KV-Ca
Integration von Hintergrundwissen für skalierbare kausale Entdeckung
Ein neuer Framework integriert expertenbasiertes Hintergrundwissen direkt in den Prozess der kausalen Entdeckung, anstatt es lediglich für die nachträgliche Verfeinerung zu nutzen. Durch die Berücksichtigung von Graph-Einschränkungen während der Berechnung reduziert der Ansatz den Rechenaufwand signifikant und steigert gleichzeitig die Genauigkeit der gelernten Kausalstrukturen bei großen Variablensätzen.
Online-Konforme Vorhersage durch universelle Portfolio-Algorithmen
Für das Problem der online konformen Vorhersage wurde ein neuer, parameterfreier Ansatz namens UP-OCP entwickelt, der auf universellen Portfolio-Algorithmen basiert. Durch eine Reduktion auf ein Zwei-Asset-Portfolio-Auswahlproblem entfällt die bisher notwendige, manuelle Anpassung von Lernraten. Umfangreiche Experimente belegen, dass die Methode im Vergleich zu bisherigen Baseline-Verfahren konsistent bessere Kompromisse zwischen Vorhersageintervall und Abdeckung liefert.
Vereinheitlichte Dynamik von Training, Lernen, Inferenz und Verstärkung in neuronalen Netzen
Forscher haben durch umfangreiche Experimente mit nanoGPT und weiteren neuronalen Architekturen die fundamentalen Beziehungen zwischen Training, Lernen, Inferenz und Verstärkung analysiert. Dabei zeigt sich, dass ausgeführte Updates zustandsabhängige Reaktionen hervorrufen und Lernprozesse die funktionale Basis kontinuierlich reorganisieren. Auf Basis dieser Erkenntnisse wurde ein direkter Prädiktor zur Vorhersage von Fähigkeitsübergängen mit hoher Genauigkeit entwickelt sowie ein vereinheitlichtes System dynamisch
LeanStream: Ein Spekulieren-und-Verfeinern-Streaming-Framework für effiziente On-Device-LLM-Inferenz
Das neu entwickelte Framework LeanStream optimiert die Ausführung großer Sprachmodelle auf mobilen und eingebetteten Geräten, indem es den fundamentalen Zielkonflikt zwischen genauen spärlichen Ausführungsentscheidungen und effizienter Rechen-I/O-Überlappung löst. Durch die progressive Verfeinerung von Berechnungs-, Lade- und Cache-Prioritäten auf Basis partieller GPU-Ergebnisse ermöglicht das System eine granulare Überlappung von Grafikprozessor-Berechnungen und Speicher-I/O. Gegenüber bisherigen Ansätzen reduzier
Murmur: Effiziente Spracherkennung für lange Kontexte durch hierarchisches Chunking
Für die automatische Spracherkennung langer Audioaufnahmen stellt der Zielkonflikt zwischen hoher Genauigkeit und geringer Latenz eine zentrale Herausforderung dar. Um diesen zu lösen, wurde ein neues Inferenzsystem entwickelt, das auf hierarchischer Aufteilung basiert und paralleles Dekodieren mit spekulativer Verarbeitung kombiniert. Dabei verarbeitet das System Audioinhalte in optimierten Zwischenabschnitten, während ein sekundäres Modell Entwürfe erstellt, die vom Hauptmodell verifiziert werden. Dadurch reduzie
Vektor-Richtlinien-Optimierung: Training auf Diversität verbessert die Suche zur Testzeit
Sprachmodelle müssen sich zunehmend in neuartigen Umgebungen bewähren und in inferenzskalierten Suchverfahren eingesetzt werden, die vielfältige Aufgabenziele berücksichtigen. Das herkömmliche Post-Training optimiert meist einen skalareren Belohnungswert, was häufig zu einer geringen Entropie und unzureichender Diversität der Modellantworten führt. Als Lösungsansatz wurde Vector Policy Optimization vorgestellt, ein Reinforcement-Learning-Algorithmus, der gezielt darauf ausgelegt ist, vektorbasierte Belohnungsräume
KVBuffer: Ein IO-optimiertes Serving-Verfahren für lineare Attention
Lineare Attention bietet zwar konstante Dekodierungskosten bei langen Kontexten, leidet jedoch unter hohem Speicherzugriffsaufwand durch die Aktualisierung großer interner Zustände. Das neu entwickelte System KVBuffer optimiert diesen Prozess durch das gezielte Zwischenspeichern von Keys und Values, um Speicherzugriffe zu reduzieren und die Dekodierungseffizienz zu steigern. Durch blockweise Berechnungen, parallele Verifizierung bei spekulativer Dekodierung und direkte Attention-Berechnungen bei kurzen Kontexten we
Survival In-Context: Amortisierte Bayes'sche Überlebenszeitanalyse durch Prior-Fitted Networks
Für die Überlebenszeitanalyse in der Medizin und anderen kritischen Bereichen wurde ein neues auf In-Context-Learning basierendes Verfahren namens Survival In-Context (SIC) entwickelt. Das Modell nutzt einen flexiblen Ansatz zur Generierung synthetischer Überlebensdaten und wird ausschließlich mit diesen vortrainiert, um Bayes'sche Inferenz in einem einzigen Vorwärtsdurchlauf zu approximieren. Dadurch entfallen aufwendige task-spezifische Trainingsphasen oder Hyperparameter-Optimierungen vollständig. In Evaluierung
LAMP: Vorausschauende Mixed-Precision-Inferenz für große Sprachmodelle
Geringere Rechengenauigkeit ist ein zentraler Ansatz zur Effizienzsteigerung von transformatorbasierten Sprachmodellen. Ein neuer Algorithmus analysiert Rundungsfehler bei der Funktionskomposition und identifiziert gezielt Teilergebnisse, die mit höherer Präzision berechnet werden müssen, während der Rest mit reduzierter Genauigkeit läuft. Anhand von GPT-2-Modellen lässt sich zeigen, dass bereits sehr geringe Raten an präzisen Nachberechnungen die Genauigkeit um bis zu zwei Größenordnungen verbessern können. Dies e
Komplexität der Mittelwert- und Varianzschätzung in beliebigen Verteilungen mittels Wasserstein-Minimisierung
Die Parameterschätzung stellt eine fundamentale Herausforderung im Bereich des maschinellen Lernens dar, insbesondere für neuronale Netze und die Bayes-Inferenz. Diese Arbeit untersucht die Komplexität der Schätzung von Verschiebungs- und Skalierungsparametern für eine gegebene Verteilung anhand von Stichproben. Während sich das Problem für die Maximum-Likelihood-Schätzung als NP-schwer erweist, zeigt die Analyse, dass sich mittels Wasserstein-Distanz polynomiale Approximationen in effizienter Zeit berechnen lassen
StepBack: Fehlertolerantes Resampling für effizientes Reasoning zur Testzeit
Forscher haben StepBack vorgestellt, eine neue Methode zur fehlerlokalisierten Stichprobenziehung auf Einzelschrittbasis, um das Reasoning von Sprachmodellen zur Testzeit effizienter zu gestalten. Anstatt vollständige Gedankengänge komplett neu zu berechnen, identifiziert der Ansatz frühe Fehlerpositionen anhand leichter Signale und resampelt lediglich den fehlerhaften Schritt samt nachfolgendem Suffix. Evaluierungen über sieben mathematische Benchmarks und Multi-Hop-Frage-Antwort-Szenarien zeigen, dass die Methode
KI-native aufgabenorientierte semantische Kommunikation über ein Relais: Vorteile und Schwachstellen
Die Arbeit untersucht semantische Kommunikationssysteme mit Relaisknoten zur Übertragung aufgabenrelevanter Bildinformationen. Durch ein gemeinsames End-to-End-Design lassen sich die Klassifikationsgenauigkeit und die Rekonstruktionsqualität insbesondere bei geringem Signal-Rausch-Verhältnis deutlich steigern. Gleichzeitig decken die Autoren eine kritische Sicherheitslücke auf, bei der ein kompromittiertes Relais durch gezielte Störungen einen Byzantinischen Angriff ausführt und die Inferenzgenauigkeit massiv beein
Erweiterung von Schlussfolgerungen in typisierten Entscheidungsmodellen durch Schleifen
Typisierte Entscheidungsmodelle wählen Antworten traditionell in einem einzigen Durchlauf aus und besitzen daher nicht die Flexibilität generativer Sprachmodelle, bei schwierigen Eingaben mehr Rechenzeit zur Laufzeit aufzuwenden. Ein neuer Ansatz namens RELOAD integriert gedämpfte Schleifen in die mittleren Schichten vortrainierter Encoder- oder Decodermodelle, gesteuert durch eine lightweight Komponente zur adaptiven Bestimmung der Durchläufe. Evaluierungen an sechs Modellen mit Parametrisierungen zwischen 0,4 und
Latenzbewusstes und adaptives Best-of-N für Sprachmodelle
Zur Optimierung von Sprachmodellen während der Inferenz wurde ein zweistufiger, adaptiver Algorithmus für das Best-of-N-Sampling entwickelt, der die Latenz des Servers dynamisch berücksichtigt. Anstelle starrer Schwellenwerte bewertet der Ansatz das Verhältnis aus erwartetem Qualitätsgewinn und vorhergesagter Latenzkosten auf Basis einer initialen Antwortgeneration. Durch die Normalisierung von Belohnungssignalen mittels kumulativer Verteilungsfunktionen lassen sich die Abwägungsلهparameter flexibel über verschiede
Konvergenz im letzten Schritt stochastischer Gradientenverfahren für unbeschränkte Probleme
Die Arbeit untersucht theoretische Garantien für die Konvergenz im letzten Schritt bei proximalen und projizierten stochastischen Gradientenverfahren, ohne dabei auf Annahmen zu beschränkten Domänen oder beschränkter Varianz angewiesen zu sein. Als zentrales Anwendungsbeispiel dient die Black-Box-Variationsinferenz. Unter neuartigen Annahmen zur Lockerung der Varianzbeschränkung weisen die Autoren eine annähernd optimale Rate von O(1/sqrt(T)) für den letzten Iterationsschritt nach. Bei bekanntem Zeithorizont lässt
FastAFD: Wann lohnt sich die Trennung von Attention und FFN auf Rack-Scale-NVLink-Systemen?
Die Trennung von Attention und Mixture-of-Experts-Schichten (Attention-FFN Disaggregation, AFD) verspricht eine höhere Dekodier-Durchsatzrate im Vergleich zu kolokalisiertem Serving. Forscher haben FastAFD entwickelt, eine auf NVIDIA GB200 NVL72 optimierte Engine, die durch Overlapping und Pipeline-Effekte bis zu 1,17-fache Geschwindigkeitsvorteile bei großen Sprachmodellen wie Qwen3 erzielt. Ein neues analytisches Modell sagt die Leistungsfähigkeit von AFD im Voraus mit hoher Genauigkeit voraus und zeigt, dass die
Bayesianische Tensor-Train-Kernel-Maschinen mit automatischer Modellkomplexitätsinferenz
Tensor-Netzwerk-Kernel-Maschinen beschleunigen das überwachte Lernen durch Reduzierung von Rechenaufwand und Speicherbedarf mittels niedriger Ränge. Bisherige Ansätze waren jedoch oft deterministisch oder auf einfache Zerlegungen beschränkt. Ein neuer Rahmen erweitert diese Methodik auf Tensor-Train-Strukturen und nutzt hierarchische Prioren vom Typ Automatic Relevance Determination zur automatischen Inferenz von Rängen und Feature-Dimensionen direkt aus den Daten. Mittels Mean-Field-Variational-Inference wird ein
ST2U: Zustandsbasiertes Test-Time Unlearning durch eingeschränkte Wissensgrenzenkontrolle
Zur sicheren Ausrichtung großer Sprachmodelle wurde eine neue Methode namens ST2U entwickelt, die unerwünschtes Wissen während der Inferenz gezielt entfernt, ohne aufwendiges Neutraining oder Parameteraktualisierungen erforderlich zu machen. Im Gegensatz zu herkömmlichen Korrekturverfahren, die oft zu einem Rückfall in gesperrte Wissensbereiche führen, überwacht dieser Ansatz die Generierung über die gesamte Token-Trajektorie hinweg. Durch minimalinvasive Grenzkorrekturen und kontextuelle Verankerung gelingt eine d
MNN-Pocket-0.3B Technischer Bericht
MNN-Pocket-0.3B ist ein kompakter, aus 300 Millionen Parametern bestehender Sprachmodell für die effiziente Ausführung auf Edge-Geräten mit einer Kontextlänge von bis zu 32.000 Token. Das Modell benötigt im INT4-Format lediglich 173 Megabyte Speicherplatz und erreicht auf aktueller Hardware hohe Dekodiergeschwindigkeiten. Durch die hardwarebewusste Co-Entwicklung von Architektur, Trainingsdaten und Inferenz-Engine erzielt es trotz seiner geringen Größe herausragende Ergebnisse in den Bereichen Wissen, Reasoning, Ma
Gerücht oder Fakt: Wie Framing und Elicitation die Wahrscheinlichkeitsaktualisierung bei LLMs beeinflussen
In einer umfassenden Untersuchung über diverse Sprachmodelle hinweg wird analysiert, wie unterschiedliche Formulierungen und Abfrageverfahren die Aktualisierung von Wahrscheinlichkeiten in logischen Inferenzaufgaben steuern. Die Ergebnisse zeigen konsistente Muster bei der Beeinflussung durch Framing-Effekte und Mehrkandidaten-Abfragen über verschiedene Modellarchitekturen hinweg. Dabei erweisen sich bestimmte Hypothesen zur Richtungsänderung und Entropie als robust gegenüber methodischen Anpassungen. Die Arbeit li
GSQ: Hochpräzise Skalarquantisierung mit niedriger Präzision für große Sprachmodelle durch Gumbel-Softmax-Sampling
Gumbel-Softmax-Quantisierung schließt die Leistungslücke zwischen einfachen Skalarquantisierungsmethoden und komplexen Vektorquantisierungen für große Sprachmodelle bei geringer Bitbreite. Durch die gleichzeitige Optimierung von Rasterzuordnungen und Gruppenskalierungen erreicht das Verfahren eine hohe Genauigkeit bei 2 bis 3 Bits pro Parameter. Da GSQ auf einem symmetrischen Skalarraster basiert, bleibt es vollständig kompatibel mit bestehenden Inferenz-Kerneln wie GGUF. Zudem skaliert der Ansatz erfolgreich auf B
STDec: Räumlich-zeitliche stabilitätsgesteuerte Dekodierung für diffusionstiobasierte Large Language Models
Diffusionsbasierte Large Language Models stellen eine vielversprechende Alternative zu autoregressiven Architekturen dar, leiden jedoch häufig unter starren globalen Konfidenzschwellenwerten bei der Dekodierung. Ein neu entwickelter Ansatz namens STDec nutzt die räumlich-zeitliche Stabilität während des Entrauschungsprozesses aus, um token-adaptive Schwellenwerte dynamisch zu berechnen. Dabei berücksichtigt das Verfahren sowohl die lokalen Nachbarschaftsbeziehungen decodierter Tokens als auch deren Konsistenz über
Cold-Start-Personalisierung durch bayessche adaptive Befragung
Die Personalisierung von Sprachmodellen bei fehlenden Nutzerdaten stellt Systementwickler vor große Herausforderungen. Um dieses Problem zu lösen, wurde ein strukturierter Ansatz zur bayesschen Präferenzermittlung namens CAPE entwickelt, der Offline-Weltmodelle mit Online-Inferenz kombiniert. Durch die Ausnutzung von Korrelationen in Nutzerpräferenzen ermittelt das System mit minimalem Interaktionsaufwand treffsicher vollständige Profilstrukturen. In verschiedenen Reasoning-Szenarien übertrifft die Methode konventi
Bits oder Permutationen? Optimierung des Inferenzbudgets bei kleinen lokalen Sprachmodellen
Lokale Sprachmodelle können Speicher durch reduzierte Gewichtspräzision sparen oder die Sensitivität gegenüber der Antwortreihenfolge durch Mittelung von Reihenordnungen verringern. Eine Untersuchung an Modellen der Qwen3-Familie vergleicht diese beiden Ansätze bei einem festen Inferenzbudget. Die Ergebnisse zeigen, dass 6-Bit-Quantisierung keine Genauigkeit verliert, während geringere Bitraten zu erhöhtem Antwort-Skew führen. Das optimale Kostenverhältnis liegt bei der Verwendung von 6-Bit-Gewichten, wobei das ver
REAL Loss: Optimierung der erwarteten Akzeptanzlänge für spekulatives Decoding
Spekulatives Decoding beschleunigt die Inferenz von Sprachmodellen, indem ein kleineres Entwurfsmodell Tokens vorschlägt, die vom Zielmodell parallel verprüft werden. Bisherige Trainingsziele optimieren diese Akzeptanzlänge jedoch nur indirekt über Surrogatfunktionen, was zu einer Diskrepanz im Gradientenverlauf führen kann. Der neu entwickelte Trainingsverlust REAL schließt diese Lücke durch exakte Pfadgewichtung für eine unvoreingenommene Schätzung sowie Varianzreduktion. In Vergleichen mit etablierten Baseline-V
EngineAgent: Agentenbasiertes System zur Automatisierung der On-Device-LLM-Inferenz
Die Integration neuer Sprachmodelle in On-Device-Inferenz-Engines stellt Entwickler aufgrund heterogener Hardware und komplexer Cross-Layer-Abhängigkeiten vor große Herausforderungen. Das vorgestellte System EngineAgent automatisiert diesen Prozess durch die Trennung von wiederverwendbarem Engine-Wissen und modellspezifischen Implementierungen. Mithilfe eines hierarchiebewussten Engine-Index und iterativer Validierungsschleifen auf dem Endgerät koordiniert das Agentensystem Kompilierung, Ausführung und Debugging. I
Datenschutz selbst bestimmen: Bewertung der personalisierten Privatsphäre-Schutzfähigkeiten von großen Bild-Sprach-Modellen zur Inferenzzeit
Große Bild-Sprach-Modelle bergen erhebliche Datenschutzrisiken, da sie sensible persönliche Informationen präzise aus Bildern ableiten können. Da Datenschutz jedoch oft personalisiert und kontextabhängig ist, wurde die neue Aufgabe der personalisierten Privatsphäre-Schutzmechanismen zur Inferenzzeit untersucht. Dazu wurde ein umfassender Benchmark mit zehntausenden Bild-Fragen-Paaren und personalisierten Anweisungen entwickelt, um 21 aktuelle Modelle zu bewerten. Die Ergebnisse zeigen, dass die meisten Systeme bei
Zuverlässige VLM-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Models werden zunehmend als automatisierte Juroren für multimodale Aufgaben eingesetzt, allerdings offenbaren Gesamtkennzahlen oft nicht die zugrundeliegenden Entscheidungsgründe. Zur Lösung dieses Problems wurde das Prinzip der zustandsbedingten Invarianz entwickelt, welches Stabilität gegenüber semantischen Präsentationsänderungen bei gleichzeitiger Sensitivität für kausale Interventionen fordert. Das darauf basierende Diagnose-Benchmark GridWM-Judge untersucht fünf Aufgabenbereiche wie lokale Wah
POEM: Output-Relative Block-Sparse Attention für Long-Context Prefilling
Große Sprachmodelle sind anfällig für Jailbreak-Angriffe, die Sicherheitsvorgaben durch adversariale Prompts umgehen. Bisherige Abwehrmechanismen basieren oft auf vordefinierten Repräsentationen, was häufig zu unerwünschten Überverweigerungen bei gutartigen Anfragen führt. Ein neuer Ansatz namens TERM löst dieses Problem durch eine zielgruppenfreie, entropiegesteuerte Restmodulation während der Inferenz. Dabei wird die Aufmerksamkeitsentropie dynamisch gegen eine promptspezifische Baseline kalibriert, um die Interv
Decode Token Parallelism: Speichereffiziente verteilte Attention-Parallelisierung für skalierbares LLM-Decoding
Für das Serving großer Sprachmodelle bei hoher Konkurenz und langen Kontexten stellen traditionelle Parallelisierungsansätze oft einen Kompromiss zwischen KV-Cache-Kapazität und Attention-Bandbreite dar. Ein neu entwickelter Ansatz namens Decode Token Parallelism entkoppelt die Gewichtsplatzierung von der Attention-Zuweisung, indem Modellgewichte aufbalanciert über Knoten verteilt und Attention-Berechnungen lokal am jeweiligen KV-Cache ausgeführt werden. Dadurch entfällt die netzwerkübergreifende Aggregation partie
Einseitiges, expertenparalleles All-to-All für Mixture-of-Experts-Inferenz über NVLink
Für die effiziente Inferenz von Mixture-of-Experts-Modellen wurde NVLinkOneSided entwickelt, ein einseitiges Kommunikationsprotokoll für GPUs innerhalb einer NVLink-Domäne. Durch den Verzicht auf Metadatenaustausch vorab und direkte Pufferzugriffe werden die fixen Latenzkosten bei kleinen Batch-Größen drastisch reduziert. Auf Blackwell-GPUs erreicht das Verfahren eine bis zu dreimal schnellere Ausführung von Dispatch- und Combine-Operationen im Vergleich zu DeepEP. Die Lösung lässt sich modular in bestehende Infere
Eine Temperatur für alle Fälle? Untersuchung von Sampling-Strategien bei großen Sprachmodellen
Die Sampling-Temperatur ist ein zentraler Parameter zur Steuerung von Zuverlässigkeit und Diversität bei großen Sprachmodellen. Bisherige Praxis stützt sich meist auf eine einheitliche, feste Temperatur, obwohl variable Temperaturen theoretische Vorteile bieten. Eine neue Untersuchung analysiert den Erfolg von Abfragen über verschiedene Modelle und Datensätze hinweg, um die optimalen Bedingungen für Temperaturdiversität zu ermitteln. Die Ergebnisse zeigen, dass adaptive Temperaturstrategien zwar messbare Verbesseru
ZeroPoint: Ein leichtgewichtiger, energiebasierter Entscheidungsmodellansatz
Energiebasierte Entscheidungsmodelle leiden oft darunter, dass sie lediglich relative Kompatibilitäten zwischen Optionen berechnen und keinen festen Referenzpunkt für die Ablehnung aller Optionen besitzen. Mit ZeroPoint wird ein neuartiger Ansatz vorgestellt, bei dem die leere Antwort als fester Zustand mit der Energie null für jeden Eingang definiert wird. Dadurch dient dieser Zustand als explizite Referenz, um direkt während der Inferenz zwischen gültigen Optionen und einer Enthaltung abzuwägen. Das auf einem kom
Verwischte Blockgrenzen: Überlappende Block-Entrauschung für effiziente Diffusionssprachmodelle
Diffusionssprachmodelle bieten eine latenzarme Alternative zu autoregressiven Modellen, leiden jedoch oft unter sequenziellen Engpässen bei der Blockverarbeitung. Ein neues, trainingsfreies und hyperparameterfreies Verfahren namens Blurring the Block Boundaries ermöglicht die parallele Verfeinerung zweier Blöcke in einem gemeinsamen Vorwärtsdurchlauf. Das System kalibriert sich dynamisch und startet nachfolgende Blöcke, sobald das Modell für die Generierung bereit ist. Evaluierungen auf Basis moderner Diffusionsspr
Semantische Ketten: Von erreichbaren Fakten zu begründeten Antworten
Ein neues wissenschaftliches Modell untersucht, wie Fakten zur Begründung von Antworten als zusammenhängende Sequenzen dargestellt werden können. Dabei wird der Kontext als Graph logischer Fakten modelliert, bei dem bewahrende Kanten die Rückverfolgung von Subfakten ermöglichen. Durch eine gezielte Suche ausgehend von Objekten in der Fragestellung lässt sich die Wurzel eines begründenden Faktenbaums erreichen. Dies erlaubt die Generierung präziser und nachvollziehbarer Textverbindungen, die Fragen und Antworten log
Von relevanten Beiträgen zu zurechenbaren Textabschnitten: Explizite Symptom Evidenz für die Inferenz von Depressionsfragebögen
Zur präzisen Auswertung standardisierter Depressionsfragebögen aus Social Media Verlaufshistorien wurde eine neue Pipeline namens SREE entwickelt. Die Methode filtert gezielt erstsprachliche und symptomspezifische Textabschnitte heraus, um irreführende Kontextdaten auszuschließen. Mithilfe eines an die Standortoptimierung angelehnten Auswahlverfahrens und einer evidenzgesteuerten Inferenz übertrifft der Ansatz bestehende semantische Suchverfahren deutlich in Präzision und F1-Score. Damit lassen sich Fragebogenantwo
Scratchpad Patching: Entkopplung von Rechenaufwand und Patch-Größe in Bytewebenen-Sprachmodellen
Tokenizer-freie Sprachmodelle arbeiten direkt auf Byte-Ebene, wobei patch-basierte Varianten zusammenhängende Byte-Spannen zur Effizienzsteigerung zusammenfassen. Dies führt jedoch zu einem Zielkonflikt zwischen Rechenaufwand und Modellierungsqualität, der durch die sogenannte Patch-Verzögerung verursacht wird. Die neu eingeführte Methode Scratchpad Patching fügt temporäre Zwischenspeicher innerhalb der Patches ein, um den Kontext für nachfolgende Vorhersagen dynamisch zu aktualisieren. Durch entropiebasierte Auslö
Neugestaltung des KV-Cache-Eviction-Problems für die Inferenz großer Sprachmodelle mit langem Kontext
Große Sprachmodelle leiden bei der Verarbeitung langer Kontexte unter hohem Speicher- und Rechenaufwand durch das Wachstum des Key-Value-Caches. Ein neuer Ansatz namens LaProx formuliert das Problem der Cache-Bereinigung von einem lokalen, kopfbezogenen Ansatz in ein ausgabebasiertes Matrixmultiplikations-Approximationsproblem um. Durch die Modellierung multiplikativer Interaktionen und die Zuweisung global vergleichbarer Wichtigkeitsscores ermöglicht die Strategie eine modellweite Token-Auswahl. Experimente zeigen
Adamas: Hadamard Sparse Attention für effiziente Inferenz bei langen Kontexten
Grosssprachige Modelle unterstützen zunehmend gigantische Kontextfenster, wodurch jedoch der quadratische Rechenaufwand der Selbstaufmerksamkeit stark ansteigt. Als Lösung wurde Adamas entwickelt, ein token-basiertes Sparse-Attention-Verfahren für die effiziente Inferenz bei langen Kontexten. Die Methode nutzt die Hadamard-Transformation, Bucketization sowie 2-Bit-Kompression zur kompakten Darstellung und ermittelt relevante Kandidaten über eine distanzbasierte Schätzung. In Benchmarks mit Llama-3.1-8B-Instruct erz
BitDecoding-FP4: Natives FP4-KV-Cache-Decoding durch Algorithmik-System-Kookkupel
BitDecoding-FP4 ist ein neuartiger Ansatz zur Co-Entwicklung von Algorithmen und Systemen für präzises und effizientes natives FP4-KV-Cache-Decoding bei großen Sprachmodellen. Durch Techniken wie Dual-Residual Query Quantization, Underflow-Aware Probability Scaling und Outlier-Aware Key Quantization werden Genauigkeitsverluste drastisch reduziert, während hardwarenahe Optimierungen auf NVIDIA-GPUs den Durchsatz massiv steigern. In Tests mit Modellen wie Qwen3 erreicht das System eine bis zu dreifach höhere Serving-
RidgeFill: Trainingsfreies Auffüllen des Cache in späten Schichten für schnelleres Prefill
RidgeFill beschleunigt die Prefill-Phase von großen Sprachmodellen erheblich, indem die Berechnung der oberen Schichten für den Prompt mittels Ridge-Regression umgangen wird. Ein einmalig über Kalibrierungstexte ermitteltes Mapping prognostiziert die Eingaben für spätere Schichten, wodurch der Cache ohne erneutes Training oder Token-Verlust befüllt wird. Tests mit Modellen wie Llama und Qwen zeigen eine bis zu 1,6-fache Beschleunigung der Time-to-First-Token bei geringen und oft statistisch insignifikanten Einbußen
Jakobianische Kausal-Speichersteuerung für persistentes Gedächtnis in Sprachmodellen
Wissenschaftler stellen die Methode der Jacobian-causal memory control (JCMC) vor, um persistente Speicherinterventionen in Sprachmodellen präzise zu steuern. Der Ansatz nutzt vorhergesagte Einflusssignaturen in einem gemeinsamen Verhaltensraum, um Interventionen gegen Ziel- und Nebeneffekte abzuwägen und vor der Beibehaltung zu validieren. Zudem wird ein theoretischer Rahmen mit quadratischen Approximationsschranken sowie ein Protokoll zum Vergleich mit gängigen Retrieval-Baselines definiert.
ChainFlow: Wenige Schritte Latent Flow Matching für Speculative Decoding
Speculative Decoding beschleunigt die Inferenz großer Sprachmodelle, indem leichtere Entwurfsmodelle Tokens vorschlagen, die vom Zielmodell parallel verifiziert werden. Herkömmliche autoregressive oder diffusionsbasierte Ansätze leiden jedoch unter sequenziellen Kosten oder vernachlässigen Abhängigkeiten zwischen den Tokens. Mit ChainFlow wird ein neuartiges Paradigma vorgestellt, das als erster auf den versteckten Zuständen des Zielmodells basierender Flow-Matching-Entwurfsgeber dient. Durch die Kompression mittel
DUET: Dual-Sparse Inferenz für Block-Diffusion-Sprachmodelle
Diffusion-Sprachmodelle ermöglichen zwar eine parallele Token-Generierung, leiden jedoch unter hohen Inferenzkosten durch wiederholte Attention-Berechnungen und die vollständige Verarbeitung aktueller Generierungsblöcke. Um diese Ineffizienzen zu addressieren, wurde ein trainingsfreies Dual-Sparse-Inferenz-Framework namens Duet entwickelt, das auf historischer Key-Value-Sparsity und einer frühzeitigen Query-Sparsity basiert. Durch die Wiederverwendung kompakter historischer KV-Teilmengen und die gezielte Vorhersage
Zur Unvollständigkeit des Do-Kalküls für universelle Identifizierbarkeit
Die Forschung untersucht das Problem der kausalen Effektidentifikation aus einer beliebigen Menge von Beobachtungs- und Interventionsverteilungen als universelle Identifizierbarkeit. Bisherige klassische Ansätze galten als vollständig, doch für diesen verallgemeinerten Kontext existiert keine formale Vollständigkeit des Do-Kalküls. Die Arbeit schlägt eine strenge Formalisierung vor und zeigt, dass die Regeln des Do-Kalküls für komplexere universelle Probleme nicht mehr ausreichen. Dies erklärt, warum dieses Identif
Vektor-Richtlinienoptimierung: Training auf Vielfalt verbessert die Suche zur Laufzeit
Sprachmodelle benötigen für moderne Inferenz-Skalierungsverfahren eine deutlich höhere Ausgabevielfalt, als es das herkömmliche Post-Training mit skalaren Belohnungen ermöglicht. Um dieses Defizit zu beheben, wurde Vector Policy Optimization entwickelt, ein Reinforcement-Learning-Algorithmus, der Modelle explizit auf vektorwertige Belohnungen und diverse Lösungsmengen trainiert. Durch die Kombination von Multi-Antwort-Prompting und mengenbasierten Belohnungen maximiert der Ansatz die Erfolgswahrscheinlichkeit bei r
P2N: Wiederverwendung tiefer Repräsentationen für gesteigerte effektive Tiefe
Zur Steigerung der Rechentiefe bei Sprachmodellen ohne nennenswerten Mehraufwand bei der Inferenz wurde die Methode P2N entwickelt. Dabei werden die tiefen Repräsentationen des vorherigen Tokens direkt in die flache Repräsentation des aktuellen Tokens integriert, wodurch die effektive Rechentiefe über Tokens hinweg rekursiv erweitert wird. Das Training erfolgt mittels paralleler Jacobi-Updates in einem mittleren Schichtenkern. Tests mit Qwen-Modellen in der 1,5-Milliarden-Parameter-Klasse zeigen eine signifikante V
SeKV: Auflösungsadaptiver KV-Cache mit hierarchischem semantischem Gedächtnis für die Inferenz langer Kontexte in LLMs
Zur Optimierung der Inferenz langer Kontexte bei Large Language Models wurde SeKV entwickelt, ein verlustbehafteter, aber nicht verwerfender KV-Cache mit einem trainierten Zoom-In-Mechanismus. Das System segmentiert den Kontext an Positionen hoher Überraschung, behält Anker-Token und Zusammenfassungen im GPU-Speicher und lagert Low-Rank-Faktoren auf die CPU aus. Leichtgewichtige Router wählen abfrage relevante Spanen aus, die zur Laufzeit rekonstruiert werden können, wodurch die Speichernutzung drastisch reduziert
StepBack: Fehlertolerantes Resampling für effizientes Test-Time Reasoning
Forscher haben StepBack vorgestellt, eine neue Methode zur Verbesserung des effizienten Test-Time Reasonings bei Sprachmodellen. Anstatt vollständige Gedankengänge aufwendig neu zu generieren, lokalisiert der Ansatz fehlerhafte Teilschritte in frühen Entwürfen anhand leichtgewichtiger Signale. Anschließend werden nur der betroffene Schritt sowie die nachfolgenden Segmente neu berechnet, was den Token-Verbrauch in Benchmarks um bis zu 41,26 Prozent senkt und gleichzeitig die Genauigkeit beibehält. Die Technik lässt
BlockLock: Reproduzierbare LLM-Inferenz durch feste Batch-Geometrie
Das neue Verfahren BlockLock ermöglicht eine bitgenau reproduzierbare Inferenz für große Sprachmodelle, selbst wenn sich gleichzeitig verarbeitete Anfragen im Batch ändern. Durch das gezielte Fixieren der numerischen Pfade und Geometrien für geschützte Anfragen entfallen aufwendige Einschränkungen aller Operatoren oder ineffizientes Padding. Tests mit Modellen wie Llama und Qwen zeigen im Vergleich zu bisherigen Ansätzen eine erhebliche Latenzsenkung sowie eine deutliche Steigerung des Durchsatzes.
Gekoppelte Messung für paralleles Dekodieren in Diffusionssprachmodellen
Diffusionssprachmodelle generieren mehrere Token parallel, stehen jedoch vor der Herausforderung, sichere Kombinationen zu identifizieren. Ein neuer Ansatz ersetzt herkömmliche Mean-Field-Strafterme durch die direkte Messung der Kopplung, welche quantifiziert, wie die Fixierung eines Tokens das Vertrauen des Modells an einer anderen Position beeinflusst. Diese Methode benötigt keine zusätzlichen Trainingsphasen oder Zusatzmodelle und lässt sich direkt in den Vorwärtsdurchlauf integrieren. Evaluierungen über mehrere
Jenseits von K/V-Caches: Modellübergreifende Zustandsübergabe in hybriden Linear-Attention-LLMs
In produktiven KI-Umgebungen wechseln sich verschiedene Sprachmodelle bei langen Konversationen oft ab, wodurch bisher bei jedem Modellwechsel aufwendige Vorberechnungen für den gesamten Kontext wiederholt werden mussten. Zwar existieren Methoden zur Übertragung von Standard-Caches zwischen Modellen, doch stellen hybride Architekturen mit rekursiven Zuständen und Faltungshistorien vor neue Herausforderungen. Um dies zu lösen, wurde ein neues Verfahren zur hybriden Zustandsübertragung entwickelt, das strukturierte A
Erweiterung von Schlussfolgerungen in typisierten Entscheidungsmodellen durch Schleifen
Typisierte Entscheidungsmodelle wählen Antworten traditionell in einem einzigen Durchlauf aus, wodurch ihnen im Gegensatz zu generativen Sprachmodellen zusätzliches Rechenvolumen zur Laufzeit fehlt. Ein neuer Ansatz namens RELOAD integriert gedämpfte Schleifen in den mittleren Block vortrainierter Encoder oder Decoder, gesteuert durch einen leichtgewichtigen Regler für adaptive Durchläufe. Evaluierungen an sechs Modellen mit 0.4 bis 4 Milliarden Parametern zeigen signifikante Verbesserungen hinsichtlich Genauigkeit
Latenzbewusstes und adaptives Best-of-N-Sampling
Für die Optimierung von Sprachmodellen zur Inferenzzeit wird ein neuwertiger, zweistufiger Algorithmus für das Best-of-N-Sampling vorgestellt, der die dynamische Serverlatenz berücksichtigt. Im Gegensatz zu herkömmlichen Verfahren mit starren Schwellenwerten passt das System den Rechenaufwand anhand der Latenz des ersten generierten Batches und des erwarteten Nutzens flexibel an. Durch die Abbildung von Belohnungen auf kumulative Verteilungsfunktionen lässt sich der Ansatz universell über verschiedene Aufgaben hinw
HyFlash: Ein Präfix-Gedächtnis-Prior für spekulatives Decoding auf Edge-Geräten
Spekulatives Decoding durch paralleles Block-Drafting beschleunigt die Inferenz von Sprachmodellen, stößt jedoch auf Endgeräten durch begrenzte Speicherkapazitäten an Grenzen. Um den steigenden KV-Cache-Aufwand zu umgehen, stellt HyFlash einen kompakten Drafter vor, der ein rekurrentes Gedächtnis zur Komprimierung historischer Zielmerkmale mit lokalem Attention-Mechanismus kombiniert. Dieser Ansatz trennt die Modellierung langfristiger Abhängigkeiten von feingranulaten Entwurfsinteraktionen und ermöglicht so eine e
Wie KI-Agenten Geld verschwenden
Autonome KI-Agenten verbrauchen bei der Bewältigung komplexer Aufgaben oft massenhaft Token, deren tatsächlicher Nutzen jedoch selten systematisch untersucht wird. Ein neuer Forschungsansatz stellt nun ein einheitliches Framework vor, um Token-Verschwendung über verschiedene Agentensysteme hinweg zu messen und zu analysieren. Durch die Auswertung kompletter Agententrajektorien und den Einsatz von Sprachmodellen als Bewertungsininstanzen lassen sich unnötige Textspannen identifizieren und entfernen. In Experimenten
Source-balanced Capped Fisher: Begrenzte Evidenzaggregation für die Nutzerinferenz in Sprachmodellen
Die Nutzerinferenz in Sprachmodellen untersucht, ob eine bestimmte Quelle Dokumente zu einem Modellupdate beigetragen hat. Um diese Evidenz zuverlässig zu kombinieren, wurde die Methode des Source-balanced Capped Fisher entwickelt, die Referenzhäufigkeiten in negative Log-Evidenzen transformiert und Einzeldokumente begrenzt. Durch diese Aggregation wird der Einfluss extremer Dokumentwerte limitiert, während die geräte- und quellenübergreifende Beweiskraft erhalten bleibt. Experimente auf Basis realer Datensätze zei
Zu den Chancen und Herausforderungen des modellübergreifenden Prefill-to-Autoregressive-Transfers
Der modellübergreifende Prefill-to-Autoregressive-Transfer kombiniert die Prompt-Repräsentationen größerer Sprachmodelle mit der effizienten Generierung kleinerer Modelle, um Leistung und Inferenzkosten auszugleichen. Zur Untersuchung dieses Ansatzes wurde PLatour entwickelt, ein Open-Source-Framework, das eingefrorene Modelle über leichtgewichtige, direkt mit Aufgabenbelohnungen trainierte Brücken verbindet. Während das System auf Generierungsaufgaben hohe Ergebnisse erzielt, zeigen kontrollierte Experimente, dass
Effiziente agentenbasierte Audio-Visuelle Fragebeantwortung durch Werkzeugkürzung und Modalitätskonsolidierung
Für eine präzise audio-visuelle Fragebeantwortung nutzen moderne Omni-Modale Agenten oft umfangreiche Werkzeugsätze, was jedoch zu hohen Inferenzkosten führt. Neue Untersuchungen zeigen, dass ein stark reduzierter Arbeitsablauf mit nur zwei omnimodalen Grundwerkzeugen für die Beschriftung und die Fragebeantwortung vergleichbare oder sogar bessere Ergebnisse liefert. Durch diese Konsolidierung und das Entfernen unnötiger Spezialwerkzeuge sinken die Rechenkosten bei Benchmarks um rund siebzig Prozent. Dieser Ansatz d
Steuerung des Verzweigungs-Parallelismus beim LLM-Serving
Neue Methoden zur Erschließung der internen Parallelität in Large Language Models ermöglichen die gleichzeitige Dekodierung unabhängiger Verzweigungen, führen jedoch oft zu Latenzproblemen bei gemeinsam verarbeiteten Anfragen. Zur Lösung dieses Problems wurde PACE entwickelt, ein schrittweiser Zulassungscontroller, der zusätzliche Verzweigungen dynamisch auf Basis des aktuellen Lastbudgets und der Stapelzusammensetzung steuert. Da Verzweigungen den Präfix-Key-Value-Speicher gemeinsam nutzen, ist keine aufwendige Sp
MoBiQuant: Mixture-of-Bits-Quantisierung für tokenadaptive LLMs mit beliebiger Präzision
MoBiQuant ist ein neuartiges Quantisierungsframework für große Sprachmodelle, das eine flexible Inferenz mit variablen Bitbreiten zur Laufzeit ermöglicht. Das Verfahren adressiert das Problem der präzisionsabhängigen Ausreißermigration, indem es die Gewichtspräzision dynamisch über einen token-bewussten Router anpasst. Eine rekursive Residualquantisierung rekonstruiert dabei iterativ höherpräzise Gewichte, wodurch erhebliche Speichereinsparungen und Durchsatzsteigerungen im Vergleich zu bisherigen Methoden erzielt
Selektion prägt die Grenze: Eine Replikation zu Monotonie und Übereinstimmung in unselektierten NLI-Populationen
Frühere Analysen zur menschlichen Label-Variation in der natürlichen Sprachinferenz basierten oft auf Datensätzen, die gezielt nach dem Grad der Uneinigkeit ausgewählt wurden. Eine neuere Untersuchung hatte bei Hypothesen mit nicht-monotonen Operatoren eine höhere Label-Entropie festgestellt, allerdings auf Basis solcher vorselektierten Daten. Bei der Überprüfung dieser Hypothese an den zugrundeliegenden unselektierten Gesamtpopulationen der bekannten Benchmark-Datensätze SNLI und MultiNLI konnte dieser Effekt jedo
Zweidimensionale Aufteilung für lokale und globale Aufmerksamkeit in Transformers
Forscher haben mit Distance-Adaptive Representation einen neuen Ansatz zur Optimierung des KV-Cache bei Decoder-only-Transformern vorgestellt. Das Verfahren nutzt innerhalb eines lokalen Kontextfensters volldimensionale Repräsentationen für nah liegende Token, während weiter entfernte Token mit reduzierter Dimensionalität gespeichert werden. Dadurch lassen sich die asymmetrischen Anforderungen an das Gedächtnis effizient abbilden. Bei vergleichbarer Modellleistung reduziert diese Methode den durchschnittlichen Spei
Praxiserfahrungen beim Betrieb von Sprachmodellen: Eine deploymentspezifische Untersuchung von Qualitäts- und Kostenabwägungen
Die Bereitstellung großer Sprachmodelle in Produktionsumgebungen erfordert eine sorgfältige Abwägung zwischen der durch externe Erfahrungswerte gesteigerten Antwortqualität und den damit verbundenen Latenz- sowie Rechenkosten. Eine Untersuchung verschiedener Bereitstellungsstrategien zeigt, dass insbesondere die selektive und kontextabhängige Retrieval-basierte Injektion von Erfahrungen deutlich effizientere Ergebnisse liefert als pauschale globale Prompt-Erweiterungen. Die Analyse verdeutlicht zudem, dass die Qual
Neues Konzept für schrittweises Modell-Routing: Kosteneffizientes Tabellen-Reasoning
Große Reasoning-Modelle erzielen zwar starke Ergebnisse bei tabellenbasierten Aufgaben, verursachen jedoch durch lange Argumentationsketten hohe Inferenzkosten. Um dies zu optimieren, wurde EcoTab entwickelt, ein tabellenbewusster Routing-Framework für effizientes Reasoning. Das System analysiert separat die Unsicherheiten von Tabellen- und Text-Token, um das Fehlerrisiko kleinerer Modelle präziser einzuschätzen. Experimente auf verschiedenen Benchmarks zeigen, dass EcoTab eine optimale Balance zwischen Genauigkeit
EntropyCache: Effizientes KV-Caching für Diffusions-Sprachmodelle durch Token-Entropie
Diffusion-basierte Sprachmodelle erfordern aufgrund bidirektionaler Aufmerksamkeit in jedem Entrauschungsschritt vollständige Vorwärtsdurchläufe. Mit EntropyCache wurde eine trainingsfreie Caching-Methode entwickelt, die die maximale Entropie neu decodierter Token als konstanten Signalgeber für die Aktualisierung nutzt. Das Verfahren bewertet den Cache-Zustand unabhängig von der Kontextlänge mit minimalem Rechenaufwand. Experimente mit Modellen wie LLaDA-8B-Instruct und Dream-7B-Instruct demonstrieren erhebliche Be
Strategist: Entwicklung von Agenten-Schlussfolgerungen
Ein neu entwickeltes Meta-Agenten-System namens Strategist automatisiert die Erstellung und Weiterentwicklung von Inferenzstrategien für KI-Agenten. Anstatt dass diese Ablauflogik manuell programmiert wird, analysiert das System Aufgaben anhand kleiner Datensätze, testet und optimiert ausführbare Programm-Blueprints und baut eine wiederverwendbare Bibliothek auf. In Benchmarks übertrifft Strategist bestehende Baselines bei gleichzeitig deutlich geringeren Inferenzkosten, wobei die generierten Strategien auch auf un
Gerücht oder Fakt? Wie Framing und Elicitation die Wahrscheinlichkeitsaktualisierung bei LLMs beeinflussen
In einer umfassenden Untersuchung wurde analysiert, wie Sprachmodelle ihre Wahrscheinlichkeiten auf Basis unterschiedlicher Fragestellungen und Formulierungsvarianten aktualisieren. Die Auswertung von über zwanzigtausend Testeinheiten über diverse Modellarchitekturen hinweg zeigt signifikante Abweichungen bei der Elicitierung von Vor- und Nachverteilungen. Dabei wurden insbesondere direkte Schätzungen und multikandidatenbasierte Methoden verglichen, um systematische Verzerrungen bei der Inferenz zu quantifizieren.
LeapQuant: Effiziente lineare Attention durch präzise rekurrente Zustandsquantisierung
Hybridmodelle großer Sprachmodelle nutzen zunehmend lineare Attention-Mechanismen, um lange Kontexte effizient zu verarbeiten, stoßen jedoch bei der Aktualisierung rekurenter Zustände an Inferenz-Engpässe. Zur Lösung dieses Problems wurde LeapQuant vorgestellt, eine trainingsfreie Methode für eine verlustfreie 8-Bit-Quantisierung solcher Zustände. Durch per-window-Quantisierung und die Bewahrung von Ausreißern als hochpräzise Kompensations-Token werden Rundungsfehler drastisch minimiert. Umfangreiche Tests mit vers
KAIROS: Zustandsbehaftetes, kontextsensitives und energieeffizientes Inferenz-Serving für Agenten
Der Energieverbrauch hat sich zu einem zentralen Engpass bei der KI-Inferenz entwickelt, insbesondere durch den Vormarsch agentischer Arbeitslasten, die sich fundamental von herkömmlichen Einzelf Anfrage-Modellen unterscheiden. Da Agenten über mehrere Runden hinweg langlebige Kontexte verarbeiten, kann eine herkömmliche Senkung der GPU-Taktung zu Leistungseinbrüchen und Ineffizienzen führen. Das neu entwickelte System KAIROS nutzt den Agentenkontext als primäre Steuerungssignale, um GPU-Frequenzen, Instanz-Gleichze
Kaltstart-Personalisierung durch bayessche adaptive Befragung
Zur Lösung des Kaltstart-Problems bei großen Sprachmodellen wurde ein neues Verfahren zur effizienten Präferenzermittlung entwickelt. Das System nutzt strukturierte Weltmodelle von Präferenzkorrelationen, um mittels trainingsfreier bayesscher Inferenz zielgerichtete Fragen zu stellen und vollständige Nutzerprofile vorherzusagen. Dadurch wird eine deutlich höhere Übereinstimmung mit echten Nutzerpräferenzen bei stark reduzierter Interaktionsanzahl erreicht als mit herkömmlichen Reinforcement-Learning-Ansätzen. Die M
Ein Rechenmodell zur Ko-Adaption von Lehrkräften und Lernenden
Effektives Lehren basiert auf gegenseitiger Anpassung, die in vielen bisherigen Computermodellen jedoch unzureichend abgebildet wird. Ein neues Bayes-basiertes Rahmenwerk untersucht die Ko-Adaption zwischen Lehrkräften und heterogenen Lerngruppen unter partieller Beobachtbarkeit in einer Konzeptlernaufgabe. Die Simulationen vergleichen verschiedene Interaktionsmodi wie aktives Lernen und vollständige Ko-Adaption über zahlreiche Durchläufe hinweg. Dabei zeigt sich, dass Bayes-sche Überzeugungsverfolgung den Aufwand
Wann eingreifen: Kausale Evaluierung von KI-Agenten
Bisherige statische Benchmarks greifen zu kurz, wenn es darum geht, den optimalen Zeitpunkt für menschliche oder modellbasierte Eingriffe in die Ausführung von KI-Agenten zu bestimmen. Ein neu entwickeltes methodisches Framework schließt diese Lücke, indem es kausale Inferenz nutzt, um die dynamischen Effekte von Interventionen innerhalb von Agenten-Trajektorien zu bewerten. Mithilfe randomisierter Interventionsdaten lassen sich kontextuelle Steuerungsrichtlinien analysieren und Risiken präzise quantifizieren. Die
Dynamisches Mixed-Precision-Routing für effiziente, mehrstufige LLM-Interaktionen
Große Sprachmodelle erzielen in komplexen Agentenaufgaben starke Leistungen, verursachen jedoch durch mehrstufige Inferenz hohe Rechenkosten. Um diese Effizienzverluste zu minimieren, wurde das Framework Dynamic Mixed-Precision Routing entwickelt, das je nach Entscheidungsschritt adaptiv zwischen hoher und niedriger Modellpräzision umschaltet. Da nur ein Bruchteil der Schritte sensitiv auf Quantisierung reagiert, identifiziert ein leichter Router diese kritischen Phasen anhand verborgener Zustände. Durch die Wieder
Präzise Vorhersagen im Bildungswesen durch diskrete Variationsinferenz
Günstige und effektive KI-Tutoren bieten einen skalierbaren Lösungsansatz, um soziale Ungleichheit beim Zugang zu personalisierter Nachhilfe zu verringern. Ein zentraler Bestandteil solcher Systeme ist die adaptive Lernfortschrittsprognose, die jedoch in datenarmen Szenarien oft ungenau ist. Zur Lösung dieses Problems wurde der bislang größte offene Datensatz professionell bewerteter Mathematikleistungsprüfungen veröffentlicht. Darauf aufbauend stellt ein neuartiges probabilistisches Modellierungsframework auf Basi
Identifizierung makrokausaler Effekte in C-DMGs über ADMGs
Die kausale Inferenz in komplexen Bereichen wie der Medizin leidet häufig unter unvollständigem Wissen über die zugrundeliegenden Systeme. Neue Forschungsarbeiten befassen sich mit der Identifizierung kausaler Effekte in partiell spezifizierten Kausalraphen, insbesondere in Cluster-gerichteten gemischten Graphen (C-DMGs), die Variablen zu Clustern zusammenfassen. Dabei wurde nachgewiesen, dass der Do-Kalkül sowohl sound als auch vollständig ist, um makrokausale Effekte zwischen Clustern zu bestimmen, selbst wenn di
Verwischung der Blockgrenzen: Überlappende Block-Entrauschung für effiziente Diffusions-Sprachmodelle
Diffusions-Sprachmodelle stellen eine latenzkritische Alternative zu autoregressiven Modellen dar, leiden jedoch oft unter sequenziellen Engpässen bei der blockweisen Token-Generierung. Ein neues, trainingsfreies und hyperparameterfreies Verfahren namens Blurring the Block Boundaries ermöglicht die parallele Verfeinerung zweier Blöcke in einem gemeinsamen Vorwärtsdurchlauf. Das System kalibriert sich dynamisch während der Laufzeit und startet nachfolgende Blöcke, sobald das Modell die Generierung vorbereitet hat. E
EngineAgent: Automatisierung der lokalen LLM-Inferenz mit agentenbasierten Systemen
Die Integration neuer Sprachmodelle in lokale Inferenz-Engines auf heterogener Mobilhardware erfordert komplexe und fehleranfällige Anpassungen über mehrere Systemschichten hinweg. Das vorgestellte agentenbasierte System EngineAgent trennt wiederverwendbares Engine- und Hardware-Wissen von modellspezifischen Implementierungen, um diesen Prozess zu automatisieren. Durch einen hierarchiebewussten Engine-Index und iterative Validierungsschleifen auf dem Endgerät koordiniert das System plattformübergreifende Änderungen
Sable: Ein kompakter Sumcheck-Argumentationssystem für die bitgenaue Inferenz großer Sprachmodelle
Sable ist ein neues Argumentationssystem und Single-GPU-Prover, das die bitgenaue Ausführung quantisierter Transformer-Modelle kryptografisch nachweist. Das Verfahren verzichtet vollständig auf Gleitkommaoperationen und bildet sämtliche Rundungs- und Sampling-Entscheidungen über exakte Integer-Funktionen ab. Durch optimierte Sumcheck-Protokolle, Reed-Solomon-basierte Polynomialverpflichtungen und schichtweises Streaming lassen sich selbst große Modelle wie Qwen2.5-32B effizient auf einer einzelnen Grafikkarte verif
Kann der KV-Cache über Modellaktualisierungen hinweg wiederverwendet werden? Eine Fallstudie zu DeepSeek-V4-Flash
Die Wiederverwendung von Key-Value-Caches über Sprachmodellaktualisierungen hinweg verspricht erhebliche Geschwindigkeitsvorteile, wirft jedoch Fragen hinsichtlich der Konsistenz auf. Eine Untersuchung anhand von DeepSeek-V4-Flash zeigt, dass Caches nützliche Aufgabeninformationen bewahren können, obwohl sich die Abrufgenauigkeit je nach Update stark unterscheidet. Durch die direkte Cache-Nutzung lassen sich bei längeren Präfixen mediane Beschleunigungen der Time-to-First-Token um das 2,10- bis 5,08-fache erreichen
Mechanistische Interpretierbarkeit tiefen neuronalen Netze: Methoden, Frameworks und Perspektiven
Tiefe neuronale Netze bilden die Grundlage zahlreicher Anwendungen in der Signalverarbeitung, jedoch bleiben ihre internen Mechanismen oft schwer nachvollziehbar. Die mechanistische Interpretierbarkeit zielt darauf ab, interne Komponenten zu identifizieren, deren Aktivierungen kausal für spezifisches Modellverhalten verantwortlich sind. Ein aktueller Überblick beleuchtet die jüngsten Fortschritte in diesem Forschungsfeld, insbesondere im Hinblick auf Methoden der kausalen Inferenz zur Analyse komplexer neuronaler A
ForeSpark: Gemeinsame Budgetplanung für Entwurf und Verifikation im parallelen spekulativen Decoding
Zur Optimierung des LLM-Servings wurde das System ForeSpark entwickelt, das auf einem ansatzbasierten Konzept der arbeitskonservierenden Spekulation beruht. Parallele Generatoren stoßen bei hoher Last an Effizienzgrenzen, da ein Großteil der Entwurfstoken verworfen wird. ForeSpark löst dieses Problem durch eine gemeinsame, kontextsensitive Zuteilung von Entwurfs- und Verifikationsbudgets pro Anfrage. Implementiert auf Basis von vLLM, steigert das Verfahren den Durchsatz im Vergleich zu aktuellen Alternativen signif
Unsicherheit beim kostenlosen Mittagessen: Sequenzweitere Rényi-Entropie aus Partikeldekodierung für adaptives LLM-Schlussfolgern
Zur Quantifizierung der Unsicherheit über vollständige Sprachmodell-Kommissionen hinweg wird eine Methode vorgestellt, die sequenzweite Rényi-Entropie direkt aus der Partikeldekodierung ohne zusätzliche Kosten abzuleiten. Durch den Einsatz von Sequential Monte Carlo Sampling lässt sich die Normierungskonstante der Leistungsverteilung bestimmen, was präzise Rückschlüsse auf die Verteilungsentropie auf Sequenzebene erlaubt. Insbesondere erweist sich die Ordnung-1/2 als hervorragender Indikator für die selektive Vorhe
Platzierung von LLM-Lookup-Tabellen durch schichtbezogene Vorabladungsfristen
Speicherintensive n-Gramm-Tabellen von großen Sprachmodellen belegen oft den Grossteil des Host-DRAMs, wodurch die Leistung bei der Inferenz limitiert wird. Durch die Analyse von Vorabladungsfristen und schichtspezifischen Lesezeitfenstern lässt sich ermitteln, welche Speicherebene für die jeweiligen Tabellen optimal ist. Ein neu entwickeltes System namens SlackTier für SGLang steuert diese Lookups direkt im CUDA-Graph und ermöglicht den Betrieb grosser Tabellen auf NVMe-Speicher oder via RDMA ohne messbare Leistun
Anhaltende Leistungsabfälle beim agentenbasierten LLM-Serving mit Präfix-Caching
Wissenschaftler haben nachgewiesen, dass das Präfix-Caching beim Betrieb autonomer Sprachmodell-Agenten zu metastabilen Zuständen und drastischen Leistungseinbrüchen führen kann. Kurze Lastspitzen reichen aus, um Inferenz-Server wie vLLM und SGLang in einen dauerhaft degradierten Modus mit stark sinkenden Cache-Trefferraten und wachsenden Rückständen zu versetzen. Ursache ist ein sich selbst verstärkender Effekt, bei dem wachsende Kontexte den KV-Cache überlasten und ständige Neuberechnungen erzwingen. Ein neu entw
Eine Temperatur für alle Fälle? Untersuchung von Sampling-Strategien bei großen Sprachmodellen
Die Sampling-Temperatur ist ein zentraler Regler zur Steuerung von Zuverlässigkeit und Diversität bei der Inferenz großer Sprachmodelle. Obwohl die Variation der Temperatur über verschiedene Samples hinweg theoretisch Vorteile bietet, bleibt der Einsatz einer einzigen, optimal eingestellten Temperatur in der Praxis meist der Standard. Eine aktuelle Untersuchung analysiert das Erfolgsverhalten von Modellen bei verschiedenen Fragestellungen und zeigt, dass der Leistungsgewinn dynamischer Temperaturstrategien gegenübe
ADIndex: Layer-Adaptive Sparse Attention Indexing durch gruppenbasierte Distillation
Zur Optimierung der Long-Context-Inferenz bei tokenbasierten Sparse-Attention-Verfahren wurde ADIndex entwickelt, ein adaptives und distillationsgetriebenes Indexierungsverfahren. Die Methode adressiert den hohen Latenz- und Rechenaufwand herkömmlicher Indexer, die bisher einen Großteil der Prefill-GPU-Zeit beanspruchen. Durch eine schichtweise Kalibrierung, gruppenbasierte Distillation und optimierte Token-Bank-Nutzung reduziert ADIndex den Aufwand vollständiger Präfix-Scans drastisch. Tests mit Modellen wie DeepS
Kausale Zeitreihenmodellierung der Entwicklung supraglazialer Seen in Grönland unter Verteilungswandel
Ein neues, regional informiertes Framework zur kausalen Zeitreihenklassifikation verbessert die Robustheit und Generalisierung bei der Vorhersage der Entwicklung supraglazialer Seen in Grönland unter Verteilungsverschiebungen. Durch die Integration lag-sensitiver kausaler Entdeckungsverfahren wie J-PCMCI+ in die Sequenzmodellierung werden stabile, invariante Prädiktoren aus multimodalen Satelliten- und Reanalysedaten identifiziert. Der Ansatz verbindet räumlich-zeitliche Erdbeobachtung mit kausaler Inferenz und erz
Präzision auf Abruf: Dynamische Gewichtskalibrierung bei unsicheren Dekodierungsschritten in lokalen KI-Modellen
Lokale Sprachmodelle nutzen während der Generierung üblicherweise eine einheitliche Gewichtspräzision. Ein neuer Ansatz speichert Gewichte in 8-bit, dekodiert standardmäßig mit den oberen 4 Bits und erhöht die Präzision nur bei hoher Unsicherheit des Modells auf 8 Bit. Anhand von Tests mit Qwen3-0.6B auf dem Benchmark GSM8K zeigt sich, dass entropiebasierte Schwellenwerte fehlerhafte Ausgaben effizient erkennen können. Diese adaptive Steuerung reduziert den Speicher- und Bandbreitenbedarf signifikant, während das L
Bits oder Permutationen? Optimierung des Inferenzbudgets für Gewichtspräzision und Optionsreihenfolge in kleinen Sprachmodellen
Untersucht wird die optimale Verteilung eines festen Inferenzbudgets zwischen Gewichtsquantisierung und Optionsreihenfolgen-Mittelung bei kleinen lokalen Sprachmodellen wie Qwen3. Die Ergebnisse zeigen, dass eine Reduktion auf 6-Bit-Präzision keinen Genauigkeitsverlust verursacht, während extremere Quantisierungen auf 4 Bit zu erhöhtem Antwort-Skew führen. Durch die Kombination von 6-Bit-Gewichten und der Mittelung über bis zu vier zyklische Reihenfolgen lässt sich das Budget im Vergleich zu reinen Präzisionssteige
Zuverlässige VLM-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Modelle werden zunehmend als automatisierte Juroren für multimodale und verkörperte Aufgaben eingesetzt, doch oft fehlen verlässliche Metriken zur Überprüfung ihrer Urteilsgründe. Um diese Zuverlässigkeit zu bewerten, wurde das Prinzip der zustandsbedingten Invarianz entwickelt, welches Stabilität bei semantikerhaltenden Präsentationsänderungen und gleichzeitig Sensibilität für kausale Interventionen fordert. Das darauf basierende Benchmark-System GridWM-Judge untersucht Modelle anhand deterministis
Online-adaptive Fuzzy Cognitive Maps für neuro-symbolische Finanzprognosen
Ein neues neuro-symbolisches Framework kombiniert online-adaptive Fuzzy Cognitive Maps mit LSTM-Netzwerken für präzisere Finanzmarktprognosen. Das System verknüpft zeitliche Mustererkennung mit kausalen Treibern, indem es entweder Live-Daten über fehlergesteuerte Hebbian-Regeln adaptiert oder auf literaturbasierte, LLM-erweiterte Kausalrapfen mit verifizierbaren Zitationen setzt. Tests am NASDAQ-Composite-Index zeigen eine verbesserte Vorhersagegenauigkeit von Renditerichtungen im Vergleich zu herkömmlichen Modelle
F3-AGI v4.0: Bioenergetisch gesteuerte aktive Inferenz und Residualprogrammsynthese für abstraktes Schließen
Das neue neurosymbolische Framework F3-AGI v4.0 adressiert die Herausforderungen des Few-Shot-Schließens auf Basis des ARC-AGI-Benchmarks durch die Kombination dreier Kernkomponenten. Eine bioenergetisch regulierte Plastizität optimiert die Ressourcennutzung und senkt den Rechenaufwand signifikant, während adaptive Programmsynthese mit Residuallösungen die Suche nach gültigen Transformationsregeln beschleunigt. Zudem steuert eine auf Expected Free Energy basierende Exploration den Lösungsraum auf CPU-Basis ohne ext
NCP: Verifier-gesteuerte Optimierung von Gewichtsbereich-Steuerungsrichtlinien
Das Neural Control Plane System trennt die Inferenz-Datenebene vortrainierter Sprachmodelle von einer dynamischen Steuerungsrichtlinie, die temporäre Parametereingriffe vornimmt. Durch automatisierte Telemetrie, Kandidatensynthese und Validierung mittels W-ISA werden transaktionale Ausführungen sowie Parameterwiederherstellungen ermöglicht. In lokalen Experimenten mit SmolLM-135M-Instruct generierte das System Interventionsregeln, evaluierte diese anhand von Validierungsdaten und steuerte die Richtlinienversionieru
Multi-Future Drafting: Mixture-Block-Drafter für baumverifiziertes Spekulatives Decodieren
Spekulatives Decodieren nutzt oft Block-Drafter und baumbasierte Verifikation zur Beschleunigung von Sprachmodellen. Herkömmliche Produkt-Rankings erzeugen dabei jedoch sogenannte Chimeras, also unnatürliche Token-Kombinationen, die die Effizienz mindern. Der neue Ansatz Multi-Future Drafting löst dieses Problem durch latente Variablen und gelernte Mode-Embeddings, wodurch mehrere kohärente Zukunftsblöcke in einem Durchlauf generiert werden. Tests mit Qwen-Modellen zeigen signifikante Beschleunigungen von bis zum 7
ZeroPoint: Ein leichtgewichtiger, energiebasierter Entscheidungsmodellansatz
Energiebasierte Entscheidungsmodelle scheitern oft daran, dass sie lediglich relative Kompatibilitäten zwischen Optionen berechnen, jedoch keinen absoluten Referenzpunkt für die Annahme oder Ablehnung einer Option besitzen. Mit ZeroPoint wird ein Ansatz vorgestellt, bei dem die leere Antwort für jeden Eingang einen festen Energiewert von Null erhält und somit als explizite Referenz dient. Dadurch wird die Entscheidung zwischen verschiedenen Optionen und der Enthaltung direkt in den normalen Inferenzprozess integrie
EvoWorld: Kausale Weltentwicklung in generativen Videomodellen
Generative Videomodelle agieren zunehmend als visuelle Weltsimulatoren, stoßen jedoch bei der kausalen Sch Adequacy und dem logischen Fortbestand von Handlungen an Grenzen. Um diese Lücke zu schließen, wurde das Konzept der Out-of-Sight Causal Evolution eingeführt, welches Ereignisse und deren logische Konsequenzen im Modell abbildet. Als Referenzlösung dient der Ansatz EvoWorld, der ein vision-sprachbasiertes Weltgehirn mit einem autoregressiven Videorenderer kombiniert. Ergänzende Benchmarks und Datensätze belege
Murmur: Effiziente Spracherkennung für lange Kontexte durch hierarchisches Chunking
Für die automatische Spracherkennung langer Audioaufnahmen stellt der Zielkonflikt zwischen hoher Genauigkeit und geringer Latenz eine zentrale Herausforderung dar. Um diesen zu lösen, wurde ein hierarchischer Inferenzansatz entwickelt, der paralleles Decoding mit strukturbewusstem spekulativen Decoding kombiniert. Dabei verarbeitet das System Zwischendchunks parallel, während ein schnelleres Kurzfenster-Modell Entwürfe erstellt, die vom Langkontext-Modell tokenbasiert verifiziert werden. Dies reduziert die End-to-
Vektor-Richtlinienoptimierung: Diversitätstraining verbessert die Suche zur Inferenzzeit
Sprachmodelle müssen zunehmend in neuartigen Umgebungen generalisieren und in inferenzskalierten Suchverfahren arbeiten, was eine höhere Diversität der Antworten erfordert. Das herkömmliche Post-Training mit skalaren Belohnungen führt oft zu risikoaversen, entropiearmen Antwortverteilungen, die für solche Suchprozesse ungeeignet sind. Als Lösung wird Vector Policy Optimization vorgestellt, ein Reinforcement-Learning-Algorithmus, der explizit auf vektorwertige Belohnungen setzt und Sprachmodelle darauf trainiert, di
KVBuffer: IO-bewusstes Serving für lineare Attention
Lineare Attention bietet zwar konstante Dekodierungskosten bei langen Kontexten, leidet jedoch unter hohem Speicherzugriff beim wiederkehrenden Aktualisieren des Attention-Zustands. Um diese Ineffizienzen zu beheben, wurde KVBuffer als IO-bewusster Serving-Mechanismus entwickelt, der aktuelle Keys und Values puffert. Dies ermöglicht chunkweise Berechnungen zur Reduzierung der Latenz, parallele Verifikation bei spekulativer Dekodierung sowie die direkte Attention-Berechnung bei kurzen Kontexten ohne ständige Zustand
Worst-Case-Analyse und Laufzeitschutz für Reinforcement-Learning-Netzwerksteuerungen
Reinforcement-Learning-basierte Netzwerksteuerungen zeigen oft starke Durchschnittsleistungen, können jedoch unter spezifischen Bedingungen erhebliche Leistungseinbrüche erleiden. Das neu entwickelte Framework ReGuard identifiziert solche Worst-Case-Szenarien durch die Formulierung als bilektuales Regret-Maximierungs-Problem und schützt die Steuerungen in der Inferenzphase durch leichtgewichtige Logikregeln. Die Evaluierung anhand von Systemen wie Pensieve, Sage und Park belegt eine signifikante Reduktion der Leist
Analyse von LLM-Schwachstellen gegenüber GPU-Soft-Errors: Eine instruktionsbasierte Injektionsstudie
Grosse Sprachmodelle stellen enorme Anforderungen an GPUs, die jedoch aufgrund moderner Hardware-Entwicklungen zunehmend anfällig für flüchtige Hardwarefehler sein können. Obwohl bisherige Forschungen meist klassische neuronale Netze untersuchten, fehlte bislang eine detaillierte Betrachtung moderner LLMs hinsichtlich solcher Störungen. Durch eine instruktionsbasierte Fehlereinspeisung während der Inferenz ermittelt die Untersuchung zentrale Zuverlässigkeitsmerkmale. Dabei zeigen sich signifikante Einflüsse von Mod
GAAC: Verlustfreie KV-Kompression für effiziente LLM-Inferenz auf Endgeräten
Das neu entwickelte System Group-Adaptive Additive Codec ermöglicht eine verlustfreie Kompression des Key-Value-Caches für große Sprachmodelle, um den Speicherbedarf bei langen Kontexten auf Endgeräten zu reduzieren. Durch die Ausnutzung von Exponentenredundanzen werden BF16-Werte bitgenau kodiert, ohne die Genauigkeit zu beeinträchtigen. Ein integrierter Attention-Kernel rekonstruiert die Daten dynamisch während der Ausführung, was die Bandbreiteneffizienz erhöht. Tests zeigen signifikante Beschleunigungen der Att
ValuSpec: Plug-and-Play-Kandidatenbewertung für baumbasiertes Speculative Decoding
Zur Beschleunigung der Inferenz großer Sprachmodelle wird häufig das baumbasierte Speculative Decoding eingesetzt, bei dem jedoch oft ineffiziente und redundante Kandidatenbäume entstehen. Um diesem Problem zu begegnen, wurde ValuSpec entwickelt, ein modulares Bewertungsverfahren zur Filterung minderwertiger Zweige vor der eigentlichen Zielmodell-Verifikation. Das System nutzt transferbasierte Überwachung und einen kalibrierten Schwellenwert ohne zusätzliches Parametertraining. Experimente zeigen deutliche Geschwin
Wenn LLM-Router zu viel bezahlen: Die Kosten der Präferenz für starke Modelle
LLM-Router sollen Inferenzkosten senken, indem sie einfache Anfragen kostengünstigen Modellen zuweisen und komplexe Fälle starken Modellen vorbehalten. Untersuchungen zeigen jedoch, dass bestehende Router bei lockeren Kostenbudgets dazu neigen, teure Spitzenmodelle zu überrepräsentieren, selbst wenn günstigere Alternativen eine vergleichbare Leistung liefern. Um dieses Problem zu lösen, wurde EquiRouter entwickelt, ein entscheidungsorientierter Router, der abfrageabhängige Modell-Rankings lernt und bei gleichwertig
Netzwerkeffekt-Dekomposition zur Kausaleffektschätzung bei Netzwerkinterferenz
Für die präzise Schätzung kausaler Effekte in beobachteten Netzwerkdaten müssen sowohl individuelle Behandlungen als auch Nachbarschaftsexpositionen berücksichtigt werden. Das neu entwickelte NEDNet-Modell trennt die bedingte Ergebnisreaktion in eine Baseline und separate Behandlungs- sowie Expositions-Wirkungspfade auf. Durch pfadspezifische Kontextualisierung und eine referenznormalisierte Dekomposition lassen sich individuelle, peerbasierte und Gesamteffekte isolieren. Experimente auf Benchmark-Datensätzen beleg
Erweiterung von Schlussfolgerungen in typisierten Entscheidungsmodellen durch Schleifen
Typisierte Entscheidungsmodelle wählen Antworten in einem einzigen Durchlauf aus und können im Gegensatz zu generativen Sprachmodellen nicht einfach mehr Rechenzeit durch zusätzliche Token generieren. Eine neue Methode namens RELOAD integriert gedämpfte Schleifen in den mittleren Block vortrainierter Encoder oder Decoder, gesteuert durch einen leichtgewichtigen Controller für adaptive Durchläufe. Dies verbessert die Genauigkeit und Kalibrierung bei komplexen Schlussfolgerungen erheblich, insbesondere bei Problemen,
TriAttention: Einheitliche spärliche Mixed-Precision-Aufmerksamkeit für die Inferenz langer Kontexte in LLMs
TriAttention optimiert die Aufmerksamkeitsschicht bei der Inferenz großer Sprachmodelle durch die Kombination von Sparsamkeit und gemischter Genauigkeit. Das Verfahren weist Abfrage-Schlüssel-Kacheln dynamisch den Status des Überspringens sowie eine 4-Bit- oder 8-Bit-Berechnung zu, um den Rechen- und Speicheraufwand zu reduzieren. Durch eine kompakte Richtlinie und Offline-Kalibrierung minimiert das System den Fehler unter einem festen Budget und nutzt einen optimierten Kernel. Experimente zeigen deutliche Geschwin
TileQuant: Kachelbasierte Mixed-Precision-Quantisierung für große Sprachmodelle
TileQuant ist ein trainingsfreies Framework zur Post-Training-Quantisierung von großen Sprachmodellen, das die Präzision auf Basis hardwareangepasster zweidimensionaler Gewichtungskacheln zuweist. Durch eine Kombination aus aktivierungsbasiertem und verlustsensitivem Scoring werden die wichtigsten Kacheln in 16-Bit belassen, während weniger sensitive Bereiche mit 8-Bit arbeiten. Ein optimierter Kernel nutzt diese Struktur für effiziente Berechnungen und reduziert den Speicherverkehr deutlich. Experimente zeigen ein
StepBack: Fehlertolerantes Resampling für effizientes Test-Time Reasoning
Forscher haben StepBack vorgestellt, eine neue Methode zur Steigerung der Effizienz von Sprachmodellen beim Test-Time Reasoning. Anstatt vollständige Lösungspfade aufwendig neu zu berechnen, lokalisiert der Ansatz fehlerhafte Einzelschritte in frühen Entwürfen mithilfe leichter Signale. Anschließend werden nur der betroffene Schritt sowie die nachfolgenden Tokens neu generiert und per Mehrheitsentscheid validiert. Evaluierungen zeigen, dass diese Technik die Genauigkeit etablierter Resampling-Verfahren auf mathemat
Aufbau eines eigenen Arbeits-Stacks: Bereitstellung selbst gehosteter KI und Tools in einem Tech-Startup
Ein kleiner Softwareentwickler beschreibt die Implementierung eines hybriden KI-Ansatzes zur Reduzierung kommerzieller Inferenzkosten. Da rein lokale Open-Source-Modelle bei komplexen Programmieraufgaben leistungsschwach waren, übernahm eine Kombination aus kommerziellen Agenten und lokalen Modellen die Bewältigung des Workloads. Lokale Systeme übernahmen dabei vor allem organisatorische Aufgaben, die Dokumentensynchronisation sowie die Anbindung an selbst gehostete Werkzeuge wie Outline, Plane und ERPNext. Durch d
Adaptive Semantic Branching: Kreuz-Trajektorien-Regeneration für Reasoning-Kandidaten
Das neue Inferenzverfahren Adaptive Semantic Branching nutzt Meinungsverschiedenheiten in verschiedenen Denktrajektorien für zielgerichtete Kandidaten generierung. Durch die Ausrichtung von Lösungsschritten und die Identifizierung von Divergenzpunkten können alternative Zwischenentscheidungen effektiv wiederverwendet werden. Die Methode steigert die Abdeckung korrekter Antworten in mathematischen Benchmarks signifikant, ohne dass ein zusätzliches Training erforderlich ist.
FlashOffloading: Latenzarmes KV-Cache-Offloading für LLM-Inferenz mit langen Kontexten
Für den Betrieb großer Sprachmodelle stellt der linear wachsende Key-Value-Cache bei langen Kontexten eine erhebliche Belastung für den Hochgeschwindigkeitsspeicher dar. Ein Auslagern in den Host-DRAM entlastet diesen zwar, führt jedoch typischerweise zu Latenzproblemen bei der Datenübertragung. Eine neue Architektur namens FlashOffloading löst dieses Problem durch rollierende Caches für die Prefill- und Decode-Phase, einen inversen Sparse-Index sowie optimierte, überlappende Rechen- und Lade-Kernel. In Praxistests
CST-Bench: Ein neuer Benchmark zur Bewertung des kontrafaktischen räumlichen Schließens bei multimodalen Sprachmodellen
Multimodale große Sprachmodelle stoßen bei der Analyse dynamischer Szenen und veränderter räumlicher Beziehungen häufig an ihre Grenzen. Zur Schließung dieser Lücke wurde CST-Bench entwickelt, ein umfassender Benchmark mit über 7000 Beispielen zur Bewertung des kontrafaktischen räumlichen Schließens. Ergänzend dazu stellen die Entwickler die Methode CT-OPSD vor, welche kausale Zustandsübergänge modelliert und durch Self-Distillation die Leistung von Modellen bei räumlichen Interventionen gezielt verbessert.
Skalierung kausaler Meditationsanalyse für komplexe Systeme
Moderne operative Systeme wie Cloud-Infrastrukturen oder Logistiknetzwerke basieren auf hochkomplexen, interdependenzen Prozessen, deren Fehlerursachen oft schwer zu ermitteln sind. Traditionelle Methoden der Mediationsanalyse stoßen bei hochdimensionalen gerichteten azyklischen Graphen mit multiplen Behandlungen und Mediatoren an ihre Grenzen. Ein neuer Forschungsansatz bietet nun ein skalierbares Framework zur systematischen Zerlegung von Gesamteffekten in direkte und indirekte Komponenten. Die praktische Anwendb
MuSID-KD: Multigranulare Wissensdestillation für generative Empfehlungssysteme mit semantischen IDs
Generative Empfehlungssysteme mit semantischen IDs erzielen starke Ergebnisse, verursachen jedoch durch autoregressive Dekodierung hohe Inferenzkosten. Um dies zu adressieren, wurde das Verfahren MuSID-KD entwickelt, das eine effiziente Wissensdestillation von großen Lehrermodellen auf kompaktere Schülermodelle ermöglicht. Der Ansatz kombiniert eine hierarchische Ausrichtung der Kandidatenverteilung über gemeinsame Präfixe mit einer stufenweisen, am Ranking-Einfluss orientierten Steuerung der Distillation. Experime
Von der Assoziation zur Kausalität: Verbesserung der Retrieval-Präzision bei Retrieval-Augmented Generation durch kausale Beziehungen und einen Aufmerksamkeitsmechanismus
Herkömmliche Retrieval-Augmented-Generation-Systeme basieren im finalen Abrufschritt meist auf Viko-Ähnlichkeiten, was oft zu unpräzisen Ergebnissen führt, da rein assoziative statt kausale Verbindungen zwischen Anfrage und Dokument erfasst werden. Ein neuer Ansatz modelliert diese finale Abrufphase mithilfe eines kausalen Graphen auf Basis des Reichenbachschen Prinzip der gemeinsamen Ursache sowie eines neuartigen Attention-Mechanismus. Damit lässt sich die Relevanz der abgerufenen Dokumente deutlich treffsicherer
NaiveAI verspricht 2.100 Tokens pro Sekunde. Wie gut programmiert es?
NaiveAI erzielt in Leistungstests potenziell Höchstwerte bei der Verarbeitungsgeschwindigkeit und erreicht bis zu 2.100 Token pro Sekunde. Praktische Überprüfungen der Programmierfähigkeiten zeigen, dass die generierte C
[AINews] DeepSeek DeepInfer: Open-Source-SOTA-Inferenz mit 155 T Toks/Tag/Cluster, die 22 Mio. $/Tag bei einer Marge von ca. 80 % einbringt und sich in 81 Tagen amortisiert
DeepSeek hat DeepInfer vorgestellt, ein leistungsstarkes Open-Source-Inferenz-Framework. Die Technologie erreicht einen Durchsatz von bis zu 155 Billionen Token pro Tag und Cluster. Dies zeugt von einer erheblichen Wirtschaftlichkeit mit extrem hohen Gewinnmargen und kurzen Amortisationszeiten. Die Veröffentlichung unterstreicht die rasante Entwicklung hocheffizienter KI-Infrastrukturen.
Gemini 3.7 Flash bringt Google DeepMind zurück an die Spitze
Die Veröffentlichung von Gemini 3.7 Flash markiert eine bedeutende Weiterentwicklung im Bereich der hocheffizienten Sprachmodelle und positioniert die dahinterstehende Forschung wieder an der technologischen Spitze. Das neue Modell verbindet optimierte Inferenzgeschwindigkeiten mit erweiterten Fähigkeiten zur Bewältigung komplexer multimodaler Aufgaben. Damit reagieren die Entwickler direkt auf den intensiven Wettbewerb im Markt für generative künstliche Intelligenz. Die verbesserte Architektur ermöglicht skalierba
Wie man einen Argumentationspfad stiehlt
Die Untersuchung beleuchtet Methoden zur Extraktion und Rekonstruktion von internen Argumentationspfaden großer Sprachmodelle. Dabei wird analysiert, wie fortschrittliche Dekodierungsverfahren und destillierte Prozesse dazu genutzt werden können, den schrittweisen Denkprozess von KI-Systemen offenzulegen. Dies wirft wichtige Fragen hinsichtlich des Schutzes proprietärer Modellarchitekturen und der Sicherheit von Inferenzdaten auf.
AMD übernimmt Taalas
Der Halbleiterkonzern AMD übernimmt das auf KI-Inferenz-Technologien spezialisierte Unternehmen Taalas. Die Akquisition erfolgt vor dem Hintergrund eines stark wachsenden Marktes für spezialisierte Recheninfrastrukturen im Bereich künstlicher Intelligenz. Durch die Integration von Taalas stärkt AMD seine strategische Position im wettbewerbsintensiven Segment der KI-Inferenz-Beschleuniger und erweitert das eigene technologische Portfolio für hocheffiziente neuronale Netzwerke.
NVIDIA-Dynamo-Rezepte bringen Koreas führende offene Modelle in die Produktion
NVIDIA veröffentlicht optimierte Bereitstellungsrezepte auf Basis von Dynamo für führende südkoreanische Open-Source-Modelle wie SK Telecoms A.X K2, LG AI Researchs K-EXAONE 2.0, Upstages Solar Open 2 und Motif Technologies Motif-3. Da diese Modelle die Kapazität einzelner GPUs überschreiten, müssen sie auf mehrere Grafikprozessoren verteilt werden. Die neuen Rezepte ermöglichen eine präzise Koordination des Anfrage-Routings und eine effiziente Inferenz in Produktionsumgebungen.
Das KI-Inferenz-Start-up Fal verdoppelt seine Bewertung angesichts der steigenden Nachfrage auf 16 Mrd. US-Dollar
Das auf künstliche Intelligenz spezialisierte Startup Fal hat in einer von Bessemer geführten Finanzierungsrunde 1,3 Milliarden US-Dollar eingesammelt. Durch diese massive Kapitalerhöhung verdoppelt das fünf Jahre alte Unternehmen seine Unternehmensbewertung auf nunmehr 16 Milliarden US-Dollar. Treiber dieser Entwicklung ist die rasant wachsende Nachfrage nach effizienten Inferenz-Dienstleistungen im KI-Sektor.
Reflection stellt Beam vor: Ein Open-Weight-KI-Modell mit geringerem Rechenbedarf als Konkurrenzprodukte
Reflection AI hat mit Beam sein erstes Open-Weight-Modell angekündigt, das im Bereich des logischen Schliessens mit führenden chinesischen Modellen konkurrieren soll, dabei jedoch deutlich weniger Inferenz-Rechenleistung benötigt. Das Unternehmen plant die Veröffentlichung der Modellgewichte im Laufe dieses Monats. Die Entwicklung unterstreicht den anhaltenden Trend zur Optimierung von Rechenressourcen bei gleichzeitiger Leistungssteigerung im Bereich fortgeschrittener KI-Architekturen.
Inferenz-Anbieter Modal Labs kurz vor Finanzierungsrunde über 750 Millionen US-Dollar bei Bewertung von 15,75 Milliarden US-Dollar
Der auf KI-Infrastruktur spezialisierte Dienstleister Modal Labs steht kurz vor dem Abschluss einer neuen Finanzierungsrunde in Höhe von 750 Millionen US-Dollar. Durch diese Kapitalerhöhung wird sich die Unternehmensbewertung im Vergleich zum Stand vor nur vier Monaten mehr als verdreifachen. Diese Entwicklung unterstreicht die massiven Investitionen und das anhaltende Wachstum im Bereich skalierbarer Rechenkapazitäten für KI-Workloads.
OpenAIs Jalapeño-Chip für skalierbare und schnelle Inferenz in Benchmarks getestet
Erste Benchmark-Ergebnisse des eigens entwickelten KI-Beschleunigers Jalapeño von OpenAI belegen eine hohe Leistungsfähigkeit bei der Ausführung von neuronalen Netzen. Im Vergleich zu aktuell verfügbaren Spitzensystemen erzielt die Hardware eine signifikant höhere Anzahl generierter Tokens pro Nutzer sowie eine verbesserte Energieeffizienz bezogen auf den Durchsatz pro Kilowatt. Damit demonstriert der Chip ein erhebliches Potenzial für die Bewältigung massiver Workloads in großskalierten Inferenz-Infrastrukturen.
Kog optimiert GPU-Inferenz für agentenbasierte Arbeitslasten
Ein französisches Start-up widmet sich der Leistungssteigerung von Grafikprozessoren für komplexe Inferenzprozesse. Entgegen der gängigen Annahme einer mangelnden Eignung von GPUs für agentenbasierte Workflows zeigt das Unternehmen neue Ansätze zur Effizienzsteigerung auf. Durch gezielte Optimierungen soll das volle Potenzial der Hardware für autonome KI-Agenten ausgeschöpft werden.
MacPaw kooperiert mit Liquid AI für On-Device-Inferenz in der eigenen App-Plattform
Für die Entwicklung einer lokalen Version des KI-Assistenten Eney setzt MacPaw künftig auf die fortschrittlichen Modelle von Liquid AI. Durch diesen Ansatz wird die Ausführung von KI-Inferenz direkt auf dem Endgerät ermöglicht, was die Leistungsfähigkeit und den Datenschutz für Entwickler im eigenen App-Store erhöht. Die Integration unterstreicht den anhaltenden Trend zur lokalen Ausführung ressourcenintensiver neuronaler Netze auf Endnutzerhardware.
KI-Chip-Startup Etched trotzt Zweiflern und erreicht Milliardenbewertung durch prominente Investoren
Ein junges Technologieunternehmen hat spezialisierte Prozessoren und Speicherkomponenten entwickelt, die die Inferenz-Geschwindigkeit von künstlicher Intelligenz drastisch erhöhen sollen. Die neuartige Hardware kommt im Gegensatz zu herkömmlichen Grafikprozessoren ohne GPUs aus und unterstützt universell verschiedene KI-Modelle. Diese Entwicklung hat auf dem Markt für Aufmerksamkeit gesorgt und dem Unternehmen in einer Finanzierungsrunde eine Bewertung im zweistelligen Milliardenbereich eingebracht.
Warum die ersten GPU-Finanzierer bei einem 400-Millionen-Dollar-Deal auf Inferenz-Chips setzen
Ein neuer Kredit in Höhe von 400 Millionen Dollar, der durch Hardware besichert ist, markiert eine strategische Verschiebung in der Finanzierung von KI-Infrastruktur. Während bisher vor allem Grafikprozessoren für das Training von Modellen im Fokus standen, richtet sich das Investoreninteresse nun verstärkt auf spezialisierte Inferenz-Chips. Diese Entwicklung deutet auf eine neue Phase hin, in der die effiziente Ausführung von KI-Anwendungen in den Vordergrund rückt. Die Finanzierung unterstreicht den wachsenden Be
Die versteckten Speicherkosten der KI: Was die Inferenz hinterlässt
Bei der Kalkulation von KI-Kosten stehen meist nur Grafikprozessoren und Rechenleistung im Fokus. Häufig wird jedoch vernachlässigt, welch immense Datenmengen durch die tägliche Inferenz generiert und langfristig gespeichert werden müssen. Milliarden von Prompts, generierten Bildern und Videos erfordern eine robuste Infrastruktur im Hintergrund. Dies führt zu signifikanten, oft unterschätzten Folgekosten für die Datenspeicherung im Enterprise-Umfeld.
Deepseek veröffentlicht die Inferenz-Engine, die sein schnellstes und kostengünstigstes KI-Modell antreibt, als Open Source
Das Unternehmen Deepseek stellt mit DeepInfer das Inferenz-Framework für sein performantes Modell V4.1-Flash als Open Source zur Verfügung. Die auf vLLM basierende Software optimiert den Rechenaufwand sowie den Energieverbrauch beim Betrieb großer KI-Modelle. Durch diese Veröffentlichung erhöht sich der Preitänderungsdruck auf westliche Anbieter wie OpenAI und Anthropic massiv. Die Technologie zielt darauf ab, die Bereitstellung von KI-Diensten deutlich kostengünstiger zu gestalten.
Microsoft plant, seine eigenen Maia-KI-Chips bis 2027 auf Gigawatt-Niveau zu skalieren
Microsoft plant, die hauseigenen Azure-Maia-Chips ab dem Jahr 2027 als primäres System für KI-Inferenz in allen eigenen Produkten einzusetzen und im Multigigawatt-Maßstab zu skalieren. Die kommende Version Maia 300 soll eine um 40 Prozent höhere Effizienz bei der Token-Generierung pro Megawatt im Vergleich zu führenden GPU-Systemen erreichen. Diese Initiative stellt eine der bislang größten strategischen Investitionen des Unternehmens im Bereich maßgeschneiderter Halbleiter dar.
Googles neues Bildmodell Nano Banana 2.1 generiert bessere Bilder zu geringeren Kosten
Das neue Bildmodell Nano Banana 2.1 integriert die Gemini 3.6 Flash-Architektur und übertrifft in bestimmten Benchmarks das vorherige Pro-Modell bei gleichzeitig reduzierten Betriebskosten. Trotz starker Testergebnisse des Vorgängers lieferte die Pro-Variante in der praktischen Anwendung häufig überlegene visuelle Ergebnisse. Die Weiterentwicklung unterstreicht die kontinuierliche Optimierung von Effizienz und Leistungsfähigkeit im Bereich generativer visueller KI-Systeme.
Apple entwickelt angeblich Enterprise-KI-Server mit M8-Ultra-Chips
Apple plant offenbar die Entwicklung eines dedizierten Enterprise-Servers für KI-Inferenzanwendungen, der mit bis zu vier M8-Ultra-Chips ausgestattet sein soll. Für die interne Kommunikation und Vernetzung der Prozessoren zieht das Unternehmen Technologien wie Nvidia NVLink Fusion in Betracht. Ein potenzieller Markteintritt wird jedoch nicht vor dem Jahr 2029 erwartet. Zusätzliche Impulse könnten durch den bereits bestehenden Großeinsatz von Mac-Hardware für KI-Workloads durch führende KI-Labore entstehen.
AWS setzt auf Qualcomm für KI-Inferenz und nutzt im Gegenzug AWS Bedrock für das Chipdesign
Eine strategische Technologiepartnerschaft verbindet die Entwicklung kundenspezifischer Halbleiter für künstliche Intelligenz mit cloudbasierten Infrastrukturdiensten. Qualcomm entwickelt über mehrere Generationen hinweg spezialisierte Prozessoren für Cloud-Infrastrukturen zur Optimierung von KI-Inferenzprozessen. Gleichzeitig setzt das Unternehmen auf die Cloud-Plattform zur modellgestützten Unterstützung beim eigenen Chipdesign. Diese wechselseitige Kooperation adressiert die steigenden Leistungsanforderungen mod
Deepseek plant bisher grössten Huawei-Chip-Cluster mit 160.000 Prozessoren in der Inneren Mongolei
Für den Betrieb eines neuen Rechenzentrums in der Inneren Mongolei plant ein führendes KI-Unternehmen den Einsatz von 160.000 Huawei Ascend-950DT Prozessoren. Die Infrastruktur soll ausschliesslich für Inferenz-Workloads und nicht für das Training von Modellen genutzt werden, was den bisher grössten bekannten Cluster dieser Hardware-Architektur darstellen würde. Angesichts anhaltender Produktionsengpässe wird jedoch bezweifelt, dass der zuständige Halbleiterhersteller die benötigten Kapazitäten innerhalb der nächst
OpenAI-Forscher warnt: Ultraschnelle KI könnte Sicherheitsteams überfordern
Ein Forscher von OpenAI warnt vor den Risiken extrem beschleunigter KI-Modelle, die aufgrund ihrer hohen Verarbeitungsgeschwindigkeit menschliche Sicherheitsteams bei der Abwehr von Systeminfiltrationen überfordern könnten. Herkömmliche Überwachungsmethoden erweisen sich in diesem Szenario als unzureichend, weshalb die Entwicklung autonomer Abschaltmechanismen dringend erforderlich ist. Diese Sicherheitsbedenken fallen zeitlich mit der Vorstellung einer neuen Hardware-Architektur zusammen, die bestehende Infernzges
GLM-5.3-Flash erreicht Top-Modell-Leistung ohne Nvidia-Hardware
Das neue Open-Source-Modell GLM-5.3-Flash mit 320 Milliarden Parametern erreicht auf einem etablierten Leistungsindex fast das Niveau des größeren Schwestermodells, operiert jedoch zu einem Bruchteil der Betriebskosten. Bemerkenswert ist insbesondere die technische Umsetzung der Inferenz, die vollständig auf chinesischen KI-Beschleunigern anstelle von herkömmlicher Nvidia-Hardware ausgeführt wurde. Damit demonstriert die Veröffentlichung die fortschreitende Unabhängigkeit von etablierten westlichen Halbleiterarchit
Erster eigener OpenAI-KI-Chip namens Jalapeño übertrifft laut Benchmarks Nvidia-Modelle
Auf der Konferenz Hot Chips wurde der erste unternehmenseigene Inferenz-Prozessor von OpenAI mit der internen Bezeichnung Jalapeño vorgestellt. Erste Leistungsmessungen und Analysen zeigen, dass der spezialisierte Halbleiter bei Durchsatz und Energieeffizienz etablierte Spitzenmodelle wie Nvidia Blackwell und kommende Generationen übertreffen kann. Diese Entwicklung markiert einen bedeutenden Schritt hin zur hardwareseitigen Unabhängigkeit großer KI-Entwickler von externen Grafikkarte-Lieferanten. Derartige maßgesc
Nvidia beziffert Leistung des Inferenz-Chips Groq 3 LPX, doch der Leistungsvergleich ist komplex
Der Halbleiterhersteller Nvidia treibt die Serienproduktion seines neuen Inferenz-Beschleunigers Groq 3 LPX voran und erzielt bei dem Sprachmodell Gemma 4 31B eine Verarbeitungsrate von 3400 Tokens pro Sekunde. Damit übertrifft das System konkurrierende Architekturen rechnerisch um das Vierfache. Ein genauerer Blick auf die zugrundeliegenden Systemanforderungen offenbart jedoch, dass für diese Höchstleistung deutlich größere Hardware-Cluster erforderlich sind. Zudem bleibt die Skalierbarkeit dieser Architektur bei
GPT-5.6 Sol erreicht 14-fache Geschwindigkeit durch neuen Ultrafast-Modus mit Cerebras-Hardware
Mit dem neuen Inferenzmodus Ultrafast erreicht das Sprachmodell GPT-5.6 Sol eine Leistung von bis zu 750 Ausgabe-Tokens pro Sekunde. Ermöglicht wird dieser Leistungssprung durch den Einsatz spezieller Hardware im Rahmen einer strategischen Partnerschaft. Gemeinsam mit den bestehenden Modi Standard und Fast führt der Anbieter damit eine dreistufige Preis- und Leistungsstruktur ein, die Inferenzgeschwindigkeit gezielt als differenziertes Produkt positioniert.
Nvidias Open-Weight-Modell Nemotron 3.5 Lightning setzt auf Geschwindigkeit statt maximale Intelligenz
Das neue Open-Weights-Modell Nemotron 3.5 Lightning von Nvidia arbeitet mit nur 3,6 Milliarden aktiven Parametern und erreicht dennoch die Leistungswerte deutlich größerer Systeme im Intelligenzindex. Mit einer Verarbeitungsgeschwindigkeit von fast 670 Token pro Sekunde positioniert sich die Architektur als extrem performante Lösung für zeitsensitive Anwendungen. Damit unterstreicht der Hersteller den strategischen Fokus auf hocheffiziente KI-Inferenz anstelle reiner Skalierung der Modellgröße.
AMD übernimmt Startup Taalas zur Integration von KI-Modellen direkt in Silizium
Der Halbleiterkonzern AMD übernimmt das kanadische Startup Taalas, das spezialisierte Inferenz-Chips entwickelt, bei denen KI-Modellgewichte direkt in die Hardware eingebrannt werden. Durch diesen hardwarebasierten Ansatz entfallen traditionelle Speicherzugriffe, was extreme Verarbeitungsgeschwindigkeiten und eine hohe Energieeffizienz ermöglicht. Allerdings führt die feste Implementierung dazu, dass ein solcher Chip dauerhaft an genau ein spezifisches neuronales Netz gebunden ist. Erste Demonstrationsobjekte errei
Googles Frozen v2 Chip integriert Gemini-Architektur direkt in die Hardware
Die Entwicklung des neuen Server-Chips Frozen v2 zielt darauf ab, die Architektur des KI-Modells Gemini direkt auf Silizium-Ebene abzubilden. Durch diese hardwareseitige Optimierung soll die Effizienz bei der KI-Inferenz im Vergleich zu aktuellen Tensor Processing Units um das Sechs- bis Zehnfache gesteigert werden. Das für das Jahr 2028 geplante Projekt soll die Betriebskosten für KI-Anwendungen massiv senken und einen strategischen Wettbewerbsvorteil bei der Skalierung von KI-Diensten ermöglichen.
Der neue KI-Chip von Microsoft verringert die Abhängigkeit von Nvidias GPUs
Microsoft hat die dritte Generation seines internen Maia-KI-Chips vorgestellt, der als primäres Inferenzsystem für sämtliche Cloud-Produkte und Dienste fungiert. Der neue Prozessor optimiert nicht nur die Kosten und die Effizienz bei der Ausführung von Workloads, sondern bewältigt auch modernste Reasoning-Modelle und agentenbasierte Aufgaben deutlich besser. Damit stärkt das Unternehmen seine Eigenständigkeit bei KI-Infrastrukturen und entkoppelt sich schrittweise von Nvidia-GPUs.
Nvidia veröffentlicht kostenloses Werkzeug zur Vernetzung ungenutzter Computer für lokale KI-Rechenzentren
Mit dem Personal AI Router steht eine neue Open-Source-Software zur Verfügung, die mehrere Heimcomputer zu einem dezentralen Rechenverbund verknüpft. Das Werkzeug synchronisiert ungenutzte Hardware-Ressourcen, um lokale Inferenz-Workloads für gängige Anwendungen effizient zu bewältigen. Durch die softwarebasierte Vernetzung lässt sich die Leistung bestehender Systeme für komplexe KI-Aufgaben im privaten oder lokalen Umfeld bündeln, ohne dedizierte Server-Infrastruktur vorauszusetzen.
Ein Leitfaden zur Auswahl und Nutzung von Modellen der GPT-6-Familie
Ein neuer technischer Leitfaden zeigt Start-ups, wie sie GPT-6-Modelle für ihre Anwendungen auswählen und konfigurieren können. Der Fokus liegt dabei auf der präzisen Steuerung des Inferenzaufwands, der Optimierung von Prompts und Fähigkeiten sowie der Orchestrierung verschiedener Werkzeuge. Zudem werden Best Practices vermittelt, um produktionsreife Workflows effizient vorzubereiten und abzusichern.
Erste Testergebnisse von Jalapeño belegen branchenführende Geschwindigkeit und Effizienz bei der KI-Inferenz
OpenAI hat Details zu Jalapeño vorgestellt, einem kundenspezifischen Inferenzchip für moderne künstliche Intelligenz. Die ersten Testergebnisse zeigen eine deutlich höhere Leistung, verbesserte Durchsatzraten sowie eine reduzierte Latenz bei gleichzeitig gesteigerter Energieeffizienz. Damit unterstreicht die Entwicklung das Bestreben, die Hardware-Infrastruktur für komplexe KI-Workloads gezielt zu optimieren.
Wie GPT-5.6 Spitzenintelligenz mit maximaler Effizienz verbindet
Das neue Modell GPT-5.6 steigert die Effizienz von künstlicher Intelligenz über verschiedene Modellarchitekturen, Inferenzprozesse und agentenbasierte Arbeitsabläufe hinweg erheblich. Durch optimierte Abläufe wird eine höhere nützliche Intelligenz pro eingesetztem US-Dollar erreicht. Dies ermöglicht leistungsstärkere und gleichzeitig wirtschaftlichere Anwendungen im Bereich komplexer digitaler Aufgaben. Die Weiterentwicklung adressiert zentrale Herausforderungen bei der Skalierung moderner Sprachmodelle.
Ausgelagerte Inferenz für physische KI-Robotik in realen Anwendungsszenarien
Um den steigenden Leistungsbedarf intelligenter Maschinen zu bewältigen, wurde ein Ansatz zur Verlagerung von KI-Inferenzprozessen weg von der direkten Robotik-Hardware untersucht. Durch diese Auslagerung lassen sich die
Transformers unterstützt ab sofort llama.cpp-Quantisierungen
Die Integration von GGUF-Formaten in die Transformers-Bibliothek ermöglicht die direkte Ausführung quantisierter KI-Modelle auf lokaler Hardware wie Apple Silicon. Durch die Nutzung zugrundeliegender GGML-Kernel wird eine Performance erreicht, die nah an spezialisierte Inferenz-Engines heranreicht, während gleichzeitig die gewohnten Python- und PyTorch-Workflows erhalten bleiben. Dies erleichtert Entwicklern das Prototyping, die Evaluierung sowie die Feinabstimmung von Modellen im lokalen Betrieb erheblich.
Über 200 optimierte WebGPU-Kernels für lokale KI-Anwendungen im Browser veröffentlicht
Eine neue Bibliothek stellt über 200 versionierte WebGPU-Kernels für das Laden und Ausführen von maschinellen Lernmodellen direkt im Browser bereit. Die modular aufgebauten Operationen umfassen Manifeste, Tests sowie Shader-Vorlagen und bieten eine optimierte Grundlage für performante clientseitige Inferenz. Ein begleitendes Benchmark-Werkzeug erfasst zudem Leistungsdaten auf verschiedenster Hardware, um die Weiterentwicklung und Fehlererkennung zu unterstützen.
Bis zu 3,2-fache Inferenzgeschwindigkeit mit LFM2.5-DSpark
Die Veröffentlichung von LFM2.5-DSpark demonstriert signifikante Leistungssteigerungen bei der Ausführung von KI-Modellen. Durch optimierte Architekturen konnte die Inferenzgeschwindigkeit um das bis zu 3,2-fache erhöht werden. Diese Entwicklung unterstreicht den kontinuierlichen Fortschritt bei der Effizienzsteigerung neuronaler Netzwerke für rechenintensive Anwendungen.
Wie viel Arbeitsspeicher benötigt ein KI-Agent tatsächlich?
Eine Untersuchung von IBM Research beleuchtet den tatsächlichen Speicherbedarf von autonomen KI-Agenten während ihrer Ausführung. Dabei wird analysiert, wie sich verschiedene Kontextfenster und Speicherarchitekturen auf die Ressourceneffizienz und Leistung auswirken. Die Erkenntnisse helfen Entwicklern dabei, den RAM-Bedarf von Agenten-Workflows präziser zu kalkulieren und zu optimieren.
Effizientere Token-Nutzung bei ACE-Architekturen
Forscher haben optimierte Methoden zur Reduzierung der Token-Anzahl bei der Anwendung von ACE-Modellen vorgestellt. Durch diese algorithmischen Anpassungen lässt sich der Rechenaufwand während der Inferenz signifikant senken. Dies ermöglicht eine ressourcenschonendere Ausführung komplexer sprachbasierter Aufgaben in entsprechenden Anwendungsumgebungen.
Baseten als Inferenz-Anbieter auf dem Hugging Face Hub integriert
Die Plattform Baseten wurde als neuer Inferenz-Anbieter in das Ökosystem des Hugging Face Hubs aufgenommen. Entwickler können ab sofort über clientseitige SDKs für Python und JavaScript nahtlos auf serverlose KI-Modelle zugreifen sowie gängige Open-Weight-Modelle für Aufgaben wie Textgenerierung und Konversation nutzen. Die Integration unterstützt sowohl die direkte Authentifizierung via API-Schlüssel als auch die Abrechnung über zentrale Nutzerkonten. Dadurch lassen sich gehostete Modelle ohne zusätzlichen Aufwand
Die OlmoEarth-Plattform: Geodätische Inferenz im planetaren Maßstab
Es wurde eine neue Plattform für geodätische Inferenz vorgestellt, die Berechnungen auf planetarer Ebene ermöglicht. Das System nutzt fortschrittliche Methoden der künstlichen Intelligenz, um große Mengen an Geodaten zu verarbeiten und komplexe räumliche Analysen durchzuführen. Ziel der Entwicklung ist es, Forschern und Anwendern leistungsstarke Werkzeuge für globale Umwelt- und Geoforschung zur Verfügung zu stellen. Die zugrundeliegenden Modelle wurden speziell für die effiziente Auswertung raumbezogener Daten opt
LFM2.5-Encoder für schnelle Long-Context-Inferenz auf CPUs
Die neuen LFM2.5-Encoder wurden speziell entwickelt, um eine effiziente Verarbeitung langer Kontextfenster direkt auf Standard-CPUs zu ermöglichen. Durch optimierte Architekturen wird die Rechenzeit für umfangreiche Eingaben drastisch verkürzt, ohne dass dabei nennenswerte Einbußen bei der Leistungsfähigkeit entstehen. Diese Entwicklung erleichtert den ressourcenschonenden Einsatz fortschrittlicher Sprachmodelle in hardwarebeschränkten Umgebungen. Damit lassen sich komplexe Analyseaufgaben und Datenverarbeitungspro
Nunchaku 4-Bit-Diffusionsinferenz für Diffusers integrieren
Eine neue Integration ermöglicht das direkte Laden von quantisierten Nunchaku-Modellen in gängige Diffusions-Pipelines, ohne dass eine lokale CUDA-Kompilierung oder separate Inferenz-Engines erforderlich sind. Durch die Kombination von 4-Bit-Gewichtungen und -Aktivierungen sowie speziellen Laufzeit-Schichten wird der Speicherbedarf im Vergleich zu Standardformaten deutlich reduziert, während gleichzeitig die Inferenzgeschwindigkeit steigt. Zusätzlich vereinfacht ein neues Toolkit die Quantisierung und Veröffentlich
Einführung von Inkling: Ein multimodales Large Language Model
Inkling ist ein neues, quelloffenes multimodales Sprachmodell mit rund einer Billion Parametern und einem Kontextfenster von einer Million Token. Es verarbeitet nativ Text, Bild- und Audiodaten und nutzt eine Mixture-of-Experts-Architektur, um bei 41 Milliarden aktiven Parametern eine effiziente Inferenz zu ermöglichen. Das Modell verwendet relative Aufmerksamkeit und ein hybrides Aufmerksamkeitsmuster, um komplexe Schlussfolgerungen über verschiedene Modalitäten hinweg zu ziehen. Es ist für die Domänenanpassung du
Native-speed vLLM Transformers-Modellierungs-Backend
Die Integration eines nativen vLLM-Backends für Transformers-Modelle zielt darauf ab, die Inferenzgeschwindigkeit bei der Ausführung großer Sprachmodelle signifikant zu steigern. Durch die direkte Nutzung der vLLM-Architektur innerhalb der bestehenden Modell-Frameworks werden Latenzzeiten minimiert und der Durchsatz bei der Token-Generierung optimiert. Diese technische Neuerung ermöglicht eine effizientere Nutzung von Grafikprozessoren und verbessert die Skalierbarkeit für produktive KI-Anwendungen, ohne die Kompat
Inferenz-Engpässe umgehen: Beschleunigung komplexer KI-Suche mit Retrieve-for-Train
Zur Bewältigung hoher Rechenlasten bei der Ausführung komplexer KI-Suchmodelle wurde ein neuer Ansatz zur Optimierung von Inferenz-Prozessen vorgestellt. Die Methodik zielt darauf ab, die Latenzzeiten drastisch zu reduzieren und gleichzeitig die Effizienz bei der Verarbeitung großer Datenmengen zu steigern. Durch gezielte strukturelle Anpassungen im Zusammenspiel von Datenabruf und Modelltraining lassen sich bisherige Leistungsengpässe effektiv umgehen. Dies ermöglicht skalierbarere Architekturen für rechenintensiv
Beschleunigung von Gemini Nano-Modellen auf Pixel durch eingefrorene Multi-Token-Vorhersage
Durch die Implementierung einer Multi-Token-Vorhersage-Technik lässt sich die Effizienz von Gemini Nano-Modellen auf mobilen Endgeräten wie dem Pixel signifikant steigern. Anstatt wie bisher nur ein einzelnes Token vorherzusagen, generiert das Modell mehrere Tokens gleichzeitig in einem einzigen Durchlauf. Dieser Ansatz reduziert die Latenzzeiten bei der Textgenerierung erheblich, da die Anzahl der benötigten Inferenzschritte sinkt. Die Methode nutzt dabei eingefrorene Modellgewichte, was eine Optimierung ohne aufw
Intelligenz ist kostenlos – was nun? Datensysteme für, von und durch KI-Agenten
Die Kosten für KI-Inferenz sind in kurzer Zeit drastisch gesunken, was den Zugang zu leistungsfähigen Sprachmodellen massiv erleichtert. Diese Entwicklung verschiebt den Fokus von der reinen Modellkapazität hin zur Gestaltung effizienter Datensysteme, die speziell auf die Bedürfnisse autonomer KI-Agenten zugeschnitten sind. Da Intelligenz zunehmend als kostengünstige Ressource zur Verfügung steht, liegt die Herausforderung nun in der Architektur von Systemen, die Agenten bei der Verarbeitung, Speicherung und Nutzun
Adaptives paralleles Schlussfolgern: Das nächste Paradigma für effiziente Inferenz-Skalierung
Das Konzept des adaptiven parallelen Schlussfolgerns stellt einen neuen Ansatz zur Optimierung der Inferenz-Skalierung bei KI-Modellen dar. Anstatt lineare Rechenprozesse zu erzwingen, ermöglicht diese Methode eine dynamische Verteilung von logischen Aufgaben auf parallele Pfade. Dies führt zu einer signifikanten Steigerung der Effizienz bei komplexen Problemlösungen, da die Rechenressourcen gezielter auf die jeweiligen Anforderungen der Aufgabenstellung abgestimmt werden. Durch diese Architektur lässt sich die Lei