Ein Überwachungswerkzeug für die Speicherauslastung bei LLM-Inferenz
Das vorgestellte Werkzeug ermöglicht eine detaillierte Analyse der VRAM-Auslastung während der Inferenz von großen Sprachmodellen. Nutzer erhalten präzise Einblicke in die Speicherbelegung einzelner Modellkomponenten und können die Auswirkungen verschiedener Quantisierungsmethoden direkt messen. Durch diese Transparenz lässt sich der Ressourcenverbrauch optimieren, was insbesondere bei der Ausführung von Modellen auf Hardware mit begrenztem Grafikspeicher von großem Nutzen ist.
Externe Kommentierung zu globalen Arbeitsraum-Repräsentationen in LLMs
Der Artikel befasst sich mit der theoretischen Untersuchung von globalen Arbeitsraum-Repräsentationen innerhalb von großen Sprachmodellen. Dabei wird analysiert, wie Informationen innerhalb der Modellarchitektur verarbeitet und für verschiedene Aufgaben zugänglich gemacht werden. Die Arbeit bietet eine kritische Einordnung bestehender Konzepte zur kognitiven Architektur von KI-Systemen und beleuchtet, inwieweit diese Modelle menschenähnliche Informationsverarbeitungsprozesse abbilden können.
Tool zur Erkennung von LLM-Klischees
Dieses Werkzeug identifiziert und markiert automatisch typische Sprachmuster und Klischees, die häufig in Texten von großen Sprachmodellen vorkommen. Nutzer können Texte direkt einfügen oder über eine URL laden, um eine sofortige Analyse zu erhalten. Besondere Phrasenstrukturen werden dabei mit Zählern versehen, während detaillierte Informationen zu den erkannten Mustern durch einfaches Überfahren der Markierungen mit der Maus angezeigt werden. Die Anwendung ermöglicht eine effiziente Überprüfung von Inhalten auf i
Diskussion über den praktischen Nutzen von LLM-Wikis
Das Konzept der LLM-Wikis, bei dem KI-Modelle als strukturierte Wissensdatenbanken fungieren, stößt in der Fachwelt auf geteiltes Interesse. Während die theoretische Idee einer zentralen, KI-gestützten Wissensablage vielversprechend erscheint, berichten Anwender von Schwierigkeiten bei der praktischen Implementierung im Alltag. Oftmals erweisen sich bestehende Wissensmanagementsysteme oder spezialisierte Agenten-basierte Recherchewerkzeuge als effizienter. Die aktuelle Debatte konzentriert sich daher auf die Frage,
Sandboxing von LLM-generiertem Python-Code: Ein Arena-Experiment für KI-Bots
Ein neues Projekt ermöglicht es Nutzern, KI-Bots mittels Prompts zu erstellen, die in einer 2D-Arena gegeneinander antreten. Da der generierte Python-Code von unbekannten Quellen stammt, stellt die sichere Ausführung eine Herausforderung dar. Statt auf unsichere Blacklisting-Methoden zu setzen, wird jeder Bot in isolierten Docker-Containern ausgeführt, um den Zugriff auf Systemressourcen strikt zu begrenzen. Zudem sorgt eine deterministische Engine für nachvollziehbare Kampfergebnisse, während serverseitiges Render
Betrieb von internen Sprachmodellen bei Netflix
Die technische Infrastruktur für den Einsatz von großen Sprachmodellen innerhalb von Netflix wird durch spezialisierte Teams für Modell-Laufzeitumgebungen und Inferenz-Prozesse realisiert. Der Fokus liegt dabei auf der Skalierbarkeit und Effizienz bei der Bereitstellung von KI-Modellen für verschiedene interne Anwendungen. Durch die Entwicklung maßgeschneiderter Lösungen für das Inferenz-Serving kann die Performance optimiert und die Latenz bei der Verarbeitung von Anfragen minimiert werden. Dies ermöglicht eine na
Methoden für den Zugriff von KI-Agenten auf PostgreSQL-Datenbanken
Die Anbindung von KI-Agenten an PostgreSQL-Datenbanken erfordert eine sorgfältige Abwägung zwischen Flexibilität und Sicherheit. Während die direkte Generierung von SQL-Abfragen durch Sprachmodelle eine hohe Dynamik bietet, birgt sie signifikante Risiken für die Datenintegrität. Alternativ können vordefinierte Operationen genutzt werden, um den Zugriff auf Lese- und Schreibvorgänge zu beschränken. Unabhängig vom gewählten Ansatz ist die Implementierung deterministischer Sicherheitsmechanismen und Schutzschichten un
Tkngate: Zero-Trust-P2P-Gateway für LLM-Agenten
Tkngate ist ein quelloffenes Gateway, das auf der Programmiersprache Go basiert und eine sichere Kommunikation für LLM-Agenten ermöglicht. Durch den Einsatz eines Zero-Trust-Ansatzes und Peer-to-Peer-Technologien wird die Interaktion zwischen verschiedenen KI-Agenten abgesichert. Das Projekt zielt darauf ab, die Netzwerksicherheit in dezentralen KI-Umgebungen zu erhöhen, indem es den Zugriff auf Agenten kontrolliert und verschlüsselt. Es bietet eine spezialisierte Infrastrukturkomponente für Entwickler, die skalier
Validierung von LLM-Codeänderungen ohne Ausführungsumgebung
Die automatisierte Überprüfung von Codeänderungen durch KI-Agenten in Produktionsumgebungen stellt eine Herausforderung dar, wenn der Code nicht kompiliert oder ausgeführt werden kann. Um die Integrität dennoch sicherzustellen, kommen alternative Methoden zum Einsatz. Dazu gehören Pfad-Denylists, byte-basierte Bearbeitungen sowie statische Analysen, die mathematisch beweisbar sind. Ergänzt wird dieser Prozess durch vergleichende Validierungen und den Einsatz eines zweiten, gegnerischen KI-Modells, das die Änderunge
Zwei LLM-gestützte Patch-Sets für das Speichermanagement
Die Linux-Kernel-Community experimentiert zunehmend mit dem Einsatz von großen Sprachmodellen zur Automatisierung von Wartungsaufgaben. Aktuell wurden zwei verschiedene Ansätze vorgestellt, die KI-gestützte Methoden nutzen, um komplexe Probleme im Speichermanagement des Kernels zu identifizieren und entsprechende Korrektur-Patches zu generieren. Diese Entwicklungen zielen darauf ab, die Effizienz bei der Fehlerbehebung zu steigern und die manuelle Arbeitslast bei der Code-Optimierung zu reduzieren. Der Fokus liegt
Lightport: Eine gewartete Abspaltung des Portkey AI Gateways
Lightport ist ein leichtgewichtiges KI-Gateway, das als Alternative für Entwickler dient, die eine gewartete Version des Portkey-Gateways benötigen. Die Software ermöglicht es, verschiedene Sprachmodell-Anbieter über eine einheitliche Schnittstelle anzubinden, die vollständig mit der API von OpenAI kompatibel ist. Durch diese Abstraktionsschicht können Anwendungen flexibel zwischen unterschiedlichen LLM-Providern wechseln, ohne den zugrunde liegenden Programmcode umfangreich anpassen zu müssen.
Agentische Testprozesse, LLM-Benchmarks und Erkenntnisse zur KI-gestützten Softwareentwicklung
Der Einsatz von KI-Agenten in der Softwareentwicklung ermöglicht eine massive Skalierung der Code-Produktion, birgt jedoch erhebliche Risiken bei der Qualitätssicherung. Während LLMs bei der einfachen Testgenerierung oft schwächeln, erweist sich die Kombination aus KI und randomisierten Testverfahren wie Fuzzing als deutlich effektiver. Ein erfolgreicher Ansatz besteht darin, Feedback-Schleifen zu etablieren, die beispielsweise Support-Tickets direkt in automatisierte Test- und Korrekturprozesse überführen. Langfri
Migration eines produktiven KI-Agenten auf GPT-5.6
Nachdem Claude Opus über vier Monate hinweg als leistungsfähigstes Modell für produktive KI-Agenten galt, wurde dieser Standard nun durch GPT-5.6 übertroffen. Der Wechsel auf ein neues Sprachmodell erfordert eine strukturierte Vorgehensweise, um die Stabilität und Effizienz der Anwendung zu gewährleisten. Ein entsprechender Leitfaden unterstützt Entwickler dabei, die technologische Umstellung erfolgreich zu bewältigen und die Vorteile der verbesserten Modellleistung optimal in bestehende Systeme zu integrieren.
AgentWorm: Selbstverbreitende Angriffe auf LLM-Agenten-Ökosysteme
Die zunehmende Vernetzung autonomer KI-Agenten in komplexen Ökosystemen birgt bisher kaum untersuchte Sicherheitsrisiken. Mit AgentWorm wurde ein selbstreplizierender Schadcode demonstriert, der in der Lage ist, sich autonom innerhalb von Agenten-Frameworks zu verbreiten, Konfigurationen zu übernehmen und bei jedem Neustart Schadfunktionen auszuführen. Die Untersuchung zeigt, dass bestehende Sicherheitsvorkehrungen in produktiven Umgebungen oft inaktiv sind und die Schwachstellen tief in den Designmustern autonomer
Zuverlässiges KI-gestütztes Analogdesign: Vorlagenbasierte LLM-Agenten für die SAR-ADC-Generierung
Die Anwendung von großen Sprachmodellen auf das analoge Schaltungsdesign stößt aufgrund mangelnder Topologiekenntnisse und hoher Anforderungen an die Präzision oft an Grenzen. Ein neuer agentenbasierter Ansatz namens ATLAS nutzt Expertenwissen, um LLMs bei der Planung, Parametrisierung und iterativen Anpassung von Schaltungen anzuleiten. Durch eine vorlagenbasierte Generierungsmethode werden funktionale SAR-Analog-Digital-Wandler erstellt, die rigorose SPICE-Simulationen bestehen. Dieser Rahmen bietet eine methodis
PolyQ: Ein Co-Design-Framework für effiziente LLM-Quantisierung auf Edge-CPUs
PolyQ ist ein neues Framework, das die Quantisierung und Kompilierung für die Ausführung großer Sprachmodelle auf CPUs optimiert. Durch eine aktivierungsbasierte, kanalweise Bit-Zuweisung ermöglicht das System eine flexible Nutzung unterschiedlicher Bit-Breiten, die effizient in SIMD- und LUT-kompatible Kernel übersetzt werden. Dies reduziert den Rechenaufwand für Layout-Anpassungen während der Laufzeit erheblich. In Tests mit verschiedenen Modellen zeigt das Verfahren eine verbesserte Vorhersagequalität und eine s
Überwindung des Streaming-Diffusions-Engpasses: Video-Echtzeit-Videobearbeitung mit MLLM-Konditionierung auf Consumer-GPUs
Durch aggressive Destillation von Diffusionsmodellen verschiebt sich der Engpass bei der Videogenerierung vom Denoiser hin zum Text-Encoder. Ein neuer Ansatz optimiert diesen Prozess, indem die rechenintensive MLLM-Konditionierung durch asymmetrisches CUDA-Pipelining und eine effiziente Graphen-Fusion vom kritischen Pfad entkoppelt wird. Dies ermöglicht die Videobearbeitung in Echtzeit auf handelsüblichen Grafikkarten. Mit dieser Methode lassen sich auf einer RTX 4090 Bildraten von 55 fps erreichen, ohne die Qualit
Robuste Erklärungen für das Nutzervertrauen in Enterprise-NLP-Systeme
Für den Einsatz von NLP-Systemen in Unternehmen ist die Nachvollziehbarkeit von Entscheidungen entscheidend. Da der Zugriff auf Modelle oft nur über APIs erfolgt, wurde ein Framework zur Bewertung der Robustheit von Erklärungen entwickelt, das auf Token-Ebene arbeitet. Durch systematische Störungen wie Worttausch oder Löschungen wurde der Vergleich zwischen klassischen Encodern und modernen Decoder-LLMs ermöglicht. Die Ergebnisse zeigen, dass Decoder-Modelle deutlich stabilere Erklärungen liefern als Encoder-Modell
Wertedrift: Analyse der Werteausrichtung während des LLM-Post-Trainings
Die Untersuchung beleuchtet, wie und in welcher Phase des Post-Trainings sich die Werteausrichtung bei großen Sprachmodellen entwickelt. Dabei zeigt sich, dass die grundlegende Wertebasis primär während der überwachten Feinabstimmung (SFT) etabliert wird, während nachgelagerte Verfahren zur Präferenzoptimierung diese Ausrichtung nur noch selten grundlegend verändern. Zudem beeinflussen unterschiedliche Algorithmen zur Präferenzoptimierung das Ergebnis der Werteausrichtung maßgeblich, selbst bei identischen Datensät
Optimierung der Modellzusammenführung: Einfluss der Trainingsdauer von Expertenmodellen
Die Zusammenführung spezialisierter KI-Modelle zu einem einzigen System erfolgt bisher meist auf Basis des optimalen Validierungsverlusts der Einzelmodelle. Eine systematische Untersuchung zeigt jedoch, dass die ideale Trainingsdauer stark von der gewählten Zusammenführungsmethode abhängt. Während einfache Durchschnittsbildungen bei Überanpassung an Qualität verlieren, profitieren sparsamkeitsbasierte Ansätze von einer längeren Trainingsdauer über das bisherige Optimum hinaus. Diese Erkenntnisse verdeutlichen, dass
STOCKTAKE: Messung der Lücke zwischen Wahrnehmung und Handeln bei LLM-Agenten
Der neue Benchmark STOCKTAKE ermöglicht eine präzise Analyse der Leistungsfähigkeit von KI-Agenten in komplexen Lieferketten-Szenarien. Dabei wird differenziert, ob ein System an einer fehlerhaften Zustandsbewertung oder an einer ineffektiven Handlungsstrategie scheitert. Durch den Vergleich der KI-Entscheidungen mit einem Bayes-basierten Orakel lässt sich die sogenannte Knowing-Doing-Lücke quantifizieren. Aktuelle Sprachmodelle zeigen zwar eine hohe Trefferquote bei der Diagnose verborgener Probleme, offenbaren je
Operative Nachweislücken beim Einsatz von LLMs in der Betrugserkennung und Sicherheit
Große Sprachmodelle werden zunehmend für Aufgaben wie Betrugserkennung und Inhaltsmoderation vorgeschlagen, doch fehlt es an belastbaren Daten für den operativen Einsatz. Eine Analyse von 49 Fachquellen zeigt, dass aktuelle Studien primär die Modellleistung bewerten, anstatt kritische Faktoren wie Latenz, Kosten, Governance oder Fehlerraten in produktiven Umgebungen zu berücksichtigen. Um diese Lücke zu schließen, wurde das FORTE-Framework entwickelt, das LLMs in operativen Workflows klassifiziert. Zudem definiert
LessonBench-V1: Ein Benchmark-Datensatz zur Evaluierung von KI-Agenten für die Unterrichtsplanung
Zur systematischen Bewertung von KI-gestützten Systemen für die Erstellung von Bildungsinhalten wurde der Datensatz LessonBench-V1 entwickelt. Er umfasst 647 von Menschen erstellte Unterrichtseinheiten aus 240 MINT-Themenbereichen, die mit KI-generierten Unterrichtsplänen verknüpft sind. Die methodische Grundlage bilden anerkannte pädagogische Modelle wie die Bloom-Taxonomie und das 5E-Instruktionsmodell. Mit über 3.600 Lernzielen und zugehörigen Metadaten ermöglicht der Datensatz eine reproduzierbare Leistungsprüf
Beeinflusst die Themenstimmung die wahrgenommene Ideologie? Ein Vergleich zwischen menschlichen und KI-Annotationen bei politischen Nachrichten
Die Studie untersucht, ob die Stimmung innerhalb eines Themas einen kausalen Einfluss auf die wahrgenommene politische Ideologie in Nachrichtenartikeln hat und inwieweit sich die Bewertung durch Menschen von der durch Sprachmodelle unterscheidet. Dabei zeigt sich, dass KI-Modelle ohne spezifisches Training die Effektstärken im Vergleich zu menschlichen Einschätzungen häufig überbewerten. Während Sprachmodelle zwar die Richtung politischer Tendenzen korrekt identifizieren können, weichen die quantitativen Ergebnisse
dMX: Differenzierbare Mixed-Precision-Zuweisung für niedrigpräzise Gleitkommaformate
Die Quantisierung großer Sprachmodelle auf niedrigpräzise Gleitkommaformate ist für eine effiziente Bereitstellung entscheidend, wobei eine einheitliche Bitbreite oft zu suboptimalen Ergebnissen führt. Das neue Framework dMX ermöglicht eine differenzierbare, lernbare Zuweisung von Bitbreiten für das MXFP-Datenformat. Durch die Formulierung als kontinuierliches Optimierungsproblem und den Einsatz eines speziellen Annealing-Verfahrens werden abrupte Übergänge bei der Quantisierung vermieden. Dies erlaubt eine präzise
Eine Replikations- und Quantisierungsstrategie für Plug-and-Play-Lastverteilung bei Sparse Mixture-of-Experts LLMs
Sparse Mixture-of-Experts-Modelle leiden häufig unter einer ungleichmäßigen Auslastung der einzelnen Experten, was die Effizienz bei der Inferenz beeinträchtigt. Die vorgestellte Methode Replicate-and-Quantize adressiert dieses Problem ohne die Notwendigkeit eines erneuten Trainings. Dabei werden stark beanspruchte Experten repliziert, um die parallele Kapazität zu erhöhen, während weniger kritische Komponenten quantisiert werden, um den Speicherbedarf stabil zu halten. Durch diesen Ansatz lässt sich die Lastvertei
LLMs erkennen Symptome, aber nicht die Ursachen: Evaluierung abduktiven Schließens mit Elenchos
Große Sprachmodelle zeigen Schwächen bei der abduktiven Schlussfolgerung, also der Fähigkeit, verborgene Hypothesen für beobachtete Verhaltensweisen zu finden. Das neue Framework Elenchos untersucht diese Defizite, indem es Modelle vor die Aufgabe stellt, Änderungen in formalen Systemen wie dem Lambda-Kalkül zu identifizieren und die zugrunde liegenden Regelanpassungen zu bestimmen. Die Ergebnisse zeigen eine Diskrepanz zwischen der Erkennung von Systemveränderungen und der korrekten Zuordnung der Ursachen. Insbeso
Effiziente Reranking-Modelle für RAG durch Knowledge Distillation von LLMs
Durch den Einsatz von Knowledge Distillation lässt sich LLaMA 3 als effizienter Reranker in Retrieval-Augmented Generation Pipelines nutzen. Anstatt auf rechenintensive Cross-Encoder zu setzen, wird das Modell mittels LoRA-Adaptern feinabgestimmt und durch 4-Bit-Quantisierung für den produktiven Einsatz optimiert. Tests zeigen, dass dieser Ansatz die Genauigkeit bei der Relevanzbewertung und Kontextpräzision signifikant steigert und gleichzeitig die Inferenzkosten gegenüber herkömmlichen Methoden deutlich reduziert
Evidenzbasierte verifizierte agentische Argumentation: Ein Ansatz zur Eliminierung von LLM-Halluzinationen
Die neue Architektur EG-VAR nutzt den Lean-4-Kernel, um die Schlussfolgerungen von Sprachmodellen durch formale Beweise abzusichern. Anstatt sich allein auf die Wahrscheinlichkeitsberechnungen des Modells zu verlassen, erzwingt das System eine direkte Rückführung jedes Ergebnisses auf verifizierte Werkzeugaufrufe und eine lückenlose Kette logischer Schlussfolgerungen. Bei Fehlern oder unzureichender Datenlage liefert das System ein nachvollziehbares Audit-Protokoll statt halluzinierter Antworten. In Tests erreichte
Spekulation mit Gedächtnis: Verlustfreie Beschleunigung für LLM-Agenten
Ein neuer Ansatz optimiert die spekulative Ausführung bei LLM-Agenten durch die Integration von drei Online-Gedächtnissystemen. Anstatt Informationen zwischen Aufgaben zu verwerfen, lernt das System aus vergangenen Trajektorien, indem es Übergangsstatistiken speichert, kontextuell ähnliche Segmente abruft und wiederkehrende Fehler unterdrückt. Diese Methode ermöglicht eine signifikante Steigerung der Vorhersagegenauigkeit bei Aktionen und Beobachtungen. Da die Berechnungen während der Leerlaufzeiten erfolgen, bleib
Eine agentenbasierte KI-Wissenschaftsgemeinschaft zur automatisierten Entdeckung neuronaler Operatoren
Ein neuer Ansatz nutzt eine Gemeinschaft virtueller Labore, um autonom effiziente Architekturen für neuronale Operatoren zu entwickeln. Jedes Labor besteht aus einem Planungs-Agenten, einem numerischen Arbeiter und einem Reviewer, die in einem zitationsbasierten System interagieren. Durch die Kombination verschiedener Bausteine wie Transformer- und Fourier-Komponenten identifiziert das System hochpräzise Modelle mit geringer Parameteranzahl. Die Ergebnisse verdeutlichen, dass die Flexibilität der Sprachmodelle ents
Optimierung der Modellzusammenführung: Der Einfluss der Trainingsdauer von Expertenmodellen
Die Zusammenführung spezialisierter Expertenmodelle zu einem einzigen System ohne erneutes gemeinsames Training ist eine gängige Methode in der KI-Entwicklung. Bisher galt das Training bis zum optimalen Validierungsverlust als Standard. Eine systematische Untersuchung zeigt jedoch, dass die ideale Trainingsdauer stark von der gewählten Zusammenführungsmethode abhängt. Während einfache Durchschnittsberechnungen bei Überanpassung an Qualität verlieren, profitieren spärlichkeitsbasierte Ansätze von einer längeren Trai
Multi-Agenten-Routing als mengenwertiges Vorhersageproblem: Ein WildChat-Benchmark und kostenbewusste Evaluierung
Die Zuweisung von Aufgaben an spezialisierte KI-Agenten auf Basis natürlicher Sprache stellt ein komplexes Problem dar, da eine Anfrage oft mehrere Agenten erfordert, während eine übermäßige Auswahl die Kosten in die Höhe treibt. Ein neuer Benchmark auf Basis von 3.000 Anfragen ermöglicht die systematische Untersuchung dieses Routing-Prozesses. Die Evaluierung umfasst verschiedene Metriken zur Genauigkeit sowie eine Simulation der Ausführungskosten. Die Ergebnisse zeigen, dass überwachte Lernverfahren bei der Auswa
CTFusion: Ein auf CTF-Wettbewerben basierender Benchmark für die Evaluierung von LLM-Agenten
Die Evaluierung von KI-Agenten im Bereich Cybersicherheit leidet häufig unter Datenkontamination, da bestehende Benchmarks auf wiederverwendeten Aufgaben basieren. CTFusion löst dieses Problem durch ein Streaming-Framework, das Live-CTF-Wettbewerbe nutzt, um eine dynamische und manipulationssichere Testumgebung zu schaffen. Das System integriert sich über das Model Context Protocol in bestehende Plattformen und stellt sicher, dass Agenten unabhängig voneinander bewertet werden. Durch die Nutzung aktueller Wettbewer
Turbo Connection: Schlussfolgerungen als Informationsfluss zwischen Modellschichten
Die Architektur Turbo Connection adressiert die Einschränkungen von Transformern bei komplexen logischen Aufgaben, indem sie die feste Anzahl an Rechenschritten aufhebt. Durch die gezielte Rückführung von Informationen aus höheren Schichten eines Tokens in die unteren Schichten nachfolgender Token wird die Tiefe des Rechenpfads dynamisch erweitert. Diese Methode ermöglicht es, bestehende Sprachmodelle effizient nachzutrainieren und deren Genauigkeit bei mathematischen und logischen Benchmarks signifikant zu steiger
CUDA-L2: Leistungssteigerung bei Matrixmultiplikationen durch Reinforcement Learning
Das System CUDA-L2 nutzt eine Kombination aus großen Sprachmodellen und Reinforcement Learning, um CUDA-Kernel für Matrixmultiplikationen in halber Genauigkeit automatisch zu optimieren. Durch die systematische Exploration von Konfigurationsräumen übertrifft das Verfahren etablierte Bibliotheken wie cuBLAS und cuBLASLt deutlich. Sowohl im Offline-Betrieb als auch in Szenarien mit zufälligen Zeitintervallen, die eine Echtzeit-Inferenz simulieren, erzielt CUDA-L2 signifikante Geschwindigkeitsvorteile. Die Ergebnisse
CRINN: Kontrastives Reinforcement Learning für die approximative Suche nach nächsten Nachbarn
Die approximative Suche nach nächsten Nachbarn (ANNS) ist eine Schlüsseltechnologie für moderne KI-Anwendungen wie RAG oder LLM-basierte Agenten. Mit CRINN wurde ein neuer Ansatz vorgestellt, der die Optimierung von ANNS-Algorithmen als Reinforcement-Learning-Problem formuliert, bei dem die Ausführungsgeschwindigkeit als Belohnungssignal fungiert. Dies ermöglicht die automatisierte Erstellung effizienterer Implementierungen unter Einhaltung präziser Genauigkeitsvorgaben. In Benchmarks übertraf das Verfahren bestehe
Wenn lokale Überwachung versagt: Verteilte Hintertüren in Multi-Agenten-Systemen
Bei der Nutzung von Multi-Agenten-Systemen auf Basis großer Sprachmodelle verlassen sich Sicherheitsmechanismen häufig auf die lokale Überprüfung einzelner Schritte oder Nachrichten. Diese Untersuchung zeigt eine fundamentale Schwachstelle auf, bei der schädliche Befehle in harmlose Fragmente aufgeteilt werden. Da jedes Einzelteil für sich genommen unverdächtig erscheint, passieren diese Angriffe lokale Kontrollinstanzen ungehindert. Erst durch die Zusammensetzung der Fragmente entsteht der eigentliche Angriff, was
Eine formale hierarchische Architektur für agentische Orchestrierung mit stapelbasierter Ausführung und Lazy Discovery
Die zunehmende Komplexität von KI-Agenten führt bei flachen Werkzeug-Verzeichnissen oft zu einer Überlastung des Kontextfensters und sinkender Routing-Genauigkeit. Eine neue hierarchische Architektur löst dieses Problem durch eine baumartige Struktur, bei der interne Knoten Routing-Entscheidungen treffen und Blattknoten Aufgaben ausführen. Durch die Nutzung eines LIFO-Stacks zur Verwaltung von Ausführungskontexten und ein Lazy-Loading-Verfahren für Werkzeuge wird die Effizienz gesteigert, der Speicherbedarf minimie
SolarChain-Eval: Ein physikalisch fundierter Benchmark für vertrauenswürdige KI-Agenten in dezentralen Energiemärkten
Der neue Benchmark SolarChain-Eval dient der Evaluierung autonomer KI-Agenten in dezentralen Strommärkten. Da KI-Systeme in physischen Umgebungen Risiken wie Marktmanipulation oder instabile Governance bergen, kombiniert das Framework eine Markov-Entscheidungsprozess-Umgebung mit einer LLM-basierten Kontrollschicht. Diese überwacht Aktionen auf Basis physikalischer Grenzwerte und Transparenzregeln. Die Ergebnisse verdeutlichen einen Zielkonflikt zwischen Markteffizienz und Sicherheit, wobei physikalische Beschränku
Alle Erklärungen sind falsch, aber viele sind nützlich: Untersuchung der Rashomon-Erklärungsmenge bei großen Sprachmodellen
Die Forschung hinterfragt den vermeintlichen Zielkonflikt zwischen der Genauigkeit und der Erklärbarkeit von Modellen des maschinellen Lernens. Anstatt Erklärungen und Vorhersagen als getrennte Ziele zu betrachten, zeigt der neue Rashomon-Erklärungsansatz, dass eine enge Kopplung beider Aspekte die Modellleistung sogar steigern kann. Durch den Einsatz eines agentenbasierten Workflows namens RashomonLLM werden natürlichsprachliche Erklärungen iterativ mit Vorhersagen abgeglichen. In verschiedenen Anwendungsbereichen
BlockServe: Block-granulare kontinuierliche Batch-Verarbeitung für effizientes Diffusion-LLM-Serving
Die effiziente Bereitstellung von Diffusions-Sprachmodellen wird häufig durch unterschiedliche Konvergenzraten bei der Batch-Verarbeitung gebremst, was zu ineffizienten Rechenpausen und erhöhten Latenzzeiten führt. BlockServe adressiert dieses Problem durch ein block-granulares Scheduling, das abgeschlossene Anfragen sofort entfernt, sowie durch eine gemischte Ausführung mittels Gather-Scatter-Indizierung. Ergänzt wird das System durch eine rechenbewusste Zugangssteuerung, die die Batch-Kapazität dynamisch optimier
Beschleunigung der GPU-Inferenz von großen Sprachmodellen durch moderat unstrukturierte spärliche Gewichtsmatrizen
Die Inferenzkosten für große Sprachmodelle stellen eine zentrale Herausforderung dar, die durch Pruning-Techniken und die Einführung von Sparsity adressiert werden kann. Bisherige Ansätze zur spärlichen Matrixmultiplikation konnten bei moderaten Sparsity-Graden von etwa 50 Prozent die Leistung dichter Matrizen auf GPUs nicht übertreffen. Ein neues Verfahren nutzt nun ein dreischichtiges Speicherformat, das Sparse-Tensor-Cores mit einer effizienten Kompression und einer Residual-Schicht kombiniert. Durch die paralle
Vorzeichenbehaftete symmetrische Quantisierung für Few-Bit-Integer
Die Standard-Quantisierung bei niedriger Bit-Präzision führt oft zu Clipping-Fehlern, da der Wertebereich unsymmetrisch verteilt ist. Ein neuer Ansatz nutzt die zusätzliche negative Repräsentierbarkeit durch eine vorzeichenbehaftete symmetrische Quantisierung, um diese Fehler ohne die Performance-Einbußen asymmetrischer Verfahren zu minimieren. Durch eine gezielte Auswahl des Vorzeichens basierend auf der Ausreißer-Verteilung bleibt der Nullpunkt fixiert, was die Recheneffizienz bewahrt. Tests an aktuellen Sprachmo
MAG: Ein Benchmark und Framework für multimodale Web-Agenten und Anleitungsgenerierung
MAG ist ein neuer Benchmark, der die Ausführung von Web-Aufgaben und die Erstellung von Benutzeranleitungen in einem einheitlichen multimodalen Ansatz zusammenführt. Anstatt sich auf textbasierte Repräsentationen wie den DOM-Baum zu stützen, arbeitet das System direkt mit Screenshots, um menschliches Interaktionsverhalten besser abzubilden. Das zugehörige Framework unterstützt den gesamten Prozess von der Annotation über das Training bis zur Evaluation in Live-Umgebungen. Durch eine spezielle Trainingsmethode mit E
MedRealMM: Ein multimodaler Benchmark für medizinische Online-Beratungen in der Praxis
Der neue Benchmark MedRealMM adressiert die Lücke zwischen synthetischen Testdaten und der klinischen Realität in der medizinischen Online-Beratung. Basierend auf über 5.600 anonymisierten Interaktionen aus chinesischen Internet-Krankenhäusern integriert der Datensatz sowohl Text- als auch Bildinformationen, um die multimodale Entscheidungsfindung von Sprachmodellen zu bewerten. Die Untersuchung von 19 verschiedenen KI-Modellen zeigt, dass die Einbeziehung medizinischer Bilder für eine zuverlässige Diagnose essenzi
Wann ist glaubensbasierte Agenten-Speicherung sinnvoll? Zuverlässigkeitsgesteuerte Aktualisierung und Schutz vor Datenvergiftung
Die Untersuchung analysiert den Nutzen von glaubensbasierten Langzeitgedächtnis-Architekturen für KI-Agenten. Während einfache Bayesianische Aktualisierungen bei Standard-Dialogen kaum Vorteile gegenüber simplen Speichermethoden bieten, zeigen sie ihre Stärke bei widersprüchlichen Informationen mit variierender Vertrauenswürdigkeit. Durch die Einführung einer herkunftsgebundenen Begrenzung der Vertrauenswürdigkeit lässt sich das System zudem effektiv gegen gezielte Datenvergiftungsangriffe absichern. Die Ergebnisse
Wenn Machine Unlearning auf Retrieval-Augmented Generation (RAG) trifft: Geheimnisse bewahren oder Wissen vergessen?
Große Sprachmodelle speichern während des Trainings häufig sensible oder schädliche Informationen, was ethische und rechtliche Herausforderungen mit sich bringt. Ein neuer Ansatz nutzt nun die Retrieval-Augmented Generation (RAG), um das Vergessen von Inhalten zu simulieren, ohne das Modell selbst direkt zu verändern. Durch die gezielte Anpassung der externen Wissensbasis können Informationen effektiv entfernt werden, was besonders bei geschlossenen Modellen vorteilhaft ist. Das Verfahren zeichnet sich durch gering
Was Sprachmodelle ausdrücken, unterdrücken und abwehren: Analyse von Open-Weight-LLMs mit Persona-Vektoren
Forschende haben eine systematische Methode entwickelt, um das Verhalten von Open-Weight-Sprachmodellen mittels Persona-Vektoren im Aktivierungsraum zu untersuchen. Dabei wurde ein Inventar von 53 Merkmalen über vier Verhaltensdomänen hinweg erstellt und in Kategorien wie natürlich, steuerbar oder hartnäckig unterteilt. Die Analyse zeigt, dass Modelle standardmäßig auf hilfreiche und aufgabenorientierte Verhaltensweisen ausgerichtet sind. Während bestimmte Eigenschaften wie Halluzinationen oder Sycophancy durch gez
MSQA: Ein nativ erstellter Benchmark für mehrsprachige und multikulturelle KI-Modelle
Die Untersuchung stellt den Benchmark MSQA vor, der 1.064 nativ erstellte Fragen über elf Sprachgruppen und fünf kulturelle Dimensionen hinweg umfasst. Ziel ist es, die sogenannte Illusion der kulturellen Ausrichtung zu prüfen, bei der Sprachkompetenz fälschlicherweise mit kulturellem Verständnis gleichgesetzt wird. Die Evaluierung von 18 Sprachmodellen zeigt eine deutliche kulturelle Degradierung und einen starken Lokalitätseffekt, bei dem kulturelle Kompetenz eng an die Trainingsdaten geknüpft ist. Gängige Method
Verbessert Multi-Agenten-Debatte das KI-Feedback zu wissenschaftlichen Arbeiten?
Eine experimentelle Untersuchung an 44 ökonomischen Meta-Analysen zeigt, dass KI-Modelle in einer einfachen Ausführung hilfreicher für Autoren sind als komplexe Multi-Agenten-Debattensysteme. Trotz eines deutlich höheren Ressourcenverbrauchs bei den Debatten-Tools bevorzugten die Autoren das Feedback der Einzelmodelle. Zudem wurde festgestellt, dass KI-basierte Juroren die Qualität menschlicher Fachgutachten systematisch unterschätzen und die Präferenzen der Autoren nicht akkurat widerspiegeln. Die Ergebnisse mahne
Analyse der Interaktionsdynamik zwischen Lernenden und KI-Chatbots beim Englischschreiben
Eine Untersuchung der Interaktionsmuster zwischen japanischen Englischlernenden und einem KI-gestützten Schreib-Chatbot zeigt, wie Lernende auf automatisiertes Feedback reagieren. Die Analyse von über 4.500 Schreibsitzungen identifizierte zwei Hauptverhaltensweisen: einen direkten Korrekturzyklus und einen dialogorientierten Austausch. Dabei korreliert das Sprachniveau signifikant mit der Art der Interaktion, da fortgeschrittene Lernende eher in einen tieferen Dialog treten, während Anfänger primär auf repetitive K
xHC: Erweiterte Hyper-Connections für effizientes LLM-Training
Die Methode der Hyper-Connections erweitert den Residual-Stream von Transformern in mehrere parallele Ströme, um die Speicherkapazität jenseits von Modellbreite und -tiefe zu skalieren. Da bisherige Ansätze bei einer Erweiterung über vier Ströme hinaus an Effizienz verloren, wurde xHC entwickelt. Durch zeitliche Merkmalsanreicherung und eine spärliche Architektur, die nur einen Teil der Ströme aktualisiert, ermöglicht xHC eine effektive Skalierung auf bis zu 16 Ströme. In Kombination mit der Optimierung xHC-Flash w
MemoHarness: Agenten-Frameworks, die aus Erfahrungen lernen
MemoHarness ist ein adaptives Optimierungs-Framework für Agenten-Steuerungsschichten, das die Leistung von Sprachmodellen durch kontinuierliches Lernen aus vergangenen Ausführungen verbessert. Das System unterteilt die Steuerung in sechs editierbare Dimensionen und nutzt eine zweistufige Wissensdatenbank, um spezifische Diagnosen und globale Muster zu speichern. Ohne die Notwendigkeit für zusätzliche Labels oder Feedback während der Laufzeit passt MemoHarness die Konfiguration dynamisch an neue Aufgaben an. Tests i
Zeig mir, wie du schlussfolgerst: Reasoning-Graphen zur robusten Identifizierung von KI-Autorenschaft
Die Identifizierung von durch große Sprachmodelle generierten Texten steht vor der Herausforderung, dass oberflächliche sprachliche Merkmale durch Paraphrasierung leicht manipuliert werden können. Ein neuer Forschungsansatz setzt daher auf die Analyse von Schlussfolgerungsstrukturen mittels Reasoning-Graphen. Durch den Einsatz von Graph Neural Networks lassen sich komplexe Argumentationsmuster extrahieren, die eine deutlich höhere Robustheit gegenüber Verschleierungstechniken wie Backtranslation aufweisen. Das Verf
Was Sprachmodelle ausdrücken, unterdrücken und ablehnen: Analyse von Open-Weight-LLMs mit Persona-Vektoren
Die Untersuchung nutzt Persona-Vektoren im Aktivierungsraum, um das komplexe Verhaltensspektrum von Open-Weight-Sprachmodellen systematisch zu erfassen. Dabei wurden 53 verschiedene Merkmale in vier Domänen analysiert und in Kategorien wie natürlich, steuerbar oder hartnäckig unterteilt. Die Ergebnisse zeigen, dass Modelle standardmäßig auf hilfreiches und aufgabenorientiertes Verhalten ausgerichtet sind, während unerwünschte Eigenschaften wie Halluzinationen oder Sycophancy gezielt durch Vektorsteuerung beeinfluss
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt kostspielige neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Basis. Ein zentrales Problem bei der mehrstufigen Distillation ist das Risiko unzuverlässiger Zielvorgaben bei Abweichungen zwischen Lehrer- und Schülerverhalten. ReOPD löst dies durch ein gezieltes Sa
Die Lücke bei der KI-Agenten-Bewertung: Unternehmen vertrauen ihren eigenen Testverfahren kaum
Zahlreiche Unternehmen gewähren KI-Agenten zunehmend Autonomie, obwohl sie deren Zuverlässigkeit kritisch sehen. Die Hälfte der befragten Organisationen hat bereits KI-Systeme in den produktiven Einsatz gebracht, die int
Skalierung agentischer Workflows durch natives Fallmanagement in Amazon Quick Automate
Die Integration von Fallmanagement in agentische Automatisierungsprozesse ermöglicht eine effiziente Steuerung komplexer Arbeitsabläufe. Dabei wird der gesamte Lebenszyklus eines Falls von der Erstellung über die automatisierte Statusverfolgung und Ausnahmebehandlung bis hin zur finalen Lösung abgebildet. Durch das Implementieren von Human-in-the-Loop-Prozessen und skalierbaren Ersteller-Prozessor-Mustern lassen sich auch anspruchsvolle Unternehmensprozesse strukturiert automatisieren. Dies erlaubt eine dynamische
Disaggregierte Prefill- und Decode-Prozesse für LLM-Inferenz auf SageMaker HyperPod
Die Implementierung von disaggregiertem Prefill und Decode (DPD) ermöglicht eine effizientere Ausführung von Large Language Models auf der SageMaker HyperPod-Infrastruktur. Durch die Nutzung des HyperPod Inference Operators in Verbindung mit vLLM können Rechenressourcen für die Initialisierungsphase und die Generierungsphase von Sprachmodellen separat skaliert werden. Dieser Ansatz optimiert die Durchsatzraten und reduziert die Latenzzeiten bei der Inferenz, indem die unterschiedlichen Anforderungen der beiden Phas
Native-speed vLLM Transformers-Modellierungs-Backend
Die Integration eines nativen vLLM-Backends für Transformers-Modelle zielt darauf ab, die Inferenzgeschwindigkeit bei der Ausführung großer Sprachmodelle signifikant zu steigern. Durch die direkte Nutzung der vLLM-Architektur innerhalb der bestehenden Modell-Frameworks werden Latenzzeiten minimiert und der Durchsatz bei der Token-Generierung optimiert. Diese technische Neuerung ermöglicht eine effizientere Nutzung von Grafikprozessoren und verbessert die Skalierbarkeit für produktive KI-Anwendungen, ohne die Kompat
Was LLM-Chatbots fehlt: Ein Sinn für Zielorientierung
Die Leistungsfähigkeit von KI-Chatbots auf Basis großer Sprachmodelle wächst kontinuierlich, was primär durch standardisierte Benchmarks wie MMLU oder HumanEval belegt wird. Trotz dieser messbaren Fortschritte stellt sich die Frage, ob die tatsächliche Nutzererfahrung in gleichem Maße profitiert. Es zeichnet sich ab, dass die reine Optimierung auf Benchmark-Ergebnisse nicht ausreicht, um den Anforderungen an eine zielgerichtete und zweckorientierte Interaktion gerecht zu werden. Zukünftige Entwicklungen müssen dahe