SKooP: Symmetrische Koopman-Vorhersagen für effizientere Roboter-Fortbewegung mittels Reinforcement Learning
Die neue Methode SKooP kombiniert morphologische Symmetrien mit Koopman-Modellen, um das Reinforcement Learning für komplexe, hochdimensionale Roboter zu beschleunigen. Durch die Integration von physikalischen Vorwissen und Symmetrien in die Netzwerkarchitektur werden präzisere Vorhersagen über die Systemdynamik getroffen, die als privilegierte Beobachtungen das Training stabilisieren. Dies führt zu einer effizienteren Lernkurve und einer verbesserten Übertragbarkeit der Bewegungsstrategien auf unterschiedliche Umg
Grow-Prune-Freeze-Netzwerke: Adaptive und kontinuierliche Lernmethode für die olfaktorische Navigation
Die olfaktorische Navigation stellt aufgrund ihrer dynamischen und nicht-stationären Natur eine Herausforderung für die Robotik dar. Das neu entwickelte Grow-Prune-Freeze-Framework ermöglicht es Agenten, durch das gezielte Wachsen, Beschneiden und Einfrieren von Netzwerkschichten kontinuierlich zu lernen und sich an die Komplexität der Umgebung anzupassen. Basierend auf der Theorie nicht-linearer Zufallsmatrizen zeigt das Modell eine hohe Stabilität bei der Navigation durch turbulente Strömungen. Die Methode erweis
Adaptives Zeitreihen-Reasoning durch Segmentauswahl
Das Modell ARTIST verbessert die Analyse von Zeitreihen, indem es diese als sequenzielles Entscheidungsproblem behandelt. Anstatt die gesamte Datenmenge statisch zu verarbeiten, wählt ein Controller-Modell mittels Reinforcement Learning gezielt relevante Zeitsegmente aus, die anschließend von einem Reasoner-Modell ausgewertet werden. Dieser adaptive Ansatz ermöglicht eine präzisere Beantwortung von Fragen, insbesondere bei der Lokalisierung seltener Ereignisse und komplexen Aufgaben über mehrere Zeitabschnitte hinw
Ähnlichkeit als Belohnungsabgleich: Robustes und vielseitiges präferenzbasiertes Reinforcement Learning
Das präferenzbasierte Reinforcement Learning zielt darauf ab, KI-Modelle ohne aufwendiges manuelles Reward-Engineering an menschliche Absichten anzupassen. Ein neues Framework namens SARA nutzt einen kontrastiven Ansatz, um Belohnungen als Ähnlichkeiten zu gelernten latenten Repräsentationen bevorzugter Beispiele zu berechnen. Diese Methode erweist sich als besonders robust gegenüber fehlerhaften oder verrauschten menschlichen Rückmeldungen. In Benchmarks für kontinuierliche Steuerung zeigt das Verfahren eine stabi
SafeOR-Gym: Eine Benchmark-Suite für sichere Reinforcement-Learning-Algorithmen in der Operations Research
Die neue Benchmark-Suite SafeOR-Gym schließt eine Lücke in der Forschung zum sicheren Reinforcement Learning, indem sie den Fokus von der Robotik auf komplexe industrielle Problemstellungen verlagert. Die Sammlung umfasst neun Umgebungen aus den Bereichen Operations Research, die realistische Herausforderungen wie gemischt-ganzzahlige Entscheidungen, komplexe Planungshorizonte und strikte Kostenbeschränkungen abbilden. Durch die Integration in bestehende Schnittstellen ermöglicht das Framework eine standardisierte
Vollständig offline Reinforcement Learning
Das neue Verfahren SOReL ermöglicht Reinforcement Learning ohne jegliche Online-Interaktionen, indem es ein Bayes-Modell zur Dynamikschätzung nutzt und die Richtlinienbewertung über prädiktive Unsicherheiten steuert. Dies erlaubt eine vollständige Auswahl von Hyperparametern in einer Offline-Umgebung. Ergänzend dazu bietet TOReL ein Framework, das diese Abstimmungsmethode auf beliebige modellfreie und modellbasierte Algorithmen ausweitet. Die theoretische Fundierung durch eine Regret-Analyse belegt die Optimalität
Reinforcement Learning in schaltenden, nicht-stationären Markov-Entscheidungsprozessen: Algorithmen und Konvergenzanalyse
Das Framework der schaltenden, nicht-stationären Markov-Entscheidungsprozesse modelliert Umgebungen, in denen zwischen verschiedenen Zustandsdynamiken gewechselt wird, während nur der externe Zustand beobachtbar ist. Es wird nachgewiesen, dass sich diese Dynamik langfristig als stationär betrachten lässt, was die Anwendung klassischer Lernverfahren ermöglicht. Die theoretische Analyse belegt, dass sowohl Temporal-Difference-Learning als auch Q-Learning unter diesen Bedingungen konvergieren. Die praktische Anwendbar
Human-in-the-Loop Machine Learning für sichere und ethische autonome Fahrzeuge: Prinzipien, Herausforderungen und Chancen
Der Einsatz von maschinellem Lernen ist für die Entwicklung autonomer Fahrzeuge essenziell, stößt jedoch bei komplexen Szenarien und der Datenannotation an Grenzen. Der Human-in-the-Loop-Ansatz integriert menschliche Expertise durch Validierung, Feedback und Aufsicht, um die Sicherheit und ethische Vertretbarkeit zu erhöhen. Die Untersuchung beleuchtet verschiedene Methoden wie Curriculum Learning, Reinforcement Learning, den Einsatz großer Sprachmodelle und Active Learning. Dabei werden technische Anforderungen an
Überbrückung der Lücke zwischen Newton-Raphson-Verfahren und regularisierter Policy-Iteration
Die theoretischen Grundlagen der regularisierten Policy-Iteration (RPI) im bestärkenden Lernen werden durch einen mathematischen Nachweis präzisiert. Es zeigt sich, dass RPI formal dem Newton-Raphson-Verfahren zur Lösung geglätteter Bellman-Gleichungen entspricht. Diese Äquivalenz ermöglicht eine einheitliche Konvergenzanalyse und belegt eine lokale quadratische Konvergenz, die bei Verwendung von Shannon-Entropie sogar dimensionsunabhängig ist. Zudem wird ein Algorithmus dritter Ordnung vorgestellt, der die Effizie
MeanFlowNFT: Optimierung von Average-Velocity-Generatoren durch Reinforcement Learning
MeanFlowNFT ist ein neues Framework, das Reinforcement Learning (RL) auf MeanFlow-Generatoren überträgt, um die effiziente Bild- und Videogenerierung in wenigen Schritten zu verbessern. Da MeanFlow-Modelle mit Durchschnittsgeschwindigkeiten arbeiten, während herkömmliche RL-Ansätze auf Momentangeschwindigkeiten basieren, nutzt das Verfahren einen induzierten Prädiktor, um diese Lücke zu schließen. Die Methode ermöglicht eine präzise Belohnungsoptimierung bei gleichbleibend schneller Sampling-Geschwindigkeit. Experi
Maskenbewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Optimierung von maskierten Diffusions-Sprachmodellen mittels Reinforcement Learning stellt aufgrund der schwierigen Schätzung der Log-Likelihood eine Herausforderung dar. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter trainieren. Diese Method
SMC-ES: Automatisierte Synthese formal verifizierter Steuerungsrichtlinien
Der Einsatz autonomer cyber-physischer Systeme in sicherheitskritischen Umgebungen erfordert Steuerungsstrategien, die sowohl leistungsfähig als auch nachweislich sicher sind. Ein neuer methodischer Ansatz kombiniert evolutionäre Strategien mit statistischer Modellprüfung, um Richtlinien zu entwickeln, die formale Garantien für Leistung, Sicherheit und Robustheit bieten. Dabei wird für die synthetisierten Richtlinien ein Zertifikat erstellt, das mit hoher statistischer Konfidenz die Einhaltung definierter Fehlersch
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumentenanalyse, indem es auf aufwendige Zwischenschritte des logischen Schlussfolgerns verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ergebnissen verknüpft, was die Anzahl der benötigten Inferenz-Token um über 60 Prozent reduziert. Analysen zeigen, dass Modelle bei dieser Methode effizienter konvergieren und die Leistung herkömmlicher, auf Reasoning basierender Ansätze übertreffen. Zudem ermöglicht der Ansatz eine de
ToolAnchor: Verankerung kontrafaktischer Kontexte zur Verbesserung der Werkzeugnutzung bei KI-Agenten
KI-Agenten, die auf die Nutzung externer Werkzeuge spezialisiert sind, zeigen bei der Erweiterung ihres Funktionsumfangs oft ein verhaltensbedingtes Beharrungsvermögen, indem sie auf bekannte Muster zurückgreifen. Das neue Framework ToolAnchor adressiert dieses Problem durch die gezielte Injektion kontrafaktischer Ankerkontexte an kritischen Entscheidungspunkten. Durch den Einsatz von Lehrermodellen zur Hypothesenbildung und deren Validierung in Lernprozessen werden verborgene Fähigkeiten der Agenten aktiviert. Die
Interpretierbares Sprachmodell zur automatisierten Insulinsteuerung bei Typ-1-Diabetes
Die Behandlung von Typ-1-Diabetes durch automatisierte Insulinsysteme steht oft vor dem Problem mangelnder Transparenz bei Black-Box-Modellen. Ein neuer Ansatz kombiniert die Präzision von Reinforcement Learning mit der erklärbaren Logik großer Sprachmodelle. Durch die Destillation von Expertenwissen in spezialisierte Sprachmodelle entsteht ein Controller, der nicht nur die Blutzuckerkontrolle verbessert, sondern seine Entscheidungen für Patienten und medizinisches Personal nachvollziehbar begründet. Tests in simul
On-Policy Delta Distillation für effizientes Reasoning
Die On-Policy Delta Distillation stellt eine neue Methode für das Post-Training von Sprachmodellen dar, um deren Schlussfolgerungsfähigkeiten zu optimieren. Anstatt lediglich die Ausgabeverteilung eines Lehrermodells zu imitieren, nutzt der Ansatz ein sogenanntes Delta-Signal. Dieses Signal berechnet die Differenz zwischen einem spezialisierten Lehrermodell und dessen Basismodell vor dem Instruction-Tuning. Durch diesen gezielten Transfer der Reasoning-Kompetenzen erzielen Modelle in mathematischen und wissenschaft
Bewertung der Kovariatenbalance bei Markov-Entscheidungsprozessen mit langem Zeithorizont
Die Untersuchung analysiert den Einsatz von Diagnostik zur Kovariatenbalance, um versteckte Störfaktoren oder Fehlspezifikationen in Modellen des Offline-Reinforcement-Learnings für medizinische Behandlungsempfehlungen zu identifizieren. Die Ergebnisse deuten darauf hin, dass aktuelle Studien in diesem Bereich entweder ein hohes Verzerrungsrisiko aufweisen oder die bisherigen Metriken zur Bewertung der Kovariatenbalance unzureichend sind. Insgesamt lässt sich die statistische Robustheit bestehender Offline-RL-Anwen
Kernel-gewichtetes Importance Sampling für die Off-Policy-Evaluation bei kontextuellen Banditen
Es wurde ein neuartiger Schätzer für die Off-Policy-Evaluation bei kontextuellen Banditen vorgestellt, der ausschließlich auf Offline-Daten basiert. Der als Kernel-WIS bezeichnete Ansatz kombiniert die Stabilität des gewichteten Importance Samplings mit der Linearität des klassischen Importance Samplings. In empirischen Tests erweist sich das Verfahren als asymptotisch konsistent und übertrifft etablierte Basismethoden, insbesondere bei komplexen Anforderungen wie einer fehlerhaften Spezifikation der Verhaltensrich
Multi-Axis Max@K Reinforcement Learning für mehr Vielfalt bei der Text-zu-Bild-Generierung
Aktuelle Text-zu-Bild-Modelle erzeugen bei identischen Eingabeaufforderungen oft nur eine begrenzte visuelle Vielfalt, was insbesondere bei personenbezogenen Inhalten zu demografischen Verzerrungen führen kann. Zur Lösung dieses Problems wurde ein auf Reinforcement Learning basierender Ansatz entwickelt, der die Abdeckung vordefinierter semantischer Kategorien gezielt verbessert. Durch eine neue Methode der Kreditvergabe wird sichergestellt, dass verschiedene Bildbeispiele unterschiedliche Zielkategorien abdecken.
LongStraw: Reinforcement Learning für extrem lange Kontexte bei begrenzten GPU-Ressourcen
Die Lücke zwischen der Inferenzfähigkeit bei Millionen von Token und dem begrenzten Reinforcement Learning bei kürzeren Sequenzen stellt eine Herausforderung für KI-Agenten dar. LongStraw adressiert dieses Problem durch einen architekturorientierten Ausführungs-Stack, der das Training bei Millionen von Token unter einem festen GPU-Budget ermöglicht. Durch die Optimierung der Speicherverwaltung und die sequentielle Verarbeitung von Antwortzweigen reduziert das System den Speicherbedarf des Trainingsgraphen signifika
PAC-Lernen in rundenbasierten stochastischen Spielen mit Erreichbarkeitszielen: Ein dezentraler und privater Ansatz
Die Erreichbarkeit von Zielzuständen stellt in stochastischen Spielen eine komplexe Herausforderung für das bestärkende Lernen dar. Bisherige Ansätze erforderten meist zentrale Lernalgorithmen oder den Austausch privater Informationen zwischen den Spielern. Die vorliegende Arbeit präsentiert ein neues Verfahren, das dezentrales Lernen unter Wahrung privater Informationen ermöglicht. Durch die Einführung einer spieltheoretischen Verallgemeinerung der erwarteten bedingten Distanz wird zudem eine polynomiale Stichprob
Jenseits von Entropie: Korrektheitsbasierte Advantage-Formung durch kontrastive Richtlinienoptimierung
Die kontrastive Richtlinienoptimierung (CPO) bietet einen neuen Ansatz für das verstärkende Lernen mit verifizierbaren Belohnungen. Anstatt sich auf Entropie zu verlassen, nutzt das Verfahren tokenbasierte Unterschiede zwischen referenzgesteuerten und Standard-Generierungsverteilungen, um die Korrektheit von Modellausgaben präziser zu bewerten. Dieser Mechanismus ermöglicht eine effektivere Steuerung des Lernprozesses und löst das Problem verschwindender Vorteile. Praktische Tests zeigen, dass CPO herkömmliche entr
Ein zeitkontinuierliches Reinforcement-Learning-Framework für das Fine-Tuning diskreter Diffusionsmodelle
Ein neuer Ansatz formuliert Reinforcement Learning in zeitkontinuierlichen diskreten Zustandsräumen mittels stochastischer Kontrolle. Durch die Modellierung als kontrollierte Markov-Ketten lassen sich Policy-Gradient-Methoden wie PPO und GRPO auf diskrete Diffusionsmodelle übertragen. Dies ermöglicht eine belohnungsbasierte Optimierung, die nicht auf differenzierbare Signale angewiesen ist und Zwischenbelohnungen entlang des gesamten Denoising-Pfades integriert. Speziell für maskierte Diffusions-Sprachmodelle reduz
Nicht-triviale Generalisierungsschranken für Reinforcement Learning mit verifizierbaren Belohnungen
Die Verallgemeinerungsfähigkeit von großen Sprachmodellen, die mittels Reinforcement Learning mit verifizierbaren Belohnungen feinabgestimmt wurden, ist bisher nur unzureichend erforscht. Durch die Anwendung von PAC-Bayes-Kompressionsschranken und dem Gumbel-Max-Reparametrisierungstrick wurden erstmals nicht-triviale Generalisierungsschranken für Modelle im Milliarden-Parameter-Bereich nachgewiesen. Das neu entwickelte Progressive RLVR-Framework kombiniert effiziente Feinabstimmungsmethoden mit Modellquantisierung.
Ein rauschrobustes Elicit-to-Optimize-Framework für Verzerrungs-Risikometriken mittels Inverse Reinforcement Learning
Dieses Framework kombiniert Inverse Reinforcement Learning und klassisches Reinforcement Learning, um die Risikopräferenzen von Agenten präzise zu erfassen und Richtlinien unter komplexen Verzerrungs-Risikometriken zu optimieren. Ein adaptives Bayes-Verfahren ermöglicht es, latente Risikoziele aus verrauschten und suboptimalen Entscheidungsdaten abzuleiten. Zur Optimierung wird eine Erweiterung des Proximal Policy Optimization Algorithmus eingesetzt, die durch den Einsatz von Quantil-Neuronalen-Netzwerken eine flex
Optimierung der langfristigen Nutzerbindung durch modellunabhängiges Lernen von Downstream-Belohnungen
Die Optimierung von Empfehlungssystemen verlagert sich zunehmend von kurzfristigen Interaktionen hin zur langfristigen Nutzerbindung. Da direkte Rückkehrsignale oft spärlich und verzögert sind, wurde ein modellunabhängiges Framework entwickelt, das Nutzerverhalten auf Sitzungsebene analysiert, um zukünftige Bindung vorherzusagen. Durch die Ableitung von Belohnungssignalen aus verschiedenen Nutzeraktionen lassen sich Ranking-Modelle effizienter auf langfristigen Wert ausrichten. Praktische Anwendungen in großen Empf
Closed-Loop Knowledge Dynamics: Ein operatives Framework für Sättigung und Ausbruch
Feedback-gesteuerte Systeme in großen Sprachmodellen und beim bestärkenden Lernen stoßen häufig an Leistungsgrenzen, wenn sie ausschließlich auf internem Feedback basieren. Ein neues operatives Framework analysiert diese Sättigungseffekte durch ein Drei-Ebenen-Modell, das die Dynamik von Wissenszuständen und deren Stabilitätsbereiche mathematisch beschreibt. Die Untersuchung zeigt, dass strukturelle Interventionen notwendig sind, um aus bestehenden Attraktoren auszubrechen und die Modellleistung über das bisherige
RENEW: Weltmodelle durch menschliches Feedback verbessern und Modell-Exploitation beheben
Weltmodelle im Offline-Reinforcement-Learning leiden häufig unter Modell-Exploitation, bei der das Modell in Bereichen mit geringer Datenabdeckung fehlerhafte Dynamiken erzeugt. Ein neuer Ansatz namens Dynamics Learning from Human Feedback nutzt menschliche Präferenzen über simulierte Abläufe, um diese Halluzinationen zu korrigieren. Da dieser Prozess in der Grundform ineffizient ist, fokussiert die Methode RENEW das Training mittels epistemischer Unsicherheit gezielt auf kritische Modellbereiche. Dies steigert die
Branching Policy Optimization: Ein neuer Ansatz für Reinforcement Learning bei Sprachmodellen
Ein neuer Algorithmus namens Branching Policy Optimization verbessert das Training von Sprachmodell-Agenten in deterministischen Sandbox-Umgebungen. Anstatt unabhängige Pfade zu verfolgen, nutzt das Verfahren die Möglichkeit, Zustände zu speichern und von Zwischenpunkten aus zu verzweigen. Durch das Teilen gemeinsamer Präfixe bei den Entscheidungsbäumen wird die Varianz der Gradienten signifikant reduziert und die Effizienz bei der Optimierung gesteigert. In Benchmarks wie WebShop und SWE-bench zeigt der Ansatz ein
Die Lücke schließen: Potenziale und Herausforderungen hierarchischer Planung in LeWorldModel
Die Untersuchung analysiert den Einsatz zeitlicher Hierarchien zur Verbesserung von LeWorldModel bei der zielorientierten Steuerung über lange Zeiträume. Durch die Einführung von Hi-LeWM, das ein vortrainiertes Modell um eine Planungsebene für latente Unterziele ergänzt, zeigt sich, dass Hierarchien nicht automatisch zu einer Leistungssteigerung führen. Die Ergebnisse verdeutlichen, dass die Generierung dieser Unterziele der entscheidende Engpass ist. Erst durch eine gezielte Einschränkung der Suche auf bekannte Ma
Lernen von Red-Agent-Strategien aus Beobachtungen für neurosymbolische autonome Cyber-Agenten
Zur Stärkung der autonomen Cyber-Abwehr werden neurosymbolische Ansätze eingesetzt, die auf Reinforcement Learning basieren. Da Angreifer in komplexen Netzwerken oft nur teilweise beobachtbar sind, ist die Vorhersage ihrer Strategien eine Herausforderung. Ein neues Verfahren nutzt Imitation Learning, um die Aktionen von Angreifern basierend auf Netzwerkbeobachtungen und Verteidigungsmaßnahmen präzise vorherzusagen. Diese Methode lässt sich in neurosymbolische Verteidigungssysteme integrieren, um die Anpassungsfähig
Vortraining in Actor-Critic Reinforcement Learning für Roboter-Fortbewegung
Ein neues Verfahren verbessert das Training von Robotern durch die Nutzung von vortrainierten neuronalen Netzen. Anstatt Bewegungsabläufe für jede Aufgabe von Grund auf neu zu erlernen, wird ein Modell zunächst mit explorativen Daten trainiert, um allgemeine physikalische Zusammenhänge zu erfassen. Diese vortrainierten Gewichte dienen anschließend als Basis für klassische Actor-Critic-Algorithmen wie PPO. In umfangreichen Tests mit verschiedenen Robotertypen führte dieser Ansatz zu einer durchschnittlichen Steigeru
Wann lehrt Belohnung den Zustand? Eine Untersuchung zur Repräsentation in Reinforcement-Learning-Agenten
Die Untersuchung analysiert, ob KI-Agenten im Reinforcement Learning tatsächlich den zugrunde liegenden Zustand einer Aufgabe erlernen oder lediglich Belohnungs-Abkürzungen nutzen. Durch die Modellierung von Aufgaben als deterministische endliche Automaten lässt sich der wahre Zustand exakt bestimmen und von der erzielten Belohnung trennen. Die Ergebnisse zeigen, dass hohe Belohnungen allein kein Beweis für ein korrektes Zustandsverständnis sind. Es wird zwischen Wahrnehmungslücken, bei denen der Zustand nicht extr
SCOPE-RL: Optimierung von Schlussfolgerungspfaden vor und nach dem Erfolg
SCOPE-RL ist ein zweistufiges Framework zur Optimierung von Sprachmodellen, das die Schwächen herkömmlicher Reinforcement-Learning-Methoden mit spärlichen Belohnungssignalen adressiert. Vor dem Erreichen der korrekten Antwort werden durch adaptive, in Teilfragen zerlegte Belohnungen Fortschritte in der Argumentationskette gefördert. Nach dem Erfolg sorgt eine qualitätsbewusste Prozesssteuerung für die Verfeinerung der Trajektorien, um Redundanzen und Fehler zu minimieren. Die Methode steigert die Genauigkeit bei ma
Operator-on-F ergänzt Werteäquivalenz: Eine Diagnosemethode für latente Weltmodelle zur Planungszeit
Die Bewertung von Weltmodellen im modellbasierten Reinforcement Learning konzentriert sich meist auf die Vorhersage von Belohnungen und Werten, was planungsrelevante Fehler in latenten Pfaden oft unberücksichtigt lässt. Die neue Diagnosemethode Operator-on-F vergleicht die k-stufige latente Vorwärtsbewegung eines Modells mit der tatsächlichen Umgebung auf einer beobachtbaren Teilmenge. Im Vergleich zu klassischen Metriken zeigt dieser Ansatz eine deutlich höhere Sensitivität gegenüber Modellfehlern, die sich direkt
ECHO: Effizientes Gedächtnismanagement für agentische Reinforcement-Lernsysteme
Das neue Framework ECHO optimiert die Kontextverwaltung für KI-Agenten, die über lange Zeiträume hinweg komplexe Aufgaben lösen müssen. Durch eine selektive Speicherung und Rekonstruktion von Interaktionsverläufen ermöglicht das System eine präzise Rückverfolgbarkeit von Entscheidungen. Dies löst das Problem, dass komprimierte Gedächtnisinhalte oft den Bezug zu den ursprünglich ausschlaggebenden Informationen verlieren. In Tests übertrifft ECHO bestehende Methoden bei der Genauigkeit und Effizienz deutlich und verb
Warp RL: Anpassung von Basis-Richtlinienverteilungen für dynamische Umgebungen
Warp RL ist eine neue Methode zur Anpassung von Roboter-Richtlinien, die über herkömmliche additive Korrekturen hinausgeht. Während bisherige Ansätze lediglich Verschiebungen der Aktionsverteilung erlauben, nutzt Warp RL invertierbare, zustandsabhängige Transformationen, um die Form und Skalierung der Verteilung präzise anzupassen. Durch den Einsatz von rational-quadratischen Spline-Flüssen ermöglicht das Verfahren eine flexiblere Korrektur bei dynamischen Veränderungen. In Versuchen mit Manipulationsaufgaben und s
NetForge RL: Eine Multi-Agenten-Simulationsumgebung für die Cyberabwehr mit zeitlich ausgedehnten Aktionen
NetForge RL ist eine neue Multi-Agenten-Simulationsumgebung, die speziell für das Training von Reinforcement-Learning-Modellen in der Cyberabwehr entwickelt wurde. Die Plattform bildet komplexe Unternehmens- und OT-Netzwerke ab, in denen mehrere Verteidiger auf Basis von unvollständigen Telemetriedaten gegen einen adaptiven Angreifer agieren. Durch die Nutzung eines JAX-basierten Backends erreicht das System eine hohe Rechengeschwindigkeit, was effiziente Trainingszyklen ermöglicht. Neben der Umgebung werden Refere
Überlebensdynamik von neuronalen und programmatischen Richtlinien im evolutionären Reinforcement Learning
Die Studie untersucht den Vergleich zwischen neuronalen Netzwerken und programmatischen Richtlinien in evolutionären Reinforcement-Learning-Umgebungen. Mittels differenzierbarer Entscheidungslisten wird analysiert, ob programmatische Ansätze die Leistung klassischer neuronaler Modelle übertreffen können. Die Ergebnisse zeigen, dass programmatische Richtlinien eine signifikant höhere Überlebenswahrscheinlichkeit in Testumgebungen aufweisen. Dabei übertreffen sie neuronale Modelle sowohl in kombinierten evolutionären
Repräsentationsbasierte Exploration für Sprachmodelle: Von der Laufzeit bis zum Post-Training
Die Forschung untersucht, wie gezielte Exploration Sprachmodelle dazu befähigen kann, neue Verhaltensweisen zu entdecken, anstatt lediglich vorhandene Muster zu verstärken. Durch die Nutzung eines auf den verborgenen Zuständen des vortrainierten Modells basierenden Bonus wird die Vielfalt der generierten Lösungen signifikant erhöht. Dieser Ansatz verbessert sowohl die Effizienz während der Inferenz als auch die Leistung beim Post-Training durch Reinforcement Learning. Die Ergebnisse zeigen, dass eine solche methodi
Agile und wahrnehmungsbasierte Fortbewegung für vierbeinige Roboter im Gelände
Ein neues Framework namens APT-RL ermöglicht vierbeinigen Robotern die autonome Fortbewegung in komplexen Außen- und Innenumgebungen. Durch den Einsatz von vortrainierten Transformern und Reinforcement Learning werden verschiedene motorische Fähigkeiten erlernt, die ein nahtloses Umschalten zwischen Gangarten erlauben. Das System nutzt ausschließlich Onboard-Sensoren und Rechenleistung, um Hindernisse wie Treppen, Lücken oder unebenes Terrain bei Geschwindigkeiten von bis zu 6 Metern pro Sekunde sicher zu überwinde
Strömungsbewusste optimale Navigation in instabilen Strömungen mittels Reinforcement Learning
Die autonome Navigation in zeitlich veränderlichen Strömungen stellt eine Herausforderung dar, da klassische Kontrollsysteme oft auf unrealistischem Vorwissen basieren. Ein neuer Ansatz nutzt den TD3-Algorithmus, um Agenten in chaotischen Strömungsumgebungen durch bio-inspirierte Sensorstrategien zu trainieren. Die Ergebnisse zeigen, dass Agenten, die lokale Geschwindigkeitsmessungen erfassen und speichern, eine höhere Leistung erzielen als solche mit globalen Strömungsparametern. Während Geschwindigkeitsdaten die
Entschlüsselung der On-Policy-Destillation: Rollen, Pathologien und Regulierungen
Die On-Policy-Destillation hat sich als zentrales Verfahren für das Post-Training von Sprachmodellen etabliert, doch ihre zugrunde liegenden Dynamiken waren bisher kaum erforscht. Die Untersuchung zeigt, dass diese Methode primär als Katalysator für die Exploration dient, indem sie Modelle durch tokenbasierte Führung auf korrekte Argumentationspfade lenkt, ohne die Kapazitätsgrenzen zu erweitern. Dabei treten zwei kritische Probleme auf: Diskrepanzen zwischen Lehrer- und Schülermodell sowie die Ausnutzung von Länge
GFlowRL: Skalierung von Distribution-Matching Reinforcement Learning für große Sprachmodelle
GFlowRL stellt einen neuen Ansatz für das Reinforcement Learning bei großen Sprachmodellen dar, der auf dem Prinzip der Verteilungsanpassung basiert. Anstatt sich auf die Maximierung einzelner Belohnungen zu konzentrieren, fördert das Verfahren vielfältige Lösungswege. Durch den Verzicht auf ein komplexes Partitionierungsnetzwerk zugunsten einer effizienten Monte-Carlo-Schätzung innerhalb der Trainingsstapel wird die Stabilität bei der Skalierung auf Modelle mit bis zu 235 Milliarden Parametern deutlich verbessert.
Sicheres Agentenverhalten durch menschliche Präferenzen und Begründungen in Weltmodellen
Die Methode DROPJ ermöglicht das sichere Training und die Bereitstellung von KI-Agenten in Umgebungen ohne explizite Belohnungsfunktionen. Zunächst wird ein Weltmodell aus realen Daten erstellt, in dem menschliche Nutzer informative Trajektorien generieren. Durch den Vergleich dieser Segmente und die Angabe von Begründungen für ihre Präferenzen trainieren Nutzer ein Belohnungsmodell. Dieses Modell steuert den Agenten mittels modellprädiktiver Regelung. Die Einbeziehung von Begründungen verbessert dabei die Sicherhe
Lighthouse RL: Stichprobeneffiziente Schaltungsoptimierung durch strategische Reset-Punkte
Lighthouse RL ist ein neuer Ansatz im Reinforcement Learning zur effizienten Dimensionierung analoger Schaltkreise. Das Verfahren nutzt strategische Reset-Punkte, sogenannte Lighthouses, um den Lernprozess gezielt von bereits identifizierten leistungsstarken Konfigurationen aus zu starten. Dadurch wird die Exploration auf vielversprechende Bereiche fokussiert und die Recheneffizienz im Vergleich zu herkömmlichen Optimierungsmethoden deutlich gesteigert. Die Methode zeigt eine verbesserte Generalisierungsfähigkeit s
Lyapunov-Exponenten als physikbasierte Belohnung für Reinforcement Learning
Ein neuer Ansatz nutzt den Lyapunov-Exponenten als dichtes Belohnungssignal für Reinforcement Learning, um komplexe physikalische Systeme zu stabilisieren. Am Beispiel eines invertierten Pendels mit vertikaler Bewegung zeigt sich, dass der Agent nicht nur das bekannte Kapitza-Pendel-Verhalten erlernt, sondern darüber hinaus eine aktive Dämpfung der Pendelbewegung erreicht. Dies ermöglicht eine präzise Stabilisierung in einer strikt aufrechten Position, was die Effektivität physikbasierter Belohnungsfunktionen für d
TRACE: Belohnungszuweisung auf Turn-Ebene durch Kredit-Schätzung für Langzeit-Agenten
Die Methode TRACE adressiert die Herausforderung der Kredit-Zuweisung bei KI-Agenten, die komplexe Aufgaben über lange Sequenzen von Werkzeugaufrufen lösen. Anstatt sich nur auf das Endergebnis zu verlassen, berechnet der Ansatz dichte Belohnungen auf Ebene einzelner Interaktionsschritte. Durch die Nutzung von Log-Ratio-Zustandswerten aus einem Referenzmodell werden per-Aktion-Belohnungen ohne zusätzliche Kritiker-Modelle abgeleitet. Dies ermöglicht eine signifikante Leistungssteigerung bei der Werkzeugnutzung, da
Aufgabenorientierte Sensorik und verdeckte Übertragung für kollaborative Multi-AUV-Systeme
Bei verdeckten Unterwassermissionen stehen autonome Unterwasserfahrzeuge vor der Herausforderung, Informationen effizient auszutauschen, ohne durch aktive Sonarnutzung oder häufige Kommunikation entdeckt zu werden. Ein neues Framework namens SVR-MARL optimiert diesen Prozess, indem es den tatsächlichen Wert sensorisch erfasster Informationen für die jeweilige Aufgabe bewertet. Durch den Einsatz von Multi-Agenten-Reinforcement-Learning lernen die Fahrzeuge, ihre Kommunikationsstrategien unter Berücksichtigung von Ta
DAGR: Zustandsabhängige Zielrepräsentationen durch differenzbewusste Ziel-Cross-Attention
Das neue Verfahren DAGR optimiert die Zielkodierung im zielbasierten bestärkenden Lernen, indem es statische Einbettungen durch eine zustandsabhängige Komponente ergänzt. Durch den Einsatz einer mehrstufigen, gesteuerten Cross-Attention wird die aktuelle Zustandsinformation direkt in die Zielrepräsentation integriert, um Diskrepanzen zwischen dem Ist-Zustand und dem Ziel präziser abzubilden. Während das Verfahren bei Navigationsaufgaben deutliche Leistungssteigerungen zeigt, erweist es sich bei Manipulations- und P
Ring-Zero: Skalierung von Zero-Reinforcement-Learning auf eine Billion Parameter für emergente Schlussfolgerungen
Die Forschung untersucht die Skalierung von Reinforcement Learning ohne menschliche Daten auf Modelle mit einer Billion Parametern. Durch den Einsatz optimierter Trainingspipelines, wie etwa angepasster Importance-Sampling-Methoden, konnten Herausforderungen bei der Lesbarkeit und Redundanz überwunden werden. Die Ergebnisse zeigen, dass Modelle bei dieser Skalierung eigenständig komplexe kognitive Fähigkeiten wie Selbstverifizierung und strukturiertes Denken entwickeln. Dies bestätigt, dass eine massive Skalierung
On-Policy Delta-Destillation für Sprachmodelle
Die On-Policy Delta-Destillation stellt eine neue Methode für das Post-Training von Sprachmodellen dar, die auf der Übertragung von Schlussfolgerungsfähigkeiten basiert. Anstatt lediglich die Ausgabeverteilung eines Lehrermodells zu imitieren, nutzt das Verfahren ein sogenanntes Delta-Signal. Dieses Signal berechnet die Differenz zwischen einem spezialisierten Lehrermodell und dessen Basismodell vor dem Instruction-Tuning. Durch diesen Ansatz lassen sich logische Fähigkeiten effizienter übertragen, was in Benchmark
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumenten-Fragebeantwortung, indem es auf komplexe Zwischenschritte des logischen Schließens verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ausgabedaten verknüpft, was die Inferenzkosten um über 60 Prozent senkt. Analysen zeigen, dass Modelle ohne explizite Reasoning-Pfade effizienter konvergieren und eine höhere geometrische Präzision erreichen. Zudem ermöglicht ein optimierter Übergang von Supervised Fine-Tuning zu R
Jenseits von Entropie: Korrektheitsbewusste Advantage-Formung durch kontrastive Richtlinienoptimierung
Die kontrastive Richtlinienoptimierung (CPO) bietet einen neuen Ansatz für das Reinforcement Learning mit verifizierbaren Belohnungen. Anstatt sich auf Entropie zu verlassen, nutzt das Verfahren tokenbasierte Diskrepanzen zwischen referenzgesteuerten und Standard-Generierungsverteilungen, um die Korrektheit von Modellen präziser zu bewerten. Dieser Ansatz löst das Problem verschwindender Vorteile und verbessert die Leistung bei In-Domain- sowie Out-of-Domain-Benchmarks erheblich. Durch die gezielte Balance zwischen
SD-MAR: Analytisches Schlussfolgern über mehrere Bilder mittels synthetischer Daten und Reinforcement Learning
Das neue Framework SD-MAR adressiert die Schwächen aktueller Vision-Language-Modelle bei komplexen Aufgaben wie dem Bildvergleich, der Erkennung von Veränderungen und mehrstufigen visuellen Schlussfolgerungen. Durch die Erstellung kontrollierter, synthetischer Bildpaare und gezielte Aufgabenstellungen wird die analytische Kapazität der Modelle trainiert. Ein neuartiger Reinforcement-Learning-Ansatz namens GRPO-lite mit Backward Discounted Allocation optimiert dabei die logische Konsistenz und die Qualität der Erklä
Branching Policy Optimization: Reinforcement Learning für Sandbox-native Sprachagenten
Ein neuer Ansatz für das Reinforcement Learning bei Sprachmodellen nutzt die deterministischen Eigenschaften von Sandbox-Umgebungen aus. Anstatt unabhängige Trajektorien zu erstellen, konstruiert der Algorithmus Branching Policy Optimization einen einzelnen Entscheidungsbaum, bei dem sich Pfade gemeinsame Präfixe teilen. Durch das adaptive Speichern von Zuständen an Entscheidungspunkten und die Berechnung von Vorteilen basierend auf Geschwister-Ergebnissen wird die Varianz der Gradienten signifikant reduziert. In B
Interpretierbares Sprachmodell zur automatisierten Insulinsteuerung bei Typ-1-Diabetes
Die Behandlung von Typ-1-Diabetes durch automatisierte Insulinsysteme steht oft vor der Herausforderung mangelnder Transparenz bei Black-Box-Algorithmen. Ein neuer Ansatz kombiniert die Präzision von Reinforcement Learning mit der erklärbaren Logik großer Sprachmodelle, um eine nachvollziehbare Steuerung zu ermöglichen. Durch die Destillation von Expertenwissen in spezialisierte Sprachmodelle konnte ein System entwickelt werden, das nicht nur die Blutzuckerkontrolle verbessert, sondern Entscheidungen für Patienten
DialogueVPR: Fortschritte bei der dialogbasierten visuellen Ortserkennung
Die visuelle Ortserkennung mittels natürlicher Sprache stößt bei statischen Abfrageverfahren oft an Grenzen, wenn Beschreibungen unvollständig oder mehrdeutig sind. Ein neuer Ansatz transformiert diesen Prozess in einen interaktiven Dialog, bei dem ein KI-System gezielte Fragen stellt, um den Standort präziser zu bestimmen. Hierfür wurde ein umfangreicher Benchmark sowie ein spezielles Framework entwickelt, das einen multimodalen Abrufmechanismus mit einem intelligenten Fragesteller kombiniert. Durch ein zweistufig
Masken-bewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Anwendung von Reinforcement Learning auf maskierte Diffusions-Sprachmodelle ist aufgrund der schwierigen Schätzung der Log-Likelihood komplex. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter optimieren. Diese Methode erzielt signifikante Leist
SEED: Selbstentwickelnde On-Policy-Destillation für agentenbasiertes Reinforcement Learning
Die Methode SEED adressiert die Herausforderung, dass ergebnisbasiertes Reinforcement Learning bei komplexen Aufgaben mit langen Interaktionsketten oft an spärlichen Belohnungssignalen scheitert. Das Framework extrahiert aus abgeschlossenen Trajektorien mittels natürlicher Sprache wiederverwendbare Fähigkeiten und Regeln. Diese Erkenntnisse werden als zusätzliche, dichte Signale zurück in das Modell destilliert, wodurch die Entscheidungsfindung und die Analysefähigkeit des Agenten kontinuierlich gemeinsam verbesser
Technischer Bericht zu Mach-Mind-4-Flash
Das neue KI-Modell Mach-Mind-4-Flash ist ein Mixture-of-Experts-System mit 35 Milliarden Parametern, von denen pro Anfrage lediglich 3 Milliarden aktiv sind. Durch den Einsatz spezialisierter Trainingsmethoden wie Multi-Teacher On-Policy Distillation und Hybrid Median-length Policy Optimization erzielt das Modell Leistungen, die mit deutlich größeren Modellen vergleichbar sind. Die Architektur optimiert insbesondere die agentische Interaktion und die Effizienz von Schlussfolgerungsketten, wodurch die Rechenkosten b
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt kostspielige neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Basis. Ein zentrales Problem bei der mehrstufigen Distillation ist das Risiko unzuverlässiger Zielvorgaben bei Abweichungen zwischen Lehrer- und Schülerverhalten. ReOPD löst dies durch ein gezieltes Sa
Turing-Preisträger Rich Sutton gründet Oak Lab für autonom lernende KI-Agenten
Der Pionier des Reinforcement Learning hat mit Oak Lab ein neues Startup in Toronto ins Leben gerufen. Ziel des Unternehmens ist die Entwicklung von KI-Agenten, die kontinuierlich und eigenständig aus ihrer Umgebung lernen können. Damit setzt sich das Vorhaben kritisch von aktuellen Deep-Learning-Methoden ab, die als ineffizient und limitiert eingestuft werden. Der Fokus liegt auf der Schaffung intelligenter Systeme, die über starre Trainingsprozesse hinausgehen und eine dynamische Anpassungsfähigkeit in Echtzeit e
KI-Entwicklungen: Belohnungs-Hacking, Anthropic-Daten und RL-gestützte Quadrocopter-Rennen
Die aktuelle Analyse beleuchtet das Phänomen des Reward-Hackings in gesellschaftlichen Kontexten und untersucht neue Datensätze von Anthropic zur Erforschung von RSI-Risiken. Ein weiterer Schwerpunkt liegt auf dem Einsatz von Reinforcement Learning bei der Steuerung von Quadrocoptern in Hochgeschwindigkeitsrennen. Abschließend wird die theoretische Frage diskutiert, ab welchem Zeitpunkt Finanzmärkte die ökonomischen Auswirkungen einer technologischen Singularität einpreisen könnten.
Reinforcement Learning ohne Temporal-Difference-Lernen
Ein neuer Ansatz für das Reinforcement Learning ersetzt das klassische Temporal-Difference-Lernen durch ein Divide-and-Conquer-Paradigma. Während herkömmliche Methoden bei Aufgaben mit langen Zeithorizonten häufig an Skalierungsproblemen leiden, ermöglicht dieser alternative Algorithmus eine effizientere Verarbeitung komplexer Abläufe. Durch die Zerlegung der Aufgaben in kleinere Teilprobleme wird die Skalierbarkeit des Lernprozesses signifikant verbessert, ohne auf die üblichen Mechanismen der zeitlichen Differenz