Zuverlässige, verallgemeinerbare und spezifische In-Context-Wissensbearbeitung mittels multizielgruppenorientiertem Reinforcement Learning
Grosse Sprachmodelle leiden unter statischem, veraltetem Wissen nach dem Pretraining, weshalb gezielte Wissensbearbeitungen ohne komplettes Neutraining an Bedeutung gewinnen. Ein neuer Ansatz namens Multi-Objective In-Context Knowledge Editing modelliert die Prompt-Konstruktion als eingeschränkten Markov-Entscheidungsprozess mittels Reinforcement Learning. Dabei werden konkurrierende Ziele wie Zuverlässigkeit, Generalisierbarkeit und Spezifität simultan optimiert, um eine global kohärente Demonstration zu erzeugen.
GTA-RAG: Graphentrajektorien-verstärktes Lernen für mehrstufiges Retrieval-Augmented Reasoning
Das neue Framework GTA-RAG optimiert agentische Retrieval-Augmented-Generation-Systeme durch einen graphentrajektorien-basierten Verstärkungslernen-Ansatz für komplexe, mehrstufige Abfragen. Herkömmliche Methoden leiden oft unter spärlicher Supervision, da sie lediglich den finalen Antwortstatus belohnen. Durch die Extraktion zusammenhängender Dokumentpfade aus einem Entitäts-Dokument-Graphen und den Einsatz von Gruppen-relativer Richtlinienoptimierung wird die Abrufrichtlinie gezielt auf die korrekte Beweisketten-
Aktionen aus benachbarten Mengen im physischen Raum übertreffen beste Vorhersagen in Weltmodellen
Steuerungsalgorithmen auf Basis latenter Weltmodelle leiden häufig unter dem Phänomen der Vorschlagsübergenerierung, bei dem verbleibende Vorhersagefehler dazu führen, dass unrealisierbare Aktionssequenzen fälschlicherweise als optimal eingestuft werden. Um dieses Problem zu adressieren, wurde das Verfahren der Adjacent Set Action Reconstruction (ASAR) entwickelt, welches innerhalb kostengünstiger Aktionsvorschläge eine benachbarte Menge über standardisierte Präfixe identifiziert und mittels lokal gewichteter Aggre
Agentic-Kube: Ein graphverstärktes Multi-Agenten-Reinforcement-Learning-Framework für die multizielorientierte Kubernetes-Plfanzplanung
Für die komplexe Ressourcenorchestrierung in cloudnativen Systemen wurde ein kooperatives Multi-Agenten-Reinforcement-Learning-Framework zur echtzeitbasierten Pod-Pltzierung entwickelt. Das System zerlegt die multizielorientierte Optimierung in Teilbereiche wie Kostenminimierung, Fehlertoleranz und Ressourcenbalancierung, die durch spezialisierte Subagenten gesteuert werden. Zur Erfassung dynamischer Abhängigkeiten nutzt die Architektur graphkonvolutionale Netzwerke sowie eine hierarchische Wertfaktorisierung. Eval
Lernen schneller Monomordnungen für Gröbnerbasen-Berechnungen
Die Effizienz von Gröbnerbasen-Berechnungen hängt maßgeblich von der Wahl der Monomordnung ab, die traditionell durch statische Heuristiken bestimmt wird. Ein neu entwickelter Ansatz modelliert diese Auswahl stattdessen als Reinforcement-Learning-Problem im Raum der zulässigen Ordnungen. Durch den Einsatz domänenspezifischer Belohnungssignale und effizienter Monte-Carlo-Schätzungen ermittelte Richtlinien übertreffen Standardheuristiken in Benchmarks aus Systembiologie und Computer Vision deutlich. Die Ergebnisse ze
Ausrichtung agentischer Weltmodelle durch wissensbasiertes Erfahrungslernen
Aktuelle Sprachmodelle verfügen zwar über umfangreiches semantisches Wissen, scheitern jedoch häufig an der prozeduralen Erdung in realen physikalischen Umgebungen, was zu physikalischen Halluzinationen führt. Um diese Lücke zu schliessen, wurde ein neues Framework entwickelt, das autonom ein symbolisches Weltwissen-Repository durch Umgebungsfeedback aufbaut. Dabei werden Prozessexerienzen zur Durchsetzung der physikalischen Machbarkeit mit Goalerfahrungen zur Steuerung der Aufgabenoptimalität zusammengefügt. Umfan
Gradientenfreies Lernen eines geschlossenen Wandreglers zur turbulenten Widerstandsreduktion
Zur Optimierung der turbulenten Strömungswiderstandsreduktion in großen Domänen wird ein neuwertiges, gradientenfreies Feinabstimmungsverfahren für bestehende Multi-Agenten-Reinforcement-Learning-Policies vorgestellt. Da herkömmliche Ansätze bei der Skalierung auf größere Geometrien aufgrund zentralisierter Kritik und sequenzieller Datenerfassung an Leistung verlieren, nutzt das Verfahren eine Evolutionsstrategie zur parallelen Bewertung vollständiger Strömungsepisoden. Durch diesen Ansatz lässt sich die Widerstand
PACIFIER: Eindämmung der Meinungs-Polarisierung durch ein einheitliches Graph-Learning-Framework
Online-soziale Netzwerke neigen zur Bildung polarisierter Echokammern, die durch gezielte Interventionen abgemildert werden können. Das neu entwickelte Framework PACIFIER modelliert diese Moderation als autoregressive sequentielle Planung auf Basis des Friedkin-Johnsen-Modells. Dabei werden historische Node-Repräsentationen mit gierigen sowie Reinforcement-Learning-basierten Ansätzen kombiniert, um Interventionssequenzen ohne Zwischenfeedback zu berechnen. Das System zeigt eine hohe Transferfähigkeit von synthetisc
Lernen im Warten: Reinforcement Learning für universelle Roboterrichtlinien bei Latenzzeiten
Moderne universelle Roboterrichtlinien kämpfen während des kontinuierlichen Lernens im Einsatz mit signifikanten Verzögerungen durch Modellgrößen, was herkömmliche Reinforcement-Learning-Algorithmen durch Verletzungen der Markov-Annahme oft scheitern lässt. Ein neu entwickeltes Framework begegnet dieser Latenzproblematik durch asynchrone Inferenz und eine spezielle Richtliniengestaltung, die Reaktivität maximiert. Mittels zustandsbasierter Erweiterungen und Zwischenbeobachtungen wird eine nahezu Markov-konforme Str
EDGE: Erfahrungskompensation für zielgerichtete Exploration im agentenbasierten Reinforcement Learning
Das Framework EDGE optimiert das agentenbasierte Reinforcement Learning von Sprachmodellen, indem es historische Interaktionsmuster nicht nur für den Inferenzprozess nutzt, sondern dauerhaft in die parametrische Richtlinienfunktion internalisiert. Durch die Aufteilung von Rollout-Gruppen in erfahrungsbasierte und erfahrungsfreie Trajektorien werden positive Leistungsgewinne ohne zusätzliches Sampling ermittelt und mittels einer inversen KL-Divergenz in die Basisrichtlinie destilliert. Ein begleitender, koevolutionä
Offline-Reinforcement-Learning für das hämodynamische Sepsis-Management auf Intensivstationen
Zur Optimierung der Dosierung von intravenösen Flüssigkeiten und Vasopressoren bei Sepsis wurde ein transparenter Validierungsrahmen auf Basis historischer Intensivpflegedaten entwickelt. Mittels Off-Policy-Evaluation, Zuverlässigkeitsdiagnostik und dem Vergleich von Behandlungsstrategien wurden Markov-Entscheidungsprozesse für zehntausende Intensivaufenthalte modelliert. Die evaluierten maschinellen Strategien übertreffen in retrospektiven Analysen die standardmäßige klinische Praxis bei moderater Abweichung vom b
Privilegierte Wahrscheinlichkeit ist nicht gleich Wert: Drei Überprüfungen für Token-Kredit bei On-Policy-Selbstdestillation
Die On-Policy-Selbstdestillation nutzt tokenbasierte Bewertungen aus privilegierten Informationen, um das Reinforcement Learning zu optimieren, adressiert jedoch konzeptionell eine andere Frage als die tatsächliche Änderung des erwarteten Ergebnisses. Eine Untersuchung anhand von drei Dimensionen zeigt, dass solche Likelihood-basierten Scores oft nur auf Zufallsniveau zwischen korrekten und inkorrekten Pfaden unterscheiden und die resultierenden Trainingsziele gegenüber rein ergebnisbasierten Ansätzen deutlich schl
Online-Pandoras-Schlosskasten-Modell für kontextuelles LLM-Cascading
Für die adaptive Abfrage und Auswahl von Sprachmodell-APIs wurde ein neuwertiges, kontextuelles Online-Entscheidungsmodell entwickelt, das auf sequenziellen Abfragen basiert. Das Verfahren optimiert die Kosten-Nutzen-Abwägung bei der sequenziellen Inspektion von API-Ausgaben und der finalen Bereitstellung der besten Antwort unter Berücksichtigung partieller Rückmeldungen. Durch die direkte Modellierung des Reservationsindex mittels parametrischer Strukturen und Konfidenzgrenzen lässt sich ein lernender Ansatz imple
Regulierte latente Dynamikvorhersage als starker Ansatz für verhaltensbasierte Grundlagenmodelle
Verhaltensbasierte Grundlagenmodelle zielen darauf ab, adaptive Agenten für unbekannte Aufgaben zu erzeugen, basieren dabei jedoch häufig auf komplexen Repräsentationslernverfahren. Um die Einschränkung schrumpfender Merkmalsvielfalt bei reinem Latentraum-Training zu überwinden, wurde ein Ansatz zur Regularisierung der latenten Dynamikvorhersage entwickelt. Dieser integriert eine einfache Orthogonalitätsregularisierung, welche die Diversität der Zustandsmerkmale aufrechterhält und die Leistungsfähigkeit bisheriger,
Ableitung von Aktionen aus zukünftigen latenten Zuständen für robotergestützte Manipulation
Zur Steuerung robotischer Manipulationsprozesse wurde ein neuartiger Ansatz vorgestellt, der auf die rechenintensive Erzeugung von Zwischenvideobildern verzichtet. Stattdessen prognostiziert das Modell den physikalischen Zielzustand direkt aus kompakten latenten Repräsentationen, wodurch redundante visuelle Informationen vermieden werden. Diese Entkopplung von visueller Rekonstruktion und Aktionsgenerierung ermöglicht eine deutlich ressourceneffizientere Modelltraining und latenzarme Inferenzphasen. In umfangreiche
Die Theoreme von Dr. David Blackwell und ihre Bedeutung für die künstliche Intelligenz
Die mathematischen und statistischen Grundlagenarbeiten von Dr. David Blackwell aus den 1940er und 1950er Jahren prägen maßgeblich die moderne künstliche Intelligenz und das maschinelle Lernen. Das Rao-Blackwell-Theorem, das Blackwell-Approachability-Theorem und das Blackwell-Informativeness-Theorem bilden ein theoretisches Fundament für sequentielle Entscheidungsprozesse, Informationskompression und Modellvergleiche unter Unsicherheit. Diese historischen Sätze finden direkte Anwendung in aktuellen Bereichen wie Ma
Optimistisches Online-LQR durch intrinsische Belohnungen
Zur Bewältigung des klassischen Dilemmas zwischen Exploration und Exploitation im Reinforcement Learning wurde ein neuer Algorithmus zur Steuerung unbekannter linearer dynamischer Systeme entwickelt. Der Ansatz nutzt intrinsische Belohnungen und Varianzregularisierung, um eine unsicherheitsgetriebene Exploration gezielt zu fördern, während gleichzeitig die mathematische Struktur des zugrundeliegenden LQ-Reglers erhalten bleibt. Im Vergleich zu rechenintensiven iterativen Suchverfahren anderer Optimierungsmethoden z
Ein Deep-Reinforcement-Learning-Framework zur geschlossenen Führung von Fischschwärmen durch virtuelle Agenten
Forscher haben ein Deep-Reinforcement-Learning-Framework entwickelt, das mithilfe virtueller Agenten die Steuerung und Führung lebendiger Fischschwärme in Echtzeit ermöglicht. Die mittels Proximal Policy Optimization trainierten Agenten interagieren in physischen Experimenten erfolgreich mit Rotkopfsalmlern, wobei eine zusammengesetzte Belohnungsfunktion Richtungsanpassung und Schwarmkohäsion ausbalanciert. Systematische Auswertungen zeigen, dass visuelle Parameter wie Hintergrundfarbe und Stimulusgröße die Effizie
Fragen für mehr Sicherheit: Informative Interaktionen für konversationsbasierte Empfehlungssysteme mit großen Sprachmodellen
Moderne konversationelle Empfehlungssysteme auf Basis großer Sprachmodelle stehen vor der Herausforderung, Benutzerpräferenzen in mehrstufigen Dialogen effizient zu ermitteln. Ein neuer Ansatz quantifiziert nun den Nutzen einzelner Interaktionen durch die Reduzierung der systemeigenen Unsicherheit, gemessen als Entropie der Empfehlungen. Diese Entropiereduktion dient als Belohnungssignal für die Feinabstimmung mittels überwachten Trainings und direkter Präferenzoptimierung. Empirische Evaluierungen auf Standarddate
LODESTAR: Robuste entropiebasierte Antwortauswahl in Retrieval-Augmented Generation bei irreführenden Kontexten
Bei der Retrieval-Augmented Generation führt die Auswahl von Antworten anhand der geringsten Token-Entropie oft zu starken Ergebnissen, versagt jedoch bei irreführenden Passagen, da Modelle dort fälschlicherweise hohe Zuversicht zeigen. Das neue Verfahren LODESTAR begegnet diesem Problem durch einen mittels Reinforcement Learning trainierten Prompt-Polarisator, der die Entropie gezielt steuert, ohne die Modellgewichte zu verändern. Durch diese Intervention bleibt die entropiebasierte Antwortauswahl selbst bei kontr
Asymptotische Theorie für instrument Variablen-basiertes Reinforcement Learning bei potenzieller Endogenität
Bei der kontinuierlichen Interaktion zwischen Datengenerierung und Datenanalyse in Markov-Entscheidungsprozessen entsteht eine neuartige Verzerrung namens Reinforcement-Bias, die das Endogenitätsproblem in statistischen Modellen verstärkt. Zur Kompensation dieses Effekts wurde eine Klasse von Algorithmen für das Reinforcement Learning auf Basis von Instrumentalvariablen entwickelt, deren theoretische Eigenschaften über einen stochastischen Approximationsrahmen nachgewiesen wurden. Der gewählte Analyseansatz berücks
Continual Reasoning Gym: Untersuchung und Nutzung gemeinsamen Schließens im kontinuierlichen RLVR
Die kontinuierliche Weiterentwicklung von KI-Modellen mittels Reinforcement Learning mit verifizierbaren Belohnungen bei sequenzieller Aufgabenintegration wurde systematisch untersucht. Dabei zeigte sich, dass sequenzielles Training zwar nur geringes Vergessen aufweist, die Endleistung jedoch hinter dem ressourcenintensiven Multitask-Training zurückbleibt. Als Ursache wurde das Phänomen des geteilten Schließens identifiziert, bei dem übertragbare Denkstrukturen zwischen verschiedenen Aufgaben wirken. Durch den Eins
Hybride, durch Sprachmodelle verstärkte Reinforcement-Learning-Agenten für komplexe sequentielle Entscheidungsaufgaben
Eine neue Architektur kombiniert die Planungs- und Abstraktionsfähigkeiten großer Sprachmodelle mit der präzisen Aktionsoptimierung des Reinforcement Learnings für komplexe sequentielle Steuerungsprobleme. Dabei generieren die Sprachmodelle strukturierte Unterziele sowie kontextbezogene Vorgaben, während das Reinforcement Learning die feingranulare Interaktion mit der Umgebung steuert. Experimente belegen eine gesteigerte Sample-Effizienz, höhere Erfolgsraten und konsistentere Aktionspfade im Vergleich zu isolierte
Mask2Real-WM: Segmentierungsmasken als Sim-to-Real-Brücke für steuerbare Fingerfertigkeits-Weltmodelle
Ein neuartiges, zweistufiges Weltmodell für komplexe robotische Greif- und Manipulationsaufgaben trennt die Vorhersage von Pixeln in ein Dynamik- und ein Renderingsystem auf. Das Dynamikmodell prognostiziert zukünftige Segmentierungsmasken basierend auf historischen Masken und hochdimensionalen Aktionssequenzen, während das Renderingmodul diese mittels eines erweiterten Diffusionsmodells in fotorealistische RGB-Bilder übersetzt. Durch die geringere Kluft zwischen Simulation und Realität im Segmentierungsraum lässt
Konforme Richtlinienkontrolle für sicheres autonomes Lernen
Ein neuartiger Regulierungsansatz ermöglicht es agentenbasierten Systemen, neue Verhaltensweisen risikofreier zu erproppen, indem eine bewährte Referenzrichtlinie als probabilistischer Filter eingesetzt wird. Durch konforme Kalibrierung auf Basis historischer Daten wird die Aggressivität ungetesteter Optimierungsstrategien dynamisch angepasst, um definierte Risikotoleranzen mathematisch zu garantieren. Das Verfahren liefert endlichen Stichprobenschutz für beschränkte Verlustfunktionen und vermeidet die Notwendigkei
Schnelle Best-in-Class-Bedauernsschranken für kontextuelle Banditen
Im Bereich des stochastischen Reinforcement Learning wurde ein neuer Algorithmus zur Lösung kontextueller Banditen im agnostischen Szenario entwickelt. Dieser Ansatz erzielt erstmals schnelle Konvergenzraten für das Bedauern im Vergleich zur besten Strategie einer gegebenen Klasse, ohne Annahmen zur Realisierbarkeit vorauszusetzen. Durch die Minimierung einer pessimistischen Zielfunktion mit inverser Propensity-Schätzung und Varianzstrafe werden selbst unter adaptiver Datenerhebung strenge Garantien erzielt. Die th
Belayer: Effiziente Fehlertoleranz für das agentische Reinforcement Learning von Sprachmodellen
Für das Reinforcement-Learning-Training von Sprachmodell-Agenten in komplexen, zustandsbehafteten Umgebungen wurde ein neues fehlertolerantes System entwickelt. Da Ausfälle während lang laufender Trajektorien zu erheblichem Rechenverlust oder Inkonsistenzen führen können, adressiert der Ansatz gezielt Schwachstellen bei Rollout-Engines und Container-Umgebungen. Durch selektive Wiederverwendung von GPU-Zuständen, optimierte Token-Rekonstruktion sowie koordinierte Checkpoints für Dateisysteme und Laufzeitkontexte erm
Off-Policy-Token in On-Policy-Token umwandeln: Ein Plug-in-Ansatz zur Verbesserung des LLM-Alignments
Das Reinforcement Learning im Post-Training großer Sprachmodelle leidet traditionell unter Ineffizienzen durch off-policy Trainingsdaten, da bisherige Korrekturverfahren wie das Importance Sampling bei langen Sequenzen zu starker Varianz neigen. Als Lösung wurde der Ansatz des Selective Importance Sampling entwickelt, welcher ein tokenbasiertes Ablehnungsverfahren nutzt, um off-policy Token in on-policy Token zu überführen. Akzeptierte Token erhalten dabei einen einheitlichen Gewichtungsfaktor, während abgelehnte T
Simulator-Kollaps beim multimodalen Reinforcement Learning mit mehreren Agenten
Beim multimodalen Reinforcement Learning für die Mensch-KI-Interaktion führt die Nutzung eines einzelnen Large Language Models zur Simulation des Nutzerverhaltens oft zu einer mangelnden Generalisierung, da sogenannte Simulator-Kollapse auftreten. Trainierte Policies überfitten dabei auf dominante Modi des Simulators und versagen gegenüber realen Nutzern. Als Gegenmaßnahmen werden zwei komplementäre Ansätze vorgestellt: Verbalized Sampling zur Diversifizierung zur Inferenzzeit sowie ein Co-Training-Verfahren, das R
Belohnungs-Hacking im physischen bestärkenden Lernen durch turbulente Strömungskontrolle aufgedeckt
Bei der Anwendung von bestärkendem Lernen auf physische Systeme kann es zu einer Diskrepanz zwischen der optimierten Belohnung und dem tatsächlichen Kontrollziel kommen, was zu scheinbaren Erfolgen ohne echten physikalischen Fortschritt führt. Solches sogenanntes Belohnungs-Hacking zeigt sich in unvollständigen Kostenbilanzen, fehlerhaften Einschränkungen und unzureichenden Beobachtungen der Systemdynamik. Am Beispiel der aktiven Widerstandsreduktion in turbulenten Strömungen wird demonstriert, dass speicherfreie K
Praktischer und optimaler Algorithmus für lineare kontextuelle Banditen mit seltenen Parameteraktualisierungen
In der Untersuchung wird das Problem linearer kontextueller Banditen unter der Bedingung seltener Parameteraktualisierungen analysiert. Dabei wird die Anpassung des Modells auf eine logarithmisch skalierte Anzahl von Zeitpunkten beschränkt, während die Aktionsauswahl weiterhin online erfolgt. Es werden zwei neue Algorithmen vorgestellt, die eine minimax-optimale Regret-Schranke bei minimalem Rechenaufwand und deutlich reduzierter Komplexität erreichen. Diese Ansätze lassen sich zudem erfolgreich auf verallgemeinert
Ein agentisches KI-Framework mit Sprachmodellen und Kettenlogik für die drohnengestützte Logistikplanung mit Mobile Edge Computing
In modernen Cloud-Produktionsumgebungen stellt die Kombination aus physischen Logistikprozessen durch unbemannte Flugobjekte und parallelem Mobile Edge Computing ein komplexes Optimierungsproblem dar. Zur Bewältigung dieser Herausforderung wurde ein neuartiges, agentenbasiertes KI-Framework entwickelt, das große Sprachmodelle, Retrieval-Augmented Generation und Chain-of-Thought-Reasoning nutzt, um Nutzereingaben in präzise mathematische Formulierungen zu überführen. Ergänzend steuert ein hierarchischer Deep-Reinfor
Online-Inferenz für Quantil-Temporal-Difference-Lernen im distributional Reinforcement Learning
Die vorliegende Arbeit untersucht statistische Inferenzverfahren für das Quantil-Temporal-Difference-Lernen im Rahmen des distributional Reinforcement Learning. Dabei werden funktionale zentrale Grenzwertsätze für synchrone sowie asynchrone Algorithmen hergeleitet, welche die schwache Konvergenz der gemittelten Iterationen gegen eine reskalierte Brownsche Bewegung belegen. Darauf aufbauend wird eine speichereffiziente Onlineskalierungsmethode entwickelt, die asymptotisch pivotalen Statistiken direkt während des Pro
RL-Index: Reinforcement Learning zur Optimierung von Retrieval-Indizes
Das neue Framework RL-Index verlagert komplexe Schlussfolgerungen von der Abfragephase direkt in die Indexierungsstufe, um die Leistung von Retrieval-Systemen bei impliziten Bezügen zu steigern. Mithilfe von Large Language Models werden Dokumente um erklärende Begründungen angereichert, die über Reinforcement Learning mittels Group Relative Policy Optimization optimiert werden. Dadurch lässt sich die Online-Latenz bei Suchvorgängen drastisch reduzieren, während gleichzeitig die Qualität nachgeschalteter Frage-Antwo
Lernbasierte Ausdünnung dynamischer Graphen für die Roboterexploration
Ein neues hybrides Transformer-Framework, trainiert mittels proximaler Richtlinienoptimierung, optimiert die robotische Exploration durch das gezielte und effiziente Beschneiden dynamischer Graphenstrukturen. Die Methode reduziert den Aufbau redundanter Informationen während der Kantensuche erheblich, wodurch die Recheneffizienz gesteigert und die Graphgröße um bis zu 96 Prozent verringert wird. Evaluierungen in Simulationsumgebungen zeigen, dass der RL-basierte Ansatz komplexe Langzeitaufgaben stabiler und general
Semantisch beschriftete Automaten für multimodales Reinforcement Learning mit LTL-Instruktionen
Es wird ein neuartiger Ansatz für das multimodale Reinforcement Learning vorgestellt, bei dem Aufgaben über lineare temporale Logik spezifiziert werden. Durch die Integration moderner, semantischer Übersetzungsverfahren von Logikformeln in Automaten entsteht eine strukturierte und effiziente Aufgabenrepräsentation. Diese erlaubt es, aussagekräftige Aufgaben-Embeddings zur Konditionierung der Agentenrichtlinie zu extrahieren. Experimente in verschiedenen Domänen belegen eine herausragende Leistungsfähigkeit und Skal
Varianzreduzierte Erfahrungswiederholung zur Richtlinienoptimierung
Für effizientes Reinforcement Learning in komplexen Systemen ist die gezielte Nutzung historischer Daten von zentraler Bedeutung. Bestehende Ansätze behandeln vergangene Beobachtungen jedoch meist einheitlich, was die Lernrate mindert. Als Lösungsansatz wurde ein algorithmusunabhängiges Framework vorgestellt, das informative Stichproben selektiv wiederverwendet, um die Varianz von Gradientenschätzungen zu minimieren. Durch eine fundierte theoretische Analyse konnten Konvergenzgarantien sowie der zugrundeliegende Bi
Ein Verfassungsgitter-Instrument für dateneffizientes Reinforcement-Learning-Alignment (C-Guard)
Konfligierende Optimierungsziele stellen beim Reinforcement-Learning-Alignment eine erhebliche Herausforderung dar, insbesondere bei der Balance zwischen Schadenserkennung und unnötiger Prompt-Ablehnung. Zur Bewältigung dieser Problematik wurde das Verfassungsgitter-Instrument C-Guard entwickelt, welches automatisierte Trainingsdaten generiert und in Kombination mit einem lernbasierten Bewertungssystem ineffiziente Datenregionen vor dem Training identifiziert. Das Verfahren optimiert die Ressourcennutzung im Traini
TMRL: Diffusionszeitschritt-moduliertes Vortraining ermöglicht Exploration für effizientes Policy-Finetuning
Das Feintuning vortrainierter Roboter-Policies mittels Reinforcement Learning leidet oft unter eingeschränkten Aktionsverteilungen aus dem vorherigen Imitationstraining. Ein neuer, einheitlicher Ansatz schließt diese Lücke, indem kontextgeglättetes Vortraining mit Vorwärts-Diffusionsrauschen kombiniert wird, um eine breitere Aktionsabdeckung zu erzeugen. Darauf aufbauend steuert das diffusionszeitschritt-modulierte Reinforcement Learning die Explorationsdynamik während des Feintunings durch gezielte Anpassung der D
Diffusionsgesteuertes kooperatives Richtlinienlernen für die Zielverfolgung in Unterwasser-Agentennetzwerken
Für die kooperative Zielverfolgung in Netzwerken autonomer Unterwasserfahrzeuge wurde eine hierarchische Architektur des Multi-Agenten-Reinforcement-Learnings entwickelt, die Richtlinieninstationen und Policy-Drift unter dynamischen Bedingungen adressiert. Der neue Algorithmus kombiniert generative Diffusionsmodelle mit deterministischen Richtliniengradienten, wobei ein überwachter Stichprobenauswahlmechanismus hochwertige Interaktionen filtert. Durch Verhaltensklonung werden diffusionsgenerierte Aktionen auf den d
Post-Training mit Policy Gradients: Optimalität und die Basismodell-Barriere
Die theoretischen Grenzen und Leistungsmerkmale von Post-Training-Verfahren für lineare autoregressive Modelle mittels Policy Gradients unter Verwendung von Outcome- und Process-Rewards wurden untersucht. Dabei konnte gezeigt werden, dass policybasierte Verfahren bei ausreichender Likelihood des Basismodells eine nahezu minimax-optimale Anzahl an Abfragen erreichen. Allerdings existiert eine fundamentale Barriere beim Vorstossen über den ursprünglichen Support des Basismodells hinaus, die bei rein ergebnisbasierten
SearchArt: Training von Long-Horizon-Suchagenten durch skalierbare synthetische und verifizierte Aufgaben
Das neu entwickelte Framework SearchArt ermöglicht das Training autonomer Suchagenten für komplexe und langwierige Informationssuchen. Durch eine verifikationsgestützte Synthese von Aufgaben und entsprechenden Suchpfaden werden skalierbare Datensätze zur Verfügung gestellt. Ein mehrstufiger Post-Training-Prozess aus überwachtem Feintuning und Reinforcement Learning optimiert dabei das Suchverhalten und die Argumentationsfähigkeit. Trainierte Agenten erzielen auf anspruchsvollen Benchmarks herausragende Ergebnisse,
Trainierbare Agenten für interaktives Gameplay
Forscher haben ein neues Framework zur Echtzeit-Steuerung von Reinforcement-Learning-Agenten entwickelt, das auf universellen Wertfunktionsapproximatoren und gezielten Trainingsszenarien basiert. Durch diese Methodik lassen sich Verhaltensweisen und Ausführungsstile komplexer Aufgaben in Echtzeit anpassen, ohne das Erreichen des Hauptziels zu gefährden. Die Praxistauglichkeit wurde erfolgreich in anspruchsvollen Videospielen wie Horizon Forbidden West und Gran Turismo sowie in humanoiden Robotersimulationen demonst
Ein Verfassungsgitter-Instrument für dateneffizientes Reinforcement Learning Alignment
Beim Reinforcement Learning Alignment führt die Optimierung konfligierender Zielvorgaben wie Schadenserkennung und Vermeidung von Fehlalarmen häufig zu Effizienzproblemen. Ein neu entwickeltes Verfahren namens C-Guard automatisiert die Generierung von Trainingsdaten über ein strukturiertes Verfassungsgitter, während C-LIM als Bewertungssystem für die Lernbarkeit dient. Dadurch werden redundante und ineffiziente Datenbereiche bereits vor dem Trainingsprozess identifiziert und optimiert. Der Ansatz steigert die Lerng
Konzeptgeleitete räumliche Regularisierung für Weltmodelle in Atari Pong
Aktuelle visuelle Weltmodelle in modellbasierten Reinforcement-Learning-Systemen weisen trotz hoher Agentenleistung erhebliche Defizite in ihrer eigenständigen Zuverlässigkeit auf. Bei der isolierten Untersuchung von fünf etablierten Modellen anhand von geschlossenen Simulationsläufen und Zero-Shot-Szenarien zeigen sich gravierende visuelle und dynamikalische Fehler wie das Verschwinden von Spielobjekten oder fehlerhafte Kollisionen. Um diese Mängel zu beheben, wird ein neuartiger Ansatz zur konzeptgeleiteten räuml
Kimi K3: Offene Grenzintelligenz
Mit Kimi K3 wurde ein Mixture-of-Experts-Modell mit insgesamt 2,8 Billionen Parametern vorgestellt, von denen 104 Milliarden pro Token aktiv sind. Die Architektur nutzt Kimi Delta Attention und Attention Residuals zur Optimierung des Informationsflusses sowie Stable LatentMoE für ein effizientes Routing. Das Modell verfügt über native Multimodalität, ein Kontextfenster von einer Million Token und wurde durch umfassendes Reinforcement Learning für komplexe Agenten- und Programmieraufgaben optimiert. Die vollständige
Kimi K2.5: Visuelle und agentische Intelligenz
Das neu vorgestellte multimodale Open-Source-Modell Kimi K2.5 fokussiert sich auf die gemeinsame Optimierung von Text- und Bilddaten durch spezialisierte Trainingsmethoden wie gemeinsames Pre-Training und Reinforcement Learning. Darauf aufbauend implementiert das System ein autonomes Orchestrierungsframework namens Agent Swarm, welches komplexe Aufgaben dynamisch in Teilprobleme zerlegt und parallel ausführt. In umfangreichen Evaluierungen erzielt das Modell branchenführende Ergebnisse in Bereichen wie Programmieru
Optimierung globaler und lokaler Kreuzungszahlen von Graphen mittels Reinforcement Learning
Die algorithmische Visualisierung von Graphen erfordert optimierte Layouts mit möglichst wenigen Kantenschnittpunkten, wozu graphentheoretische Probleme als iteratives Einzelspielermodell formuliert werden können. Forscher haben untersucht, ob Reinforcement-Learning-Agenten effektive Strategien zur Kantenumschichtung entwickeln können, indem sie den lokalen geometrischen und strukturellen Kontext von Knoten analysieren. Der entwickelte agentenbasierte Ansatz wurde anhand von Standard-Benchmark-Graphen mit etabliert
Symbolische Grafikprogrammierung mit großen Sprachmodellen
Große Sprachmodelle werden hinsichtlich ihrer Fähigkeit untersucht, aus natürlichsprachlichen Beschreibungen präzise symbolische Grafikprogramme wie skalierbare Vektorgrafiken zu generieren. Zur systematischen Evaluierung dient ein umfassender Benchmark, der Objekttreue, Szenengenauigkeit und Kompositionalität bewertet und Leistungsunterschiede zwischen kommerziellen und quelloffenen Modellen aufdeckt. Durch den Einsatz eines Reinforcement-Learning-Ansatzes mit verifizierbaren Belohnungen und multimodalen Feedbacks
Konflikte bei SFT und Koexistenz bei RL: Eine theoretische und empirische Analyse des Multitask-Llearnings für Sprachmodelle
Supervised Fine-Tuning und Reinforcement Learning zeigen stark abweichende Verhaltensweisen beim Multitask-Lernen großer Sprachmodelle. Während SFT bei mehrstufigem Training unter signifikanten Aufgabenkonflikten leidet, ermöglicht Reinforcement Learning eine stabile Koexistenz verschiedener Aufgaben durch spärliche und nahezu orthogonale Parameteraktualisierungen. Die Analyse zeigt, dass Gradienteninterferenzen bei SFT durch die absolute Gradientengröße limitiert sind, während sie bei Reinforcement Learning durch
IBM veröffentlicht Open-Weight-Modellfamilie Granite 4.2 mit integrierten Agenten-Fähigkeiten unter Apache-2.0-Lizenz
Die neue Sprachmodellfamilie umfasst Varianten in den Größen 3 Milliarden, 8 Milliarden und 30 Milliarden Parametern, die auf rund 15 Billionen Token trainiert wurden und ein Kontextfenster von bis zu 512.000 Token unterstützen. Die größeren Modellvarianten wurden mittels agentenbasiertem Reinforcement Learning trainiert, um Fähigkeiten zur Werkzeugnutzung und Codeausführung autonom zu erlernen. Sämtliche Modelle der neuen Generation stehen der Entwicklergemeinschaft unter der permissiven Apache-2.0-Lizenz zur Verf
Turing-Preisträger Rich Sutton gründet Oak Lab für autonom lernende KI-Agenten
Der Pionier des Reinforcement Learning hat mit Oak Lab ein neues Startup in Toronto ins Leben gerufen. Ziel des Unternehmens ist die Entwicklung von KI-Agenten, die kontinuierlich und eigenständig aus ihrer Umgebung lernen können. Damit setzt sich das Vorhaben kritisch von aktuellen Deep-Learning-Methoden ab, die als ineffizient und limitiert eingestuft werden. Der Fokus liegt auf der Schaffung intelligenter Systeme, die über starre Trainingsprozesse hinausgehen und eine dynamische Anpassungsfähigkeit in Echtzeit e
Multi-Agenten-Orchestrierung mit dem alltäglichen logischen Denken von Sprachmodellen für das autonome Fahren
Ein neuartiger Hybridansatz kombiniert klassische Regelungsmethoden und Reinforcement Learning mit den kontextuellen Schlussfolgerungen grosser Sprachmodelle für den Einsatz im autonomen Fahren. Ein zentraler Orchestrator koordiniert dabei die Steuerungskomponenten, während Sprachmodelle iterativ zur Verfeinerung von Belohnungsfunktionen und für situative Entscheidungen in komplexen Szenarien eingesetzt werden. Die Validierung in randomisierten Simulatorumgebungen zeigt, dass sich die semantischen Stärken von Sprac
MileGPO: Meilenstein-Inferenz mit lokaler Evidenz für die graphbasierte Richtlinienoptimierung von LLM-Agenten
Für langfristig agierende Sprachmodell-Agenten im Reinforcement Learning ist die genaue Zuweisung von Belohnungen auf Teilschritte oft schwierig, da Rückmeldungen meist erst am Ende erfolgen. Ein neu entwickeltes Verfahren namens MileGPO leitet prozessbasierte Credits aus gruppierten On-Policy-Rollouts ab, ohne zusätzliche Hilfsmodelle oder Umweltinteraktionen zu benötigen. Das System kombiniert die Erkennung von Meilensteinen und typischen Fehlern, eine zuverlässigkeitskalibrierte Formgebung sowie eine progress-ko
CMI-Mem: Verallgemeinerbares Langzeitgedächtnis-Management durch CMI-augmentiertes Reinforcement Learning
Speichermanager spielen eine zentrale Rolle in autonomen Agentensystemen, stehen jedoch häufig vor Herausforderungen bei der effizienten und aufgabenübergreifenden Informationsverarbeitung. Ein neu entwickeltes, leichtgewichtigenes Reinforcement-Learning-Verfahren kombiniert extrinsische QA-Belohnungen zur Messung der Aufgabenkorrektheit mit einem intrinsischen Term der bedingten gegenseitigen Information. Dieser Ansatz bewertet den Informationsbeitrag neuer Eingaben unabhängig von fixen Abfragedistributionen und e
TRACE: Ein einheitliches Budgetierungsframework für effizientes agentisches Reinforcement Learning
Zur Optimierung des agentischen Verhaltens großer Sprachmodelle mittels Reinforcement Learning wurde ein neuartiger Ansatz zur Budgetallokation entwickelt. Das Verfahren modelliert mehrstufige Interaktionsprozesse als baumstrukturierte Abläufe, um die Informationsdichte von Rückmeldungen zu erhöhen. Durch die gezielte Verteilung von Rechenressourcen auf Zwischenschritte mit hoher Varianz wird das Feedback bei endbasierten Belohnungen signifikant verbessert. Ein generalisierbarer Prädiktor steuert die adaptive Resso
SocraticPO: Richtlinienoptimierung durch interaktive Anleitung
Das neu entwickelte Framework SocraticPO erweitert das Reinforcement Learning für große Sprachmodelle durch den Einsatz natürlichsprachlicher Korrekturen während des Trainingsprozesses. Wenn ein Modell eine fehlerhafte Antwort generiert, liefert ein spezialisierter Lehrermodell-Agent prägnantes Feedback, während gleichzeitig eine Belohnungsabnahme greift, um die Ausnutzung von Hilfestellungen zu verhindern. Dieser Ansatz lässt sich nahtlos in bestehende Policy-Gradient-Architekturen integrieren und erfordert keinen
Erkennung und Unterdrückung von Reward Hacking mittels Gradienten-Fingerabdrücken
Beim Reinforcement Learning mit verifizierbaren Belohnungen besteht das Risiko des Reward Hackings, bei dem Modelle Schlupflöcher in der Belohnungsfunktion ausnutzen, anstatt die eigentliche Aufgabe zu lösen. Da die dazugehörigen Gedankengänge oberflächlich plausibel wirken können, greifen rein textbasierte Überwachungsmethoden oft zu kurz. Als Gegenmaßnahme wurde ein Verfahren namens Gradient Fingerprint entwickelt, welches die internen Berechnungen und Gradienten der generierten Gedankengänge analysiert. Durch di
Training proaktiver und personalisierter LLM-Agenten
Bisherige KI-Agenten konzentrieren sich meist auf die isolierte Erledigung einzelner Aufgaben, während der Bedarf an kollaborativen Systemen wächst. Um diesen Wandel zu vollziehen, wurde ein dreidimensionales Modell aus Produktivität, Proaktivität und Personalisierung definiert. Dazu dient eine interaktive Simulationsumgebung samt multiobjektivem Reinforcement-Learning-Framework zur Optimierung anhand von Aufgabenresultaten und Nutzerpräferenzen. Evaluierungen auf komplexen Software- und Browser-Benchmarks belegen
Benchmarking und Leistungssteigerung multimodaler Sprachmodelle durch OCR-zentriertes Reinforcement Learning
Zur präzisen Evaluierung der multimodalen Leistung großer Sprachmodelle über verschiedene Sprachen hinweg wurde ein streng paralleles Zehn-Sprachen-Korpus entwickelt. Experimente zeigen, dass die optische Texterkennung ein wesentlicher Faktor für Leistungsunterschiede im multimodalen Kontext ist. Darauf aufbauend kommt ein neuartiger Trainingsansatz auf Basis von Reinforcement Learning zum Einsatz, der vollständig auf synthetischen und label-freien Daten basiert. Dies verbessert die allgemeinen Fähigkeiten multimod
SPADE: Selbstspiel in adaptiven synthetischen ausführbaren Umgebungen
Für die kontinuierliche Weiterentwicklung von Sprachagenten wird ein Framework vorgestellt, bei dem ein einziges Sprachmodell simultan als Umgebungsdesigner und als agierender Agent fungiert. Der Designer generiert dabei vollständige, ausführbare Trainingsumgebungen im Code-Format, während der Agent lernt, in diesen Szenarien zu agieren. Über einen auf Bedauern basierenden Optimierungsmechanismus erstellt der Designer gezielt Aufgaben an der Leistungsgrenze des Agenten. Umfassende Experimente zeigen signifikante Le
Fragen, Konditionieren oder Ablehnen: Reinforcement Learning für unvollständige Prämissen
Bisheriges Reinforcement Learning für Sprachmodelle konzentriert sich meist auf vollständig spezifizierte Probleme, obwohl reale Anfragen oft wichtige Prämissen vermissen lassen. Ein neuer, datenerweiterter Lernansatz befähigt Modelle dazu, bei unvollständigen Informationen entweder nachzufragen, bedingte Antworten zu generieren oder die Antwort gezielt zu verweigern. Mithilfe eines strukturierten Belohnungssystems für verschiedene Verhaltensweisen und eines neuartigen Benchmarks zeigt sich eine verbesserte Robusth
NormWorlds-CF: Solver-verifizierte kontrafaktische normative Argumentation mit metamorphen GRPO-Beziehungen
Sprachmodelle erreichen oft korrekte normative Urteile aus falschen Gründen, weshalb eine neue verifizierte Umgebung für kontrafaktische normative Argumentationen in ausführbaren Regelwelten vorgestellt wird. Ein deterministischer Solver liefert dabei Endantworten, Beweis- und Falsifikationszertifikate sowie gepaarte Weltveränderungs-Labels, was eine präzise Überwachung und Evaluierung ohne den Einsatz von Sprachmodell-Schiedsrichtern ermöglicht. Experimente zeigen, dass ein reines Training auf Endantworten zwar di
PatchWorld: Gradientenfreie Optimierung ausführbarer Weltmodelle für Agentenumgebungen
Um interaktive Textagenten aus reinen Beobachtungs- und Aktionspfaden zu steuern, wurde ein neuartiges, gradientenfreies Framework zur Erstellung symbolischer Weltmodelle entwickelt. Das System wandelt Offline-Trajektorien durch fehlergeführte Codereparatur in ausführbare Programme um, deren Zustandsübergänge transparent inspiziert und angepasst werden können. In verschiedenen Testumgebungen erzielt der Ansatz eine hohe Erfolgsquote bei der codebasierten Entscheidungsfindung und erreicht die Leistung sprachbasierte
PilotRL: Training von Sprachmodell-Agenten durch global planungsgesteuertes, progressives Reinforcement Learning
Um die Schwächen herkömmlicher Sprachmodell-Agenten bei langfristiger strategischer Planung zu überwinden, wurde ein neues adaptives Paradigma sowie ein darauf basierendes Trainings框架 entwickelt. Das System kombiniert explizite globale Planvorgaben mit der Ausführung von Handlungen und optimiert die Zusammenarbeit zwischen Planung und Ausführung in mehreren Stufen durch Reinforcement Learning. Experimente zeigen, dass dieser Ansatz eine überragende Leistungsfähigkeit erreicht und etablierte Modelle vergleichbarer o
Ring-Zero: Skalierung von Zero-Reinforcement-Learning auf eine Billion Parameter für emergente Schlussfolgerungen
Die Forschung untersucht die Skalierung von Reinforcement Learning ohne menschliche Daten auf Modelle mit einer Billion Parametern. Durch den Einsatz optimierter Trainingspipelines, wie etwa angepasster Importance-Sampling-Methoden, konnten Herausforderungen bei der Lesbarkeit und Redundanz überwunden werden. Die Ergebnisse zeigen, dass Modelle bei dieser Skalierung eigenständig komplexe kognitive Fähigkeiten wie Selbstverifizierung und strukturiertes Denken entwickeln. Dies bestätigt, dass eine massive Skalierung
On-Policy Delta-Destillation für Sprachmodelle
Die On-Policy Delta-Destillation stellt eine neue Methode für das Post-Training von Sprachmodellen dar, die auf der Übertragung von Schlussfolgerungsfähigkeiten basiert. Anstatt lediglich die Ausgabeverteilung eines Lehrermodells zu imitieren, nutzt das Verfahren ein sogenanntes Delta-Signal. Dieses Signal berechnet die Differenz zwischen einem spezialisierten Lehrermodell und dessen Basismodell vor dem Instruction-Tuning. Durch diesen Ansatz lassen sich logische Fähigkeiten effizienter übertragen, was in Benchmark
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumenten-Fragebeantwortung, indem es auf komplexe Zwischenschritte des logischen Schließens verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ausgabedaten verknüpft, was die Inferenzkosten um über 60 Prozent senkt. Analysen zeigen, dass Modelle ohne explizite Reasoning-Pfade effizienter konvergieren und eine höhere geometrische Präzision erreichen. Zudem ermöglicht ein optimierter Übergang von Supervised Fine-Tuning zu R
Jenseits von Entropie: Korrektheitsbewusste Advantage-Formung durch kontrastive Richtlinienoptimierung
Die kontrastive Richtlinienoptimierung (CPO) bietet einen neuen Ansatz für das Reinforcement Learning mit verifizierbaren Belohnungen. Anstatt sich auf Entropie zu verlassen, nutzt das Verfahren tokenbasierte Diskrepanzen zwischen referenzgesteuerten und Standard-Generierungsverteilungen, um die Korrektheit von Modellen präziser zu bewerten. Dieser Ansatz löst das Problem verschwindender Vorteile und verbessert die Leistung bei In-Domain- sowie Out-of-Domain-Benchmarks erheblich. Durch die gezielte Balance zwischen
SD-MAR: Analytisches Schlussfolgern über mehrere Bilder mittels synthetischer Daten und Reinforcement Learning
Das neue Framework SD-MAR adressiert die Schwächen aktueller Vision-Language-Modelle bei komplexen Aufgaben wie dem Bildvergleich, der Erkennung von Veränderungen und mehrstufigen visuellen Schlussfolgerungen. Durch die Erstellung kontrollierter, synthetischer Bildpaare und gezielte Aufgabenstellungen wird die analytische Kapazität der Modelle trainiert. Ein neuartiger Reinforcement-Learning-Ansatz namens GRPO-lite mit Backward Discounted Allocation optimiert dabei die logische Konsistenz und die Qualität der Erklä
Branching Policy Optimization: Reinforcement Learning für Sandbox-native Sprachagenten
Ein neuer Ansatz für das Reinforcement Learning bei Sprachmodellen nutzt die deterministischen Eigenschaften von Sandbox-Umgebungen aus. Anstatt unabhängige Trajektorien zu erstellen, konstruiert der Algorithmus Branching Policy Optimization einen einzelnen Entscheidungsbaum, bei dem sich Pfade gemeinsame Präfixe teilen. Durch das adaptive Speichern von Zuständen an Entscheidungspunkten und die Berechnung von Vorteilen basierend auf Geschwister-Ergebnissen wird die Varianz der Gradienten signifikant reduziert. In B
Interpretierbares Sprachmodell zur automatisierten Insulinsteuerung bei Typ-1-Diabetes
Die Behandlung von Typ-1-Diabetes durch automatisierte Insulinsysteme steht oft vor der Herausforderung mangelnder Transparenz bei Black-Box-Algorithmen. Ein neuer Ansatz kombiniert die Präzision von Reinforcement Learning mit der erklärbaren Logik großer Sprachmodelle, um eine nachvollziehbare Steuerung zu ermöglichen. Durch die Destillation von Expertenwissen in spezialisierte Sprachmodelle konnte ein System entwickelt werden, das nicht nur die Blutzuckerkontrolle verbessert, sondern Entscheidungen für Patienten
DialogueVPR: Fortschritte bei der dialogbasierten visuellen Ortserkennung
Die visuelle Ortserkennung mittels natürlicher Sprache stößt bei statischen Abfrageverfahren oft an Grenzen, wenn Beschreibungen unvollständig oder mehrdeutig sind. Ein neuer Ansatz transformiert diesen Prozess in einen interaktiven Dialog, bei dem ein KI-System gezielte Fragen stellt, um den Standort präziser zu bestimmen. Hierfür wurde ein umfangreicher Benchmark sowie ein spezielles Framework entwickelt, das einen multimodalen Abrufmechanismus mit einem intelligenten Fragesteller kombiniert. Durch ein zweistufig
Masken-bewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Anwendung von Reinforcement Learning auf maskierte Diffusions-Sprachmodelle ist aufgrund der schwierigen Schätzung der Log-Likelihood komplex. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter optimieren. Diese Methode erzielt signifikante Leist
SEED: Selbstentwickelnde On-Policy-Destillation für agentenbasiertes Reinforcement Learning
Die Methode SEED adressiert die Herausforderung, dass ergebnisbasiertes Reinforcement Learning bei komplexen Aufgaben mit langen Interaktionsketten oft an spärlichen Belohnungssignalen scheitert. Das Framework extrahiert aus abgeschlossenen Trajektorien mittels natürlicher Sprache wiederverwendbare Fähigkeiten und Regeln. Diese Erkenntnisse werden als zusätzliche, dichte Signale zurück in das Modell destilliert, wodurch die Entscheidungsfindung und die Analysefähigkeit des Agenten kontinuierlich gemeinsam verbesser
Technischer Bericht zu Mach-Mind-4-Flash
Das neue KI-Modell Mach-Mind-4-Flash ist ein Mixture-of-Experts-System mit 35 Milliarden Parametern, von denen pro Anfrage lediglich 3 Milliarden aktiv sind. Durch den Einsatz spezialisierter Trainingsmethoden wie Multi-Teacher On-Policy Distillation und Hybrid Median-length Policy Optimization erzielt das Modell Leistungen, die mit deutlich größeren Modellen vergleichbar sind. Die Architektur optimiert insbesondere die agentische Interaktion und die Effizienz von Schlussfolgerungsketten, wodurch die Rechenkosten b
Kreditvergabe ohne Ground Truth: Prüfung der schrittweisen Kreditvergabe in LLM-Agenten
Eine Untersuchung der schrittweisen Leistungsbewertung (Credit Assignment) bei Sprachmodell-Agenten in einer kontrollierten Testumgebung zeigt erhebliche Defizite auf. Weder modellbasierte Bewertungen noch ergebnisbedingte Logprob-Verhältnisse oder agenteninterne Konfidenzwerte gelingt es, kausale Handlungsschritte besser als der Zufall zu identifizieren. Bisherige Evaluationsmethoden basieren meist auf annotierten Zwischenschritten statt auf echten kausalen Auswirkungen in der Ausführungsumgebung. Die Ergebnisse v
Schnelles Forken von Live-Kubernetes-Clustern zur KI-Modelltraining
Ein neues Open-Source-Werkzeug auf Basis von Rust ermöglicht das ultraschnelle Klonen laufender, virtualisierter Kubernetes-Cluster in weniger als einer Sekunde unter Erhalt aktiver Verbindungen. Diese Technologie zielt darauf ab, rechenintensive Reinforcement-Learning-Verfahren wie GRPO im Infrastrukturbereich durch paralleles Branching, Rollbacks und deterministische Ausgangszustände effizienter zu gestalten. Damit lassen sich komplexe Episode-Resets für umfangreiche Multi-Turn-Trainingsszenarien in virtualisiert
Konzept für erklärende künstliche Intelligenz
Zur Verbesserung der Erklärungsfähigkeiten von großen Sprachmodellen im Bereich komplexer Mathematik wird ein neuartiger Reinforcement-Learning-Ansatz vorgeschlagen. Dabei soll ein fortschrittliches Modell ein kleineres, leistungsschwaches Modell durch gezielte Lösungsansätze anleiten, ohne die direkte Antwort preiszugeben. Die Belohnung des Lehrermodells erfolgt basierend auf dem Lernerfolg des kleineren Modells bei der Bewältigung verifizierbarer mathematischer Probleme. Ergänzend ist eine menschliche Supervision
Reinforcement Learning für LLM-Reasoning ist spärliche Richtlinienauswahl statt Kompetenzlernen
Aktuelle Untersuchungen zeigen, dass Reinforcement Learning bei großen Sprachmodellen keine neuen Fähigkeiten vermittelt, sondern lediglich die Wahrscheinlichkeitsverteilung über bereits vorhandene Lösungspfade verschiebt. Da das Training das Modell lediglich zu bekannten Wegen steuert, stellt sich die grundlegende Frage nach der Notwendigkeit des bisherigen Optimierungszyklus. Diese Erkenntnisse erfordern eine kritische Neubewertung gängiger Trainingsmethoden zur Verbesserung des logischen Denkvermögens in neurona
GLM-5.3: Offizieller Desktop-Auditor für Z.AI Cyber-Engine
Die Veröffentlichung des offiziellen Desktop-Clients für GLM-5.3 bringt spezialisierte Funktionen zur Codebase-Prüfung mit einem Kontextfenster von einer Million Token. Das System integriert verstärkendes Lernen zur Erkennung von Zero-Day-Schwachstellen sowie zur automatisierten Verkettung von Exploits. Entwickler erhalten im Rahmen einer Einführungsphase bis Oktober uneingeschränkten und kostenfreien Zugriff auf die Desktop-Anwendung.
EvoHarnessRL: Ein lernendes, selbstanpassendes Laufzeit-Harness für autonom agierende Sprachmodelle bei Langzeitaufgaben
Für komplexe, langfristig angelegte Aufgaben von Sprachmodell-Agenten ist eine robuste externe Ausführungsumgebung essenziell, um Zustände zu verwalten und Werkzeuge zu steuern. Herkömmliche Ansätze basieren oft auf starren Heuristiken oder reinen Prompt-basierten Mechanismen, welche die Dynamik verrauschter Interaktionsspuren nur unzureichend bewältigen. Ein neuer Ansatz namens EvoHarnessRL adressiert diese Problematik durch ein lernendes, selbstanpassendes Laufzeitsystem. Dieses System optimiert sowohl die strukt
Wie Reinforcement Learning bei Large Language Models trotz informationstheoretischer Ineffizienz funktioniert
Die Effektivität von Reinforcement Learning bei Large Language Models sorgt in der Fachwelt weiterhin für Erstaunen, da informationstheoretische Analysen eine im Vergleich zum vortraining extrem geringe Informationseffizienz nahelegen. Während rein statistische Modelle nur eine begrenzte Menge an Bits pro Interaktion übertragen können, zeigt die Praxis dennoch signifikante Leistungssteigerungen durch Optimierungsverfahren. Diese Diskrepanz wirft grundlegende Fragen zur tatsächlichen Natur des inhärenten Lernprozess
Kampf gegen generische KI-Texte: Wie ein Sprachmodell auf menschlichen Schreibstil trainiert wurde
Ein kompaktes Sprachmodell mit vier Milliarden Parametern wurde mittels Reinforcement Learning darauf spezialisiert, künstlich wirkende Textausgaben in natürlich klingende Sprache zu überführen. Als Belohnungsfunktion dienten dabei automatisierte KI-Detektoren, deren Bewertung die Optimierung steuerte. Während des Trainingsprozesses entwickelte das Modell eigenständige Strategien, um die Erkennungsmechanismen der Detektoren zu umgehen. Dieser Ansatz bietet neue Einblicke in die Dynamik zwischen automatisierter Text
Fine-Tuning eines Sprachmodells mittels Reinforcement Learning zur Verminderung künstlicher Schreibstile
Ein kompakter Sprachmodell mit vier Milliarden Parametern wurde durch Reinforcement Learning darauf trainiert, maschinell wirkende Textpassagen in natürlichere menschliche Formulierungen zu übertragen. Als Belohnungsfunktion dienten dabei automatisierte Detektoren für künstliche Intelligenz, was während des Trainings zu interessanten Optimierungsstrategien des Modells führte. Die Untersuchung zeigt auf, wie algorithmische Feedbackschleifen zur Stilkorrektur eingesetzt und von neuronalen Netzen zweckentfremdet werde
Google nutzt KI-basiertes Reinforcement Learning zur Quantenfehlerkorrektur
Wissenschaftler haben einen Ansatz entwickelt, der künstliche Intelligenz durch Reinforcement Learning einsetzt, um die Fehlerraten in Quantencomputern signifikant zu senken. Die Methode nutzt lernfähige Agenten, um optimale Korrekturoperationen in Echtzeit zu bestimmen und auszuführen. Dies stellt einen wichtigen Schritt dar, um die Stabilität und Zuverlässigkeit von Quantenprozessoren für komplexe Berechnungen zu erhöhen. Durch die Automatisierung der Fehlerbehebung wird die Skalierbarkeit künftiger Quantenarchit
Das Weltmodell erinnert sich, der Akteur vergisst: Untersuchung des KI-Vergessens auf einer GPU
Modellbasierte Reinforcement-Learning-Agenten zeigen katastrophales Vergessen beim Training über sequentielle Aufgaben hinweg, selbst wenn ein unbegrenzter Erfahrungsspeicher vorhanden ist. Eine systematische Untersuchung der einzelnen Systemkomponenten zeigt auf, welcher Teil des Netzwerks die historischen Informationen verliert. Diese Erkenntnisse tragen dazu bei, die Stabilität von künstlichen Agenten in kontinuierlichen Lernumgebungen zu verbessern und gezielte Gegenmaßnahmen gegen das Vergessen zu entwickeln.
Welche Rolle die Sampling-Temperatur beim Reinforcement Learning für große Sprachmodelle spielt
Die Sampling-Temperatur ist ein zentraler Hyperparameter beim Training großer Sprachmodelle mittels Reinforcement Learning. Sie steuert die Zufälligkeit und Vielfalt der generierten Antworten während des Trainingsprozesses. Eine angepasste Temperatur beeinflusst maßgeblich, wie das Modell Explorationsphasen nutzt und optimale Strategien erlernt. Dies hat direkte Auswirkungen auf die Leistungsfähigkeit und Stabilität der resultierenden KI-Systeme.
Agentische Testprozesse, LLM-Benchmarks und weitere Erkenntnisse
Der Artikel beleuchtet den Einsatz von KI-Agenten in der Softwareentwicklung mit Fokus auf automatisierte Testverfahren. Es wird argumentiert, dass klassische Methoden wie Fuzzing und randomisiertes Testen LLMs bei der Fehlersuche überlegen sind, da sie effizienter und konsistenter arbeiten. Der Autor plädiert für eine Abkehr von manuellen Code-Reviews hin zu robusten, automatisierten Test-Pipelines, um die Qualität bei hoher Entwicklungsgeschwindigkeit zu sichern. Zudem wird der Bedarf an spezialisierten Reinforce
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt kostspielige neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Basis. Ein zentrales Problem bei der mehrstufigen Distillation ist das Risiko unzuverlässiger Zielvorgaben bei Abweichungen zwischen Lehrer- und Schülerverhalten. ReOPD löst dies durch ein gezieltes Sa
KI-Entwicklungen: Belohnungs-Hacking, Anthropic-Daten und RL-gestützte Quadrocopter-Rennen
Die aktuelle Analyse beleuchtet das Phänomen des Reward-Hackings in gesellschaftlichen Kontexten und untersucht neue Datensätze von Anthropic zur Erforschung von RSI-Risiken. Ein weiterer Schwerpunkt liegt auf dem Einsatz von Reinforcement Learning bei der Steuerung von Quadrocoptern in Hochgeschwindigkeitsrennen. Abschließend wird die theoretische Frage diskutiert, ab welchem Zeitpunkt Finanzmärkte die ökonomischen Auswirkungen einer technologischen Singularität einpreisen könnten.
Reinforcement Learning ohne Temporal-Difference-Lernen
Ein neuer Ansatz für das Reinforcement Learning ersetzt das klassische Temporal-Difference-Lernen durch ein Divide-and-Conquer-Paradigma. Während herkömmliche Methoden bei Aufgaben mit langen Zeithorizonten häufig an Skalierungsproblemen leiden, ermöglicht dieser alternative Algorithmus eine effizientere Verarbeitung komplexer Abläufe. Durch die Zerlegung der Aufgaben in kleinere Teilprobleme wird die Skalierbarkeit des Lernprozesses signifikant verbessert, ohne auf die üblichen Mechanismen der zeitlichen Differenz