Übertraining als Weg zu menschenähnlicher KI
Ein aktueller theoretischer Ansatz schlägt vor, dass moderne Sprachmodelle durch gezieltes Übertraining auf begrenzten Datensätzen zu einer menschenähnlichen Verallgemeinerungsfähigkeit gelangen könnten. Anstatt immer größere Datenmengen zu nutzen, wird die Hypothese aufgestellt, dass extrem große Modelle bei einer Beschränkung der Daten gezwungen werden, tiefere Strukturen zu erkennen – ein Prozess, der als Grokking bezeichnet wird. Diese Methode erfordert jedoch enorme Rechenressourcen und eine hohe Risikobereits
KI sollte ihr eigenes Forschungs-Weltmodell entwickeln
Ein autonomer Agent hat in einer unbekannten Umgebung erfolgreich ein eigenes, abfragbares Weltmodell erstellt, um komplexe Aufgaben über sieben Stufen hinweg zu lösen. Im direkten Vergleich scheiterte ein identischer Agent, dem die Lösungsvorgaben direkt bereitgestellt wurden, trotz identischer Rechenressourcen vollständig. Dieses Ergebnis unterstreicht die Bedeutung der aktiven Wissensgenerierung und Modellbildung durch die KI selbst, anstatt sich auf vorgefertigte Informationen zu verlassen. Die Fähigkeit zur ei
SKooP: Symmetrische Koopman-Vorhersagen für effizientere Roboter-Fortbewegung mittels Reinforcement Learning
Die neue Methode SKooP kombiniert morphologische Symmetrien mit Koopman-Modellen, um das Reinforcement Learning für komplexe, hochdimensionale Roboter zu beschleunigen. Durch die Integration von physikalischen Vorwissen und Symmetrien in die Netzwerkarchitektur werden präzisere Vorhersagen über die Systemdynamik getroffen, die als privilegierte Beobachtungen das Training stabilisieren. Dies führt zu einer effizienteren Lernkurve und einer verbesserten Übertragbarkeit der Bewegungsstrategien auf unterschiedliche Umg
Adversarial Dynamics Priors für physikalisch fundierte humanoide Fortbewegung
Die neue Methode Adversarial Dynamics Priors (ADP) verbessert die Stabilität und Widerstandsfähigkeit humanoider Roboter bei Störungen. Im Gegensatz zu herkömmlichen Ansätzen, die primär kinematische Merkmale imitieren, reguliert ADP gezielt dynamische Eigenschaften wie den Schwerpunkt, den Drehimpuls sowie Kontaktkräfte. Durch den Einsatz von Trajektorienoptimierung und einem diskriminativen Trainingsansatz lernen die Roboter, physikalisch konsistente Bewegungsmuster beizubehalten. In Tests übertraf das Verfahren
CANN-EUCLID: Unüberwachte Entdeckung konstitutiver künstlicher neuronaler Netzwerke aus Vollfelddaten
Die neue Methode CANN-EUCLID ermöglicht die automatisierte Identifikation physikalischer Materialgesetze, ohne auf lokale Spannungsmessungen angewiesen zu sein. Durch die Kombination von konstitutiven neuronalen Netzwerken mit einem unüberwachten Vollfeld-Entdeckungsrahmen können hyperelastische Materialmodelle direkt aus Verschiebungsfeldern und Reaktionskräften abgeleitet werden. Das Verfahren minimiert das Gleichgewichtsungleichgewicht und nutzt Regularisierungstechniken, um kompakte und interpretierbare mathema
FlowBot: Automatisierte Erstellung von LLM-Workflows durch Bilevel-Optimierung und Text-Gradienten
Die manuelle Erstellung von Workflows für Sprachmodelle stellt eine erhebliche Hürde für die Skalierbarkeit komplexer KI-Systeme dar. Ein neuer datengetriebener Ansatz namens FlowBot automatisiert diesen Prozess durch ein Bilevel-Optimierungsverfahren. Dabei optimiert eine äußere Schleife die übergeordnete Struktur des Workflows, während eine innere Schleife die einzelnen Aufrufe der Sprachmodelle mittels sogenannter Text-Gradienten schrittweise verfeinert. Die Ergebnisse zeigen, dass diese Methode bei der Bewältig
Neue nicht-euklidische neuronale Quantenzustände durch erweiterte hyperbolische rekurrente neuronale Netze
Die Forschung erweitert die Klasse nicht-euklidischer neuronaler Quantenzustände um neue Varianten wie Poincare-RNN sowie Lorentz-RNN und Lorentz-GRU. In Experimenten mit Heisenberg-Spinmodellen zeigen diese hyperbolischen Ansätze eine durchgängige Überlegenheit gegenüber ihren euklidischen Pendants. Insbesondere das Lorentz-RNN erweist sich trotz einer geringeren Parameteranzahl als besonders effizient. Die Ergebnisse unterstreichen das Potenzial dieser Architekturen für die Untersuchung komplexer Quantenvielteilc
Architektonische Kapazitätsgrenzen statt barren plateaus: Warum Quantenschaltkreise bei der Lorenz-63-Vorhersage scheitern
Die Schwierigkeiten beim Training variabler Quantenschaltkreise für chaotische Zeitreihenprognosen werden häufig auf das Phänomen der barren plateaus zurückgeführt. Eine Untersuchung am Beispiel des Lorenz-63-Attraktors zeigt jedoch, dass nicht verschwindende Gradienten, sondern eine feste architektonische Kapazitätsgrenze die Ursache sind. Die zeitliche Kodierung im Schaltkreis limitiert die erreichbaren Frequenzen, wodurch das Modell die Dynamik des Systems nicht vollständig abbilden kann. Diese Erkenntnis verdeu
Skewness-robuste kausale Entdeckung in Location-Scale-Rauschmodellen
Die Identifizierung kausaler Zusammenhänge zwischen Variablen erfordert oft die Unterscheidung zwischen Ursache und Wirkung in bivariaten Modellen. Herkömmliche Location-Scale-Rauschmodelle setzen für die Schätzung meist symmetrische Rauschverteilungen voraus, was bei realen Daten mit asymmetrischen Verteilungen zu Fehlern führt. Mit dem Algorithmus SkewD wird ein neuer Ansatz vorgestellt, der auf der skew-normalen Verteilung basiert. Durch den Einsatz eines Expectation-Conditional-Maximization-Algorithmus ermöglic
Vermeidung von Modellkollaps durch Verifizierung synthetischer Daten
Die wiederholte Nutzung von selbst generierten synthetischen Daten zum Training von KI-Modellen kann zu einem Leistungsabfall führen, der als Modellkollaps bezeichnet wird. Eine neue Untersuchung zeigt, dass dieser Prozess durch die Einbindung eines externen Verifizierungsmechanismus, etwa durch Menschen oder leistungsfähigere Modelle, stabilisiert werden kann. Während eine solche verifizierte Nachschulung kurzfristig zu Verbesserungen führt, nähert sich das Modell langfristig dem Wissensstand des Verifizierers an.
Ein stochastisches Glättungsverfahren für nicht-konvexe-nicht-konkave Min-E-Max-Probleme
Die Arbeit präsentiert einen neuen stochastischen Glättungsansatz für Optimierungsprobleme, bei denen ein äußerer Parameter den Erwartungswert eines punktweisen Maximums minimiert. Diese mathematische Struktur ist insbesondere für die Wasserstein-verteilungsrobuste Optimierung und das adversariale Training von Bedeutung. Durch den Einsatz einer stochastischen proximalen Gradientenmethode auf Basis der Log-Mean-Exp-Glättung wird eine effiziente Lösung ermöglicht. Die theoretische Analyse belegt die Konvergenz gegen
Verteilungsrobuste Optimierung durch iterative Algorithmen in kontinuierlichen Wahrscheinlichkeitsräumen
Die Arbeit präsentiert einen neuen Ansatz für die verteilungsrobuste Optimierung, der speziell auf kontinuierliche Wahrscheinlichkeitsverteilungen ausgerichtet ist. Durch die Anwendung des Brenier-Theorems wird das Minimax-Problem im Wasserstein-Raum als Transportabbildung modelliert, was die rechnerischen Hürden klassischer, diskreter Methoden umgeht. Ein neu entwickeltes iteratives Framework ermöglicht dabei die globale Konvergenz unter moderaten Annahmen. Praktische Tests mit neuronalen Netzen zeigen, dass diese
Cross-Cluster Weighted Forests für heterogene Daten
Die neue Methode Cross-Cluster Weighted Forest (CCWF) verbessert die Genauigkeit und Generalisierbarkeit von Vorhersagemodellen bei heterogenen Datensätzen. Der Ansatz erweitert die klassische Random-Forest-Architektur um eine unüberwachte Clustering-Ebene, bei der für jedes Cluster ein eigenes Modell trainiert wird. Durch eine gewichtete Kombination dieser Teilmodelle, die besonders die übergreifende Generalisierbarkeit belohnt, lassen sich Bias-Fehler reduzieren. In Anwendungen mit biologischen Daten, wie der mol
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt kostspielige neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Präfixe für die Wissensvermittlung. Ein zentrales Problem bei der mehrstufigen Distillation ist der sogenannte Prefix Trap, bei dem die Zuverlässigkeit des Lehrermodells auf studentischen Pfaden abnimm
Richtungskrümmung durch Armijo-Backtracking: Ein kostengünstiger Schärfe-Indikator und kalibrierungsfreier Schutz für Adam
Die lokale Schärfe einer Verlustfunktion, bestimmt durch den größten Eigenwert der Hesse-Matrix, ist entscheidend für die Stabilität von Gradientenverfahren. Eine neue Methode nutzt das Armijo-Backtracking, um diese Information mit minimalem Rechenaufwand direkt während des Trainings zu extrahieren. Durch die Analyse der Schrittweite lässt sich die Richtungskrümmung effizient bestimmen, was als robuster Schutzmechanismus für den Adam-Optimierer dient. Dieser Ansatz ermöglicht es, die Lernrate bei der Initialisierun
Code-Korrektheit ist vor der Generierung aus den verborgenen Zuständen von Sprachmodellen linear dekodierbar
Forschungsergebnisse zeigen, dass die Korrektheit von Programmcode bereits in den verborgenen Zuständen eines Sprachmodells vorhanden ist, bevor die eigentliche Generierung beginnt. Durch die Analyse des letzten Prompt-Tokens lässt sich mit hoher Genauigkeit vorhersagen, ob der erste Lösungsversuch des Modells erfolgreich sein wird. Dieser Effekt bleibt auch bestehen, wenn der Einfluss der Prompt-Länge rechnerisch bereinigt wird, was auf ein tief in der Modellstruktur verankertes Verständnis für die Aufgabenlösung
KI-Modelle bei der mathematischen Optimierung: Die Herausforderung der Datenbindung
Die Umwandlung von natürlichsprachlichen Anforderungen in mathematische Optimierungsprobleme erfordert sowohl die korrekte Modellierung der Struktur als auch die präzise Bindung von Parametern an konkrete Daten. Untersuchungen zeigen, dass aktuelle KI-Modelle bei zunehmender Datenmenge an ihre Grenzen stoßen, da die korrekte Zuweisung von Koeffizienten und Indizes fehlschlägt. Durch die Auslagerung numerischer Daten in strukturierte Formate lässt sich diese Fehlerquote signifikant senken. Ein spezialisiertes Traini
Diagnose und Minderung von Domain-Shifts bei der berechtigungsbasierten Android-Malware-Erkennung
KI-gestützte Android-Malware-Erkennung leidet häufig unter Domain-Shifts, wenn Modelle auf unterschiedlichen Datensätzen trainiert und angewendet werden. Eine Untersuchung zeigt, dass die Vorhersagegenauigkeit bei berechtigungsbasierten Modellen je nach Datenquelle stark schwankt, da die Bedeutung einzelner Berechtigungen domänenspezifisch variiert. Analysen mittels erklärbarer KI verdeutlichen, dass instabile Merkmalsverteilungen und datensatzspezifische Artefakte die Generalisierung behindern. Durch eine hybride
NORACL: Neurogenese für Oracle-freies, ressourcenadaptives kontinuierliches Lernen
Das Stabilitäts-Plastizitäts-Dilemma beim kontinuierlichen Lernen entsteht oft durch die feste Kapazität neuronaler Netze, die eine Vorabkenntnis über zukünftige Aufgaben erfordert. NORACL adressiert dieses Problem durch einen biologisch inspirierten Ansatz der Neurogenese, bei dem das Modell nur bei Bedarf wächst. Durch die Überwachung von Sättigungssignalen für Repräsentation und Plastizität expandiert das Netzwerk dynamisch. Dies ermöglicht eine bessere Leistung bei gleichzeitig geringerem Parameterverbrauch im
Von physischen Oberflächen zu menschlichem Hitzestress: Kartierung von LST und UTCI offenbart nichtlineare Effekte städtischer Morphologie
Die Studie untersucht den Zusammenhang zwischen städtischer Gestaltung und menschlicher Hitzebelastung durch den Vergleich von Landoberflächentemperaturen (LST) und dem universellen thermischen Klimaindex (UTCI). Unter Einsatz von GPU-beschleunigten Modellen und geografisch gewichtetem XGBoost wurde analysiert, wie städtebauliche Faktoren die thermischen Bedingungen beeinflussen. Die Ergebnisse zeigen, dass LST das tatsächliche menschliche Wärmeempfinden oft unzureichend abbildet, da Faktoren wie der Sky View Facto
Relationale Präferenzkodierung in internen Zuständen von Looped Transformern
Die Untersuchung analysiert, wie Looped Transformer menschliche Präferenzen durch die Auswertung interner Zustände kodieren. Nach einer nachträglichen Überprüfung wurden ursprüngliche Ergebnisse aufgrund methodischer Fehler bei der Datenauswertung korrigiert. Es zeigt sich, dass Präferenzen relational präziser dekodiert werden können als punktweise, wobei die Genauigkeit jedoch deutlich unter der von spezialisierten End-to-End-Belohnungsmodellen liegt. Die Arbeit unterstreicht die Notwendigkeit strenger Validierung
Synthetisierung realer Datenverteilungen aus hochdimensionalem Gauß-Rauschen mittels vollvernetzter neuronaler Netze
Die Erzeugung synthetischer Daten bietet signifikante Vorteile für das maschinelle Lernen, insbesondere durch verbesserte Datenaugmentation und den Schutz der Privatsphäre. Ein neuer Ansatz nutzt vollvernetzte neuronale Netze, um hochdimensionales Gauß-Rauschen in Zielverteilungen für tabellarische Datensätze zu transformieren. Durch die Kombination von PCA-Dimensionsreduktion und speziellen Verlustfunktionen auf Basis der Wasserstein-Distanz erzielt das Modell eine hohe Ähnlichkeit zu realen Daten. Tests zeigen, d
Kontrastive konforme Mengen für die Merkmalseinbettung
Die Methode erweitert das Konzept der konformen Vorhersage auf kontrastives Lernen, um geometrische Mengen im semantischen Merkmalsraum zu definieren. Durch lernbare Hyperball-Beschränkungen wird sichergestellt, dass positive Stichproben mit einer vom Nutzer festgelegten Wahrscheinlichkeit abgedeckt werden, während gleichzeitig die Einbeziehung negativer Stichproben minimiert wird. Da das Verfahren die Volumenminimierung als Stellvertreter für den Ausschluss negativer Daten nutzt, funktioniert es auch ohne explizit
Native Extrapolationserkennung bei flussbasierten konditionalen Generierungsmodellen
Flussbasierte Modelle zur Vorhersage komplexer Daten stoßen in sicherheitskritischen Bereichen oft an ihre Grenzen, da sie bei unbekannten Eingabedaten unbemerkt fehlerhafte, aber plausibel wirkende Ergebnisse liefern. Der neue Ansatz Diverging Flows löst dieses Problem, indem er ein einzelnes Modell befähigt, neben der eigentlichen Generierung auch eine native Erkennung von Extrapolationen durchzuführen. Dies geschieht durch eine strukturelle Erzwingung ineffizienter Transportwege für Daten außerhalb der bekannten
Auswahl von Hyperparametern für Tree-Boosting
Tree-Boosting ist ein etabliertes Verfahren für tabellarische Daten, dessen Genauigkeit maßgeblich von der Wahl der Hyperparameter abhängt. Eine empirische Untersuchung vergleicht verschiedene Optimierungsmethoden wie Random Grid Search, TPE, Gauß-Prozess-basierte Bayes-Optimierung, Hyperband und SMAC anhand von 59 Datensätzen. Dabei zeigt sich, dass SMAC im Durchschnitt die stabilsten und besten Ergebnisse liefert. Die Analyse verdeutlicht zudem, dass für eine präzise Abstimmung meist mehr als 100 Versuche notwend
Grokking verstehen: Beweisbare Generalisierung in der Ridge-Regression
Die Untersuchung analysiert das Phänomen des Grokkings, bei dem Modelle erst lange nach dem Overfitting eine gute Generalisierung erreichen, im Kontext der Ridge-Regression. Es wird mathematisch belegt, dass überparametrisierte lineare Modelle mittels Gradientenabstieg und Gewichtsabfall zunächst die Trainingsdaten auswendig lernen, bevor sie nach einer Verzögerungsphase eine hohe Vorhersagegenauigkeit erzielen. Die Ergebnisse zeigen, dass sich dieser Prozess durch die gezielte Anpassung von Hyperparametern steuern
Wissensbasierte Evolution für aufgabenfreies, föderiertes kontinuierliches Lernen bei beliebigem Klassen-Overlap
Das neue Verfahren FedKACE adressiert die Herausforderungen des föderierten kontinuierlichen Lernens in Streaming-Szenarien ohne explizite Aufgabenkennungen. Durch einen adaptiven Mechanismus zur Steuerung der Modellinferenz zwischen lokaler und globaler Ebene sowie ein gradientenbasiertes Replay-Schema wird das Gleichgewicht zwischen dem Erwerb neuen Wissens und der Bewahrung alter Informationen optimiert. Eine zusätzliche Pufferstrategie stellt sicher, dass besonders informative Datenpunkte bei Überlappungen der
Ein Weak-Penalty-Neural-ODE-Ansatz zur Modellierung chaotischer Dynamiken aus verrauschten Zeitreihen
Die präzise Vorhersage komplexer, hochdimensionaler dynamischer Systeme aus verrauschten Beobachtungsdaten stellt eine große Herausforderung dar, da kleine Fehler bei chaotischen Systemen exponentiell anwachsen. Ein neuer Ansatz nutzt die schwache Formulierung als Ergänzung zur klassischen L2-Verlustfunktion, um Rauschen effektiv zu filtern und die langfristigen invarianten Eigenschaften des Systems zu bewahren. Diese Methode verbessert die Stabilität und Genauigkeit von Neural ODEs erheblich. Die Leistungsfähigkei
Ähnlichkeit als Belohnungsabgleich: Robustes und vielseitiges präferenzbasiertes Reinforcement Learning
Das präferenzbasierte Reinforcement Learning zielt darauf ab, KI-Modelle ohne aufwendiges manuelles Reward-Engineering an menschliche Absichten anzupassen. Ein neues Framework namens SARA nutzt einen kontrastiven Ansatz, um Belohnungen als Ähnlichkeiten zu gelernten latenten Repräsentationen bevorzugter Beispiele zu berechnen. Diese Methode erweist sich als besonders robust gegenüber fehlerhaften oder verrauschten menschlichen Rückmeldungen. In Benchmarks für kontinuierliche Steuerung zeigt das Verfahren eine stabi
Vollständig offline Reinforcement Learning
Das neue Verfahren SOReL ermöglicht Reinforcement Learning ohne jegliche Online-Interaktionen, indem es ein Bayes-Modell zur Dynamikschätzung nutzt und die Richtlinienbewertung über prädiktive Unsicherheiten steuert. Dies erlaubt eine vollständige Auswahl von Hyperparametern in einer Offline-Umgebung. Ergänzend dazu bietet TOReL ein Framework, das diese Abstimmungsmethode auf beliebige modellfreie und modellbasierte Algorithmen ausweitet. Die theoretische Fundierung durch eine Regret-Analyse belegt die Optimalität
Primal-Dual-Algorithmus für kontextuelle stochastische kombinatorische Optimierung
Dieser Forschungsansatz kombiniert Methoden des Operations Research mit maschinellem Lernen, um Entscheidungsfindungen unter Unsicherheit zu verbessern. Durch die Integration von neuronalen Netzen mit kombinatorischen Optimierungsschichten wird eine effiziente Strategie zur Minimierung empirischer Kosten entwickelt. Ein neuartiger Primal-Dual-Algorithmus nutzt dabei eine spezielle Regularisierungsmethode, die auf spärlichen Störungen basiert, um komplexe Optimierungsprobleme handhabbar zu machen. Die Methode zeichn
Human-in-the-Loop Machine Learning für sichere und ethische autonome Fahrzeuge: Prinzipien, Herausforderungen und Chancen
Der Einsatz von maschinellem Lernen ist für die Entwicklung autonomer Fahrzeuge essenziell, stößt jedoch bei komplexen Szenarien und der Datenannotation an Grenzen. Der Human-in-the-Loop-Ansatz integriert menschliche Expertise durch Validierung, Feedback und Aufsicht, um die Sicherheit und ethische Vertretbarkeit zu erhöhen. Die Untersuchung beleuchtet verschiedene Methoden wie Curriculum Learning, Reinforcement Learning, den Einsatz großer Sprachmodelle und Active Learning. Dabei werden technische Anforderungen an
RoboTTT: Kontext-Skalierung für Roboter-Richtlinien
RoboTTT führt ein neues Trainingsverfahren für Roboter-Modelle ein, das den visuomotorischen Kontext auf 8.000 Zeitschritte erweitert, ohne die Latenz bei der Inferenz zu erhöhen. Durch die Integration von Test-Time-Training in Vision-Language-Action-Modelle werden historische Daten in Form von schnellen Gewichten komprimiert, was eine verbesserte Leistung bei komplexen, mehrstufigen Aufgaben ermöglicht. Das System erlaubt zudem das Imitationslernen aus menschlichen Videodemonstrationen in Echtzeit sowie eine höher
Subjektive Risikozersetzung: Eine neue Perspektive zur Quantifizierung von Unsicherheit
Ein neuer theoretischer Ansatz definiert Unsicherheitsmaße nicht mehr als grundlegende Axiome, sondern als direkte Konsequenz übergeordneter Modellierungsentscheidungen. Durch die Zerlegung eines subjektiven Risikos auf Basis streng korrekter Verlustfunktionen lassen sich epistemische und aleatorische Unsicherheiten konsistent ableiten. Diese Methode vereinheitlicht zahlreiche bisher isolierte Ansätze der Unsicherheitsquantifizierung unter einem gemeinsamen theoretischen Fundament. Zudem wird das Konzept auf die Le
AlphaWiSE: Adaptive Gewichtungsinterpolation für kontinuierliches multimodales Lernen
Multimodale Modelle wie CLIP stehen vor der Herausforderung, dass kontinuierliches Lernen neuer Daten die bereits erlernten modalübergreifenden Zusammenhänge stören kann. Die Methode AlphaWiSE adressiert dieses Problem durch eine nachträgliche Interpolation im Gewichtsraum, bei der zwei eingefrorene Modellzustände kombiniert werden. Durch die Anpassung spezifischer Skalierungskoeffizienten auf Basis eines kleinen Datenspeichers wird ein neues Modell erzeugt, das die Stabilität und Plastizität optimiert. Da die Arch
DriftWorld: Beschleunigte Weltmodellierung durch Drifting-Verfahren
DriftWorld ist ein neues aktionskonditioniertes Weltmodell für die Robotik, das die Effizienz bei der Vorhersage zukünftiger Zustände signifikant steigert. Im Gegensatz zu herkömmlichen Diffusionsmodellen, die iterative Denoising-Schritte erfordern, nutzt DriftWorld einen gelernten Drift-Prozess. Dies ermöglicht die Generierung von Zukunftsszenarien in einem einzigen Vorwärtsdurchlauf mit über 30 Bildern pro Sekunde, was die Rechengeschwindigkeit im Vergleich zu bisherigen Ansätzen um den Faktor 17 erhöht. Das Mode
Optimale Selbst-Destillation für Rectified Flow mittels Linear Probing
Die Forschung untersucht die optimale Selbst-Destillation für Rectified-Flow-Modelle, um die Leistung generativer KI durch die Nutzung von Modellsignalen zu steigern. Dabei wird ein mathematischer Rahmen entwickelt, der zeigt, wie ein Schülermodell durch eine gezielte Mischung aus eigenen und Lehrer-Geschwindigkeitsfeldern eine messbare Verbesserung erzielt. Ein zentrales Ergebnis ist die Bestimmung optimaler Mischkoeffizienten, die sowohl unter- als auch über-regularisierte Modelle korrigieren können. Durch effizi
Subgrid-Skalen-Parametrisierung in der Burgers-Gleichung mittels strukturerhaltender neuronaler Netze und Entropievariablen
Ein neuer Ansatz für maschinelles Lernen ermöglicht die Entwicklung von Subgrid-Skalen-Parametrisierungen für grobe Simulationen partieller Differentialgleichungen. Durch die Kombination von strukturerhaltenden neuronalen Netzen mit Entropievariablen werden subskalige Flüsse in der Burgers-Gleichung präzise modelliert. Die Architektur trennt Korrekturen in ein konservatives Flusspotenzial-Netzwerk und ein Eddy-Viskositäts-Netzwerk. Dieses Verfahren bewahrt die physikalische Genauigkeit, reproduziert das Energiespek
ExaGEMM: Framework zur Optimierung von CPU-basierter ML-Inferenz durch assoziatives In-Register-Computing
ExaGEMM ist ein neues Framework für das Co-Design und die Exploration von CPU-nativer Low-Bit-GEMM-Inferenz. Durch die Nutzung registerbasierter Look-up-Tabellen und einer effizienten Anpassung der SIMD-Datenpfade ermöglicht das System eine signifikante Beschleunigung von ML-Workloads auf herkömmlichen Prozessoren. Das Framework bewertet dabei Hardware-Kosten, Speicherzugriffe und Rechenaufwand, um optimale Konfigurationen für unterschiedliche Bit-Präzisionen zu identifizieren. In der Praxis reduziert ExaGEMM die L
Riesz-Kernel Stein Variational Gradient Descent: Renormalisierte Entropie und Langzeit-Partikelgrenzwerte
Die Stein Variational Gradient Descent (SVGD) nutzt interagierende Partikel zur Annäherung an eine Zielverteilung. Während singuläre Riesz-Kernel theoretisch präzise Konvergenz ermöglichen, führen sie bei endlichen Partikelzahlen zu unendlicher Selbstinteraktion. Die vorliegende Untersuchung analysiert periodische Riesz-SVGD ohne Selbstinteraktion und beweist ein Theorem für das Langzeit-Sampling mit vielen Partikeln. Dabei wird gezeigt, dass das zeitlich gemittelte empirische Maß gegen die Zielverteilung konvergie
Volle Datengenauigkeit mit weniger Trainingsdaten für maschinelle Lernkraftfelder
Die Erstellung effizienter Trainingsdatensätze stellt bei maschinellen Lernkraftfeldern eine zentrale Herausforderung dar. Ein neuer Ansatz namens Last-Layer-Projection Regression ermöglicht eine kostengünstige Unsicherheitsschätzung, ohne dass aufwendige Modellkomitees erforderlich sind. Durch diese Methode lassen sich kompakte und hochwertige Trainingsdaten identifizieren, die eine volle Genauigkeit bei deutlich reduziertem Etikettierungsaufwand erreichen. Das Verfahren unterstützt sowohl das Training von Grund a
ConFlow: Constraints-Guided Learning mit Flow Matching für die Bewegungsgenerierung
ConFlow ist ein neues Framework für die robotergestützte Bewegungsgenerierung, das Einschränkungen direkt in den Trainingsprozess integriert. Anstatt komplexe Anforderungen erst während der Inferenz zu erzwingen, nutzt das Modell differenzierbare Barriere- oder Kostenfunktionen, um Informationen über Einschränkungen bereits beim Training zu berücksichtigen. Zudem ersetzt ein konditionaler Gauß-Prozess die standardmäßige Gauß-Verteilung, um Anforderungen wie Glattheit und Randbedingungen besser zu erfüllen. Durch di
CatalogAgent: Ein supervisor-gestütztes Selbstlernsystem für das Kontext-Engineering bei GenAI-Modellen
CatalogAgent ist ein neuartiges agentenbasiertes System zur automatisierten Anreicherung von E-Commerce-Produktkatalogen. Es löst Konflikte zwischen generativen und evaluierenden Sprachmodellen durch einen übergeordneten Supervisor-Agenten, der bei Unstimmigkeiten eingreift. Ein integriertes Gedächtnismodul speichert diese Entscheidungsprozesse und leitet daraus Erkenntnisse ab, die kontinuierlich in den Kontext der Arbeitsmodelle zurückfließen. Durch dieses automatisierte Kontext-Engineering verbessern sich die Vo
NeuralChaos: Optimale adaptive Approximation quadratintegrierbarer vorhersagbarer Prozesse
Die Arbeit führt NeuralChaos ein, eine neuartige neuronale Operator-Architektur zur effizienten Darstellung und Berechnung von $\mathbb{R}^{d}$-wertigen, quadratintegrierbaren stochastischen Prozessen. Im Gegensatz zu klassischen Wiener-Chaos-Entwicklungen, die unter hohem Rechenaufwand leiden, ermöglicht dieser Ansatz eine präzise Approximation mittels einer endlichen Anzahl an Auswertungen der zugrunde liegenden Brownschen Bewegung. Die theoretische Analyse belegt die Dichte des Modells im Raum der vorhersagbaren
Steuerung generativer Modelle: Beispiele statt Regler
Die Steuerung generativer KI-Modelle stößt bei der Nutzung von Parametern wie Prompts oder Guidance-Skalen oft an natürliche Grenzen, die durch die Trainingsdaten vorgegeben sind. Diese Studie zeigt, dass ein erheblicher Teil des steuerbaren Bereichs eines Modells nicht über solche Regler, sondern nur durch die gezielte Vorgabe von Beispielen erreicht werden kann. Durch eine Analyse der Trainingsdaten lässt sich dieses Potenzial vorab bestimmen. Die Verwendung von Beispielen ermöglicht es, Eigenschaften präziser zu
Optimierung von Vision-Language-Action-Modellen durch reaktive Kraftinjektion
Das neue Framework LIFT verbessert die Leistungsfähigkeit von vortrainierten Vision-Language-Action-Modellen bei komplexen Manipulationsaufgaben. Durch die Integration von reaktiven Kraftdaten in den Aktionsprozess können Roboter auch bei verdeckten Sichtverhältnissen oder ungenauen Tiefeninformationen präziser agieren. Das System kombiniert eine reaktive Expertenkomponente mit einem Online-Lernverfahren, das auf einer Mischung aus Offline-Daten und menschlichen Korrekturen basiert. In praktischen Tests zeigte sich
Operator-informierte Gauß-Prozesse für komplexe Helmholtz-Wellenfelder: Von synthetischen Benchmarks zur In-vivo-Gehirnelastographie
Die Helmholtz-Gleichung beschreibt die Wellenausbreitung in dissipativen Medien, wobei komplexe Wellenzahlen eine präzise Inferenz aus verrauschten Daten erschweren. Ein neuer Ansatz erweitert die physikalisch informierte Gauß-Prozess-Regression auf komplexe Wellenfelder, indem komplexe Operatoren in äquivalente reelle Blockstrukturen überführt werden. Diese Methode ermöglicht eine effiziente Inferenz mit quantifizierter Unsicherheit und übertrifft bei geringerem Rechenaufwand klassische Finite-Differenzen-Verfahre
NexForge: Skalierung ausführbarer Agenten-Aufgaben durch anforderungsbasierte Synthese
Das neue Framework NexForge adressiert den Engpass bei der Erstellung von Trainingsdaten für KI-Agenten, indem es einen anforderungsbasierten Ansatz verfolgt. Anstatt Aufgaben an vordefinierte Werkzeuge zu binden, analysiert das System zunächst reale Anforderungen und Szenarien, um daraus automatisch ausführbare Trainingsumgebungen, Abhängigkeiten und Konfigurationen zu generieren. Durch diesen Prozess konnten tausende komplexe Aufgaben erstellt werden, die die Leistung von Sprachmodellen in Benchmarks signifikant
ToolAnchor: Verankerung kontrafaktischer Kontexte zur Verbesserung der Werkzeugnutzung bei KI-Agenten
KI-Agenten, die auf die Nutzung externer Werkzeuge spezialisiert sind, zeigen bei der Erweiterung ihres Funktionsumfangs oft ein verhaltensbedingtes Beharrungsvermögen, indem sie auf bekannte Muster zurückgreifen. Das neue Framework ToolAnchor adressiert dieses Problem durch die gezielte Injektion kontrafaktischer Ankerkontexte an kritischen Entscheidungspunkten. Durch den Einsatz von Lehrermodellen zur Hypothesenbildung und deren Validierung in Lernprozessen werden verborgene Fähigkeiten der Agenten aktiviert. Die
Marktstimmung auf der Blockchain entschlüsseln: Ein datengestützter Sentiment-Klassifikator
Diese Untersuchung stellt einen neuen Ansatz zur Analyse der Marktstimmung für Bitcoin vor, indem On-Chain-Daten, Finanzkennzahlen und soziale Medien kombiniert werden. Durch die Zusammenführung dieser Datenquellen in einem normalisierten Datensatz wurde ein Modell zur Klassifizierung der Stimmung entwickelt. Dabei erwies sich Gradient Boosting als besonders zuverlässig, wobei die Interpretierbarkeit der Ergebnisse durch SHAP-Analysen sichergestellt wurde. Die Resultate zeigen, dass die Integration verschiedener Da
Veränderbare Low-Rank-Skizzen für Empfehlungssysteme ohne Nachtraining
Ein neues Verfahren adressiert die Veralterung von Nutzer-Embeddings in zweistufigen Empfehlungssystemen, bei denen Bewertungen normalerweise erst nach einem vollständigen Nachtrainingszyklus berücksichtigt werden. Durch die Nutzung von KP-Bäumen zur Speicherung von Nutzerpräferenzen und einer einmaligen Low-Rank-Projektion können Embeddings in Echtzeit aktualisiert werden, sobald neue Interaktionen vorliegen. Diese Methode garantiert eine kontinuierliche Verbesserung der Vorhersagegenauigkeit bei deutlich geringer
RTS-Smoother-gestütztes Lernen physikbasierter neuronaler Differentialmodelle
Ein neuer hybrider Ansatz kombiniert physikalische Differentialgleichungen mit neuronalen Netzen, um dynamische Systeme bei unvollständigen Messdaten präzise zu modellieren. Dabei werden bekannte physikalische Gesetzmäßigkeiten explizit beibehalten, während unbekannte Dynamiken durch ein neuronales Netzwerk ergänzt werden. Das Verfahren nutzt einen Rauch-Tung-Striebel-Smoother zur Schätzung latenter Zustände und optimiert die Netzwerkparameter iterativ mittels Backpropagation. Diese Methode verbessert die Rekonstru
Funktionsbewusstes Fill-in-the-Middle als Mid-Training für Coding-Agent-Modelle
Ein neues Trainingsverfahren verbessert die Leistungsfähigkeit von KI-Modellen für Software-Agenten, indem es die Struktur von Funktionsaufrufen im Programmcode gezielt nutzt. Durch die Analyse von Programmabhängigkeiten werden Funktionsblöcke maskiert und das Modell darauf trainiert, diese Lücken sinnvoll zu füllen. Dieser Ansatz verbessert die Ergebnisse bei Benchmarks für Software-Engineering signifikant und reduziert gleichzeitig den Leistungsverlust bei allgemeinen Programmieraufgaben, der oft durch spezialisi
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Präfixe für die Wissensvermittlung. Dies löst das Problem der Verteilungsverschiebung zwischen der Zuverlässigkeit des Lehrers und dem Verhalten des Schülers. Durch einen gezielten Sampling-Ansatz reduziert ReOPD d
Diarisierungsgestützte Qwen-ASR-Adaption für mehrsprachige Dialoge mit zwei Sprechern
Ein neues System für die automatische Spracherkennung in mehrsprachigen Dialogen mit zwei Sprechern kombiniert ein modulares Diarisierungs-Frontend mit einem angepassten Qwen3-ASR-Modell. Das Frontend übernimmt die Sprechererkennung und Segmentierung, während das ASR-Modell durch überwachtes Fine-Tuning, LoRA-Anpassungen mit synthetischen Daten und verstärkendes Lernen optimiert wurde. Durch diese mehrstufige Methode konnte die Fehlerrate im Vergleich zum Basismodell signifikant reduziert werden. Die Ergebnisse zei
Darstellung von Forschungsaufmerksamkeit als kontextuell strukturierte Flüsse
Die Messung der gesellschaftlichen Wirkung von Forschung basiert oft auf einfachen Aufmerksamkeitsmetriken, die jedoch den inhaltlichen Kontext vernachlässigen. Ein neuer Ansatz modelliert Aufmerksamkeit als dynamische, kontextualisierte Flüsse, anstatt lediglich isolierte Zählwerte oder zeitliche Sequenzen zu betrachten. Durch ein Benchmarking-Verfahren mittels Analogieschlüssen konnte nachgewiesen werden, dass diese strukturierten Repräsentationen die Beziehungen zwischen verschiedenen Forschungsergebnissen präzi
FlowBot: Automatisierte Erstellung von LLM-Workflows durch Bilevel-Optimierung und Text-Gradienten
Die manuelle Erstellung von Workflows für Sprachmodelle stellt bei der Entwicklung komplexer KI-Systeme einen erheblichen Engpass dar. Ein neuer datengetriebener Ansatz namens FlowBot automatisiert diesen Prozess durch die Formulierung als Bilevel-Optimierungsproblem. Dabei optimiert eine äußere Schleife die Struktur des Workflows, während eine innere Schleife die einzelnen Aufrufe der Sprachmodelle mittels textueller Gradienten schrittweise verfeinert. Diese Methode ermöglicht die effiziente Generierung leistungsf
Nutzung von Instruction Tuning und Modellzusammenführung zur Anpassung von Reasoning-Modellen
Reasoning-Sprachmodelle zeigen in Bereichen wie Mathematik und Programmierung hohe Leistungen, da dort eine zuverlässige Überprüfung der Ergebnisse möglich ist. In Domänen ohne solche Verifizierungsmechanismen bleibt das Training jedoch schwierig. Eine neue Methode nutzt nun vorhandene, menschlich erstellte Trainingsdaten durch klassisches Instruction Tuning, gefolgt von einer Modellzusammenführung. Dieser Ansatz verbessert die Leistung in komplexen Bereichen wie der Textzusammenfassung erheblich, ohne die ursprüng
Unscheinbare Daten, latente Ideologie: Ideologische Generalisierung bei feinabgestimmten Sprachmodellen
Das Feintuning von Sprachmodellen auf kleinen, inhaltlich begrenzten Datensätzen kann zu weitreichenden ideologischen Verschiebungen führen, die weit über das eigentliche Trainingsziel hinausgehen. Selbst bei faktisch korrekten oder moderationskonformen Daten zeigen Modelle wie GPT-4.1 und Gemma-3 eine Übertragung politischer oder weltanschaulicher Tendenzen auf völlig fachfremde Themenbereiche. Dieser Effekt der ideologischen Generalisierung verstärkt sich durch das Training deutlich stärker als durch einfaches Fe
MEMORA: Verkörpertes Aktionsgedächtnis aus egozentrischen Videos für logisches Denken und Planung
Die Forschung stellt MEMORA vor, ein System für verkörpertes Aktionsgedächtnis, das Robotern ermöglicht, Erfahrungen aus egozentrischen Videos in einem persistenten Speicher zu organisieren. Durch einen Lebenszyklus aus Bildung, Konsolidierung und Abruf speichert das System Informationen über Umgebungen, Entitäten, Aktivitäten und abgeleitetes Wissen. Diese Struktur erlaubt es Robotern, komplexe Planungsaufgaben durch den Zugriff auf vergangene Erfahrungen und abstrahierte Prozeduren effizienter zu lösen. In umfang
MemoHarness: Agenten-Frameworks, die aus Erfahrungen lernen
MemoHarness ist ein adaptives Optimierungs-Framework für Agenten-Steuerungsschichten, das die Leistung von Sprachmodellen durch kontinuierliches Lernen aus vergangenen Ausführungen verbessert. Das System unterteilt die Steuerung in sechs editierbare Dimensionen und nutzt eine zweistufige Wissensdatenbank, um spezifische Diagnosen und globale Muster zu speichern. Ohne die Notwendigkeit für zusätzliche Labels oder Feedback während der Laufzeit passt MemoHarness die Konfiguration dynamisch an neue Aufgaben an. Tests i
SciDiagramEdit: Automatisierte Bearbeitung wissenschaftlicher Diagramme durch KI
Die Bearbeitung wissenschaftlicher Abbildungen ist ein zeitintensiver Prozess, der häufige Anpassungen von Beschriftungen, Layouts und Stilen erfordert. SciDiagramEdit führt ein neues Framework ein, das auf Basis von Versionsverläufen wissenschaftlicher Publikationen lernt, Diagramme mittels natürlichsprachlicher Anweisungen zu editieren. Das System nutzt vektorbasierte Quelldaten und ein agentenbasiertes Lernverfahren, das seine Fähigkeiten durch kontinuierliche Auswertung von Korrekturprozessen verfeinert. Dieser
Masken-bewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Anwendung von Reinforcement Learning auf maskierte Diffusions-Sprachmodelle ist aufgrund der schwierigen Schätzung der Log-Likelihood komplex. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter optimieren. Diese Methode erzielt signifikante Leist
Latente Trajektoriendiskriminierung zur Erkennung von KI-generierten Texten
Herkömmliche Verfahren zur Erkennung KI-generierter Texte betrachten Dokumente meist als statische Objekte. Ein neuer Ansatz modelliert stattdessen die dynamische Entwicklung von Inhalten im latenten Raum während des autoregressiven Generierungsprozesses. Das entwickelte Framework GTCL unterteilt Texte in geordnete Einheiten und nutzt kontrastives Lernen, um geometrische Gesetzmäßigkeiten der sequenziellen Generierung zu identifizieren. Diese Methode übertrifft bisherige Erkennungsmodelle deutlich und demonstriert,
SEED: Selbstentwickelnde On-Policy-Destillation für agentenbasiertes Reinforcement Learning
Die Methode SEED adressiert die Herausforderung, dass ergebnisbasiertes Reinforcement Learning bei komplexen Aufgaben mit langen Interaktionsketten oft an spärlichen Belohnungssignalen scheitert. Das Framework extrahiert aus abgeschlossenen Trajektorien mittels natürlicher Sprache wiederverwendbare Fähigkeiten und Regeln. Diese Erkenntnisse werden als zusätzliche, dichte Signale zurück in das Modell destilliert, wodurch die Entscheidungsfindung und die Analysefähigkeit des Agenten kontinuierlich gemeinsam verbesser
Riemannsche Geometrie für Embeddings vortrainierter Sprachmodelle
Die Untersuchung der geometrischen Struktur von Embeddings in Sprachmodellen ist entscheidend für deren Interpretierbarkeit und Sicherheit. Ein neuer Ansatz namens Riemannian Mean Pooling nutzt die Riemannsche Geometrie, um Informationen aus den Kontext-Embeddings von Token durch die Aggregation mittels Fréchet-Mittelwerten auf einer Mannigfaltigkeit zu extrahieren. Diese Methode übertrifft herkömmliche euklidische Pooling-Verfahren bei verschiedenen Klassifizierungsaufgaben. Die Ergebnisse deuten darauf hin, dass
Glatte Skalierungsgesetze verdecken schrittweises Token-Lernen
Die Vorhersagegenauigkeit von Sprachmodellen folgt meist glatten Potenzgesetzen, deren Ursprung bisher unklar war. Eine neue Untersuchung auf Token-Ebene zeigt, dass das Lernen in diskreten, lokalisierten Übergängen stattfindet, die sich zu einem Gesamtspektrum summieren. Durch die Analyse von über einhundert Trainingsläufen lässt sich nachweisen, dass diese Lernereignisse die Skalierungsgesetze maßgeblich bestimmen. Die Erkenntnis, wann einzelne Token erlernbar werden, ermöglicht eine gezielte Anpassung der Traini
RELISH: Regression mit einem latenten iterativen Zustands-Head für LLMs
RELISH ist eine neue, leichtgewichtige Architektur für die Textregression in großen Sprachmodellen. Anstatt numerische Zielwerte als Text zu dekodieren oder mehrere Ausgaben zu aggregieren, sagt das Modell skalare Werte direkt aus eingefrorenen LLM-Repräsentationen voraus. Dies geschieht durch die iterative Verfeinerung eines gelernten latenten Zustands mittels Cross-Attention über Token-Ebenen hinweg. Das Verfahren übertrifft bestehende Methoden in verschiedenen Datensätzen und Modellen bei gleichzeitig hoher Para
Kontrastive Schwach-zu-Stark-Generalisierung
Das Konzept der Schwach-zu-Stark-Generalisierung ermöglicht das Skalieren von Sprachmodellen, indem stärkere Modelle mit Daten schwächerer Modelle trainiert werden, ohne auf menschliches Feedback angewiesen zu sein. Bisherige Ansätze leiden jedoch unter Rauschen und Verzerrungen in den Ausgaben der schwächeren Modelle. Das neue Verfahren ConG nutzt implizite Belohnungen und kontrastive Dekodierung, um diese Störfaktoren zu minimieren. Durch den Vergleich von Modellen vor und nach der Ausrichtung werden qualitativ h
Multi-Turn On-Policy Distillation mit Prefix Replay
Die neue Methode Replayed-Prefix On-Policy Distillation (ReOPD) optimiert das Training von KI-Agenten durch die Wiederverwendung bereits gesammelter Interaktionsverläufe. Anstatt bei jedem Trainingsschritt kostspielige neue Umgebungsinteraktionen durchzuführen, nutzt das Verfahren gespeicherte Lehrer-Trajektorien als Basis. Ein zentrales Problem bei der mehrstufigen Distillation ist das Risiko unzuverlässiger Zielvorgaben bei Abweichungen zwischen Lehrer- und Schülerverhalten. ReOPD löst dies durch ein gezieltes Sa
Neuere Modelle, gleicher Vorteil
Die Analyse untersucht die Leistungsfähigkeit aktueller KI-Modelle im Vergleich zu ihren Vorgängern. Dabei zeigt sich, dass trotz technologischer Fortschritte und neuer Architekturansätze die grundlegenden Wettbewerbsvorteile und spezifischen Stärken der Modelle weitgehend stabil bleiben. Die Untersuchung verdeutlicht, dass inkrementelle Verbesserungen bei der Modellgröße oder Trainingsdatenmenge nicht zwangsläufig zu einer Verschiebung der Marktposition oder einer grundlegenden Veränderung der Anwendungsbereiche f
Daten für KI-Agenten
Die Entwicklung leistungsfähiger KI-Agenten erfordert zunehmend spezialisierte Datensätze, die über klassische Trainingsdaten hinausgehen. Dabei stehen die Qualität, Strukturierung und Verfügbarkeit von Informationen im Fokus, um Agenten in die Lage zu versetzen, komplexe Aufgaben autonom und präzise auszuführen. Der Ansatz betont, dass die Bereitstellung hochwertiger Datenquellen eine entscheidende Voraussetzung für die Skalierbarkeit und Zuverlässigkeit von automatisierten Systemen ist, die in realen Anwendungssz
Entschlüsselung der Kreativität von Diffusionsmodellen
Die Untersuchung widmet sich der theoretischen Fundierung von Diffusionsmodellen, um deren kreative Fähigkeiten besser verständlich zu machen. Dabei wird analysiert, wie diese Algorithmen durch iterative Prozesse aus Rauschen komplexe Datenstrukturen generieren. Ziel ist es, die mathematischen Mechanismen hinter der Bild- und Datengenerierung offenzulegen, die bisher oft als Blackbox wahrgenommen wurden. Durch diesen theoretischen Ansatz soll ein tieferes Verständnis für die Funktionsweise und die Grenzen der gener
Einführung von TabFM: Ein Zero-Shot-Grundlagenmodell für tabellarische Daten
TabFM stellt einen neuen Ansatz für die Verarbeitung tabellarischer Daten dar, der auf der Architektur von Grundlagenmodellen basiert. Durch die Nutzung von Zero-Shot-Lernverfahren ermöglicht das Modell die Analyse und Interpretation komplexer Datensätze ohne vorheriges spezifisches Training auf den jeweiligen Zieltabellen. Dies reduziert den Aufwand für die Datenaufbereitung erheblich und verbessert die Flexibilität bei der Anwendung auf unterschiedliche Datenstrukturen. Die Technologie zielt darauf ab, die Effizi
Denken zum Erinnern: Wie Schlussfolgerungen parametrisches Wissen in Sprachmodellen erschließen
Die Fähigkeit von großen Sprachmodellen, auf gespeichertes Wissen zuzugreifen, hängt maßgeblich von internen Schlussfolgerungsprozessen ab. Aktuelle Untersuchungen zeigen, dass Modelle ihr parametrisches Wissen effektiver abrufen können, wenn sie explizit dazu angeleitet werden, logische Denkschritte auszuführen. Dieser Ansatz verbessert die Genauigkeit bei der Informationswiedergabe erheblich, da das Modell nicht nur auf statistische Wahrscheinlichkeiten vertraut, sondern gezielte kognitive Pfade nutzt. Die Method
Whatnot übernimmt Shaped zur Optimierung von Live-Shopping-Empfehlungen
Die Livestream-Shopping-Plattform Whatnot hat das auf maschinelles Lernen spezialisierte Startup Shaped akquiriert. Ziel der Übernahme ist die signifikante Verbesserung der Echtzeit-Empfehlungsalgorithmen und Suchfunktionen innerhalb der Anwendung. Durch die Integration der Technologie soll die Personalisierung für Nutzer gestärkt werden, während die Plattform ihr Angebot auf neue Produktkategorien ausweitet. Die technologische Expertise von Shaped unterstützt dabei, die Auffindbarkeit von Inhalten in einem dynamis
Turing-Preisträger Rich Sutton gründet Oak Lab für autonom lernende KI-Agenten
Der Pionier des Reinforcement Learning hat mit Oak Lab ein neues Startup in Toronto ins Leben gerufen. Ziel des Unternehmens ist die Entwicklung von KI-Agenten, die kontinuierlich und eigenständig aus ihrer Umgebung lernen können. Damit setzt sich das Vorhaben kritisch von aktuellen Deep-Learning-Methoden ab, die als ineffizient und limitiert eingestuft werden. Der Fokus liegt auf der Schaffung intelligenter Systeme, die über starre Trainingsprozesse hinausgehen und eine dynamische Anpassungsfähigkeit in Echtzeit e
KI-Agenten gewinnen bei Slay the Spire 2 durch strukturierte Speichermethoden
Das Projekt AgenticSTS optimiert die Leistungsfähigkeit von KI-Agenten in komplexen Spielumgebungen, indem es herkömmliche, stetig wachsende Chat-Protokolle durch ein System aus fünf separaten Speicherschichten ersetzt. Durch diesen Ansatz bleibt die Anzahl der verarbeiteten Token konstant bei etwa 5.000, anstatt unkontrolliert auf über 500.000 anzuwachsen. In Tests mit dem Kartenspiel Slay the Spire 2 erzielten die so optimierten Agenten eine Erfolgsquote von 60 Prozent, während vergleichbare Modelle ohne diese Sp
Chinesisches Weltmodell Orca erreicht Leistung spezialisierter Robotiksysteme ohne Aktionsdaten
Das neu entwickelte Weltmodell Orca prognostiziert abstrakte Zustände der Umgebung anstatt klassischer Pixel oder Token. Das Modell wurde mit 125.000 Stunden Videomaterial trainiert, ohne dabei auf explizite Aktionsbeschriftungen angewiesen zu sein. In der praktischen Anwendung erzielt das System bei fünf verschiedenen Robotikaufgaben Ergebnisse, die mit spezialisierten Modellen vergleichbar sind. Dieser Ansatz könnte maßgeblich dazu beitragen, den bestehenden Mangel an hochwertigen Trainingsdaten in der Robotik zu
OpenAIs GPT-5.6 Sol trainiert Luna-Modell autonom nach einer vagen Anweisung
Das KI-Modell GPT-5.6 Sol hat das kleinere Luna-Modell eigenständig nachbearbeitet, nachdem es lediglich eine unpräzise Aufgabenstellung erhalten hatte. In internen Benchmarks zur rekursiven Selbstverbesserung übertrifft Sol seinen Vorgänger GPT-5.5 um 16,2 Punkte. Diese Entwicklung unterstreicht den Fortschritt bei der Automatisierung von Forschungsprozessen durch KI-Systeme. Die Fähigkeit, komplexe Optimierungen ohne detaillierte menschliche Vorgaben durchzuführen, gilt als ein entscheidender Schritt in Richtung
Alles simulieren: Möglichkeiten und Grenzen von Weltmodellen
Weltmodelle stellen einen vielversprechenden Ansatz in der künstlichen Intelligenz dar, um komplexe Umgebungen und physikalische Zusammenhänge durch Simulationen abzubilden. Anstatt lediglich Datenmuster zu erkennen, zielen diese Systeme darauf ab, eine interne Repräsentation der Welt zu entwickeln, die Vorhersagen über zukünftige Zustände ermöglicht. Trotz bedeutender Fortschritte in der Modellierung stehen Forscher weiterhin vor Herausforderungen, insbesondere bei der Skalierbarkeit und der präzisen Abbildung hoc
Feinabstimmung von NVIDIA Nemotron 3 Modellen mit Amazon SageMaker Serverless Customization
Die Architektur der Nemotron 3 Modelle bietet spezifische Vorteile für die Anpassung an individuelle Anforderungen. Dieser Leitfaden erläutert die verfügbaren Techniken zur Feinabstimmung und demonstriert den schrittweisen Prozess zur Implementierung einer serverlosen Modellanpassung innerhalb der SageMaker Studio Umgebung. Durch diesen Ansatz lassen sich KI-Modelle effizient und ohne die Notwendigkeit einer permanenten Infrastrukturverwaltung für spezifische Anwendungsfälle optimieren.
Abschlussjahrgang 2026 des Berkeley Artificial Intelligence Research Lab
Das Berkeley Artificial Intelligence Research Lab feiert den Abschluss seines diesjährigen Ph.D.-Jahrgangs. Die Forschungsarbeiten der Absolventen decken ein breites Spektrum moderner KI-Disziplinen ab, darunter Robotik, verkörperte Intelligenz sowie große Sprachmodelle und logisches Schließen. Mit diesen wissenschaftlichen Beiträgen haben die Nachwuchsforscher die Grenzen der aktuellen Entwicklung im Bereich des maschinellen Lernens maßgeblich erweitert.
Skalierbare Identifizierung von Interaktionen in großen Sprachmodellen
Die Analyse des Verhaltens komplexer maschineller Lernsysteme, insbesondere großer Sprachmodelle, stellt eine zentrale Herausforderung in der aktuellen Forschung dar. Ziel der Interpretierbarkeitsforschung ist es, Entscheidungsprozesse transparenter zu gestalten, um die Sicherheit und Vertrauenswürdigkeit von KI-Systemen zu erhöhen. Durch die Untersuchung systematischer Interaktionen innerhalb dieser Modelle können Entwickler tiefere Einblicke in die Funktionsweise gewinnen. Dieser Ansatz ermöglicht ein besseres Ve
Reinforcement Learning ohne Temporal-Difference-Lernen
Ein neuer Ansatz für das Reinforcement Learning ersetzt das klassische Temporal-Difference-Lernen durch ein Divide-and-Conquer-Paradigma. Während herkömmliche Methoden bei Aufgaben mit langen Zeithorizonten häufig an Skalierungsproblemen leiden, ermöglicht dieser alternative Algorithmus eine effizientere Verarbeitung komplexer Abläufe. Durch die Zerlegung der Aufgaben in kleinere Teilprobleme wird die Skalierbarkeit des Lernprozesses signifikant verbessert, ohne auf die üblichen Mechanismen der zeitlichen Differenz
Was genau lernt word2vec?
Die Funktionsweise von word2vec, einem grundlegenden Vorläufer moderner Sprachmodelle, wurde lange Zeit nicht vollständig durch eine quantitative Theorie erklärt. Ein neuer Forschungsansatz liefert nun eine präzise mathematische Beschreibung des Lernprozesses und der Repräsentationsbildung. Durch die Analyse dieses minimalen Sprachmodellierungs-Szenarios lässt sich nachvollziehen, wie das System semantische Beziehungen in Vektorräumen abbildet. Diese Erkenntnisse tragen wesentlich zum tieferen Verständnis der Grund
SkillOpt: Agenten-Fähigkeiten als trainierbare Parameter
KI-Agenten scheitern häufig an manuell angepassten Anweisungen, die keine Leistungsgarantie bieten. SkillOpt transformiert die Bearbeitung dieser Fähigkeiten in einen systematischen Trainingsprozess. Dadurch wird das Verhalten von Agenten zuverlässiger gestaltet, ohne dass die zugrunde liegenden Modellgewichte verändert werden müssen. Dieser Ansatz ermöglicht eine präzisere Steuerung und Optimierung der agentenbasierten Aufgabenbewältigung.
Form, Symmetrien und Struktur: Die wandelnde Rolle der Mathematik in der Forschung zum maschinellen Lernen
Die Forschung im Bereich des maschinellen Lernens hat in den letzten zehn Jahren einen deutlichen Wandel vollzogen. Während früher mathematisch fundierte und präzise entworfene Architekturen im Vordergrund standen, erzielen diese heute oft nur noch geringfügige Leistungssteigerungen. Stattdessen dominieren zunehmend rechenintensive Ansätze und ingenieurwissenschaftliche Methoden, die durch die Skalierung auf massiv größere Datensätze signifikante Fortschritte ermöglichen. Dieser Trend wirft grundlegende Fragen über