Principia Artificialis: Offenes mathematisches Forschungsprogramm zur KI-Theorie
Das Forschungsprogramm Principia Artificialis widmet sich der mathematischen Fundierung künstlicher Intelligenz. Dabei werden theoretische Ansätze aus der Informationsgeometrie, Topologie, dynamischen Systemen und der Thermodynamik auf KI-Inferenzprozesse angewendet. Ziel ist es, ein tieferes Verständnis für die mathematischen Prinzipien hinter künstlichen Denkprozessen zu entwickeln und diese wissenschaftlich zu formalisieren.
DNQ: Deep Nash Q-Network für teilweise beobachtbare N-Spieler-Spiele
Das Deep Nash Q-Network (DNQ) ist ein Framework zur Steuerung von Agenten in kompetitiven Umgebungen mit begrenzten Informationen und geteilten Ressourcen. Das System kombiniert Trajektoriensammlung, eine auf Kritikern basierende Auszahlungsschätzung und die Berechnung von Gleichgewichtsstrategien, um Agenten mittels Richtlinien-Imitation zu trainieren. Durch eine skalierbare paarweise Formulierung reduziert DNQ den Rechenaufwand bei der Gleichgewichtsberechnung erheblich. Dies ermöglicht das Training in komplexere
Code-Korrektheit ist vor der Generierung aus den verborgenen Zuständen von Sprachmodellen linear dekodierbar
Forschungsergebnisse zeigen, dass die Korrektheit von Programmcode bereits in den verborgenen Zuständen eines Sprachmodells vorhanden ist, bevor die eigentliche Generierung beginnt. Durch die Analyse des letzten Prompt-Tokens lässt sich mit hoher Genauigkeit vorhersagen, ob der erste Lösungsversuch des Modells erfolgreich sein wird. Dieser Effekt bleibt auch bestehen, wenn der Einfluss der Prompt-Länge rechnerisch bereinigt wird, was auf ein tief in der Modellstruktur verankertes Verständnis für die Aufgabenlösung
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Die Architektur PRISM erforscht die Rolle von Phaseninformationen in neuronalen Netzen, um die Abhängigkeit von reinen Aktivierungsstärken zu verringern. Durch den Einsatz komplexwertiger Berechnungen und harmonischer Faltungen nutzt das Modell destruktive Interferenz im Frequenzbereich, um Rauschen zu unterdrücken und die Repräsentationsqualität zu verbessern. Ein hybrider Ansatz, der phasenbasierte Routings mit klassischer Attention kombiniert, zeigt eine höhere Parametereffizienz. Analysen belegen, dass wesentli
Maskenbewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Optimierung von maskierten Diffusions-Sprachmodellen mittels Reinforcement Learning stellt aufgrund der schwierigen Schätzung der Log-Likelihood eine Herausforderung dar. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter trainieren. Diese Method
Konzeptgesteuerte räumliche Regularisierung für Weltmodelle in Atari Pong
Aktuelle visuelle Weltmodelle in der modellbasierten Verstärkungslernen-Umgebung zeigen bei isolierter Betrachtung signifikante Schwächen. Analysen von fünf führenden Modellen wie DreamerV3 oder DIAMOND offenbaren bei der Simulation von Atari Pong Fehler wie das Verschwinden des Spielballs oder physikalisch inkorrekte Bewegungsabläufe. Um diese Defizite zu beheben, wurde die Methode der konzeptgesteuerten räumlichen Regularisierung eingeführt. Dieser Ansatz nutzt eine zusätzliche Rekonstruktionsfunktion für segment
ChronoQG: Ein neuer Benchmark für zeitlich ausdrucksstarke Wissensgraphen-Fragengenerierung
Die Generierung von Fragen aus Wissensgraphen konzentriert sich bisher primär auf statische Daten, wodurch zeitliche Zusammenhänge und die chronologische Gültigkeit von Fakten oft vernachlässigt werden. Mit ChronoQG wurde ein neuer Benchmark-Rahmen eingeführt, der explizit zeitliche Beschränkungen und topologische Strukturen berücksichtigt. Durch die Integration einer Taxonomie für zeitliche Constraints und ein spezielles Subgraph-Sampling ermöglicht das System die Erstellung präziser, zeitlich fundierter Fragen. T
Wenn Audiotrennung die Zero-Shot-Spracherkennung beeinträchtigt: Evaluierung von SAM-Audio mit Whisper für Bengalisch und Englisch
Die Annahme, dass eine verbesserte Audioqualität durch Rauschunterdrückung automatisch zu präziseren Transkriptionen führt, wird durch aktuelle Untersuchungen infrage gestellt. Eine empirische Studie analysiert den Einsatz von SAM-Audio als Vorverarbeitungsschritt für das Zero-Shot-System Whisper anhand von englischen und bengalischen Datensätzen. Obwohl die Signalqualität messbar steigt, verschlechtern sich die Fehlerraten bei der Spracherkennung in allen getesteten Konfigurationen signifikant. Die Ergebnisse verd
Wann lehrt Belohnung den Zustand? Eine Untersuchung zur Repräsentation in Reinforcement-Learning-Agenten
Die Untersuchung analysiert, ob KI-Agenten im Reinforcement Learning tatsächlich den zugrunde liegenden Zustand einer Aufgabe erlernen oder lediglich Belohnungs-Abkürzungen nutzen. Durch die Modellierung von Aufgaben als deterministische endliche Automaten lässt sich der wahre Zustand exakt bestimmen und von der erzielten Belohnung trennen. Die Ergebnisse zeigen, dass hohe Belohnungen allein kein Beweis für ein korrektes Zustandsverständnis sind. Es wird zwischen Wahrnehmungslücken, bei denen der Zustand nicht extr
Repräsentationsbasierte Exploration für Sprachmodelle: Von der Laufzeit bis zum Post-Training
Die Forschung untersucht, wie gezielte Exploration Sprachmodelle dazu befähigen kann, neue Verhaltensweisen zu entdecken, anstatt lediglich vorhandene Muster zu verstärken. Durch die Nutzung eines auf den verborgenen Zuständen des vortrainierten Modells basierenden Bonus wird die Vielfalt der generierten Lösungen signifikant erhöht. Dieser Ansatz verbessert sowohl die Effizienz während der Inferenz als auch die Leistung beim Post-Training durch Reinforcement Learning. Die Ergebnisse zeigen, dass eine solche methodi
Abstufungen der Entitätsbekanntheit in Sprachmodellen: Polnische Adaption, sprachübergreifende Robustheit und Steuerung von Antwortverweigerungen
Untersuchungen an zwölf instruktionsoptimierten Sprachmodellen zeigen, dass interne Aktivierungen am letzten Prompt-Token eine zuverlässige Einschätzung der Bekanntheit von Entitäten ermöglichen. Die Analyse belegt, dass Modelle zwischen realen und erfundenen Entitäten unterscheiden können, wobei spezifisch für das Polnische optimierte Modelle zudem die Popularität der Entitäten widerspiegeln. Diese internen Repräsentationen erweisen sich als sprachunabhängig robust. Zudem lässt sich durch gezielte Manipulation der
Selbstverbesserung in modernen agentischen Systemen: Eine Übersicht
Autonome Agenten entwickeln sich zunehmend von experimentellen Prototypen zu einsatzbereiten Systemen, die ihre Fähigkeiten durch Erfahrung ohne menschliches Eingreifen kontinuierlich steigern. Ein neuer systematischer Rahmen definiert diese Agenten als Kombination aus Basismodellen und operativen Strukturen wie Speicher, Werkzeugen und Steuerungslogik. Selbstverbesserung wird dabei als ein Prozess verstanden, bei dem das System eigenständig Aktualisierungen an seinen Parametern oder Komponenten vornimmt. Die Analy
Neubewertung von Muon für die Matrixfaktorisierung
Der Optimierer Muon hat in jüngster Zeit Aufmerksamkeit erregt, da er durch approximative Orthogonalisierung bei der Skalierung von Sprachmodellen AdamW übertreffen soll. Eine aktuelle Untersuchung isoliert diesen Optimierer nun von komplexen Architekturen und testet ihn an dem grundlegenden Problem der Matrixfaktorisierung. Dabei zeigt sich, dass Muon in diesem kontrollierten Umfeld AdamW nicht konsistent überlegen ist. Die Ergebnisse verdeutlichen, dass viele vermeintliche Vorteile stark von der spezifischen Hype
Können Sprachmodelle Fakten kontinuierlich in ihren Gewichten speichern?
Die Untersuchung analysiert, ob Sprachmodelle neues Wissen dauerhaft durch kontinuierliches Training in ihre Gewichte integrieren können. Experimente zeigen, dass die Art der Trainingsdaten entscheidend ist: Während einfache Faktenwiederholungen kaum gespeichert werden, ermöglichen vielfältige Umschreibungen eine deutlich stabilere Wissensaufnahme. Dennoch bleibt die langfristige Abrufbarkeit früherer Informationen problematisch, da spätere Updates das Modellverhalten überschreiben. Die Ergebnisse legen nahe, dass
PRISM Edit: Ein Vektor für alle zeitlichen Antworten
Die Aktualisierung von Sprachmodellen ohne erneutes Training stößt bei zeitabhängigen Fakten an Grenzen, da sich Informationen über die Zeit hinweg ändern können. PRISM Edit nutzt die interne Struktur von Modellen, um zeitlich korrekte Antworten zu ermöglichen, ohne die Architektur zu verändern. Durch die Optimierung einer einzelnen polysemen Repräsentation über verschiedene Zeitkontexte hinweg kann das Modell zwischen historischen und aktuellen Fakten unterscheiden. Die Methode erzielt bei der zeitlichen Konsisten
Wann und warum scheitert die Multi-Agenten-Debatte und ist sie wirklich ineffizient?
Die Multi-Agenten-Debatte, bei der mehrere Sprachmodelle zur Verbesserung von Schlussfolgerungen interagieren, zeigt in der Praxis oft keine Vorteile gegenüber Einzelagenten-Ansätzen. Die Analyse bestehender Paradigmen offenbart, dass wettbewerbsorientierte Ansätze zu irreführenden Aussagen führen, während konsensorientierte Modelle wichtige Meinungsverschiedenheiten unterdrücken. Als Lösung wird ein kollaboratives Protokoll eingeführt, das als Nicht-Nullsummenspiel konzipiert ist. Dieser Ansatz fördert den Austaus
Direktionale Einschränkungen für effiziente Exploration im sicheren Reinforcement Learning
Die Implementierung von Reinforcement Learning in realen, dynamischen Umgebungen erfordert strikte Sicherheitsvorkehrungen, die jedoch häufig die Lerngeschwindigkeit und die Leistungsfähigkeit von Agenten beeinträchtigen. Mit der Erweiterung ATACOM-DC wird ein Ansatz vorgestellt, der direktionale Einschränkungen nutzt, um zwischen Aktionen zu unterscheiden, die sich auf Sicherheitsgrenzen zubewegen oder von diesen entfernen. Durch die bedarfsgerechte Aktivierung der Sicherheitsmechanismen wird das Verhältnis zwisch
Die Grenzen der Audio-Sprach-Modelle bei der Verarbeitung von Negationen
Aktuelle Audio-Sprach-Modelle wie CLAP zeigen erhebliche Schwächen bei der Interpretation von verneinten Konzepten. Während diese Modelle bei der Identifizierung vorhandener Geräusche gut funktionieren, können sie zwischen bejahten und verneinten Beschreibungen kaum unterscheiden, da sie für beide nahezu identische Repräsentationen erzeugen. Mit dem neuen Test-Framework NegEval-Audio wurde nachgewiesen, dass die Leistung bei Negationsaufgaben drastisch abfällt. Dies deutet auf einen grundlegenden Fehler in der Repr
Ein gemeinsamer Teil-Schaltkreis ermöglicht LLMs das Rückwärtszählen über Aufgaben hinweg
Forschende haben in einem Sprachmodell einen spezifischen Teil-Schaltkreis identifiziert, der es dem System ermöglicht, die verbleibende Anzahl an Tokens bis zu einem Zielwert präzise zu verfolgen. Dieser Mechanismus kommt bei verschiedenen Aufgaben zum Einsatz, etwa beim Einhalten exakter Wortlängen oder bei der Formatierung von Datenstrukturen. Die Untersuchung zeigt, dass dieser Schaltkreis auf identischen Repräsentationsmustern basiert, die modellübergreifend auftreten. Diese Erkenntnisse verdeutlichen, wie kom
Trennung von Überzeugung und Realität in Sprachmodellen durch Routing-Mechanismen
Moderne Sprachmodelle sind in der Lage, zwischen den Überzeugungen einer fiktiven Figur und der objektiven Realität zu unterscheiden. Die Untersuchung zeigt, dass diese Trennung nicht in einem einzelnen Speicherort liegt, sondern auf zwei separaten Mechanismen basiert: einem gemeinsamen Wertespeicher und einem Routing-System. Ein Router an der Abfrageposition entscheidet, ob auf die Überzeugung oder die Realität zugegriffen wird. Diese Struktur ermöglicht es den Modellen, Informationen kontextabhängig abzurufen, wo
AAAI-26: Herausforderungen durch Mehrfacheinreichungen
Die Zunahme von Mehrfacheinreichungen identischer oder inhaltlich ähnlicher wissenschaftlicher Arbeiten stellt eine wachsende Belastung für den Begutachtungsprozess der AAAI-Konferenz dar. Durch den Einsatz von KI-gestützten Analysewerkzeugen und manuellen Prüfungen wurden für die AAAI-26 bereits 141 Einreichungen aufgrund unzulässiger Doppelungen abgelehnt. Die Verbreitung dieser Praxis wird durch den Einsatz generativer KI-Tools begünstigt, die das Umformulieren von Inhalten erleichtern. Zur Bekämpfung dieses Pro
Die rechnerische Grundlage von Vertrauen in großen Sprachmodellen
Die Zuverlässigkeit von Sprachmodellen hängt maßgeblich davon ab, wie präzise sie ihre eigene Korrektheit einschätzen können. Eine neue Untersuchung nutzt den theoretischen Rahmen der statistischen Entscheidungssicherheit, um zu analysieren, ob Antwort-Logits lediglich heuristische Präferenzsignale oder tatsächliche latente Entscheidungsvariablen darstellen. Die Ergebnisse zeigen, dass Logits in vielen Aufgabenbereichen als monotone Auslesewerte einer latenten Entscheidungsvariable fungieren. Bei komplexen visuelle
Von geometrischer Rekonstruktion zur kausalen Validierung: Ein reproduzierbares Audit für Sparse-Autoencoder-Features
Sparse-Autoencoder werden standardmäßig eingesetzt, um überlagerte neuronale Repräsentationen in interpretierbare Features zu zerlegen. Die bisherige Evaluierung stützt sich primär auf korrelative Metriken, die jedoch geometrische Ausrichtung und tatsächliches Aktivierungsverhalten vermischen. Eine neue Untersuchung zeigt, dass ein signifikanter Anteil der rekonstruierten Features kausal ineffektiv ist, selbst bei hoher Übereinstimmung der Vektoren. Durch den Einsatz eines neuen, modellunabhängigen Audit-Verfahrens
Sparse interschichtige Abhängigkeiten von Transformer-FFN-Neuronen
Feedforward-Netzwerke machen einen Großteil der Parameter und Rechenleistung in Transformer-Architekturen aus, sind jedoch aufgrund ihrer komplexen Struktur schwer interpretierbar. Eine neue, trainingsfreie Attributionsmethode zeigt nun, dass die Aktivierung einzelner Neuronen durch eine geringe Anzahl vorangegangener Neuronen und Attention-Outputs erklärt werden kann. Diese strukturierten Abhängigkeiten ermöglichen es, die Modellaktivität bei moderater Sparsity beizubehalten, ohne die Perplexity signifikant zu bee
Wann Belohnungen das Verständnis latenter Zustände in der KI lehren
Die Untersuchung analysiert, ob Reinforcement-Learning-Agenten bei hohen Belohnungen tatsächlich den zugrunde liegenden Aufgabenzustand verstehen oder lediglich Abkürzungen nutzen. Durch die Modellierung von Aufgaben als deterministische endliche Automaten lässt sich der wahre Zustand präzise bestimmen und vom Belohnungserfolg entkoppeln. Die Ergebnisse zeigen, dass hohe Belohnungen kein verlässlicher Indikator für ein echtes Aufgabenverständnis sind. Stattdessen lassen sich Wahrnehmungs- und Planungslücken systema
Einfachheit durch One-Step-Aktionsgenerierung für Vision-Language-Action-Modelle
Die Forschung untersucht die Effizienz von Vision-Language-Action-Modellen (VLA) durch die Betrachtung von Aktionsgenerierung als Bild-zu-Text-Problem. Durch die Anwendung einer speziellen Verlustfunktion und optimiertes Training mit hohem Rauschanteil lässt sich die Aktionsvorhersage auf einen einzigen Schritt reduzieren. Die Ergebnisse zeigen, dass dieser Ansatz bei Standard-Robotik-Benchmarks wie LIBERO eine hohe Leistungsfähigkeit erreicht. Die Studie verdeutlicht, dass der Erfolg der einstufigen Generierung ma
Kontextabhängige Berechnung von Handlungsmöglichkeiten in Vision-Language-Modellen
Die Untersuchung analysiert, wie Vision-Language-Modelle (VLMs) Handlungsmöglichkeiten in Abhängigkeit vom jeweiligen Kontext interpretieren. Es zeigt sich ein signifikanter Drift in der Szenenbeschreibung, bei dem über 90 Prozent der lexikalischen Ausgaben durch den vorgegebenen Kontext beeinflusst werden. Während sich die Wortwahl stark verändert, bleibt die semantische Bedeutung stabiler. Diese Ergebnisse legen nahe, dass für die Robotik statt statischer Weltmodelle dynamische, abfrageabhängige Ontologien erford
Messung der KI-Fähigkeit zur Bewältigung komplexer Softwareaufgaben
Ein neuer Metrik-Ansatz quantifiziert die Leistungsfähigkeit von KI-Systemen durch den Vergleich mit menschlichen Arbeitszeiten. Die sogenannte 50-Prozent-Aufgabenabschluss-Zeitspanne misst, wie lange Menschen für Aufgaben benötigen, die KI-Modelle mit einer Erfolgsquote von 50 Prozent bewältigen. Aktuelle Spitzenmodelle erreichen hierbei einen Zeithorizont von etwa 50 Minuten. Die Analyse zeigt, dass sich dieser Zeitraum seit 2019 etwa alle sieben Monate verdoppelt hat, was auf verbesserte logische Schlussfolgerun
Entflechtung von Merkmalsstrukturen: Mathematisch beweisbare zweistufige Trainingsdynamik in Transformern
Die Untersuchung analysiert die zweistufige Trainingsdynamik von Transformer-Modellen, bei der sich Merkmale wie Syntax und Semantik zeitlich getrennt entwickeln. Anhand eines theoretischen Modells mit normalisierter ReLU-Self-Attention wird nachgewiesen, wie diese Phasen der Merkmalsbildung mathematisch entstehen. Die Ergebnisse zeigen, dass dieser Prozess eng mit den spektralen Eigenschaften der Aufmerksamkeitsgewichte verknüpft ist. Diese Erkenntnisse bieten ein tieferes Verständnis für die interne Lernstruktur
HiQA: Ein hierarchischer, kontextueller RAG-Ansatz für die Frage-Antwort-Systeme mit mehreren Dokumenten
Die Retrieval-Augmented Generation (RAG) verbessert die Genauigkeit von Sprachmodellen, stößt jedoch bei der Verarbeitung zahlreicher, inhaltlich ähnlicher Dokumente an ihre Grenzen. Das neue Framework HiQA adressiert diese Herausforderung durch die Integration kaskadierender Metadaten und einen Multi-Route-Retrieval-Mechanismus, um die Informationsbeschaffung in komplexen Umgebungen zu präzisieren. Zur Evaluierung der Leistungsfähigkeit wurde zudem der neue Benchmark MasQA eingeführt. HiQA erzielt in Tests mit meh
Verstärkendes Lernen vergisst: Wege zur kontinuierlichen Richtlinienoptimierung
Das kontinuierliche Training von Vision-Language-Modellen stützt sich zunehmend auf verstärkendes Lernen, da dieses als resistenter gegen das Vergessen früherer Aufgaben gilt. Aktuelle Untersuchungen zeigen jedoch, dass auch diese Methoden unter katastrophalem Vergessen leiden, da die übliche KL-Regularisierung nur auf aktuelle Daten fokussiert ist. Als Lösung wird das Framework Continual Policy Optimization eingeführt, das durch eine neue Regularisierungsmethode das Verhalten des Modells stabilisiert, ohne auf his
Richtungskrümmung durch Armijo-Backtracking: Ein kostengünstiger Schärfeindikator und ein kalibrierungsfreier Schutz für die Adam-Optimierung
Die lokale Schärfe der Verlustfunktion ist entscheidend für die Stabilität von Gradientenabstiegsverfahren, erfordert jedoch normalerweise rechenintensive Berechnungen. Eine neue Methode nutzt die Armijo-Backtracking-Liniensuche, um die Richtungskrümmung effizient zu schätzen, ohne zusätzliche Iterationen zu benötigen. Dieser Ansatz ermöglicht eine robuste Begrenzung der Lernrate für den Adam-Optimierer, wodurch Instabilitäten bei zu großen Lernraten vermieden werden. Die Technik erfordert lediglich eine einmalige
Einfache Methode für Vision-Language-Action-Modelle: Kontinuierliches Lernen durch Reinforcement Learning
Die Forschung zeigt, dass Vision-Language-Action-Modelle durch einfaches sequenzielles Fine-Tuning mittels Low-Rank Adaptation (LoRA) effektiv in sich verändernden Umgebungen lernen können. Bisher wurde angenommen, dass für kontinuierliches Reinforcement Learning komplexe Strategien notwendig sind, um katastrophales Vergessen zu vermeiden. Die Untersuchung belegt jedoch, dass die Kombination aus vortrainierten Modellen, effizienter Parameteranpassung und On-Policy-Reinforcement-Learning eine hohe Stabilität und Pla
SynthSAEBench: Evaluierung von Sparse Autoencodern mit skalierbaren synthetischen Daten
Sparse Autoencoder sind entscheidend für die Interpretierbarkeit von Sprachmodellen, doch bisherige Benchmarks leiden unter mangelnder Präzision oder unrealistischen Testbedingungen. SynthSAEBench bietet ein neues Framework, das auf großskaligen synthetischen Daten basiert und realistische Merkmale wie Korrelationen, Hierarchien und Superposition abbildet. Durch den Zugriff auf Ground-Truth-Daten ermöglicht das Tool eine präzise Diagnose von Architekturfehlern und reproduziert bekannte Phänomene aus der Forschung a
Entkoppelte unüberwachte Fähigkeitsentdeckung für effizientes hierarchisches Reinforcement Learning
Die Entwicklung intelligenter Agenten erfordert die Fähigkeit, wiederverwendbare Fertigkeiten durch unüberwachte Interaktion mit der Umgebung zu erlernen. Bisherige Ansätze leiden oft unter einer starken Verflechtung der erlernten Fähigkeiten, was deren Kombination für komplexe Aufgaben erschwert. Das neue Verfahren DUSDi löst dieses Problem durch eine Zerlegung in entkoppelte Komponenten, bei denen jede Komponente nur einen spezifischen Faktor des Zustandsraums beeinflusst. Durch eine auf wechselseitiger Informati
Ein Benchmark für Beständigkeit und sprachübergreifenden Transfer bei der Klassifizierung von Lehrfeedback
Die automatisierte Auswertung von offenem Feedback zu Lehrveranstaltungen stellt Institutionen vor Herausforderungen. Eine Untersuchung prüft die Robustheit eines etablierten Klassifizierungsprotokolls, indem sie dessen Leistung über verschiedene Generationen von Sprachmodellen hinweg analysiert. Dabei zeigt sich, dass das Protokoll auch mit modernen Large Language Models kompatibel bleibt und sich erfolgreich auf andere Sprachen übertragen lässt. Die Ergebnisse verdeutlichen, dass die Wahl des KI-Modells primär ei
Können Sprachmodelle Fakten kontinuierlich in ihren Gewichten speichern?
Die Untersuchung analysiert, ob Sprachmodelle neues Wissen dauerhaft durch kontinuierliches Training in ihre Gewichte integrieren können. Dabei zeigt sich, dass die Art der Trainingsdaten entscheidend ist: Während einfache Faktenwiederholungen kaum zu einer langfristigen Speicherung führen, ermöglichen vielfältige Umschreibungen eine deutlich stabilere Wissensaufnahme. Dennoch bleibt die direkte Speicherung in den Gewichten problematisch, da neue Informationen frühere Fakten überschreiben oder deren Abruf blockiere
Ordnungsruf: Handlungsbewusste LLM-Personamodellierung für datengestützte bürgerschaftliche Beratung
Die Simulation bürgerschaftlicher Beratungsprozesse mittels großer Sprachmodelle erfordert präzise Daten über das Verhalten einzelner Akteure. Ein neues Verfahren ermöglicht es, öffentliche Videokonferenzen in sprecherbezogene Transkripte umzuwandeln, die durch spezifische Handlungskennzeichnungen wie Antragsstellungen angereichert sind. Durch das Training von KI-Personas auf Basis dieser strukturierten Daten lassen sich institutionelle Abläufe realistischer abbilden. Die Ergebnisse zeigen eine signifikante Steiger
Jet-Long: Effiziente Erweiterung des Kontextfensters durch dynamische bifokale RoPE
Die Methode Jet-Long ermöglicht eine effiziente Erweiterung des Kontextfensters für große Sprachmodelle ohne zusätzliches Training. Durch die Kombination eines lokalen, RoPE-getreuen Fensters mit einem dynamisch angepassten Fernbereichsfenster wird die Genauigkeit bei kurzen Eingaben bewahrt und eine präzise Extrapolation bei langen Sequenzen erreicht. Die Implementierung nutzt einen optimierten Kernel, der die Inferenzgeschwindigkeit signifikant steigert und den Rechenaufwand minimiert. In Benchmarks zeigt das Ver
Modellreduktion: Der Ursprung der Weltmodelle
Weltmodelle, die als komprimierte Repräsentationen von Umgebungen für Vorhersagen und Planung dienen, werden oft als moderne Errungenschaft des selbstüberwachten Lernens betrachtet. Eine Analyse zeigt jedoch, dass die funktionale Struktur dieser Modelle bereits Jahrzehnte zuvor in der Literatur zur Modellreduktion und Regelungstechnik für physikalische Systeme entwickelt wurde. Während moderne KI-Modelle durch Transferierbarkeit und nichtlineare Repräsentationen bestechen, bieten klassische Ansätze physikalische Fu
Evolutionäre Entdeckung von entwicklungsbasierten Belohnungsplänen im Deep Reinforcement Learning
In der Forschung zum Deep Reinforcement Learning wird die zeitliche Struktur von Belohnungen meist manuell festgelegt. Ein neuer Ansatz nutzt evolutionäre Algorithmen, um dynamische Belohnungspläne zu entdecken, die biologisch inspirierte Komponenten wie Handlungsfähigkeit, Neuheit und Reaktivität gewichten. Tests in komplexen Umgebungen zeigen, dass evolutionär optimierte Zeitpläne die Leistung gegenüber statischen Methoden verbessern können. Dabei zeigt sich, dass insbesondere die Gewichtung von Neuheit in frühen
Signale für Code-Korrektheit in den verborgenen Zuständen von Sprachmodellen
Untersuchungen an Sprachmodellen zeigen, dass die Korrektheit von generiertem Programmcode bereits in den verborgenen Zuständen des Modells vor der eigentlichen Ausgabe erkennbar ist. Durch lineare Analysen lässt sich die Qualität des ersten Code-Entwurfs mit hoher Genauigkeit vorhersagen, selbst wenn Einflüsse wie die Länge des Prompts herausgerechnet werden. Zudem existiert bei Korrekturversuchen von fehlerhaftem Code eine spezifische geometrische Richtung innerhalb der Zustandsänderungen, die den Erfolg der Repa
Richtlinienbasiertes Tuning autoregressiver Bildmodelle mit Belohnungen auf Instanz- und Verteilungsebene
Ein neues Framework optimiert autoregressive Bildmodelle durch ein Reinforcement-Learning-Verfahren, das als Markov-Entscheidungsprozess formuliert ist. Durch die Einführung einer neuartigen Belohnung auf Verteilungsebene, die auf der Leave-One-Out-FID-Metrik basiert, wird die Vielfalt der generierten Bilder gezielt gefördert und ein Modenkollaps verhindert. In Kombination mit instanzbasierten Belohnungen für semantische und wahrnehmungsbezogene Genauigkeit ermöglicht das Verfahren eine effiziente Feinabstimmung. D
Jenseits fester Repräsentationen: Die Vokabular- und Verifikationslücken in der offenen KI
Aktuelle KI-Systeme sind in ihrer Leistungsfähigkeit durch vorgegebene Repräsentationsrahmen begrenzt, die den Suchraum und die Bewertungskriterien festlegen. Um echte offene Innovation zu ermöglichen, müssen Systeme in der Lage sein, neue Repräsentationsprimitive zu schaffen, zu stabilisieren und wiederzuverwenden. Die Forschung identifiziert hierbei zwei zentrale Hürden: die Vokabularlücke bei der Erfindung neuer Konzepte und die Verifikationslücke bei der Bewertung des langfristigen Nutzens dieser Konzepte. Vorg
Komplexitätsgesteuerte komponentenweise Initialisierung für das Vortraining von Sprachmodellen
Untersuchungen an verschiedenen Sprachmodellen zeigen, dass diese oft wiederkehrende spektrale Muster in ihrer Gewichtsstruktur aufweisen. Es wurde analysiert, ob diese Muster als Initialisierungssignal für das Vortraining neuer Modelle genutzt werden können, um die Effizienz zu steigern. Dabei wurden verschiedene Schemata entwickelt, die die spektralen Profile und Skalierungen vortrainierter Modelle nachahmen. Die Ergebnisse zeigen jedoch, dass eine rein spektrale Anpassung allein keinen signifikanten Leistungsvor
Phonem-Segmentierung und -Erkennung durch phonologische Aktivierungszuordnung
Die Segmentierung und Erkennung von Phonemen wird in modernen Systemen meist als getrennte Aufgabe behandelt. Ein neuer Ansatz nutzt die in selbstüberwachten Sprachmodellen bereits latent vorhandenen phonetischen Strukturen, um beide Aufgaben effizient zu lösen. Durch die Zuordnung von Repräsentationsrahmen zu Vektoren phonologischer Merkmale wie Stimmhaftigkeit oder Nasalität lassen sich einfache Vorhersageköpfe implementieren. Diese Methode benötigt nur minimale phonetische Transkriptionsdaten und zeigt eine hohe
Training, Lesen und Editieren von lesbaren Transformern
Ein neuer Ansatz ermöglicht den Aufbau von Transformer-Modellen, deren interne Operatoren durch eine gezielte Trainingsmethode interpretierbarer gestaltet werden. Durch die Einführung eines Varianz-Mindestwerts als Verlustfunktion wird verhindert, dass Operatoren in konstante Werte kollabieren, wodurch eine hohe Lesbarkeit bei gleichbleibender Modellqualität erreicht wird. Diese Architektur erlaubt es, komplexe Konzepte in einzelnen, gezielt editierbaren Einheiten abzubilden. Die Methode verbessert die Lokalisierba
Prompt-gesteuerte Exploration im Reinforcement Learning
Die Exploration ist ein kritischer Bestandteil des Reinforcement Learning, da Standardmethoden oft nur lokale Änderungen an bestehenden Strategien vornehmen. Ein neuer Ansatz nutzt große Sprach- und Bild-Sprache-Modelle, um das Verhalten durch natürliche Sprachvorgaben global zu beeinflussen. Dabei analysiert ein Vision-Language-Modell die Ergebnisse der bisherigen Aktionen und passt die Prompts iterativ an, um das Modell zu zielführenderem Verhalten zu führen. Diese Methode ermöglicht es, selbst bei spärlichen Bel
Ein einheitlicher Ansatz zur Interpretation von Knowledge Distillation bei großen Sprachmodellen durch Interaktionen
Die Mechanismen hinter der Wissensdestillation bei großen Sprachmodellen sind bisher nur unzureichend verstanden. Eine neue Untersuchung zeigt, dass der Erfolg verschiedener Destillationsmethoden auf der gezielten Vereinfachung komplexer Interaktionen zwischen Eingabevariablen basiert. Dabei behalten effiziente Schülermodelle nur eine reduzierte Anzahl an Interaktionen bei, während irrelevante Einflüsse unterdrückt werden. Basierend auf dieser Erkenntnis wurde eine neue Verlustfunktion entwickelt, die gezielt kompl
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Ein neuer Forschungsansatz untersucht die Rolle der Phase in neuronalen Netzen, um die semantische Bedeutung von der reinen Aktivierungsstärke zu trennen. Durch die Einführung einer komplexwertigen Architektur namens PRISM wird die Aufmerksamkeit durch harmonische Faltungen ersetzt, die auf subtraktiver Interferenz basieren. Dies ermöglicht es dem Modell, Rauschen effektiv zu unterdrücken und Informationen effizienter zu verarbeiten. Analysen zeigen, dass die Phaseninformation für die Aufgabenbewältigung entscheide
Die Werkzeug-Illusion: Eine Neubewertung des Werkzeugeinsatzes bei Web-Agenten
Die Entwicklung von Web-Agenten verlagert sich zunehmend von einfachen Browser-Interaktionen hin zu komplexeren Werkzeug-Paradigmen. Eine umfassende empirische Untersuchung hinterfragt nun die tatsächliche Effektivität dieser Werkzeuge, da bisherige Studien oft auf begrenzten Daten basierten. Die Analyse beleuchtet kritisch, ob Werkzeuge konsistente Leistungssteigerungen bieten, welche Designprinzipien für deren Erfolg entscheidend sind und welche unerwünschten Nebeneffekte auftreten können. Die Ergebnisse liefern
Instrumenteneffekte bei der Bewertung der Ehrlichkeit von Sprachmodellen: Eine prüfbare Demonstration
Die Untersuchung zeigt, dass die Messung der Ehrlichkeit von Sprachmodellen stark von der Gestaltung des Testinstruments abhängt. In einem kontrollierten Text-Adventure-Szenario wurde nachgewiesen, dass bereits geringfügige Änderungen an der Aufgabenstellung oder den Antwortmöglichkeiten die Ergebnisse massiv beeinflussen. Die Studie verdeutlicht, dass viele vermeintliche Modelleigenschaften lediglich Artefakte des Testdesigns sind. Zur Verbesserung der Validität wird ein vierstufiges Integritätsprotokoll für die E
Branching Policy Optimization: Reinforcement Learning für Sandbox-native Sprachagenten
Ein neuer Ansatz für das Reinforcement Learning bei Sprachmodellen nutzt die deterministischen Eigenschaften von Sandbox-Umgebungen aus. Anstatt unabhängige Trajektorien zu erstellen, konstruiert der Algorithmus Branching Policy Optimization einen einzelnen Entscheidungsbaum, bei dem sich Pfade gemeinsame Präfixe teilen. Durch das adaptive Speichern von Zuständen an Entscheidungspunkten und die Berechnung von Vorteilen basierend auf Geschwister-Ergebnissen wird die Varianz der Gradienten signifikant reduziert. In B
Lineare Repräsentationen von Grammatikalität in neuronalen Sprachmodellen
Die Untersuchung analysiert, ob neuronale Sprachmodelle grammatikalische Strukturen intern abbilden, anstatt sich lediglich auf Wahrscheinlichkeitswerte zu stützen. Durch den Einsatz von Mass-Mean-Probing wurde nachgewiesen, dass grammatikalische und ungrammatikalische Sätze systematisch in den internen Repräsentationsräumen der Modelle getrennt werden. Diese Kodierung erweist sich als robust gegenüber anderen Faktoren wie lexikalischer Häufigkeit oder inhaltlicher Plausibilität. Die Ergebnisse zeigen, dass Grammat
Routing-Obergrenzen sind domänenunabhängig: Strukturelle Prior-Injektion bei der Erkennung von Sicherheitslücken in Quellcode
Die Untersuchung analysiert die Wirksamkeit struktureller Vorgaben, sogenannter Cheatsheets, bei der Identifizierung von Sicherheitslücken in Quellcode durch große Sprachmodelle. Während diese Hilfsmittel die Leistung bei synthetischen Daten signifikant steigern, führt der Einsatz bei realen Schwachstellen zu einem massiven Leistungsabfall. Die Ergebnisse bestätigen die Router-Hypothese, wonach Modelle zwar über das notwendige Wissen verfügen, dieses aber nicht zuverlässig abrufen können. Da iterative Kalibrierunge
Unsicherheitsschätzung bei Schlussfolgerungen: Eine groß angelegte Studie zur mehrsprachigen MCQA-Leistung von LLMs
Die Studie untersucht Methoden zur Unsicherheitsschätzung in großen Sprachmodellen über 22 Sprachen hinweg. Dabei zeigt sich, dass die Aufforderung an das Modell, in englischer Sprache zu schlussfolgern, die Zuverlässigkeit bei Fragen in ressourcenarmen Sprachen signifikant verbessert. Dies deutet darauf hin, dass die Sprachverständnisfähigkeit auch bei selteneren Sprachen intakt ist, während die Generierung den eigentlichen Engpass darstellt. Zudem variiert die Effektivität der Unsicherheitsschätzung je nach Model
Das Labor der Zukunft benötigt die Infrastruktur eines Rechenzentrums
Wissenschaftliche Forschung wird zunehmend als die nächste große Quelle für hochwertige Trainingsdaten für künstliche Intelligenz betrachtet. Um dieses Potenzial zu erschließen, müssen Labore grundlegend transformiert werden, indem sie wie hochgradig automatisierte Rechenzentren konzipiert sind. Durch den Einsatz von Robotik und digitaler Prozesssteuerung lassen sich experimentelle Daten in einem Maßstab erfassen, der für das Training komplexer KI-Modelle in den Naturwissenschaften unerlässlich ist. Dieser Ansatz z
Die Bedeutung der jüngsten KI-Forschung von Anthropic
Ein führendes Unternehmen im Bereich der künstlichen Intelligenz veröffentlicht regelmäßig komplexe Forschungsarbeiten, die über die reine Leistungssteigerung von Modellen hinausgehen. Aktuelle Untersuchungen befassen sich mit grundlegenden Fragen zur Funktionsweise von neuronalen Netzen, etwa der Möglichkeit, ob KI-Systeme Empfindungen wie Schmerz simulieren oder verarbeiten könnten. Diese wissenschaftlichen Ansätze zielen darauf ab, die Blackbox der KI-Entscheidungsfindung besser zu verstehen und die Sicherheit s
Der Überblick: Claudes interne Prozesse und OpenAIs Super-App
Forschende haben tiefere Einblicke in die internen Mechanismen großer Sprachmodelle gewonnen, indem sie verborgene neuronale Strukturen identifizierten, in denen Konzepte verarbeitet werden. Diese Entdeckung ermöglicht ein besseres Verständnis darüber, wie KI-Systeme Informationen abstrahieren und logische Zusammenhänge herstellen. Parallel dazu intensivieren sich die Entwicklungen rund um umfassende KI-Anwendungen, die als zentrale Plattformen für verschiedenste digitale Aufgaben fungieren sollen. Diese Fortschrit
Wie offene Modelle die KI-Forschung vorantreiben
Die diesjährige International Conference on Machine Learning verdeutlicht einen zentralen Trend in der wissenschaftlichen KI-Entwicklung: Offene Modellarchitekturen und frei zugängliche Infrastrukturen bilden zunehmend das Fundament moderner Forschung. Die hohe Anzahl an akzeptierten wissenschaftlichen Arbeiten, die auf diesen offenen Ansätzen basieren, unterstreicht deren wachsende Bedeutung für den Fortschritt im Bereich der künstlichen Intelligenz. Dieser Wandel zeigt, dass die wissenschaftliche Gemeinschaft ver
KI-Entwicklungen: Belohnungs-Hacking, Anthropic-Daten und RL-gestützte Quadrocopter-Rennen
Die aktuelle Analyse beleuchtet das Phänomen des Reward-Hackings in gesellschaftlichen Kontexten und untersucht neue Datensätze von Anthropic zur Erforschung von RSI-Risiken. Ein weiterer Schwerpunkt liegt auf dem Einsatz von Reinforcement Learning bei der Steuerung von Quadrocoptern in Hochgeschwindigkeitsrennen. Abschließend wird die theoretische Frage diskutiert, ab welchem Zeitpunkt Finanzmärkte die ökonomischen Auswirkungen einer technologischen Singularität einpreisen könnten.
Form, Symmetrien und Struktur: Die wandelnde Rolle der Mathematik in der Forschung zum maschinellen Lernen
Die Forschung im Bereich des maschinellen Lernens hat in den letzten zehn Jahren einen deutlichen Wandel vollzogen. Während früher mathematisch fundierte und präzise entworfene Architekturen im Vordergrund standen, erzielen diese heute oft nur noch geringfügige Leistungssteigerungen. Stattdessen dominieren zunehmend rechenintensive Ansätze und ingenieurwissenschaftliche Methoden, die durch die Skalierung auf massiv größere Datensätze signifikante Fortschritte ermöglichen. Dieser Trend wirft grundlegende Fragen über