Senbonzakura: Entfernung von Sicherheitsfiltern bei offenen KI-Modellen
Das Projekt Senbonzakura stellt eine Methode zur sogenannten Multi-Direction Refusal Abliteration vor, mit der Sicherheitsmechanismen in Transformer-basierten Sprachmodellen gezielt umgangen werden können. Durch diesen technischen Ansatz lassen sich die in Modellen implementierten Verweigerungsinstanzen deaktivieren, um das Verhalten der KI bei bestimmten Anfragen zu verändern. Die Dokumentation beschreibt die notwendigen Schritte, um die internen Filterstrukturen innerhalb der Modellarchitektur zu identifizieren u
Der RG-Flow Transformer: Skalenfreie Dynamik in begrenzten EEG-Daten
Die Untersuchung analysiert den Einsatz eines speziellen Transformers mit Renormierungsgruppen-Induktionsbias zur Analyse von EEG-Daten, die ein skalenfreies 1/f-Leistungsspektrum aufweisen. Im Vergleich zu einem Standard-Transformer zeigt das Modell bei der Klassifizierung von Schlafstadien keine signifikanten Leistungsunterschiede, selbst bei geringer Datenverfügbarkeit. Der wesentliche Vorteil des RG-Flow-Ansatzes liegt in der Interpretierbarkeit, da das Modell in der Lage ist, den spektralen Exponenten der Gehi
Relationale Präferenzkodierung in internen Zuständen von Looped Transformern
Die Untersuchung analysiert, wie Looped Transformer menschliche Präferenzen durch die Auswertung interner Zustände kodieren. Nach einer nachträglichen Überprüfung wurden ursprüngliche Ergebnisse aufgrund methodischer Fehler bei der Datenauswertung korrigiert. Es zeigt sich, dass Präferenzen relational präziser dekodiert werden können als punktweise, wobei die Genauigkeit jedoch deutlich unter der von spezialisierten End-to-End-Belohnungsmodellen liegt. Die Arbeit unterstreicht die Notwendigkeit strenger Validierung
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Die Architektur PRISM erforscht die Rolle von Phaseninformationen in neuronalen Netzen, um die Abhängigkeit von reinen Aktivierungsstärken zu verringern. Durch den Einsatz komplexwertiger Berechnungen und harmonischer Faltungen nutzt das Modell destruktive Interferenz im Frequenzbereich, um Rauschen zu unterdrücken und die Repräsentationsqualität zu verbessern. Ein hybrider Ansatz, der phasenbasierte Routings mit klassischer Attention kombiniert, zeigt eine höhere Parametereffizienz. Analysen belegen, dass wesentli
Fortschritt bei EEG-basierten KI-Rollstühlen: Transformer-Modell für motorische Vorstellung
Ein neuer Forschungsansatz nutzt künstliche Intelligenz zur Steuerung von Rollstühlen mittels Gehirn-Computer-Schnittstellen. Das System basiert auf der Analyse von EEG-Daten, die motorische Vorstellungen von Handbewegungen erfassen. Durch die Implementierung einer Transformer-Architektur namens TFormerEEG konnte die Klassifizierungsgenauigkeit bei der Erkennung dieser Bewegungsmuster signifikant auf über 93 Prozent gesteigert werden. Eine integrierte Simulationsumgebung demonstriert die praktische Anwendbarkeit di
MIDI-RAE-JEPA: Hierarchisches Repräsentationslernen und Generierung für symbolische Musik
Das neue Modell MIDI-RAE-JEPA ermöglicht das selbstüberwachte Lernen hierarchischer Repräsentationen für symbolische Musikdaten, die als Piano-Roll-Bilder vorliegen. Durch die Kombination von zeitlicher und tonhöhenbezogener Äquivarianz mit einem Swin-Transformer-Encoder erfasst das System komplexe musikalische Strukturen präzise. Ein nachgeschaltetes generatives Modell auf Basis von Flow Matching nutzt diese Einbettungen, um musikalisch plausible Sequenzen zu erzeugen. Die Methode übertrifft bisherige Ansätze bei
Multi-Skalen-ViT-Inferenz mit Habitat-Priorisierung und kNN-Retrieval zur Identifizierung mehrerer Pflanzenarten
Die vorgestellte Lösung für die PlantCLEF 2026-Challenge adressiert die Identifizierung mehrerer Pflanzenarten in hochauflösenden Vegetationsaufnahmen, wobei das Training ausschließlich auf Einzelbildern basiert. Das System nutzt einen feinabgestimmten DINOv2-Vision-Transformer, der auf einer Multi-Skalen-Kachelzerlegung operiert. Die Vorhersagen werden durch einen FAISS-kNN-Retriever ergänzt und durch geografische sowie höhenbasierte Habitat-Priorisierungen verfeinert. Durch die Kombination von räumlichen Masken u
Ein Vision-Foundation-Modell für die Einzelzellbiologie durch räumliche Gen-Kartografie
Das neue Modell scVision transformiert die Analyse von Einzelzelldaten, indem es Transkriptome nicht als Sequenzen, sondern als kontinuierliche Bilder interpretiert. Durch ein festgelegtes räumliches Layout werden co-exprimierte Gene als benachbarte Pixel angeordnet, wodurch Genprogramme als lokale Texturen erkennbar werden. Ein auf 72 Millionen menschlichen Zellen trainierter Vision-Transformer ermöglicht präzise Zelltyp-Annotationen und die Identifikation biologischer Strukturen ohne vorheriges Fine-Tuning. Diese
ITGPT: Eine Transformer-basierte Architektur zur automatisierten Erstellung von Rhythmusspiel-Charts
Die manuelle Erstellung von Choreografien für Rhythmusspiele wie Dance Dance Revolution und In the Groove ist zeitaufwendig und komplex. ITGPT präsentiert eine neue, auf der Transformer-Architektur basierende Methode, um diese Tanz-Charts automatisiert zu generieren. Im Vergleich zu bisherigen Ansätzen erzielt das Modell eine deutlich höhere Genauigkeit bei der Erstellung der Schrittfolgen und reduziert gleichzeitig den erforderlichen Rechenaufwand. Damit bietet die Technologie eine effiziente Lösung für die automa
Gate-Zero Growth: Ein geometrisches Framework für funktionserhaltendes kontinuierliches Lernen
Die Methode Gate-Zero Growth ermöglicht ein effizientes kontinuierliches Lernen durch das Hinzufügen neuer Residual-Blöcke mittels null-initialisierter Gates. Durch die Wahrung der funktionalen Identität beim Wachstumsprozess wird das Vergessen bereits erlernter Informationen minimiert, da die ursprünglichen Gewichtsrichtungen unverändert bleiben. Die mathematische Analyse zeigt, dass diese Architektur eine kontrollierte Erweiterung der Modellkapazität erlaubt, ohne die Leistung auf alten Datensätzen zu beeinträcht
xHC: Erweiterte Hyper-Connections für effizientes LLM-Training
Die Methode der Hyper-Connections erweitert den Residual-Stream von Transformern in mehrere parallele Ströme, um die Speicherkapazität jenseits von Modellbreite und -tiefe zu skalieren. Bisherige Ansätze stießen bei einer Skalierung über vier Ströme hinaus auf Leistungseinbußen und hohe Rechenkosten. Das neue Verfahren xHC löst diese Engpässe durch eine zeitliche Merkmalsanreicherung und eine spärliche Architektur, bei der nur ein Teil der Ströme aktualisiert wird. In Kombination mit der Optimierung xHC-Flash ermög
TEDDY: Ein pädiatrisches Basismodell zur Risikofrüherkennung auf Basis von ICD-Diagnoseverläufen
Das neue KI-Modell TEDDY nutzt elektronische Patientenakten, um klinische Entwicklungsverläufe bei Kindern zu analysieren und Krankheitsrisiken frühzeitig vorherzusagen. Das Modell basiert auf einer Transformer-Architektur und wurde mit Millionen von ICD-10-Diagnosen trainiert. In umfangreichen Tests übertraf das System herkömmliche Methoden wie RNNs oder LSTMs deutlich, insbesondere bei seltenen Erkrankungen. Die Ergebnisse zeigen, dass präzise Vorhersagen selbst Jahre vor der ersten offiziellen Diagnose möglich s
Inverse-LLaVA: Neudenken der multimodalen Ausrichtung durch Text-zu-Bild-Mapping
Der neue Architekturansatz Inverse-LLaVA kehrt das konventionelle multimodale Lernen um, indem Text-Embeddings in den kontinuierlichen visuellen Repräsentationsraum projiziert werden, anstatt visuelle Merkmale in Text-Token zu übersetzen. Durch dieses Design entfällt die Notwendigkeit eines expliziten Alignment-Vortrainings, was die Abhängigkeit von umfangreichen Datensätzen reduziert. Die Methode ermöglicht effizientes multimodales Schlussfolgern und zeigt, dass die Trennung von Repräsentationsstruktur und Überwac
Token-Geometrie und effiziente Optimierung von Sprachmodellen
Die Untersuchung der Gradientengeometrie von Embedding-Tabellen und LM-Heads zeigt, dass diese sich signifikant von dichten Gewichten unterscheiden. Basierend auf dieser Erkenntnis wurde Ember entwickelt, ein leichtgewichtiger Optimierer, der den Speicherbedarf für diese Komponenten drastisch reduziert, indem er den VRAM-Verbrauch von O(VD) auf O(V+D) senkt. Die Forschung belegt, dass die Optimierungstrajektorien von Token-Parametern oft einfachen eindimensionalen Pfaden folgen, was bisherige Annahmen über hochkomp
Agile und wahrnehmungsbasierte Fortbewegung für vierbeinige Roboter im Gelände
Ein neues Framework namens APT-RL ermöglicht vierbeinigen Robotern die autonome Fortbewegung in komplexen Außen- und Innenumgebungen. Durch den Einsatz von vortrainierten Transformern und Reinforcement Learning werden verschiedene motorische Fähigkeiten erlernt, die ein nahtloses Umschalten zwischen Gangarten erlauben. Das System nutzt ausschließlich Onboard-Sensoren und Rechenleistung, um Hindernisse wie Treppen, Lücken oder unebenes Terrain bei Geschwindigkeiten von bis zu 6 Metern pro Sekunde sicher zu überwinde
Transformation des Rangs: Architekturdesign und der Erhalt der Repräsentationskapazität in tiefen neuronalen Netzen
Die Untersuchung analysiert, wie die Architektur von Transformer-Feedforward-Blöcken den Erhalt des Rangs über die Tiefe eines Netzwerks hinweg beeinflusst. Dabei werden Skip-Connections und Normalisierungsschichten als Mechanismen identifiziert, die den Verlust von Gradientenrang verhindern, welcher durch Matrixmultiplikationen und nichtlineare Aktivierungen entsteht. Die Arbeit zeigt, dass das Design der Architektur ein Gleichgewicht zwischen dem Vermeiden von Rangkollaps, ensemble-artigem Verhalten und der Param
VAIOM: Decoder-only Finanzsequenzmodellierung mit kontinuierlichen Eingabedaten
VAIOM stellt einen neuen Transformer-Ansatz für die probabilistische Modellierung von Finanzmarktrenditen vor. Im Gegensatz zu klassischen Modellen, die auf diskreten Symbolen basieren, verarbeitet dieses System kontinuierliche multivariate Finanzdaten direkt als Eingabe, während es die Vorhersage als diskrete Kategorien ausgibt. Durch die Kombination von kontinuierlichen Ereignismerkmalen mit Metadaten und speziellen Hilfszielen zur Volatilitätsregime-Erkennung übertrifft das Modell etablierte statistische Benchma
DeepLoop: Tiefenskalierung für Looped Transformer
Looped Transformer ermöglichen eine tiefere sequentielle Berechnung, indem sie eine kompakte Anzahl physischer Blöcke mehrfach durchlaufen, ohne die Anzahl der gespeicherten Parameter zu erhöhen. Da bei diesem Verfahren ein geteilter Block mehrfach Gradienten aggregiert, entstehen neue Herausforderungen für die Stabilität der Residual-Skalierung. Die Methode DeepLoop adressiert dies durch eine angepasste Skalierung der Residual-Verbindungen, die den sogenannten Visit-Alignment-Koeffizienten berücksichtigt. In Exper
Imputationsfreies Transformer-Lernen ermöglicht robuste Alzheimer-Prognose und kalibrierte Unsicherheitsquantifizierung
Ein neues KI-Modell auf Transformer-Basis ermöglicht die Analyse unvollständiger und heterogener klinischer Datensätze zur Alzheimer-Diagnose, ohne auf fehleranfällige Imputationsverfahren angewiesen zu sein. Durch die Modellierung von Abhängigkeiten innerhalb und zwischen Patienten mittels Masked- und Intersample-Attention können multimodale Daten direkt verarbeitet werden. Das System liefert dabei nicht nur präzise Vorhersagen, sondern quantifiziert auch die Unsicherheit der Ergebnisse. Dies erhöht die Zuverlässi
Hierarchische latente Strukturen in Datenprozessen als vereinheitlichende Erklärung für mechanistische Phänomene
Die mechanistische Interpretierbarkeit von Sprachmodellen offenbart wiederkehrende Phänomene wie Induktionsköpfe oder Funktionsvektoren, deren Ursprung bisher isoliert betrachtet wurde. Diese Untersuchung zeigt, dass diese Effekte keine Zufallsprodukte sind, sondern direkt aus hierarchischen latenten Strukturen im Datengenerierungsprozess resultieren. Durch die Verknüpfung von Datencharakteristika, Modellarchitektur und Optimierungsdynamik wird ein theoretischer Rahmen geschaffen, der erklärt, warum diese Phänomene
Invariante Lerndynamik von Transformern bei induktiven Schlussfolgerungsaufgaben
Ein neues theoretisches Framework erklärt die Entstehung induktiver Schlussfolgerungsfähigkeiten in Transformer-Sprachmodellen. Die Untersuchung zeigt, dass sich die Lerndynamik von Aufmerksamkeitsmodellen auf eine niedrigdimensionale, interpretierbare Mannigfaltigkeit beschränken lässt. Anstatt Millionen von Parametern zu betrachten, genügen wenige Koordinaten, um die Lernprozesse zu beschreiben. Dies ermöglicht ein tieferes Verständnis darüber, wie Datenstatistiken das Lernen im Kontext gegenüber dem Lernen in de
Lernen im gekrümmten Gewichtsraum: Exponentiell-lineare Reparametrisierung für optimiertes Training
Ein neuer Ansatz zur Reparametrisierung von Gewichten in neuronalen Netzen verbessert die Effizienz der Optimierung durch eine Kombination aus exponentiellen und linearen Pfaden. Während herkömmliche Optimierer additive Schritte nutzen, ermöglicht diese Methode eine an die Gewichtsgröße angepasste relative Anpassung. Durch die Einführung einer gekrümmten Geometrie im Parameterraum wird die Konvergenzgeschwindigkeit signifikant gesteigert. In Tests mit Transformer-Modellen konnte die benötigte Anzahl an Trainingssch
Strukturspezifische Repräsentations-Priors steuern kausal die Grokking-Verzögerung
Das Phänomen des Grokkings, bei dem neuronale Netze erst lange nach dem Erreichen einer perfekten Trainingsgenauigkeit generalisieren, wurde in dieser Untersuchung kausal analysiert. Durch die gezielte Injektion von strukturellen Repräsentations-Priors in ein Transformer-Modell konnte nachgewiesen werden, dass die Verzögerung direkt mit der Zeit korreliert, die das Modell zur Ausbildung korrekter aufgabenbezogener Merkmalsstrukturen benötigt. Die Ergebnisse zeigen, dass die Generalisierung primär von der Qualität d
Neubewertung von Unvollständigkeit: Formalisierung von Protokoll-Divergenz und Train-Once-Learning für robustes IMVC
Die gängige Praxis bei der Auswertung von unvollständigen multimodalen Daten (IMVC) vernachlässigt, dass die reine Fehlerrate nicht ausreicht, um die Datenqualität zu charakterisieren. Unterschiedliche Protokolle mit identischen Fehlerraten können sich in ihrer Struktur stark unterscheiden, was zu instabilen Lernprozessen führt. Als Lösung wurde die Architektur CRAFT entwickelt, die durch aufmerksamkeitsbasierte Maskierung und per-Sample-Unabhängigkeit eine robuste Verarbeitung ermöglicht. Dadurch kann ein Modell e
Höhere Embedding-Dimensionen fördern die Bildung robuster Weltmodelle bei Sortieraufgaben
Untersuchungen an Transformern, die mittels bestärkendem Lernen einfache Sortieralgorithmen erlernen, zeigen einen direkten Zusammenhang zwischen der Embedding-Dimension und der Qualität interner Repräsentationen. Während bereits kleine Modelle eine hohe Genauigkeit erreichen, führen größere Dimensionen zu konsistenteren und interpretierbareren Weltmodellen. Dabei bilden sich spezifische Mechanismen heraus, bei denen die Aufmerksamkeitsgewichte die globale Reihenfolge der Elemente kodieren und Transpositionen basie
Lokalisierung und Korrektur von Bias in Transformer-Attention-Heads
Sprachmodelle auf Transformer-Basis zeigen häufig unerwünschte Verzerrungen, die sich nur schwer gezielt beheben lassen. Ein neuer Ansatz namens ROBIN ermöglicht es, Bias direkt auf der Ebene der Attention-Heads zu identifizieren und zu korrigieren. Dabei werden die für Verzerrungen verantwortlichen Heads durch Sensitivitätsanalysen lokalisiert und durch die Entfernung spezifischer Bias-Unterräume angepasst. Diese Methode reduziert messbare Vorurteile in Modellen signifikant, während die allgemeine Sprachqualität b
SlimPer: Schlanke und intelligente Personalisierungsmodelle
SlimPer ist ein neuer Ansatz für Empfehlungssysteme, der die Architektur von Transformer-Modellen für die spezifischen Anforderungen von Ranking-Aufgaben optimiert. Anstatt autoregressive Vorhersagen zu nutzen, formuliert das Modell die Personalisierung als iterative Verfeinerung einer kompakten Wissensbasis. Durch eine effiziente Abfragelogik bleibt der Rechenaufwand unabhängig von der Länge der Nutzerhistorie, was eine tiefere Analyse bei gleichzeitig geringerem Speicherbedarf ermöglicht. Das Modell integriert ve
AVQ-Attention: Adaptive vektorquantisierte Aufmerksamkeit
Die quadratische Komplexität der Attention-Mechanismen in Transformer-Modellen stellt ein erhebliches Hindernis für die Skalierbarkeit dar. Ein neuer Ansatz namens Adaptive Vector-Quantized Attention adressiert dieses Problem, indem er die Kapazität des Codebuchs dynamisch basierend auf der Bedeutung der Aufmerksamkeitsgewichte verteilt. Durch ein hierarchisches Verfahren werden wichtige Bereiche präziser quantisiert, während weniger relevante Regionen grob approximiert bleiben. Eine effiziente Implementierung mitt
Lernbasierte probabilistische Lastprognose mit Post-hoc- und In-Modell-Unsicherheit
Die Arbeit untersucht Methoden zur probabilistischen Lastprognose in intelligenten Gebäuden, bei denen während der Anwendung häufig Datenlücken auftreten. Da fehlende Eingangsdaten rekonstruiert werden müssen, entstehen Unsicherheiten, die die Genauigkeit von Vorhersageintervallen beeinträchtigen können. Im Vergleich stehen modulare Post-hoc-Ansätze und integrierte Quantil-Lernverfahren unter Verwendung verschiedener Deep-Learning-Architekturen wie dem Temporal Fusion Transformer. Die Ergebnisse zeigen, dass die Wa
JoLT für den KV-Cache: Nahezu verlustfreie Kompression durch kombinierte Tucker-Zerlegung und JL-Residual-Allokation
Der Key-Value-Cache stellt bei der Inferenz von Transformer-Modellen einen erheblichen Speicherfaktor dar, der besonders bei langen Kontexten die Leistung limitiert. Das neue Verfahren JoLT adressiert dies durch eine tensorbasierte Kompression, die gezielt die Token- und Merkmalsachsen mittels Tucker-Zerlegung reduziert. Ergänzend werden durch eine Johnson-Lindenstrauss-Rotation Restfehler minimiert, wobei die Bit-Breiten dynamisch zugewiesen werden. Diese Methode ermöglicht eine zwei- bis dreifache Kompression ohn
ReDiTT: Retrieval-Augmented Conditional Diffusion Transformers für asynchrone Zeitreihen
Das Modell ReDiTT wurde für die Vorhersage asynchroner Zeitreihen entwickelt, um sowohl den Zeitpunkt als auch die Art zukünftiger Ereignisse präzise zu bestimmen. Durch den Einsatz eines retrieval-basierten Ansatzes greift das System während des Trainings und der Inferenz auf strukturell ähnliche Sequenzen in einem Speicher zu, die als Referenzbedingungen dienen. Diese Methode stabilisiert Prognosen über lange Zeiträume hinweg und erhöht die Vielfalt der generierten Ergebnisse. In Tests auf verschiedenen Datensätz
SinAE: Ein einheitlicher Flow-Matching-Autoencoder für domänenübergreifende atomare Systeme
Die generative Modellierung von Molekülen, Kristallen und Proteinen basiert bisher auf fragmentierten, domänenspezifischen Architekturen. Mit SinAE wurde ein einheitlicher Flow-Matching-Autoencoder entwickelt, der auf standardmäßigen Transformer-Komponenten basiert und ohne spezialisierte graphbasierte oder äquivariante Operatoren auskommt. Durch die Verlagerung der Rekonstruktionslast auf einen iterativen Decoder erreicht das Modell eine nahezu verlustfreie Rekonstruktion über verschiedene atomare Strukturen hinwe
Vergessliche Aufmerksamkeit: Ein trainierbarer Support-Vector-Speicher mit zertifizierter Selektion und exaktem Unlearning
Die neue Methode Support Vector Attention ermöglicht eine präzise Steuerung von Gedächtnisinhalten in KI-Modellen. Durch die Nutzung von Support-Vektor-Maschinen können einzelne Tokens gezielt und zertifiziert aus dem Kontext gelöscht werden, ohne die restlichen Ausgaben zu beeinflussen. Dieser Ansatz erlaubt ein exaktes Unlearning, bei dem der Zustand des Modells exakt dem einer vollständigen Neu-Trainierung ohne das gelöschte Element entspricht. Die Technik verbessert die Leistung bei der Verarbeitung seltener Da
Sparse interschichtige Abhängigkeiten von Transformer-FFN-Neuronen
Feedforward-Netzwerke machen einen Großteil der Parameter und Rechenleistung in Transformer-Architekturen aus, sind jedoch aufgrund ihrer komplexen Struktur schwer interpretierbar. Eine neue, trainingsfreie Attributionsmethode zeigt nun, dass die Aktivierung einzelner Neuronen durch eine geringe Anzahl vorangegangener Neuronen und Attention-Outputs erklärt werden kann. Diese strukturierten Abhängigkeiten ermöglichen es, die Modellaktivität bei moderater Sparsity beizubehalten, ohne die Perplexity signifikant zu bee
Selbstentwickelndes In-Context Learning für direktes Beamformer-Design in MU-MISO-Systemen
Ein neues Framework für In-Context Learning optimiert das pilotbasierte Beamforming in Multi-User-MISO-Systemen. Durch die Kombination von Transformer-Architekturen mit speziellen Encoder-Decoder-Netzwerken können verschiedene Kanalmodelle ohne erneutes Training verarbeitet werden. Ein selbstentwickelnder Mechanismus sowie eine Curriculum-Learning-Strategie ermöglichen dabei den Übergang von überwachtem Lernen zur unüberwachten Maximierung der Summenrate. Das System passt sich flexibel an bekannte und unbekannte Ka
Skalenbewusste Aufmerksamkeit für begrenzte neuronale Daten: Ein RG-Flow-Transformer für EEG-Schlafdaten
Die Untersuchung analysiert den Einsatz eines speziellen RG-Flow-Transformers bei der Analyse von EEG-Daten zur Schlafstadienklassifizierung. Durch die Integration eines Renormierungsgruppen-Induktionsbias soll das Modell besser mit begrenzten Datenmengen umgehen können. Die Ergebnisse zeigen, dass das Modell in der Klassifizierungsgenauigkeit zwar keine signifikanten Vorteile gegenüber einem Standard-Transformer bietet, jedoch eine überlegene Interpretierbarkeit aufweist. Insbesondere ist das Modell in der Lage, d
Entflechtung von Merkmalsstrukturen: Mathematisch beweisbare zweistufige Trainingsdynamik in Transformern
Die Untersuchung analysiert die zweistufige Trainingsdynamik von Transformer-Modellen, bei der sich Merkmale wie Syntax und Semantik zeitlich getrennt entwickeln. Anhand eines theoretischen Modells mit normalisierter ReLU-Self-Attention wird nachgewiesen, wie diese Phasen der Merkmalsbildung mathematisch entstehen. Die Ergebnisse zeigen, dass dieser Prozess eng mit den spektralen Eigenschaften der Aufmerksamkeitsgewichte verknüpft ist. Diese Erkenntnisse bieten ein tieferes Verständnis für die interne Lernstruktur
Schicht-parallele Inferenz reduziert verschlüsselte nichtlineare Tiefe in Transformern
Die vollständig homomorphe Verschlüsselung ermöglicht Berechnungen auf verschlüsselten Daten, stößt jedoch bei Transformer-Modellen aufgrund der sequenziellen Abfolge nichtlinearer Blöcke an Effizienzgrenzen. Ein neuer Ansatz namens Structured Newton Layer Parallelism (SNLP) adressiert dieses Problem, indem die sequenzielle Tiefe der nichtlinearen Schichten durch ein iteratives Lösungsverfahren deutlich verkürzt wird. Simulationen zeigen, dass diese Methode die Anzahl notwendiger Bootstrapping-Operationen bei minim
Überbrückung der Lücke zwischen latentem und explizitem Schlussfolgern mit Looped Transformers
Die Forschung stellt LOTUS vor, eine Methode, die latentes Schlussfolgern in Sprachmodellen effizienter gestaltet. Bisherige Ansätze für latentes Chain-of-Thought blieben bei größeren Modellen hinter expliziten Methoden zurück. Durch die Kombination von Looped Transformers, die Gewichte wiederverwenden, mit einer parallelen Überwachung der latenten Zustände erreicht das Modell eine Leistung auf Augenhöhe mit explizitem Chain-of-Thought bei einer 3B-Skalierung. Dabei wird die Latenz der Denkphase signifikant reduzie
Kausale Basismodelle für kontinuierliche Interventionen
Die Schätzung kausaler Effekte aus Beobachtungsdaten ist ein zentrales wissenschaftliches Werkzeug, wobei insbesondere kontinuierliche Interventionsvariablen eine besondere Herausforderung darstellen. Ein neu entwickeltes kausales Basismodell ermöglicht es nun, kausale Effekte über eine Vielzahl unbekannter Aufgaben hinweg vorherzusagen, ohne dass ein erneutes Training oder eine Feinabstimmung erforderlich ist. Durch den Einsatz von In-Context-Learning rekonstruiert das Modell individuelle Wirkungskurven und erziel
Turbo Connection: Schlussfolgerungen als Informationsfluss zwischen Modellschichten
Die Architektur Turbo Connection adressiert die Einschränkungen von Transformern bei komplexen logischen Aufgaben, indem sie die feste Anzahl an Rechenschritten aufhebt. Durch die gezielte Rückführung von Informationen aus höheren Schichten eines Tokens in die unteren Schichten nachfolgender Token wird die Tiefe des Rechenpfads dynamisch erweitert. Diese Methode ermöglicht es, bestehende Sprachmodelle effizient nachzutrainieren und deren Genauigkeit bei mathematischen und logischen Benchmarks signifikant zu steiger
Steuerbar effiziente Sprachmodelle
Die Architektur Compress & Attend Transformer ermöglicht eine flexible Steuerung des Verhältnisses zwischen Rechenaufwand und Modellqualität während der Laufzeit. Durch die Verarbeitung komprimierter Token-Blöcke reduziert das Modell den Speicherbedarf und die Latenz bei der Textgenerierung erheblich. Da das System während des Trainings auf verschiedene Blockgrößen optimiert wird, lässt sich die Effizienz ohne erneutes Training an die spezifischen Anforderungen der jeweiligen Anwendung anpassen. Das Modell erreicht
Entschlüsselung der Mechanismen von Multi-Hop-Reasoning in Transformern durch Identity Bridge
Große Sprachmodelle zeigen Schwächen bei der logischen Verknüpfung von Informationen, wenn sie mit unbekannten Kombinationen konfrontiert werden. Diese Untersuchung identifiziert das Fehlen einer direkten Überwachung der sogenannten Brückenentitäten als Ursache für dieses Problem. Durch die Einführung einer Identity-Bridge-Methode, die eine Identitätsabbildung auf Brücken-Token erzwingt, lässt sich die Generalisierungsfähigkeit bei komplexen Schlussfolgerungen signifikant verbessern. Theoretische Analysen und empir
Imputationsfreies Transformer-Lernen ermöglicht robuste Alzheimer-Prognosen und kalibrierte Unsicherheitsquantifizierung
Die Diagnose und Schweregradbestimmung von Alzheimer wird häufig durch unvollständige und heterogene klinische Daten erschwert. Ein neues Transformer-Modell namens NITROGEN umgeht die Notwendigkeit der Datenimputation, indem es Merkmalsabhängigkeiten innerhalb von Patienten sowie zwischen Patienten direkt modelliert. Durch den Einsatz von maskierter und inter-sample Aufmerksamkeit ermöglicht das System ein robustes multimodales Lernen aus lückenhaften Datensätzen. Die Methode liefert nicht nur präzise Vorhersagen,
Adaptives Routing für effiziente, auf Diffusion-Transformern basierende PNI-Vorhersage
Die präoperative Vorhersage der perineuralen Invasion bei Gallengangskarzinomen mittels Magnetresonanztomographie stellt aufgrund subtiler Bildmerkmale eine Herausforderung dar. Während Transformer-Architekturen globale Zusammenhänge besser erfassen als klassische neuronale Netze, erfordern diffusionsbasierte Klassifikatoren oft einen hohen Rechenaufwand. Ein neuer Ansatz nutzt nun ein diffusionsbasiertes Klassifikationsmodell mit einer Transformer-basierten Repräsentation, das durch adaptives Routing über Attentio
Referenzbasierte Gesichts-Super-Resolution mittels Spatial Transformer
Die hochauflösende Rekonstruktion von Gesichtsbildern stellt eine komplexe Herausforderung in der Computer Vision dar. Ein neuer Ansatz nutzt hochauflösende Referenzbilder, um fehlende Details präzise zu ergänzen. Dabei kommt ein auf Spatial Transformern basierendes Ausrichtungsmodul zum Einsatz, das sich als stabiler gegenüber herkömmlichen deformierbaren Faltungen erweist. Zudem ermöglicht eine adaptive Aggregationsfunktion die selektive Einbindung von Referenzinformationen. Das Modell erzielt trotz kompakter Arc
Transformer-basierte inverse Mikrorheologie für die experimentelle Mechanik bei ultrahohen Dehnraten
Die Charakterisierung weicher Materialien unter extremen Belastungsbedingungen stößt bei klassischen Verfahren oft an Grenzen. Ein neues KI-gestütztes Framework namens Bubble Dynamics Transformer ermöglicht nun die schnelle Bestimmung viskoelastischer Materialeigenschaften durch die Analyse von Blasendynamik. Das Modell kombiniert physikbasierte Simulationen mit Transformer-Architekturen, um aufwendige iterative Optimierungsprozesse zu ersetzen. Dadurch können Materialparameter direkt aus zeitaufgelösten Messdaten
Transformer-basiertes Actor-Critic Reinforcement Learning für sequenzbewusste Service-Funktionsketten-Partitionierung
Für die effiziente Verwaltung virtualisierter Netzwerkfunktionen in zukünftigen 6G-Netzwerken ist eine präzise Aufteilung von Service-Funktionsketten entscheidend. Ein neuer Ansatz nutzt ein Transformer-gestütztes Actor-Critic-Framework, um komplexe Abhängigkeiten zwischen den Funktionen durch Selbstaufmerksamkeitsmechanismen zu modellieren. Durch die Integration spezieller Explorationsstrategien und Normalisierungsmethoden verbessert das Modell die Trainingsstabilität signifikant. Simulationen zeigen, dass diese M
Beschleunigung der Inferenz von Large Language Models durch selbstüberwachte vorzeitige Ausstiege
Ein neuer modularer Ansatz zur Effizienzsteigerung von Sprachmodellen nutzt zusätzliche Ausstiegspunkte in den mittleren Schichten der Transformer-Architektur. Diese werden selbstüberwacht trainiert, um die Vorhersagen des Hauptmodells zu imitieren, wodurch die Berechnung bei ausreichender Konfidenz vorzeitig beendet werden kann. Die Methode nutzt Entropie als zuverlässiges Maß zur Bestimmung des Abbruchzeitpunkts. In Kombination mit spekulativem Dekodieren ermöglicht das Verfahren eine signifikante Steigerung der
CITRAS-FM: Ein kompaktes Foundation-Modell für Zeitreihenprognosen mit Kovariaten
CITRAS-FM ist ein effizientes Foundation-Modell für Zeitreihen mit lediglich sieben Millionen Parametern, das speziell für Zero-Shot-Prognosen entwickelt wurde. Durch eine neuartige Architektur mit verschobener Aufmerksamkeit kann das Modell exogene Kovariaten einbeziehen, die den Zielwert beeinflussen. Um die Herausforderung mangelnder Trainingsdaten zu bewältigen, nutzt das System die CovSynth-Methode zur Synthese realistischer Kovariaten. In Tests zeigt das Modell eine hohe Genauigkeit bei gleichzeitig extrem sc
UPipe: Speichereffiziente Kontext-Parallelisierung durch Headwise Chunking
Die Verarbeitung extrem langer Sequenzen in Transformer-Modellen stößt bei herkömmlichen Methoden der Kontext-Parallelisierung oft an Speicherlimits. Mit UPipe wurde ein Verfahren entwickelt, das durch eine feingranulare Aufteilung auf Ebene der Attention-Heads den Speicherbedarf für Aktivierungen massiv senkt. Dies ermöglicht eine Reduktion des Speicherverbrauchs für Zwischentensoren um bis zu 87,5 Prozent. In der Praxis erlaubt dieser Ansatz das Training mit Kontextlängen von bis zu fünf Millionen Token auf einem
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Ein neuer Forschungsansatz untersucht die Rolle der Phase in neuronalen Netzen, um die semantische Bedeutung von der reinen Aktivierungsstärke zu trennen. Durch die Einführung einer komplexwertigen Architektur namens PRISM wird die Aufmerksamkeit durch harmonische Faltungen ersetzt, die auf subtraktiver Interferenz basieren. Dies ermöglicht es dem Modell, Rauschen effektiv zu unterdrücken und Informationen effizienter zu verarbeiten. Analysen zeigen, dass die Phaseninformation für die Aufgabenbewältigung entscheide
Ersetzt generative KI das überwachte XMLC? Eine Benchmark-Studie zur automatisierten Sacherschließung deutschsprachiger wissenschaftlicher Literatur
Die automatisierte Sacherschließung in Bibliotheken stellt aufgrund der großen kontrollierten Vokabulare eine Herausforderung im Bereich der Extreme Multi-Label Classification (XMLC) dar. Eine aktuelle Studie vergleicht spezialisierte überwachte XMLC-Methoden mit klassischen lexikalischen Verfahren und neuen generativen KI-Ansätzen anhand von Daten der Deutschen Nationalbibliothek. Während überwachte XMLC-Algorithmen auf Basis von Transformer-Modellen bei binären Relevanzmetriken überzeugen, zeigen generative KI-Me
xHC: Erweiterte Hyper-Connections für effizientes LLM-Training
Die Methode der Hyper-Connections erweitert den Residual-Stream von Transformern in mehrere parallele Ströme, um die Speicherkapazität jenseits von Modellbreite und -tiefe zu skalieren. Da bisherige Ansätze bei einer Erweiterung über vier Ströme hinaus an Effizienz verloren, wurde xHC entwickelt. Durch zeitliche Merkmalsanreicherung und eine spärliche Architektur, die nur einen Teil der Ströme aktualisiert, ermöglicht xHC eine effektive Skalierung auf bis zu 16 Ströme. In Kombination mit der Optimierung xHC-Flash w
T^2MLR: Transformer mit zeitlicher Rekursion in der mittleren Schicht
Die Architektur T^2MLR adressiert die Einschränkungen autoregressiver Transformer bei komplexen Schlussfolgerungsprozessen. Durch die Integration einer zwischengespeicherten Repräsentation der mittleren Schicht aus dem vorherigen Token in die aktuelle Berechnungsebene können abstrakte Zwischenzustände über mehrere Dekodierungsschritte hinweg erhalten bleiben. Dieser Ansatz erfordert nur einen geringen Rechenaufwand und lässt sich durch ein kurzes Finetuning in bestehende vortrainierte Modelle integrieren. Die Metho
Beschleunigung der Inferenz von Large Language Models durch selbstüberwachte vorzeitige Ausstiege
Ein neuer modularer Ansatz ermöglicht die Beschleunigung der Inferenz bei großen Sprachmodellen durch die Integration zusätzlicher Ausstiegspunkte in den Transformer-Schichten. Diese Köpfe werden selbstüberwacht trainiert, um die Vorhersagen des Hauptmodells zu imitieren, wodurch die Berechnung bei ausreichender Konfidenz vorzeitig abgebrochen werden kann. Die Methode nutzt Entropie als zuverlässige Metrik zur Bestimmung des Abbruchzeitpunkts. Tests zeigen eine deutliche Reduktion der Rechenkosten bei gleichbleiben
Der RG-Flow Transformer: Skalenfreie Dynamik in begrenzten EEG-Daten
Die Untersuchung analysiert den Einsatz eines speziellen Transformer-Modells, das durch ein Renormierungsgruppen-Induktionsbias erweitert wurde, um die skalenfreie Dynamik von Gehirnstromsignalen in EEG-Daten zu erfassen. Im direkten Vergleich mit einem herkömmlichen Transformer bei der Klassifizierung von Schlafstadien zeigt das Modell keine signifikanten Vorteile bei der reinen Vorhersagegenauigkeit, selbst bei begrenzten Datenmengen. Der entscheidende Mehrwert liegt jedoch in der Interpretierbarkeit: Das Modell
Profiling in PyTorch (Teil 3): Aufmerksamkeit ist alles, was man profiliert
Der dritte Teil der Artikelserie widmet sich der detaillierten Leistungsanalyse von Transformer-Modellen innerhalb des PyTorch-Frameworks. Im Fokus steht dabei die Identifikation von Engpässen bei der Berechnung von Attention-Mechanismen, die für moderne Sprachmodelle essenziell sind. Durch den Einsatz spezialisierter Profiling-Werkzeuge können Entwickler die Ausführungszeit und den Speicherverbrauch präzise messen. Dies ermöglicht eine gezielte Optimierung der Rechenoperationen, um die Effizienz beim Training und
Native-speed vLLM Transformers-Modellierungs-Backend
Die Integration eines nativen vLLM-Backends für Transformers-Modelle zielt darauf ab, die Inferenzgeschwindigkeit bei der Ausführung großer Sprachmodelle signifikant zu steigern. Durch die direkte Nutzung der vLLM-Architektur innerhalb der bestehenden Modell-Frameworks werden Latenzzeiten minimiert und der Durchsatz bei der Token-Generierung optimiert. Diese technische Neuerung ermöglicht eine effizientere Nutzung von Grafikprozessoren und verbessert die Skalierbarkeit für produktive KI-Anwendungen, ohne die Kompat
Mamba erklärt
Mamba stellt eine neue Architektur für KI-Modelle vor, die auf sogenannten State Space Models basiert. Diese Technologie zielt darauf ab, die Effizienzprobleme klassischer Transformer-Modelle bei der Verarbeitung sehr langer Datenfolgen zu lösen. Durch einen neuartigen Ansatz zur Sequenzmodellierung bietet Mamba eine leistungsfähige Alternative, die den hohen Rechenaufwand herkömmlicher Aufmerksamkeitsmechanismen reduziert und somit eine skalierbarere Verarbeitung komplexer Informationen ermöglicht.