Claude verfasst unter Einbeziehung von ChatGPT eine Geschichte der Künstlichen Intelligenz
Ein Rückblick auf die Entwicklung der Künstlichen Intelligenz seit 1973 korrigiert verbreitete Fehlannahmen über den Fortschritt der Forschung. Dabei wird insbesondere die These widerlegt, dass die Entwicklung neuronaler Netze zeitweise vollständig zum Erliegen kam. Durch den Einsatz von Claude, das für diesen Prozess Feedback von ChatGPT nutzte, entsteht eine differenzierte historische Aufarbeitung. Der Text beleuchtet die kontinuierlichen wissenschaftlichen Bemühungen und die evolutionären Schritte, die das heuti
Neue nicht-euklidische neuronale Quantenzustände durch erweiterte hyperbolische rekurrente neuronale Netze
Die Forschung erweitert die Klasse nicht-euklidischer neuronaler Quantenzustände um neue Varianten wie Poincare-RNN sowie Lorentz-RNN und Lorentz-GRU. In Experimenten mit Heisenberg-Spinmodellen zeigen diese hyperbolischen Ansätze eine durchgängige Überlegenheit gegenüber ihren euklidischen Pendants. Insbesondere das Lorentz-RNN erweist sich trotz einer geringeren Parameteranzahl als besonders effizient. Die Ergebnisse unterstreichen das Potenzial dieser Architekturen für die Untersuchung komplexer Quantenvielteilc
Photonisches faltendes neuronales Netz mit vortrainierter In-situ-Optimierung
Ein neuartiges photonisches neuronales Netz ermöglicht die Bildverarbeitung direkt im optischen Bereich und überwindet damit die Energie- und Latenzengpässe herkömmlicher elektronischer Hardware. Das System integriert Faltung, Max-Pooling, nichtlineare Aktivierung und vollständig verbundene Schichten auf einem Chip. Durch einen exakten digitalen Zwilling kann das Modell effizient vortrainiert und anschließend auf die photonische Hardware übertragen werden. Mit einer Genauigkeit von 94,49 Prozent bei der MNIST-Klass
Neuronale Architekturen für amortisierte Bayes-Inferenz: Statistische Grundlagen und empirische Analysen
Die amortisierte Bayes-Inferenz ermöglicht eine effiziente statistische Modellierung, indem rechenintensive Prozesse in eine initiale Trainingsphase für neuronale Netze verlagert werden. Dies reduziert den Berechnungsaufwand bei der Anwendung erheblich im Vergleich zu klassischen Monte-Carlo-Verfahren. Die Untersuchung beleuchtet die statistischen Grundlagen gängiger Architekturen wie Feedforward-Netze, Deep Sets und Transformer im Kontext der Bayes-Inferenz. Durch umfassende Simulationen werden Genauigkeit, Robust
Modellierung und Steuerung von tiefen vorzeichenbestimmten Dynamiken für hybride Antriebssysteme
Die datengetriebene Steuerung komplexer Systeme erfordert Modelle, die physikalische Strukturen einhalten und eine effiziente Optimierung ermöglichen. Ein neuer Ansatz nutzt Vorzeichenbeschränkungen für die Jacobi-Matrix, um Monotonie und Positivität in tiefen neuronalen Netzen strukturell zu verankern. Durch diese Parametrisierung lässt sich die modellprädiktive Regelung als konvexes quadratisches Programm formulieren, was zu eindeutigen Optimierungsergebnissen und stabilen Steuerungsgesetzen führt. Praktische Anw
Verteilungsrobuste Optimierung durch iterative Algorithmen in kontinuierlichen Wahrscheinlichkeitsräumen
Die Arbeit präsentiert einen neuen Ansatz für die verteilungsrobuste Optimierung, der speziell auf kontinuierliche Wahrscheinlichkeitsverteilungen ausgerichtet ist. Durch die Anwendung des Brenier-Theorems wird das Minimax-Problem im Wasserstein-Raum als Transportabbildung modelliert, was die rechnerischen Hürden klassischer, diskreter Methoden umgeht. Ein neu entwickeltes iteratives Framework ermöglicht dabei die globale Konvergenz unter moderaten Annahmen. Praktische Tests mit neuronalen Netzen zeigen, dass diese
Ein Überblick über Algorithmen für das Maximum-Clique-Problem: Klassische, KI-basierte und Quantenmethoden
Das Maximum-Clique-Problem stellt eine zentrale Herausforderung in der Graphentheorie dar, bei der es darum geht, die größte Teilmenge von Knoten zu identifizieren, die paarweise miteinander verbunden sind. Diese Übersichtsarbeit fasst den aktuellen Forschungsstand zusammen und ergänzt historische Analysen um moderne Entwicklungen. Dabei werden klassische Lösungsansätze ebenso betrachtet wie innovative Methoden aus dem Bereich der Graph-Neuronalen Netze und der Quanteninformatik. Die Zusammenstellung bietet eine st
Komplexitätsergebnisse für die Robustheitsverifizierung binarisierter neuronaler Netze
Diese Untersuchung analysiert die rechnerische Komplexität bei der Verifizierung binarisierter neuronaler Netze, bei denen Gewichte und Aktivierungen ausschließlich binäre Werte annehmen. Es wird nachgewiesen, dass die Prüfung linearer Eigenschaften sowie die Robustheitsverifizierung bei nicht-uniformer Bildverdeckung NP-vollständig sind. Im Gegensatz dazu führt eine uniforme Verdeckung zu einer stückweise konstanten Struktur der Netzwerkausgabe, was die Entwicklung eines effizienten Algorithmus mit polynomieller L
Grow-Prune-Freeze-Netzwerke: Adaptive und kontinuierliche Lernmethode für die olfaktorische Navigation
Die olfaktorische Navigation stellt aufgrund ihrer dynamischen und nicht-stationären Natur eine Herausforderung für die Robotik dar. Das neu entwickelte Grow-Prune-Freeze-Framework ermöglicht es Agenten, durch das gezielte Wachsen, Beschneiden und Einfrieren von Netzwerkschichten kontinuierlich zu lernen und sich an die Komplexität der Umgebung anzupassen. Basierend auf der Theorie nicht-linearer Zufallsmatrizen zeigt das Modell eine hohe Stabilität bei der Navigation durch turbulente Strömungen. Die Methode erweis
NORACL: Neurogenese für Oracle-freies, ressourcenadaptives kontinuierliches Lernen
Das Stabilitäts-Plastizitäts-Dilemma beim kontinuierlichen Lernen entsteht oft durch die feste Kapazität neuronaler Netze, die eine Vorabkenntnis über zukünftige Aufgaben erfordert. NORACL adressiert dieses Problem durch einen biologisch inspirierten Ansatz der Neurogenese, bei dem das Modell nur bei Bedarf wächst. Durch die Überwachung von Sättigungssignalen für Repräsentation und Plastizität expandiert das Netzwerk dynamisch. Dies ermöglicht eine bessere Leistung bei gleichzeitig geringerem Parameterverbrauch im
Synthetisierung realer Datenverteilungen aus hochdimensionalem Gauß-Rauschen mittels vollvernetzter neuronaler Netze
Die Erzeugung synthetischer Daten bietet signifikante Vorteile für das maschinelle Lernen, insbesondere durch verbesserte Datenaugmentation und den Schutz der Privatsphäre. Ein neuer Ansatz nutzt vollvernetzte neuronale Netze, um hochdimensionales Gauß-Rauschen in Zielverteilungen für tabellarische Datensätze zu transformieren. Durch die Kombination von PCA-Dimensionsreduktion und speziellen Verlustfunktionen auf Basis der Wasserstein-Distanz erzielt das Modell eine hohe Ähnlichkeit zu realen Daten. Tests zeigen, d
PhasorFlow: Eine Python-Bibliothek für Berechnungen auf dem Einheitskreis
PhasorFlow ist eine Open-Source-Bibliothek für Berechnungen auf dem Einheitskreis, bei denen Eingabedaten als komplexe Phasoren kodiert werden. Durch den Einsatz unitärer Welleninterferenz-Gatter bleiben Normen erhalten, während Berechnungen kontinuierliche geometrische Gradienten nutzen. Das Framework umfasst das Modell der Phasor-Schaltkreise, trainierbare Variational Phasor Circuits sowie eine Phasor-Transformer-Architektur, die herkömmliche Attention-Mechanismen durch eine parameterfreie DFT-Token-Mischung erse
Grokking verstehen: Beweisbare Generalisierung in der Ridge-Regression
Die Untersuchung analysiert das Phänomen des Grokkings, bei dem Modelle erst lange nach dem Overfitting eine gute Generalisierung erreichen, im Kontext der Ridge-Regression. Es wird mathematisch belegt, dass überparametrisierte lineare Modelle mittels Gradientenabstieg und Gewichtsabfall zunächst die Trainingsdaten auswendig lernen, bevor sie nach einer Verzögerungsphase eine hohe Vorhersagegenauigkeit erzielen. Die Ergebnisse zeigen, dass sich dieser Prozess durch die gezielte Anpassung von Hyperparametern steuern
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Die Architektur PRISM erforscht die Rolle von Phaseninformationen in neuronalen Netzen, um die Abhängigkeit von reinen Aktivierungsstärken zu verringern. Durch den Einsatz komplexwertiger Berechnungen und harmonischer Faltungen nutzt das Modell destruktive Interferenz im Frequenzbereich, um Rauschen zu unterdrücken und die Repräsentationsqualität zu verbessern. Ein hybrider Ansatz, der phasenbasierte Routings mit klassischer Attention kombiniert, zeigt eine höhere Parametereffizienz. Analysen belegen, dass wesentli
Primal-Dual-Algorithmus für kontextuelle stochastische kombinatorische Optimierung
Dieser Forschungsansatz kombiniert Methoden des Operations Research mit maschinellem Lernen, um Entscheidungsfindungen unter Unsicherheit zu verbessern. Durch die Integration von neuronalen Netzen mit kombinatorischen Optimierungsschichten wird eine effiziente Strategie zur Minimierung empirischer Kosten entwickelt. Ein neuartiger Primal-Dual-Algorithmus nutzt dabei eine spezielle Regularisierungsmethode, die auf spärlichen Störungen basiert, um komplexe Optimierungsprobleme handhabbar zu machen. Die Methode zeichn
Online-neuronaler Raum-Zeit-Speicher für die Synthese dynamischer neuer Ansichten
Die Synthese neuer Ansichten aus Video-Streams steht vor der Herausforderung, langfristige räumliche Informationen bei strikten Echtzeitanforderungen zu speichern. Ein neuer Ansatz entkoppelt die Frequenz von Speicheraktualisierungen von der Bildverarbeitung, um den Rechenaufwand zu minimieren. Durch die Nutzung von Cross-View-Attention und einer speziellen Speicher-Caching-Strategie können verdeckte Bereiche über längere Zeiträume konsistent rekonstruiert werden. Das Verfahren ermöglicht eine stabile Echtzeit-Dars
NeuronSoup: Entwicklung asynchroner, geteilter temporaler Neuronengraphen ohne Backpropagation
NeuronSoup ist eine neuartige neuronale Architektur, die auf asynchroner Signalübertragung durch einen Pool gemeinsam genutzter Neuronen basiert, anstatt auf einer synchronen schichtweisen Verarbeitung. Die Struktur, einschließlich Gewichten und Verzögerungen, wird durch einen genetischen Algorithmus optimiert, wodurch die Notwendigkeit für Backpropagation entfällt. Da Signale in den geteilten Neuronen zeitabhängig interferieren, passt das System seine Rechenkapazität dynamisch an die jeweilige Eingabe an. Dieser A
Subgrid-Skalen-Parametrisierung in der Burgers-Gleichung mittels strukturerhaltender neuronaler Netze und Entropievariablen
Ein neuer Ansatz für maschinelles Lernen ermöglicht die Entwicklung von Subgrid-Skalen-Parametrisierungen für grobe Simulationen partieller Differentialgleichungen. Durch die Kombination von strukturerhaltenden neuronalen Netzen mit Entropievariablen werden subskalige Flüsse in der Burgers-Gleichung präzise modelliert. Die Architektur trennt Korrekturen in ein konservatives Flusspotenzial-Netzwerk und ein Eddy-Viskositäts-Netzwerk. Dieses Verfahren bewahrt die physikalische Genauigkeit, reproduziert das Energiespek
Zufälliges Rauschen der Parameter vereinfacht die exakte Verifizierung von ReLU-Netzwerken nicht
Die exakte Verifizierung von ReLU-Netzwerken bleibt auch unter Berücksichtigung von Rauschen in den Parametern eine komplexe Herausforderung. Eine theoretische Untersuchung zeigt, dass selbst bei einer unabhängigen Störung von Gewichten und Bias durch Gauß-Rauschen keine effiziente, in polynomieller Zeit arbeitende Verifizierungsmethode existiert, sofern die Annahme NP nicht in BPP enthalten ist gilt. Diese Erkenntnis ist bereits für einfache Netzwerke mit einer verborgenen Schicht gültig. Die Ergebnisse verdeutlic
Generalisierte neuronale distributionale Regression
Das Framework der generalisierten neuronalen distributionalen Regression integriert tiefe neuronale Netze in die Parameterstruktur klassischer Wahrscheinlichkeitsverteilungen. Durch ein zweistufiges semi-parametrisches Schätzverfahren werden die Vorhersageköpfe von der restlichen Netzwerkarchitektur getrennt, was die analytische Berechnung von Fisher-Informationsmatrizen ermöglicht. Dies erlaubt eine präzise Quantifizierung von Unsicherheiten, wie etwa konfidenzbasierte Intervalle für spezifische Beobachtungen. Die
Grad2Fair: Ein gradientenbasierter Ansatz für Fairness in Graphen ohne demografische Daten
Graph-Neuronale Netze weisen häufig Verzerrungen gegenüber bestimmten demografischen Gruppen auf, wobei bisherige Lösungsansätze meist auf die Verfügbarkeit sensibler Attribute angewiesen waren. Der neue Ansatz Grad2Fair umgeht diese Anforderung, indem er auf die Nutzung vorhergesagter demografischer Daten verzichtet, die oft ungenau sind. Stattdessen nutzt das Verfahren die Gradientenverteilungen falsch klassifizierter Knoten, da diese implizit demografische Informationen enthalten. Durch die direkte Verwendung di
Probabilistische physik-informierte neuronale Netze zur Schätzung heterogener elastischer Eigenschaften aus niedrig aufgelösten und verrauschten Verschiebungsdaten
Die Bestimmung räumlich heterogener elastischer Eigenschaften aus unpräzisen Messdaten stellt ein komplexes inverses Problem dar, da geringe Auflösungen und Rauschen die Genauigkeit herkömmlicher Verfahren einschränken. Ein neues probabilistisches Framework, PIE-PINN, adressiert diese Herausforderung durch die Integration von Laplace-Verteilungen in ein physik-informiertes neuronales Netz. Durch die Kombination von B-Spline-Modellen zur globalen Glättung mit einer hierarchischen Skalierung zur adaptiven Gewichtung
Muse: Repräsentationsgeometrie von Muon jenseits normalisiertem Impuls
Die Forschung untersucht die geometrischen Grundlagen von Muon-Optimierern, die bei der Optimierung neuronaler Netze auf eine polare Abbildung des Matrix-Impulses setzen. Dabei wird analysiert, wie die Wahl der Repräsentation einzelner Parameterblöcke vor der Orthogonalisierung die Optimierungsdynamik beeinflusst. Durch die Einführung von Muse wird eine Familie von Optimierern vorgestellt, die verschiedene Repräsentationsformen wie native, quadratische oder vektorbasierte Ansätze vereinheitlicht. Experimente zeigen
Adaptive Runge-Kutta-Schrittweitensteuerung verbessert Trainingsverlust, nicht Generalisierung: Eine compute-optimierte Analyse von RK-Adam-Optimierern
Die Untersuchung analysiert den Einsatz von Runge-Kutta-Integratoren höherer Ordnung zur Optimierung neuronaler Netze. Unter strenger Kontrolle des Rechenaufwands zeigt sich, dass adaptive RK-Varianten gegenüber herkömmlichem Adam keinen Vorteil bieten, da die Schrittweitensteuerung ineffektiv bleibt und lediglich die Kosten erhöht. Selbst bei einer technischen Korrektur des Verfahrens, die den Trainingsverlust senkt, verbessert sich die Generalisierungsleistung auf Testdaten nicht. Die Ergebnisse verdeutlichen, da
LATTICE: Graph-basiertes selbstüberwachtes Lernen zur Integration multimodaler räumlicher Omics-Daten
Das Framework LATTICE ermöglicht die Zusammenführung verschiedener räumlicher Omics-Daten, wie Transkriptomik und Epigenomik, in einer einheitlichen Repräsentation. Durch den Einsatz eines graphbasierten, selbstüberwachten Transformer-Encoders werden räumliche Nachbarschaftsbeziehungen sowie verschiedene molekulare Modalitäten wie RNA- und ATAC-Daten harmonisiert. Die Methode verbessert die Analysegenauigkeit bei der Untersuchung von Gewebeproben signifikant. Die Ergebnisse zeigen, dass die Integration zusätzlicher
LIGO-PINN: Gelernte Initialisierung durch Gated Optimization zur Vermeidung von Konvergenzfehlern in physik-informierten neuronalen Netzen
Physik-informierte neuronale Netze stoßen bei der Modellierung komplexer partieller Differentialgleichungen häufig auf Konvergenzprobleme oder liefern triviale Lösungen. Die neue Methode LIGO-PINN adressiert dieses Defizit durch eine optimierte Initialisierung der Netzwerkgewichte mittels Gated Layerwise Optimization. Im Vergleich zu bestehenden Ansätzen, die auf Hyperparameter-Tuning oder dynamischem Resampling basieren, zeigt dieser Ansatz eine signifikante Leistungssteigerung bei der Lösung von Strömungsmechanik
Optimierung der Inferenz binärer und ternärer neuronaler Netze auf RRAM-Crossbars mit CIM-Explorer
Die Nutzung von resistiven Arbeitsspeichern in Computing-in-Memory-Architekturen adressiert den klassischen Von-Neumann-Flaschenhals durch effiziente Hardware-Mapping-Strategien. Da RRAM-Komponenten aufgrund ihrer Variabilität häufig im Binärmodus betrieben werden, bietet das neue Toolkit CIM-Explorer eine modulare Lösung für die Optimierung von binären und ternären neuronalen Netzen. Das System umfasst einen durchgängigen Compiler-Stack sowie Simulationswerkzeuge, die eine umfassende Designraum-Exploration ermögli
Neues universelles Operator-Approximationstheorem für Encoder-Decoder-Architekturen
Es wurde ein neues mathematisches Theorem zur universellen Approximation von Operatoren für eine breite Klasse von Encoder-Decoder-Architekturen entwickelt. Der Ansatz ermöglicht die Approximation stetiger Operatoren zwischen unendlichdimensionalen normierten oder metrischen Räumen unter der Bedingung gleichmäßiger Konvergenz auf kompakten Mengen. Ein wesentlicher Fortschritt ist die Unabhängigkeit der Approximationsfolge von den kompakten Mengen, was eine stärkere Eigenschaft darstellt als bisherige Ansätze. Die t
Was misst Goodness? Eine Likelihood-Ratio-Betrachtung des Forward-Forward-Lernens
Der Forward-Forward-Algorithmus trainiert neuronale Netzwerkschichten lokal, indem er einen Goodness-Wert maximiert, der bei echten Daten hoch und bei kontrastiven Daten niedrig ausfällt. Diese Arbeit zeigt, dass dieser Ansatz kein bloßes Heuristik-Verfahren ist, sondern mathematisch als Likelihood-Ratio-Test interpretiert werden kann. Dabei fungiert die quadrierte Goodness als hinreichende Statistik zur Unterscheidung von Datenpopulationen. Die Analyse liefert zudem theoretische Erklärungen für die Notwendigkeit s
Effizientes Langzeitlernen für erlernte Optimierung
Die erlernte Optimierung zielt darauf ab, manuelle Optimierer durch meta-gelernte neuronale Netzwerke zu ersetzen. Bisherige Ansätze litten unter ineffizientem Training bei kurzen Sequenzen, was die Leistung einschränkte. Der neue Algorithmus ELO optimiert die Rechenressourcen durch eine gezielte Verlängerung der Trainingshorizonte und eine entkoppelte Expertenüberwachung. Dies führt zu stabileren Lernsignalen und einer verbesserten Generalisierung. In Tests bei Sprachmodellen und Bildklassifizierungen übertrafen d
Komplexitätsanalysen zur Robustheitsverifizierung binarisierter neuronaler Netze
Die Untersuchung befasst sich mit der rechnerischen Komplexität von Verifizierungsproblemen bei binarisierten neuronalen Netzen, bei denen Aktivierungen und Gewichte auf binäre Werte reduziert sind. Es wird nachgewiesen, dass die Erfüllbarkeit solcher Netze NP-vollständig ist, indem eine Reduktion auf das klassische SAT-Problem erfolgt. Gleichzeitig zeigt die Analyse, dass bei einer uniformen Bildverdeckung eine stückweise konstante Struktur im Netzoutput entsteht. Diese Eigenschaft ermöglicht die Entwicklung eines
Entkoppelte latente Dynamik-Mannigfaltigkeitsfusion zur Lösung parametrisierter partieller Differentialgleichungen
Die Verallgemeinerung neuronaler Ersatzmodelle für unterschiedliche Parameter in partiellen Differentialgleichungen stellt eine Herausforderung dar, insbesondere bei der zeitlichen Extrapolation. Das neue Framework DLDMF löst dieses Problem durch eine explizite Trennung von Raum, Zeit und Parametern. Anstatt auf instabile Auto-Dekodierung zu setzen, bildet das Modell Parameter direkt auf eine kontinuierliche latente Einbettung ab, deren Entwicklung durch eine parametergesteuerte neuronale gewöhnliche Differentialgl
Überlebensdynamik von neuronalen und programmatischen Richtlinien im evolutionären Reinforcement Learning
Die Studie untersucht den Vergleich zwischen neuronalen Netzwerken und programmatischen Richtlinien in evolutionären Reinforcement-Learning-Umgebungen. Mittels differenzierbarer Entscheidungslisten wird analysiert, ob programmatische Ansätze die Leistung klassischer neuronaler Modelle übertreffen können. Die Ergebnisse zeigen, dass programmatische Richtlinien eine signifikant höhere Überlebenswahrscheinlichkeit in Testumgebungen aufweisen. Dabei übertreffen sie neuronale Modelle sowohl in kombinierten evolutionären
HF-informierte Graph-Neuronale Netze für präzise und dateneffiziente Vorhersagen der Schaltkreisleistung
Die Vorhersage der Leistung aktiver Hochfrequenzschaltkreise ist aufgrund nichtlinearer Prozesse und hoher Rechenkosten komplex. Ein neuartiger Ansatz nutzt topologiebewusste Graph-Neuronale Netze, die durch domänenspezifisches Wissen über Hochfrequenz-Schaltkreise eine effiziente Modellierung ermöglichen. Durch die Abstraktion von Schaltkreisen als Graphen und die gezielte Kodierung funktionaler Bauelement-Semantik erreicht das Modell eine hohe Genauigkeit bei deutlich reduziertem Datenbedarf. Das System übertriff
Approximation parameterabhängiger Problemlösungen durch Residuale Neuronale Netze
Es wurde ein neues Verfahren zur effizienten Approximation von Lösungen parameterabhängiger Probleme mittels neuronaler Netze entwickelt. Durch die Nutzung analytischer Aktivierungsfunktionen und gradientenbasierter Flüsse lässt sich das Training mathematisch fundiert konvergieren. Die Koeffizienten des Netzwerks werden dabei über ein System gewöhnlicher Differentialgleichungen bestimmt. Das Verfahren erweist sich als besonders robust bei der Lösung inverser Probleme, selbst wenn diese unter schwierigen Bedingungen
Spektral-informierte neuronale Netze übertreffen klassische Methoden bei hochdimensionalen partiellen Differentialgleichungen
Klassische Spektralmethoden stoßen bei hochdimensionalen Problemen aufgrund des Fluchs der Dimensionalität an ihre Grenzen, während physikalisch informierte neuronale Netze oft Defizite bei der Genauigkeit aufweisen. Ein neuer Ansatz, die modifizierten spektral-informierten neuronalen Netze, kombiniert beide Konzepte durch Operationen direkt im Spektralbereich. Durch die Integration von Koeffizienten-Skalierung und harmonischer Analyse wird die Genauigkeit bei der Approximation unbekannter Spektralkoeffizienten sig
Transformation des Rangs: Architekturdesign und der Erhalt der Repräsentationskapazität in tiefen neuronalen Netzen
Die Untersuchung analysiert, wie die Architektur von Transformer-Feedforward-Blöcken den Erhalt des Rangs über die Tiefe eines Netzwerks hinweg beeinflusst. Dabei werden Skip-Connections und Normalisierungsschichten als Mechanismen identifiziert, die den Verlust von Gradientenrang verhindern, welcher durch Matrixmultiplikationen und nichtlineare Aktivierungen entsteht. Die Arbeit zeigt, dass das Design der Architektur ein Gleichgewicht zwischen dem Vermeiden von Rangkollaps, ensemble-artigem Verhalten und der Param
Algebraische Darstellbarkeit als Grenzfall von Grokking: Ein exakt lösbares Modell mit holomorphen Aktivierungen
Die Untersuchung analysiert das Phänomen des Grokkings in neuronalen Netzen durch die Einschränkung der Modellkapazität auf eine endlichdimensionale algebraische Varietät. Bei der Verwendung holomorpher Monom-Aktivierungsfunktionen zeigt sich, dass die Netzwerkausgabe auf einen festen Unterraum beschränkt bleibt. Dies führt dazu, dass das klassische Grokking – der verzögerte Übergang vom Auswendiglernen zur Generalisierung – verschwindet. Stattdessen tritt ein binäres Verhalten auf, bei dem das Modell entweder sofo
Implementierung von quanten- und klassisch-topologieorientierten Architekturen für die Vorhersage molekularer Eigenschaften
Für datenarme Umgebungen in der Quantenchemie wurde ein neuer Ansatz für parameter-effizientes Lernen entwickelt, der die molekulare Bindungsstruktur direkt in die Modellarchitektur integriert. Dabei werden Atome als Recheneinheiten abgebildet, während Bindungen die Interaktionen zwischen den Parametern definieren. Dieser topologieorientierte Ansatz wurde sowohl in einem variablen Quantenschaltkreis als auch in einem klassischen Message-Passing-Modell umgesetzt. Die Modelle zeigen bereits bei sehr kleinen Datensätz
Bedingte invertierbare neuronale Netze für die datengesteuerte Drohnensteuerung
Die Studie untersucht den Einsatz von bedingten invertierbaren neuronalen Netzen als probabilistische inverse Dynamikmodelle zur Steuerung von Multirotoren. Anhand eines planaren X8-Koaxial-Multikopters wurde ein Modell trainiert, das auf inkrementeller nichtlinearer dynamischer Inversion basiert. Die Ergebnisse zeigen eine hohe Genauigkeit bei der Reproduktion von Steuerungsdaten. In geschlossenen Regelkreisen erreichte das System eine vergleichbare Leistung wie klassische Methoden, wobei spezifische Fehlerquellen
Wie das Hessian-Spektrum neuronaler Netze von Daten abhängt
Die Untersuchung der Hesse-Matrix ist entscheidend für das Verständnis der Verlustlandschaft und der Optimierungsdynamik beim Deep Learning. In dieser Arbeit werden die Eigenwerte der Hesse-Matrix für lineare Netzwerke mit beliebiger Architektur und Datenstruktur mathematisch hergeleitet. Dabei zeigt sich bei Klassifizierungsaufgaben mit MSE-Verlust ein direkter Zusammenhang zwischen der Schärfe der Lösung und der Verteilung der Stichproben auf die Klassen. Die theoretischen Vorhersagen wurden empirisch validiert u
FastCentNN: Beschleunigung von Centroid Neural Networks durch Entropie-Proxy
Das Centroid Neural Network ist ein unüberwachtes Lernverfahren, das durch eine strikte lokale Stabilisierung vor der Modellexpansion oft ineffiziente Trainingsphasen aufweist. Mit FastCentNN wurde eine optimierte Variante entwickelt, die eine frühzeitige Aufteilung der Zentroide ermöglicht. Hierbei dient die gesamte Zentroidbewegung pro Epoche als Indikator für die Trainingsentropie. Dieser Ansatz reduziert unnötige Rechenschritte erheblich, während die ursprüngliche Lerndynamik erhalten bleibt. In Tests konnte di
Lokale Redundanz: Ein informationstheoretisches Maß für die Plastizität neuronaler Netze durch synthetisches Auswendiglernen
Die Anpassungsfähigkeit neuronaler Netze an neue Aufgaben, bekannt als Plastizität, ist entscheidend für kontinuierliches Lernen. Bisherige Messgrößen für diese Eigenschaft sind oft theoretisch unzureichend begründet. Das neue Konzept der lokalen Redundanz nutzt die universelle Kompressionstheorie, um die Plastizität präziser zu quantifizieren. Da die exakte Berechnung komplex ist, dient die quadrierte Gradientennorm bei einer synthetischen Auswendiglernaufgabe als effiziente untere Schranke. Dieses Verfahren ermög
Gewichtsrückkopplung ermöglicht lokale Berechnung der Jacobian-Transponierten in modernen Deep-Learning-Netzwerken
Predictive Coding gilt als biologisch motivierte Alternative zur Backpropagation, stützte sich bisher jedoch auf nicht-lokale Operationen bei der Fehlerübertragung. Ein neuer Ansatz zeigt, dass die Jacobian-Transponierte für gängige Netzwerkschichten lokal berechnet werden kann, indem Normalisierungsparameter und Aktivierungsableitungen einbezogen werden. Durch diese Methode entfällt der klassische Autograd-Rückwärtspass. Experimente auf Datensätzen wie CIFAR-10 und Tiny-ImageNet belegen, dass dieser Ansatz die Gen
Lernen im gekrümmten Gewichtsraum: Exponentiell-lineare Reparametrisierung für optimiertes Training
Ein neuer Ansatz zur Reparametrisierung von Gewichten in neuronalen Netzen verbessert die Effizienz der Optimierung durch eine Kombination aus exponentiellen und linearen Pfaden. Während herkömmliche Optimierer additive Schritte nutzen, ermöglicht diese Methode eine an die Gewichtsgröße angepasste relative Anpassung. Durch die Einführung einer gekrümmten Geometrie im Parameterraum wird die Konvergenzgeschwindigkeit signifikant gesteigert. In Tests mit Transformer-Modellen konnte die benötigte Anzahl an Trainingssch
Erklärung von zeitlichen Graph-Neuronalen Netzen durch merkmalsinduzierten Informationsfluss
Ereignisbasierte zeitliche Graph-Neuronale Netze sind leistungsstark, jedoch aufgrund ihrer Komplexität schwer interpretierbar. Bisherige Erklärungsansätze vernachlässigen oft ereignisinduzierte Variablen, die für langfristige zeitliche Abhängigkeiten entscheidend sind. Ein neuer Attributionsansatz analysiert nun den gesamten Informationsfluss durch alle ereignisassoziierten Variablen. Durch ein modulares Zerlegungsverfahren wird die Relevanzstruktur komplexer Architekturen systematisch erfasst. Experimente zeigen,
Prime Fourier Embeddings: Eine fundierte Basis für modulare Arithmetik
Die neue Methode der Prime Fourier Embeddings (PFE) verbessert die Verarbeitung von Ganzzahlen in neuronalen Netzen, indem sie diese als primzahlindizierte Sinus-Cosinus-Paare kodiert. Dieser Ansatz nutzt die harmonische Analyse, um eine mathematisch strukturierte Repräsentation zu schaffen, bei der modulare Arithmetik durch die Auswahl spezifischer Primzahlkanäle direkt abbildbar ist. Theoretische Herleitungen und empirische Tests belegen, dass diese Architektur die algebraische Struktur von Zahlen effizienter erf
Komplexitätsergebnisse zur Robustheitsverifizierung binarisierter neuronaler Netze
Die Untersuchung analysiert die rechnerische Komplexität von Verifizierungsproblemen bei binarisierten neuronalen Netzen, bei denen Aktivierungen und Gewichte auf binäre Werte beschränkt sind. Es wird nachgewiesen, dass die Erfüllbarkeit solcher Netze NP-vollständig ist, indem eine Reduktion auf das klassische SAT-Problem erfolgt. Gleichzeitig zeigt die Analyse, dass eine gleichmäßige Bildverdeckung zu einer stückweise konstanten Struktur im Netzoutput führt. Diese Eigenschaft ermöglicht die Entwicklung eines effiz
MUSA-PINN: Multiskalen-Weak-Form-Physik-informierte neuronale Netze für Strömungen in komplexen Geometrien
Die neue Methode MUSA-PINN adressiert die Schwächen herkömmlicher physik-informierter neuronaler Netze bei der Simulation von Strömungen in topologisch komplexen Strukturen. Anstatt punktweise Residuen zu minimieren, formuliert der Ansatz die Navier-Stokes-Gleichungen als integrale Erhaltungssätze über hierarchische, sphärische Kontrollvolumina um. Durch eine dreistufige Skalenstrategie und eine gezielte Flussbilanzierung werden globale Informationen besser propagiert und die Massenerhaltung signifikant verbessert.
Gleiches Kompressionsprinzip, unterschiedliche Geometrie: Raten-Verzerrungs-Signaturen unterscheiden biologische und künstliche visuelle Systeme
Die Theorie der effizienten Kodierung besagt, dass biologische Wahrnehmungssysteme sensorische Eingaben unter Ressourcenbeschränkungen optimal komprimieren. Durch die Anwendung der Raten-Verzerrungstheorie auf menschliche psychophysische Daten und tiefe neuronale Netze wurde untersucht, wie Systeme Genauigkeit gegen Informationseffizienz abwägen. Dabei zeigt sich, dass biologische und künstliche Systeme zwar einem gemeinsamen Prinzip der verlustbehafteten Kompression folgen, jedoch grundlegend unterschiedliche geom
Mechanistische Analyse zur Leistungsverschlechterung bei nicht-identisch verteilten Daten im föderierten Lernen
Die Untersuchung widmet sich der Frage, warum das Federated-Averaging-Verfahren bei heterogenen Datenbeständen an Genauigkeit verliert. Die Ergebnisse zeigen, dass dieser Leistungsabfall nicht primär auf den Verlust der gelernten Merkmalsrepräsentationen zurückzuführen ist. Stattdessen liegt eine Fehljustierung zwischen den internen, noch vorhandenen Strukturen und dem finalen Klassifikationspfad vor. Durch den Einsatz von linearen Sonden und gezielten Feinabstimmungen konnte nachgewiesen werden, dass die Modelle d
Sprache als Wellenphänomen: Semantische Phasenkopplung und Interferenz in neuronalen Netzen
Ein neuer Forschungsansatz untersucht die Rolle der Phase in neuronalen Netzen, um die semantische Bedeutung von der reinen Aktivierungsstärke zu trennen. Durch die Einführung einer komplexwertigen Architektur namens PRISM wird die Aufmerksamkeit durch harmonische Faltungen ersetzt, die auf subtraktiver Interferenz basieren. Dies ermöglicht es dem Modell, Rauschen effektiv zu unterdrücken und Informationen effizienter zu verarbeiten. Analysen zeigen, dass die Phaseninformation für die Aufgabenbewältigung entscheide
KI ist noch nicht so schlau wie ein Baby
Säuglinge verfügen über eine außergewöhnliche Lernfähigkeit, die als Vorbild für die Weiterentwicklung künstlicher Intelligenz dient. Aktuelle Forschungsansätze untersuchen die neuronale Architektur menschlicher Kleinkinder, um diese Erkenntnisse auf KI-Systeme zu übertragen. Die Hoffnung besteht darin, durch die Nachahmung dieser biologischen Lernprozesse die Effizienz und Anpassungsfähigkeit moderner KI-Modelle signifikant zu steigern und so die nächste Stufe der technologischen Entwicklung zu erreichen.
Die Bedeutung der jüngsten KI-Forschung von Anthropic
Ein führendes Unternehmen im Bereich der künstlichen Intelligenz veröffentlicht regelmäßig komplexe Forschungsarbeiten, die über die reine Leistungssteigerung von Modellen hinausgehen. Aktuelle Untersuchungen befassen sich mit grundlegenden Fragen zur Funktionsweise von neuronalen Netzen, etwa der Möglichkeit, ob KI-Systeme Empfindungen wie Schmerz simulieren oder verarbeiten könnten. Diese wissenschaftlichen Ansätze zielen darauf ab, die Blackbox der KI-Entscheidungsfindung besser zu verstehen und die Sicherheit s
Der Überblick: Claudes interne Prozesse und OpenAIs Super-App
Forschende haben tiefere Einblicke in die internen Mechanismen großer Sprachmodelle gewonnen, indem sie verborgene neuronale Strukturen identifizierten, in denen Konzepte verarbeitet werden. Diese Entdeckung ermöglicht ein besseres Verständnis darüber, wie KI-Systeme Informationen abstrahieren und logische Zusammenhänge herstellen. Parallel dazu intensivieren sich die Entwicklungen rund um umfassende KI-Anwendungen, die als zentrale Plattformen für verschiedenste digitale Aufgaben fungieren sollen. Diese Fortschrit