Ein stochastisches Glättungsverfahren für nicht-konvexe-nicht-konkave Min-E-Max-Probleme
Die Arbeit präsentiert einen neuen stochastischen Glättungsansatz für Optimierungsprobleme, bei denen ein äußerer Parameter den Erwartungswert eines punktweisen Maximums minimiert. Diese mathematische Struktur ist insbesondere für die Wasserstein-verteilungsrobuste Optimierung und das adversariale Training von Bedeutung. Durch den Einsatz einer stochastischen proximalen Gradientenmethode auf Basis der Log-Mean-Exp-Glättung wird eine effiziente Lösung ermöglicht. Die theoretische Analyse belegt die Konvergenz gegen
KI-Modelle bei der mathematischen Optimierung: Die Herausforderung der Datenbindung
Die Umwandlung von natürlichsprachlichen Anforderungen in mathematische Optimierungsprobleme erfordert sowohl die korrekte Modellierung der Struktur als auch die präzise Bindung von Parametern an konkrete Daten. Untersuchungen zeigen, dass aktuelle KI-Modelle bei zunehmender Datenmenge an ihre Grenzen stoßen, da die korrekte Zuweisung von Koeffizienten und Indizes fehlschlägt. Durch die Auslagerung numerischer Daten in strukturierte Formate lässt sich diese Fehlerquote signifikant senken. Ein spezialisiertes Traini
PhasorFlow: Eine Python-Bibliothek für Berechnungen auf dem Einheitskreis
PhasorFlow ist eine Open-Source-Bibliothek für Berechnungen auf dem Einheitskreis, bei denen Eingabedaten als komplexe Phasoren kodiert werden. Durch den Einsatz unitärer Welleninterferenz-Gatter bleiben Normen erhalten, während Berechnungen kontinuierliche geometrische Gradienten nutzen. Das Framework umfasst das Modell der Phasor-Schaltkreise, trainierbare Variational Phasor Circuits sowie eine Phasor-Transformer-Architektur, die herkömmliche Attention-Mechanismen durch eine parameterfreie DFT-Token-Mischung erse
Scharfe Stabilitätsschwelle und Zertifizierung für stabile Residual-Architekturen
Ein neues Prinzip für tiefe Residual-Architekturen definiert eine Stabilitätsschwelle für das Wachstumsverhalten von Residualblöcken. Durch die Begrenzung des Exponenten des Eingabemagnituden-Wachstums auf einen Wert von maximal eins wird sichergestellt, dass die Dynamik des Netzwerks stabil bleibt und numerische Divergenzen vermieden werden. Diese mathematische Bedingung ermöglicht eine systematische Zertifizierung von Architektur-Designs, anstatt auf empirisches Ausprobieren angewiesen zu sein. Die Anwendbarkeit
Muse: Repräsentationsgeometrie von Muon jenseits normalisiertem Impuls
Die Forschung untersucht die geometrischen Grundlagen von Muon-Optimierern, die bei der Optimierung neuronaler Netze auf eine polare Abbildung des Matrix-Impulses setzen. Dabei wird analysiert, wie die Wahl der Repräsentation einzelner Parameterblöcke vor der Orthogonalisierung die Optimierungsdynamik beeinflusst. Durch die Einführung von Muse wird eine Familie von Optimierern vorgestellt, die verschiedene Repräsentationsformen wie native, quadratische oder vektorbasierte Ansätze vereinheitlicht. Experimente zeigen
Konvergenzraten für das Distribution Matching mit Sliced Optimal Transport
Die Untersuchung analysiert das Slice-Matching-Verfahren, eine effiziente iterative Methode zum Abgleich von Wahrscheinlichkeitsverteilungen auf Basis von Sliced Optimal Transport. Dabei werden quantitative, nicht-asymptotische Konvergenzraten zur Zielverteilung hergeleitet, indem Lojasiewicz-artige Ungleichungen für die Sliced-Wasserstein-Zielfunktion angewendet werden. Die theoretische Herleitung zeigt, dass die Kontrolle der Konstanten entlang der Trajektorie insbesondere für Gauß-Verteilungen handhabbar ist. Nu
Glatte Quasar-konvexe Optimierung mit Nebenbedingungen
Die Arbeit präsentiert einen neuen Algorithmus für die Optimierung von glatten Quasar-konvexen Funktionen unter allgemeinen konvexen Nebenbedingungen. Bisherige Verfahren waren in diesem Bereich auf affine Räume beschränkt, da die Einbeziehung allgemeiner Nebenbedingungen zu einem Verlust an Freiheitsgraden führte. Durch den Einsatz eines inexakten, beschleunigten proximalen Punktalgorithmus wird nun eine nahezu optimale Komplexität erreicht. Dies löst ein bestehendes offenes Problem der mathematischen Optimierung
Gleichmäßige Approximation von Funktionen mit asymmetrischem Wachstums- und Abfallverhalten durch tiefe gewichtete Polynome
Die mathematische Approximation von Funktionen, die auf einer Seite der reellen Achse unbegrenzt wachsen und auf der anderen gegen Null abfallen, ist mit gewöhnlichen Polynomen auf unbeschränkten Bereichen nicht möglich. Ein neuer Ansatz nutzt einseitig gewichtete tiefe Polynome, um dieses Problem durch eine Reduktion auf kompakte Intervalle zu lösen. Zur effizienten Berechnung wird ein Verfahren eingesetzt, das die Optimierung durch eine Kombination aus festen inneren Abbildungen und linearen äußeren Anpassungen s
Approximation parameterabhängiger Problemlösungen durch Residuale Neuronale Netze
Es wurde ein neues Verfahren zur effizienten Approximation von Lösungen parameterabhängiger Probleme mittels neuronaler Netze entwickelt. Durch die Nutzung analytischer Aktivierungsfunktionen und gradientenbasierter Flüsse lässt sich das Training mathematisch fundiert konvergieren. Die Koeffizienten des Netzwerks werden dabei über ein System gewöhnlicher Differentialgleichungen bestimmt. Das Verfahren erweist sich als besonders robust bei der Lösung inverser Probleme, selbst wenn diese unter schwierigen Bedingungen
Nicht-expansive stochastische Approximation auf zwei Zeitskalen: Eine Barriere für feste Zeitpläne und bias-korrigierte Beschleunigung
Die Untersuchung befasst sich mit stochastischen Approximationsverfahren auf zwei Zeitskalen, bei denen die langsame Komponente durch eine Krasnoselskii-Mann-Fixpunktiteration anstelle einer Kontraktion bestimmt wird. Es wird nachgewiesen, dass für vorgegebene Schrittweitenpläne eine fundamentale Untergrenze für die Konvergenzgeschwindigkeit existiert, die durch eine Barriere bei einem Viertel definiert ist. Zur Überwindung dieser Einschränkung wird ein neuer Algorithmus vorgestellt, der durch eine Bias-Korrektur d
Algebraische Darstellbarkeit als Grenzfall von Grokking: Ein exakt lösbares Modell mit holomorphen Aktivierungen
Die Untersuchung analysiert das Phänomen des Grokkings in neuronalen Netzen durch die Einschränkung der Modellkapazität auf eine endlichdimensionale algebraische Varietät. Bei der Verwendung holomorpher Monom-Aktivierungsfunktionen zeigt sich, dass die Netzwerkausgabe auf einen festen Unterraum beschränkt bleibt. Dies führt dazu, dass das klassische Grokking – der verzögerte Übergang vom Auswendiglernen zur Generalisierung – verschwindet. Stattdessen tritt ein binäres Verhalten auf, bei dem das Modell entweder sofo
Eichinvariante und parameterunabhängige Regularisierung zur Potenzialwiederherstellung in gerichteten Graphen
Die Rekonstruktion latenter Potenziale aus beobachteten Flüssen in gerichteten Graphen stellt ein schlecht gestelltes Problem dar, bei dem herkömmliche Ridge-Regularisierungen oft zu fehlerhaften Ergebnissen führen. Ein neuer Ansatz nutzt die eichinvariante Graphen-Dirichlet-Energie, um eine stabile Schätzung zu ermöglichen, die über verschiedene Parameterbereiche hinweg robust bleibt. Diese Methode bewahrt den dynamischen Bereich der Daten, wo klassische Verfahren versagen. Zudem lässt sich dieses Prinzip auf Grap
Gradientenflussdynamik und implizite Verzerrung diagonal linearer Netzwerke bei infinitesimaler Initialisierung
Die Untersuchung analysiert die Dynamik des Gradientenflusses bei diagonal linearen Netzwerken für Regressionsaufgaben unter der Bedingung einer infinitesimalen Initialisierung. Es wird nachgewiesen, dass die Trainingsverläufe tiefer sowie zweischichtiger diagonal linearer Netzwerke durch einen spezifischen Algorithmus charakterisiert werden können, der gegen die Lösung eines modifizierten L1-Norm-Minimierungsproblems konvergiert. Damit lässt sich die implizite Verzerrung dieser Architekturen als modifizierte L1-No
Eingeschränkte dynamische geometrische Komplexität: Pfadraumreduktion und Möbius-Jacobi-Antwort
Die Untersuchung befasst sich mit der mathematischen Modellierung des geometrischen Aufwands bei der Optimierung von strukturierten Vorkonditionierern. Durch die Formulierung als Pfadraumproblem wird die affine-invariante Länge zulässiger metrischer Pfade analysiert, um spezifische Konditionszahl-Ziele zu erreichen. Die Arbeit leitet exakte Gesetze für die Pfadeliminierung ab, die auf dem Bellman-Prinzip basieren. Dabei werden globale Eigenschaften auf Hadamard-Zustandsräumen sowie Jacobi-Formen genutzt, um präzise
Optimierungs-Geometrodynamik: Variationelle Reduktion und Interaktionskrümmung
Die Arbeit führt die Optimierungs-Geometrodynamik als variationelle Theorie für die verborgene Geometrie adaptiver Optimierer ein. Durch die Methode des Infimal Pushforward werden redundante verborgene Zustände eliminiert, was eine effiziente Komposition über Optimierer-Hierarchien hinweg ermöglicht. Die mathematische Analyse zeigt, dass unter Annahme glatter Nichtentartung eine Interaktionskrümmung entsteht, die als negativ-semidefiniter Operator beschrieben wird. Ein neuartiger, affin-invarianter Aktions-Abbildun
Zur Abhängigkeit der Konditionszahl bei der Bilevel-Optimierung
Die Bilevel-Optimierung minimiert eine Zielfunktion, deren zulässiger Bereich durch die Lösung eines untergeordneten Problems definiert ist. Die aktuelle Forschung untersucht die Oracle-Komplexität zur Bestimmung von stationären Punkten bei nicht-konvexen oberen und stark konvexen unteren Problemen. Dabei wurde eine neue untere Schranke für die Abhängigkeit von der Konditionszahl etabliert, die eine theoretische Lücke zwischen Bilevel- und Minimax-Problemen aufzeigt. Diese Ergebnisse lassen sich auf verschiedene Sz
Niedrigdimensionale Anpassung von Diffusionsmodellen: Konvergenz in der Totalvariationsdistanz
Die vorliegende Untersuchung analysiert, wie generative Diffusionsmodelle niedrigdimensionale Strukturen nutzen, um den Sampling-Prozess zu beschleunigen. Es wird mathematisch belegt, dass die Iterationskomplexität für gängige Verfahren wie DDIM und DDPM maßgeblich von der intrinsischen Dimension der Zielverteilung abhängt. Die Ergebnisse zeigen, dass diese Modelle effizient konvergieren, selbst wenn die Score-Funktionen aus Daten gelernt werden, anstatt exakt bekannt zu sein. Damit liefert die Arbeit eine theoreti
Minimale Blockbreite für universelle Approximation durch Residual Neural Networks mit innerer Breite Eins
Die Untersuchung befasst sich mit der universellen Approximationsfähigkeit von residualen neuronalen Netzen. Dabei werden für verschiedene Eingangs- und Ausgangsdimensionen sowie gängige Aktivierungsfunktionen wie ReLU und LeakyReLU präzise obere und untere Schranken für die minimale Blockbreite definiert. Die Ergebnisse bieten theoretische Erkenntnisse darüber, wie schmale residuale Architekturen mit einer inneren Breite von Eins dennoch komplexe Funktionen approximieren können. Dies trägt zum tieferen Verständnis
Eine strukturelle Interpretation von GELU- und Schwellenwert-Aktivierungsfunktionen mittels Verlustfunktion erster Ordnung
Die Gaussian Error Linear Unit (GELU) wird üblicherweise als Erwartungswert eines eingabeabhängigen Bernoulli-Gatters motiviert. Diese Arbeit präsentiert eine alternative Sichtweise, bei der GELU als Erwartungswert eines linearen Gatters mit einem Gauß-verteilten Schwellenwert interpretiert wird. Dieser Ansatz führt zu einer neuen Familie von Schwellenwert-Übertragungsfunktionen, die bekannte Aktivierungen wie ReLU, GELU und SiLU als Spezialfälle umfasst. Durch die Verwendung latenter gleichverteilter Schwellenwert
Lern-Dynamik offenbart eine Hierarchie gewichtsinduzierter schichtweiser Gram-Metriken
Die Untersuchung analysiert die Dynamik von Feed-Forward-ReLU-Netzwerken mit quadratischer Verlustfunktion durch eine Umformulierung des Gradientenabstiegs als kollektive Dynamik von Aktivierungs- und konjugierten Feldern. Dabei wird eine rekursive Struktur für Netzwerke beliebiger Tiefe hergeleitet, die zeigt, wie Aktivierungsvariationen vorwärts und konjugierte Felder rückwärts propagieren. Die Arbeit identifiziert eine Dualität zwischen Push-Forward- und Pullback-Transport über jede Schichtgrenze hinweg. Dies fü
Datengestützte Interpolationsmethode auf glatten Mannigfaltigkeiten mittels Diffusionsprozessen und Voronoi-Tessellierungen
Ein neues mathematisches Framework ermöglicht die Rekonstruktion reellwertiger Funktionen auf glatten Mannigfaltigkeiten aus verstreuten Beobachtungspunkten. Durch die Kombination von Gauß-Kern-Interpolation mit einer geometrieabhängigen Voronoi-adaptiven Bandbreite entfallen zeitaufwendige Trainingsphasen, iterative Optimierungen oder manuelle Parameteranpassungen. Die Methode bietet eine explizite, geschlossene Formel, die exakte Datenreproduktion gewährleistet und hochfrequente Oszillationen durch geometrische R
Training diagonaler linearer Netzwerke mit stochastischer Schärfe-bewusster Minimierung
Die Untersuchung analysiert das Trainingsverhalten diagonaler linearer Netzwerke bei linearer Regression unter Einfluss von isotropem Rauschen. Dieser Prozess lässt sich als stochastische Form der Schärfe-bewussten Minimierung interpretieren, die eine gewichtete Mischung aus fraktionalen Norm-Strafen induziert. Dies fördert die Balance zwischen den Netzwerkschichten und begünstigt Lösungen, die durch einen Shrinkage-Thresholding-Operator charakterisiert sind. Die Ergebnisse zeigen, dass das Rauschen als Regularisie
Tropische Schaltkreise mit Skalarmultiplikationsgattern
Die Untersuchung von tropischen Schaltkreisen, die neben Max- und Plus-Operationen auch Skalarmultiplikationen nutzen, zeigt fundamentale Komplexitätsgrenzen auf. Für die Berechnung von maximal gewichteten Spannbäumen und bipartiten Matchings sind exponentielle Untergrenzen der Schaltkreisgröße nachweisbar. Dies verdeutlicht eine signifikante Trennung zwischen monotonen und nicht-monotonen Maxout-Neuronalen Netzen. Insbesondere zeigt sich, dass neuronale Netzmodelle mit erzwungenen Konvexitätsbedingungen, wie etwa
Implizite neuronale Netze als statische Regler: Zertifikate und Leistungsbewertung
Die Arbeit präsentiert einen neuartigen Ansatz für implizite neuronale Regler, die als statische Rückführungsgesetze durch algebraische Fixpunktgleichungen definiert sind. Durch die Darstellung als trainierbare lineare Verbindungen mit einer bekannten statischen Aktivierungsfunktion lassen sich Stabilität und Leistungsfähigkeit mathematisch präzise analysieren. Das Verfahren nutzt lineare Matrixungleichungen zur Zertifizierung der exponentiellen Stabilität und zur Leistungsbewertung. In numerischen Beispielen zeigt
Beschleunigte First-Order-Methoden für Bilevel- und Minimax-Optimierung
Die Forschung stellt neuartige beschleunigte First-Order-Methoden für die Bilevel-Optimierung vor, die ohne den Einsatz von Second-Order-Informationen auskommen. Ein zentraler Beitrag ist der Algorithmus PRAF2BA, der bei stark konvexen unteren Ebenen eine effiziente Konvergenz zu stationären Punkten ermöglicht und zudem auf die nicht-konvex-stark-konvexe Minimax-Optimierung anwendbar ist. Darüber hinaus werden Regularitätsbedingungen für Fälle ohne starke Konvexität definiert, um die Berechenbarkeit der Hyper-Zielf
Logarithmische Hochwahrscheinlichkeits-Regret-Schranken für Online-konvexe Optimierung mit Zwei-Punkt-Bandit-Feedback
Die Forschung adressiert die Online-konvexe Optimierung unter Verwendung von Zwei-Punkt-Bandit-Feedback gegenüber adaptiven Gegenspielern. Dabei wird untersucht, ob für stark konvexe Verlustfunktionen logarithmische Regret-Schranken mit hoher Wahrscheinlichkeit erreichbar sind. Das zentrale Ergebnis liefert einen mathematischen Beweis, dass das standardmäßige Zwei-Punkt-Projektions-Gradientenverfahren eine solche Schranke garantiert. Im Vergleich zu bisherigen Ansätzen reduziert die neue Analyse die Abhängigkeit vo
Obere Linearisierbarkeit bei der Online-Maximierung nicht-monotoner DR-submodularer Funktionen
Die Untersuchung befasst sich mit der Online-Maximierung nicht-monotoner, DR-submodularer Funktionen über konvexen Mengen. Durch eine neuartige strukturelle Erkenntnis lässt sich diese Klasse mittels einer speziellen exponentiellen Reparametrisierung und einer Ersatzpotenzialfunktion linearisieren. Dies ermöglicht eine Reduktion auf die Online-lineare Optimierung, wodurch eine statische Regret-Rate von O(T^1/2) mit nur einer Gradientenabfrage pro Runde erreicht wird. Der Ansatz verbessert zudem die Garantien für ad
Informationstheoretische Bayes-Optimierung für zweistufige Optimierungsprobleme
Zweistufige Optimierungsprobleme bestehen aus ineinander verschachtelten Aufgaben, bei denen die Lösung der unteren Ebene eine Nebenbedingung für die obere Ebene darstellt. Wenn beide Ebenen auf teuren Black-Box-Funktionen basieren, ist die Anwendung klassischer Bayes-Optimierung aufgrund der komplexen Struktur bisher kaum erforscht. Ein neuer informationstheoretischer Ansatz bewertet nun den Informationsgewinn beider Ebenen simultan durch ein einheitliches Kriterium. Die Effektivität dieser Methode, die zudem auf
Kontrollierte Laguerre-Tessellation: Semidiskreter optimaler Transport über Kontrollsysteme
Die Untersuchung befasst sich mit dem optimalen Transport von gesteuerten Agenten von einer kontinuierlichen Ausgangsverteilung zu einer diskreten Zielvorgabe. Dabei wird der Transportaufwand durch die optimalen Bewegungskosten der Agenten definiert. Unter Erfüllung der Twist-Bedingung lässt sich die optimale Transportabbildung durch eine sogenannte kontrollierte Laguerre-Tessellation des Zustandsraums beschreiben. Diese mathematische Verallgemeinerung wird anhand von linearen Kontrollsystemen demonstriert, die auf
Lösung stochastischer Fixpunktgleichungen mit hoher Wahrscheinlichkeit
Die Forschung befasst sich mit der Lösung stochastischer Fixpunktgleichungen in normierten Räumen, bei denen der Operator nur durch unverzerrte stochastische Auswertungen zugänglich ist. Zur Bewältigung dieser Herausforderung wurde das Verfahren VR-GHAL entwickelt, eine varianzreduzierte, graduelle Halpern-Methode für quadratisch glättbare Banach-Räume. Der Kern des Algorithmus ist ein rekursiver stochastischer Schätzer, der auf beschnittenen Differenzen von Orakelauswertungen basiert. Dies ermöglicht eine hohe Kon
Gruppeninvariante Spektraleinbettung
Die spektrale Einbettung zur Dimensionsreduktion und Clusteranalyse stößt bei Datensätzen mit inhärenten Symmetrien an ihre Grenzen, da Standardverfahren symmetriebezogene Datenpunkte als unabhängig betrachten. Ein neuer mathematischer Ansatz integriert diese Symmetrien direkt in die Affinitätskerne. Durch die Konstruktion von Graphen-Laplace-Operatoren auf Basis invarianter Kerne konvergieren diese gegen Differentialoperatoren auf dem Quotientenraum. Dies reduziert die effektive Dimension des Problems, verbessert
LieBN: Batch-Normalisierung über Lie-Gruppen
Die Verarbeitung von Daten auf Mannigfaltigkeiten stellt eine Herausforderung für Deep-Learning-Modelle dar, da herkömmliche Normalisierungsmethoden oft nicht auf diese Geometrien übertragbar sind. Mit LieBN wurde ein neues Framework für die Riemannsche Batch-Normalisierung entwickelt, das auf der mathematischen Struktur von Lie-Gruppen basiert. Durch die Nutzung links- und rechtsinvarianter Metriken ermöglicht das Verfahren eine präzise Kontrolle über Mittelwert und Varianz auf komplexen Datenstrukturen. Die Wirks