Leistet die Geometrie die Arbeit? Eine Untersuchung der Hierarchie in hyperbolischen Vision-Language-Modellen
Die Untersuchung analysiert, ob hyperbolische Vision-Language-Modelle wie MERU, HyCoCLIP und PHyCLIP tatsächlich die theoretisch vorgesehenen geometrischen Mechanismen zur Darstellung von Hierarchien nutzen. Die Ergebnisse zeigen, dass die Modelle trotz ihrer hyperbolischen Architektur in der Praxis nahezu euklidisch agieren und keine operative radiale oder kegelbasierte Hierarchie aufweisen. Die beobachteten Effekte, wie etwa die vermeintliche Einhaltung von Entailment-Regeln, lassen sich eher auf eine geringe Krü
Conan-embedding-v3: Zusammenführung modalitätsspezifischer Modelle für omnimodale Einbettungen
Das neue Framework Conan-embedding-v3 ermöglicht die Erstellung eines einheitlichen Einbettungsraums für verschiedene Datentypen wie Text, Bild, Video, Dokumente und Audio. Durch den Ansatz der entkoppelten Spezialistenfusion werden zunächst eigenständige Modelle trainiert und anschließend in ein gemeinsames Backbone integriert. Um das Problem der sogenannten Projektor-Drift bei externen Encodern zu beheben, nutzt das System eine gezielte Nachjustierung der Projektoren sowie ein balanciertes multimodales Training.
Unüberwachte Evaluierung von Deep-Audio-Embeddings zur Analyse musikalischer Strukturen
Die Analyse musikalischer Strukturen zielt darauf ab, die übergeordnete Organisation von Musikstücken zu entschlüsseln. Da aktuelle überwachte Lernverfahren stark von annotierten Daten abhängen, untersucht dieser Ansatz neun vortrainierte Deep-Audio-Modelle ohne vorheriges Training. Die Ergebnisse zeigen, dass moderne generische Embeddings klassische spektrogrammbasierte Methoden oft übertreffen. Zudem erweist sich der Correlation Block-Matching-Algorithmus als besonders effektiv für die Segmentierung. Die Arbeit k
Autoregressive Steuerung tief lernender räumlicher Filter mittels Bayes-Tracking zur effizienten Extraktion bewegter Sprecher
Die Extraktion bewegter Sprecher aus Audiosignalen stellt eine Herausforderung für räumliche Filter dar, da herkömmliche Verfahren meist auf statische Quellen angewiesen sind. Ein neuer Ansatz nutzt Bayes-Tracking-Algorithmen, um die räumliche Filterung autoregressiv zu steuern und so die Leistung bei dynamischen Szenarien zu verbessern. Durch die Integration des bereits verbesserten Sprachsignals in den Tracking-Prozess wird die Genauigkeit signifikant gesteigert, ohne die Rechenlast nennenswert zu erhöhen. Ein er
Automatisierte Identifizierung von Schlupfwespen mittels YOLO-Deep-Learning und erklärbarer KI
Die taxonomische Bestimmung von Schlupfwespen der Überfamilie Ichneumonoidea ist aufgrund ihrer morphologischen Ähnlichkeit und geringen Körpergröße zeitaufwendig. Ein neues Deep-Learning-System auf Basis der YOLO-Architektur ermöglicht nun die automatisierte Identifizierung dieser Insekten anhand hochauflösender Bilder. Durch die Integration von HiResCAM wird das Modell zudem interpretierbar, da es gezielt anatomische Merkmale wie Flügeläderung und Antennenstrukturen analysiert. Mit einer Genauigkeit von über 96 P
Die Faszination von Craquelé: Ein variationsgenerativer Ansatz zur Risserkennung in Gemälden
Die automatisierte Analyse von Rissstrukturen in Gemälden ist für die Konservierung und Restaurierung von Kunstwerken von zentraler Bedeutung. Ein neuer hybrider Ansatz kombiniert Deep-Learning-basierte generative Modelle mit variationsmathematischen Methoden, um Risse präzise von anderen bildlichen Elementen wie Pinselstrichen zu unterscheiden. Dabei wird das Bild in eine rissfreie Komponente und eine reine Rissstruktur zerlegt. Durch die gemeinsame Optimierung dieser Komponenten lassen sich pixelgenaue Karten ers
Neuronale Architekturen für amortisierte Bayes-Inferenz: Statistische Grundlagen und empirische Analysen
Die amortisierte Bayes-Inferenz ermöglicht eine effiziente statistische Modellierung, indem rechenintensive Prozesse in eine initiale Trainingsphase für neuronale Netze verlagert werden. Dies reduziert den Berechnungsaufwand bei der Anwendung erheblich im Vergleich zu klassischen Monte-Carlo-Verfahren. Die Untersuchung beleuchtet die statistischen Grundlagen gängiger Architekturen wie Feedforward-Netze, Deep Sets und Transformer im Kontext der Bayes-Inferenz. Durch umfassende Simulationen werden Genauigkeit, Robust
DualHNIE: Dual-Channel Hypergraph-Lernen zur Bestimmung der Knotenwichtigkeit in heterogenen Wissensgraphen
Die Bestimmung der Knotenwichtigkeit in heterogenen Wissensgraphen ist entscheidend für Empfehlungs- und Suchsysteme. Herkömmliche Methoden scheitern oft an der Erfassung komplexer Interaktionen höherer Ordnung. Der neue Ansatz DualHNIE nutzt ein duales Hypergraph-Lernframework, das strukturelle Topologien und semantische Attribute entkoppelt. Durch die Kombination eines strukturbewussten Hypergraph-Attention-Netzwerks mit einem effizienten Hypergraph-Transformer werden sowohl lokale Abhängigkeiten als auch globale
Die Gibbs-Entropie-Hypothese zur Modellkompression
Ein neuer theoretischer Ansatz verknüpft die Kompression von Deep-Learning-Modellen mit dem Konzept der Gibbs-Entropie. Dabei wird die Kompression als Prozess gerichteter Zufälligkeit betrachtet, bei dem die Leistungsfähigkeit einer Lernaufgabe als Indikator für den Informationsgehalt dient. Durch die Messung der Gibbs-Entropie über verschiedene Kompressionszyklen hinweg lässt sich eine direkte Korrelation zwischen der Modellgröße und der Vorhersagegenauigkeit nachweisen. Die Validität dieser mathematischen Herleit
VAN-AD: Visueller Masked Autoencoder mit Normalizing Flow zur Anomalieerkennung in Zeitreihen
Die Anomalieerkennung in Zeitreihen ist entscheidend für die Zuverlässigkeit von IoT-Systemen, stößt jedoch bei begrenzten Trainingsdaten oft an Grenzen. Ein neuer Ansatz nutzt vortrainierte visuelle Masked Autoencoder, um diese Herausforderungen zu bewältigen. Durch ein adaptives Verteilungs-Mapping werden Diskrepanzen bei Anomalien verstärkt, während ein zusätzliches Normalizing-Flow-Modul die lokale Wahrnehmung verbessert. In umfangreichen Tests zeigt das Verfahren eine überlegene Leistung gegenüber bisherigen M
Stabilisierung des nativen Low-Rank-Vortrainings von Sprachmodellen
Das Training großer Sprachmodelle erfordert aufgrund der stetig wachsenden Parameterzahlen enorme Rechenressourcen. Ein neuer Ansatz ermöglicht nun das Training von Modellen von Grund auf unter ausschließlicher Verwendung von Low-Rank-Faktorisierung, ohne auf zusätzliche Full-Rank-Gewichte angewiesen zu sein. Durch die Identifizierung instabiler spektraler Normen bei Gewichtsaktualisierungen wurde mit Spectron ein Verfahren zur spektralen Renormierung und Orthogonalisierung entwickelt. Dies erlaubt ein stabiles Tra
Energieeffizientes föderiertes Lernen durch adaptives Einfrieren von Encodern für die MRT-zu-CT-Konvertierung
Ein neuer Ansatz für föderiertes Lernen zielt darauf ab, den hohen Energieverbrauch und die Rechenlast bei der medizinischen Bildverarbeitung zu senken. Durch eine adaptive Strategie werden Encoder-Gewichte selektiv eingefroren, sobald die Modellaktualisierungen ein minimales Niveau erreichen. Diese Methode wurde erfolgreich bei der Konvertierung von MRT- in CT-Bilder getestet und reduziert den Energieverbrauch sowie die CO2-Emissionen um bis zu 23 Prozent. Dabei bleibt die Qualität der Bildkonvertierung stabil, wa
Fortschritt bei EEG-basierten KI-Rollstühlen: Transformer-Modell für motorische Vorstellung
Ein neuer Forschungsansatz nutzt künstliche Intelligenz zur Steuerung von Rollstühlen mittels Gehirn-Computer-Schnittstellen. Das System basiert auf der Analyse von EEG-Daten, die motorische Vorstellungen von Handbewegungen erfassen. Durch die Implementierung einer Transformer-Architektur namens TFormerEEG konnte die Klassifizierungsgenauigkeit bei der Erkennung dieser Bewegungsmuster signifikant auf über 93 Prozent gesteigert werden. Eine integrierte Simulationsumgebung demonstriert die praktische Anwendbarkeit di
Domänenanpassung für Plug-and-Play-Bildrekonstruktion bei proximalem Mismatch
Die Plug-and-Play-Bildrekonstruktion nutzt Entrauscher als implizite Priors, wobei häufig Diskrepanzen zwischen Trainings- und Zieldomäne auftreten. Diese Arbeit analysiert den sogenannten proximalen Mismatch, der entsteht, wenn eingesetzte Entrauscher nicht exakt den Ziel-Regularisierern entsprechen. Es wird eine Konvergenzschranke abgeleitet, die zeigt, dass die Rekonstruktionsqualität maßgeblich von der proximalen Übereinstimmung abhängt. Ein neuer Anpassungsansatz durch proximales Matching erzielt bei signifika
Energieeffiziente und stromsparende Arrhythmie-Erkennung für Wearables
Herz-Kreislauf-Erkrankungen erfordern oft eine langfristige Überwachung, die bisher an den hohen Energiebedarf komplexer Deep-Learning-Algorithmen stößt. Ein neuer Forschungsansatz nutzt Approximationsverfahren wie reduzierte Datenpräzision und approximative Multiplikation, um die Rechenlast von KI-Modellen auf Wearables signifikant zu senken. Durch diese hardwarenahe Optimierung konnte der Stromverbrauch bei der Arrhythmie-Erkennung um über 60 Prozent reduziert werden. Die Ergebnisse zeigen, dass eine hohe Klassif
Fortgeschrittene Bildgenerierung: Optimierung negativer Prompts und latente Klassifikator-Steuerung
Ein neues System verbessert die Qualität von Bildern, die durch Diffusionsmodelle erzeugt werden, durch die Kombination von zwei Ansätzen. Ein feinabgestimmtes Sprachmodell optimiert automatisch negative Prompts, während ein hybrider Klassifikator den Diffusionsprozess in Echtzeit überwacht. Durch die gezielte Steuerung der latenten Räume und das Rückgängigmachen qualitativ minderwertiger Zwischenschritte reduziert das Verfahren Bildartefakte signifikant. Die Methode steigert die semantische Genauigkeit der Ergebni
Können Token-Repräsentationen mit überwachten CNN-Backbones bei BirdCLEF+ 2026 konkurrieren?
Im Rahmen des BirdCLEF+ 2026 Wettbewerbs zur automatisierten Erkennung von Tierlauten in den Pantanal-Feuchtgebieten wurde ein leistungsfähiges, überwachtes Basismodell entwickelt. Dieses kombiniert verschiedene spezialisierte Netzwerke, um eine effiziente Klassifizierung innerhalb strenger Rechenzeitvorgaben zu ermöglichen. Ergänzend dazu untersucht die Arbeit, ob tokenbasierte Repräsentationen aus neuronalen Audiocodecs oder semantische Einbettungen mit etablierten CNN-Architekturen mithalten können. Dabei werden
Jenseits skalarer Verluste: Kalibrierung von Segmentierungsmodellen durch Gradientenvektorfeld-Chirurgie
Bei der medizinischen Bildsegmentierung führen regionenbasierte Verlustfunktionen häufig zu übermäßig zuversichtlichen Vorhersagen, was die klinische Zuverlässigkeit beeinträchtigt. Eine neue Methode setzt hier an, indem sie direkt in das Gradientenvektorfeld eingreift. Durch eine gezielte Skalierung der partiellen Ableitungen basierend auf dem Vorhersagefehler wird die Kalibrierung der Modelle verbessert. Dieser Ansatz lässt sich mit bestehenden Verlustfunktionen kombinieren und steigert die Genauigkeit sowie die
Optimierung des E-Commerce-Retrievals durch Deep-Learning-basierte kausale Entscheidungsfindung bei Pinterest
Pinterest hat ein neues System zur Optimierung der Ausspielung von Shopping-Inhalten implementiert, das auf kausalen Entscheidungsmodellen basiert. Durch den Einsatz eines Deep-Multi-Task-Modells lernt das System personalisierte Richtlinien, um Shopping-Vorschläge nur dann anzuzeigen, wenn sie für den Nutzer relevant sind. Dies reduziert die Anzahl der Shopping-Trigger um bis zu 85 Prozent, während die Interaktionsraten stabil bleiben oder steigen. Die Methode kombiniert kontrafaktisches Lernen mit effizienten Offl
ITGPT: Eine Transformer-basierte Architektur zur automatisierten Erstellung von Rhythmusspiel-Charts
Die manuelle Erstellung von Choreografien für Rhythmusspiele wie Dance Dance Revolution und In the Groove ist zeitaufwendig und komplex. ITGPT präsentiert eine neue, auf der Transformer-Architektur basierende Methode, um diese Tanz-Charts automatisiert zu generieren. Im Vergleich zu bisherigen Ansätzen erzielt das Modell eine deutlich höhere Genauigkeit bei der Erstellung der Schrittfolgen und reduziert gleichzeitig den erforderlichen Rechenaufwand. Damit bietet die Technologie eine effiziente Lösung für die automa
Lernen in infinitesimalen nicht-kompositionellen Skizzen
Das neue Framework LINCS adressiert das Problem der Nicht-Kompositionalität in maschinellen Lernmodellen durch einen kategorientheoretischen Ansatz. Dabei werden Lernprobleme als Skizzen definiert, die durch Kommutativitätsbedingungen sowie Limit- und Colimit-Strukturen spezifiziert sind. Durch die Anwendung von Tangentialfunktoren auf diese Skizzen wird untersucht, ob infinitesimale Störungen die Kompositionalitätsvorgaben wahren. Das Modell formuliert maschinelles Lernen als Suche nach einem koalgebraischen Fixpu
Random Logit Scaling: Schutz von Deep Neural Networks gegen Black-Box-Angriffe
Die zunehmende Verbreitung von Machine-Learning-Modellen erfordert robuste Abwehrmechanismen gegen sogenannte Adversarial Examples. Mit Random Logit Scaling wird ein neues Verfahren vorgestellt, das die Logits eines Modells zufällig skaliert, um Angreifer bei Black-Box-Szenarien zu täuschen, ohne die Genauigkeit des Modells zu beeinträchtigen. Diese Methode lässt sich als effiziente Nachbearbeitung in bestehende Systeme integrieren. Zudem wurde eine adaptive Angriffsmethode entwickelt, die Schwachstellen in bisheri
GAttNHP: Gruppen-Aufmerksamkeits-Neuraler-Hawkes-Prozess für Extrapolations-Schlussfolgerungen in zeitlichen Wissensgraphen
Die Vorhersage zukünftiger Ereignisse in zeitlichen Wissensgraphen stellt aufgrund komplexer zeitlicher Abhängigkeiten und unregelmäßiger Ereignisabstände eine Herausforderung dar. Der neue Ansatz GAttNHP adressiert diese Probleme durch ein dreistufiges Framework. Ein Self-Attention-Encoder erfasst langfristige historische Zusammenhänge, während ein semantisches Gruppierungsmodul effiziente Interaktionen zwischen Ereignisketten ermöglicht. Ergänzt wird das Modell durch eine Quantil-Regression, die stabile Zeitvorhe
Skalierbares Training von zeitkontinuierlichen Spiking Neural Networks durch differenzierbare Spike-Zeit-Diskretisierung
Ein neues Framework ermöglicht das effiziente Training von tiefen, zeitkontinuierlichen Spiking Neural Networks (SNNs). Durch die Einführung der differenzierbaren Spike-Zeit-Diskretisierung (DSTD) wird die speicherintensive Berechnung von Spike-Zeitpunkten durch ein festes Zeitintervall-Modell ersetzt, was den Speicherbedarf drastisch senkt. Ergänzt durch eine synfire-kettenbasierte Regularisierung, die den Informationsfluss stabilisiert, konnten die Rechenzeit und der Speicherverbrauch in Tests um das bis zu 100-f
Winkel-Gauß-überwachtes kontrastives Lernen für die Diagnose von EKG-Arrhythmien bei ungleichmäßiger Datenverteilung
Die Diagnose von Herzrhythmusstörungen mittels Deep Learning leidet häufig unter einer ungleichmäßigen Verteilung der Trainingsdaten, bei der seltene, aber klinisch relevante Befunde unterrepräsentiert sind. Ein neuer Ansatz namens Angular Gaussian Supervised Contrastive Learning adressiert dieses Problem durch eine Kombination aus der Modellierung von Klassenunsicherheiten, adaptiven Logit-Anpassungen und einer speziellen Datenaugmentation. Diese Methode verbessert die Erkennungsrate seltener Arrhythmien signifika
Scharfe Stabilitätsschwelle und Zertifizierung für stabile Residual-Architekturen
Ein neues Prinzip für tiefe Residual-Architekturen definiert eine Stabilitätsschwelle für das Wachstumsverhalten von Residualblöcken. Durch die Begrenzung des Exponenten des Eingabemagnituden-Wachstums auf einen Wert von maximal eins wird sichergestellt, dass die Dynamik des Netzwerks stabil bleibt und numerische Divergenzen vermieden werden. Diese mathematische Bedingung ermöglicht eine systematische Zertifizierung von Architektur-Designs, anstatt auf empirisches Ausprobieren angewiesen zu sein. Die Anwendbarkeit
Gate-Zero Growth: Ein geometrisches Framework für funktionserhaltendes kontinuierliches Lernen
Die Methode Gate-Zero Growth ermöglicht ein effizientes kontinuierliches Lernen durch das Hinzufügen neuer Residual-Blöcke mittels null-initialisierter Gates. Durch die Wahrung der funktionalen Identität beim Wachstumsprozess wird das Vergessen bereits erlernter Informationen minimiert, da die ursprünglichen Gewichtsrichtungen unverändert bleiben. Die mathematische Analyse zeigt, dass diese Architektur eine kontrollierte Erweiterung der Modellkapazität erlaubt, ohne die Leistung auf alten Datensätzen zu beeinträcht
Muse: Repräsentationsgeometrie von Muon jenseits normalisiertem Impuls
Die Forschung untersucht die geometrischen Grundlagen von Muon-Optimierern, die bei der Optimierung neuronaler Netze auf eine polare Abbildung des Matrix-Impulses setzen. Dabei wird analysiert, wie die Wahl der Repräsentation einzelner Parameterblöcke vor der Orthogonalisierung die Optimierungsdynamik beeinflusst. Durch die Einführung von Muse wird eine Familie von Optimierern vorgestellt, die verschiedene Repräsentationsformen wie native, quadratische oder vektorbasierte Ansätze vereinheitlicht. Experimente zeigen
xHC: Erweiterte Hyper-Connections für effizientes LLM-Training
Die Methode der Hyper-Connections erweitert den Residual-Stream von Transformern in mehrere parallele Ströme, um die Speicherkapazität jenseits von Modellbreite und -tiefe zu skalieren. Bisherige Ansätze stießen bei einer Skalierung über vier Ströme hinaus auf Leistungseinbußen und hohe Rechenkosten. Das neue Verfahren xHC löst diese Engpässe durch eine zeitliche Merkmalsanreicherung und eine spärliche Architektur, bei der nur ein Teil der Ströme aktualisiert wird. In Kombination mit der Optimierung xHC-Flash ermög
Adaptive Runge-Kutta-Schrittweitensteuerung verbessert Trainingsverlust, nicht Generalisierung: Eine compute-optimierte Analyse von RK-Adam-Optimierern
Die Untersuchung analysiert den Einsatz von Runge-Kutta-Integratoren höherer Ordnung zur Optimierung neuronaler Netze. Unter strenger Kontrolle des Rechenaufwands zeigt sich, dass adaptive RK-Varianten gegenüber herkömmlichem Adam keinen Vorteil bieten, da die Schrittweitensteuerung ineffektiv bleibt und lediglich die Kosten erhöht. Selbst bei einer technischen Korrektur des Verfahrens, die den Trainingsverlust senkt, verbessert sich die Generalisierungsleistung auf Testdaten nicht. Die Ergebnisse verdeutlichen, da
Interleaved Noise Injection verbessert Leistung bei sauberen, korrupten und OOD-Daten
Ein neues Verfahren zur Rauschinjektion während des Trainings nutzt einen alternierenden Zeitplan, um die Modellrobustheit signifikant zu steigern. Durch den Wechsel zwischen verrauschten und sauberen Datenphasen kann der Optimierer lokale Minima besser überwinden, ohne wichtige Merkmale zu vergessen. Eine zusätzliche Gradientennorm-Stabilisierung gleicht dabei die Schwankungen der Verlustfunktion aus. Die Methode verbessert die Widerstandsfähigkeit gegenüber Verteilungsverschiebungen bei verschiedenen Architekture
Tiefenabhängiger Zusammenbruch verborgener Zustände in dynamischen System-Autoencodern für die LiDAR-Punktwolkenklassifizierung
Die Untersuchung analysiert das Verhalten von dynamischen System-Autoencodern bei der Klassifizierung von LiDAR-Punktwolken. Dabei zeigt sich, dass bei einer zunehmenden Tiefe des Encoders ab einem bestimmten Punkt ein Zusammenbruch der verborgenen Zustände auftritt. Die Varianz der internen Repräsentationen sinkt dabei auf ein vernachlässigbares Niveau, wodurch die Fähigkeit zur Differenzierung zwischen verschiedenen Klassen verloren geht. Weder zusätzliche Merkmalsanreicherungen noch verschiedene Klassifizierungs
HyperShadow: Ein Benchmark zur Erkennung von 3D-Projektionen höherdimensionaler räumlicher Objekte
HyperShadow ist ein neuer Benchmark, der darauf abzielt, 3D-Punktwolken von nativen dreidimensionalen Formen zu unterscheiden, die als Projektionen von Objekten in vier- bis sechsdimensionalen Räumen entstehen. Während herkömmliche Schätzverfahren für intrinsische Dimensionen bei dieser Aufgabe versagen, erreicht ein spezialisiertes neuronales Netzwerk eine Genauigkeit von über 96 Prozent. Zudem wurde eine mathematische Methode entwickelt, die durch die Analyse von Rotationsbewegungen zwischen Einzelbildern eine pr
LIGO-PINN: Gelernte Initialisierung durch Gated Optimization zur Vermeidung von Konvergenzfehlern in physik-informierten neuronalen Netzen
Physik-informierte neuronale Netze stoßen bei der Modellierung komplexer partieller Differentialgleichungen häufig auf Konvergenzprobleme oder liefern triviale Lösungen. Die neue Methode LIGO-PINN adressiert dieses Defizit durch eine optimierte Initialisierung der Netzwerkgewichte mittels Gated Layerwise Optimization. Im Vergleich zu bestehenden Ansätzen, die auf Hyperparameter-Tuning oder dynamischem Resampling basieren, zeigt dieser Ansatz eine signifikante Leistungssteigerung bei der Lösung von Strömungsmechanik
Label-entkoppelte Stil-Augmentierung für die Domänen-Generalisierung in der Multi-Label-Fernerkundung
Für die Klassifizierung von Luftbildern mit mehreren Labels wurde ein neues Verfahren zur Domänen-Generalisierung entwickelt, das die bisher übliche globale Stil-Augmentierung verbessert. Anstatt Bildstatistiken ganzheitlich zu verändern, entkoppelt der Ansatz die Stil-Perturbation auf label-spezifische Regionen. Durch den Einsatz von Aufmerksamkeitsmechanismen oder Gradienten-Karten werden Merkmalsstatistiken für jedes Label einzeln berechnet und gemischt. Dies verhindert eine gegenseitige Beeinflussung verschiede
Nutzung komplementärer Ultraschalldaten zur Klassifizierung von Lebererkrankungen
Die Unterscheidung zwischen nicht-alkoholischer Steatohepatitis und einer einfachen Fettleber stellt in der Ultraschalldiagnostik aufgrund geringfügiger Gewebeveränderungen eine Herausforderung dar. Durch die Kombination konventioneller B-Bild-Aufnahmen mit physikbasierten und phasenbasierten Bilddarstellungen lässt sich die diagnostische Genauigkeit signifikant steigern. Der Einsatz von selbstüberwachten Masked Autoencoders und Graph Convolutional Networks ermöglicht eine präzisere Klassifizierung. In klinischen T
Analyse von Bild-Encodern und Graph-Homophilie in GCN-Frameworks zur Klassifizierung von Brustultraschallbildern
Die automatisierte Analyse von Brustultraschallbildern ist aufgrund von Bildrauschen und hoher Variabilität komplex. Graph Convolutional Networks (GCNs) bieten hier einen vielversprechenden Ansatz, indem sie Beziehungen zwischen Patientendaten nutzen. Eine systematische Untersuchung von fünf verschiedenen Bild-Encodern zeigt, dass leistungsfähigere Architekturen die Graph-Homophilie und damit die Klassifizierungsgenauigkeit signifikant verbessern. Es besteht ein direkter linearer Zusammenhang zwischen der Qualität
BiLoG-Net: Ein bi-kontextuelles, ortsgesteuertes Netzwerk zur Segmentierung und Klassifizierung von Brusttumoren in der Mammographie
BiLoG-Net ist ein neues Deep-Learning-Framework, das die Segmentierung von Brusttumoren und deren Malignitätsklassifizierung in einem einzigen Prozess vereint. Durch die Nutzung von bi-kontextuellen, ortsbezogenen Modellen und aufmerksamkeitsgesteuerten Mechanismen werden sowohl feine Gewebegrenzen als auch globale Zusammenhänge präzise erfasst. Das Modell verbessert die diagnostische Genauigkeit, indem es die gegenseitige Abhängigkeit zwischen der räumlichen Lokalisierung und der medizinischen Diagnose nutzt. In k
Authentifizierung durch Gesten in der Luft: Ein Interface für Virtual und Augmented Reality mittels Point-Voxel Cross-Attention Network
Für immersive Technologien wie Virtual und Augmented Reality werden intuitive und sichere Authentifizierungsmethoden benötigt, die ohne externe Hardware auskommen. Ein neu entwickeltes Interface ermöglicht die Identitätsprüfung durch natürliche Unterschriften in einem dreidimensionalen Raum. Hierfür wurde ein Point-Voxel Cross-Attention Network entworfen, das lokale Bewegungsdynamiken und globale räumliche Strukturen von 3D-Trajektorien analysiert. Die Evaluierung zeigt, dass dieser Ansatz eine präzise nutzerzentri
Ein Plug-and-Play-Ansatz zur schnellen Unsicherheitsquantifizierung bei der Massenkartierung durch schwachen Gravitationslinseneffekt
Für die Analyse kommender kosmologischer Datensätze ist eine präzise Rekonstruktion der Dunklen-Materie-Verteilung entscheidend. Der neue Algorithmus PnPMass ermöglicht eine effiziente Massenkartierung, indem er Gradientenabstiegsverfahren mit vortrainierten Deep-Learning-Modellen kombiniert. Dieser Ansatz erfordert kein erneutes Training für unterschiedliche Himmelsregionen und bietet eine schnelle, stichprobenfreie Unsicherheitsquantifizierung. Durch die Integration konformer Vorhersagen liefert das Verfahren zuv
Deep Unrolling der Sparsity-induzierten Raten-Verzerrungs-Optimierung für die Attributkompression von 3D-Punktwolken
Die verlustbehaftete Kompression von Attributen in 3D-Punktwolken wird durch einen neuen Ansatz auf Basis von B-Spline-Projektionen optimiert. Dabei werden die Attributfunktionen in verschachtelte Unterräume projiziert, wobei die Koeffizienten durch ein Deep-Unrolling-Verfahren eines Raten-Verzerrungs-Optimierungsalgorithmus berechnet werden. Durch die Integration einer Sparsity-fördernden L1-Norm in ein Feed-Forward-Netzwerk wird der gesamte Projektionsprozess differenzierbar. Zudem erfolgt eine datengesteuerte An
Gleichmäßige Approximation von Funktionen mit asymmetrischem Wachstums- und Abfallverhalten durch tiefe gewichtete Polynome
Die mathematische Approximation von Funktionen, die auf einer Seite der reellen Achse unbegrenzt wachsen und auf der anderen gegen Null abfallen, ist mit gewöhnlichen Polynomen auf unbeschränkten Bereichen nicht möglich. Ein neuer Ansatz nutzt einseitig gewichtete tiefe Polynome, um dieses Problem durch eine Reduktion auf kompakte Intervalle zu lösen. Zur effizienten Berechnung wird ein Verfahren eingesetzt, das die Optimierung durch eine Kombination aus festen inneren Abbildungen und linearen äußeren Anpassungen s
Neues universelles Operator-Approximationstheorem für Encoder-Decoder-Architekturen
Es wurde ein neues mathematisches Theorem zur universellen Approximation von Operatoren für eine breite Klasse von Encoder-Decoder-Architekturen entwickelt. Der Ansatz ermöglicht die Approximation stetiger Operatoren zwischen unendlichdimensionalen normierten oder metrischen Räumen unter der Bedingung gleichmäßiger Konvergenz auf kompakten Mengen. Ein wesentlicher Fortschritt ist die Unabhängigkeit der Approximationsfolge von den kompakten Mengen, was eine stärkere Eigenschaft darstellt als bisherige Ansätze. Die t
Was misst Goodness? Eine Likelihood-Ratio-Betrachtung des Forward-Forward-Lernens
Der Forward-Forward-Algorithmus trainiert neuronale Netzwerkschichten lokal, indem er einen Goodness-Wert maximiert, der bei echten Daten hoch und bei kontrastiven Daten niedrig ausfällt. Diese Arbeit zeigt, dass dieser Ansatz kein bloßes Heuristik-Verfahren ist, sondern mathematisch als Likelihood-Ratio-Test interpretiert werden kann. Dabei fungiert die quadrierte Goodness als hinreichende Statistik zur Unterscheidung von Datenpopulationen. Die Analyse liefert zudem theoretische Erklärungen für die Notwendigkeit s
M+Adam: Training mit niedriger Präzision durch additiv-multiplikative Optimierung
Das Training von KI-Modellen mit quantisierten Gewichten senkt die Kosten, führt jedoch häufig zu Genauigkeitsverlusten, da Standard-Optimierer bei niedriger Präzision aufgrund grober Mantissenauflösung stagnieren können. Der neue Optimierer M+Adam kombiniert additive und multiplikative Aktualisierungsschritte, um diese Schwächen auszugleichen. Während additive Schritte bei Vorzeichenwechseln und kleinen Werten greifen, sichern multiplikative Schritte den Fortschritt bei großen Gewichten. Tests mit LLaMA-Modellen i
Token-Geometrie und effiziente Optimierung von Sprachmodellen
Die Untersuchung der Gradientengeometrie von Embedding-Tabellen und LM-Heads zeigt, dass diese sich signifikant von dichten Gewichten unterscheiden. Basierend auf dieser Erkenntnis wurde Ember entwickelt, ein leichtgewichtiger Optimierer, der den Speicherbedarf für diese Komponenten drastisch reduziert, indem er den VRAM-Verbrauch von O(VD) auf O(V+D) senkt. Die Forschung belegt, dass die Optimierungstrajektorien von Token-Parametern oft einfachen eindimensionalen Pfaden folgen, was bisherige Annahmen über hochkomp
Hierarchisches selbstüberwachtes Lernframework für multivariate Zeitreihen in der EKG-Analyse
Das neu entwickelte Framework ER-JEPA ermöglicht eine effiziente Analyse multivariater Zeitreihen, insbesondere im medizinischen Bereich bei begrenzten annotierten Daten. Inspiriert durch kardiologische Diagnoseprozesse nutzt das Modell eine zweistufige hierarchische Struktur, die auf zwei gekoppelten Joint-Embedding Predictive Architectures sowie einem Vision Transformer basiert. Durch die hierarchische Repräsentation komplexer Datenmuster erreicht das System bei der Auswertung von 12-Kanal-EKGs eine hohe Vorhersa
Variational Inference für Evidential Deep Learning
Evidential Deep Learning verbessert die Unsicherheitsschätzung in neuronalen Netzen, leidet jedoch unter ineffizienten KL-Strafen und fehlenden theoretischen Grundlagen für die Parameterwahl. Das neue Framework VI-EDL nutzt die variationsbasierte Inferenz, um eine Evidence Lower Bound abzuleiten, die ein exzessives Anwachsen der Evidenz verhindert. Zudem liefert der Ansatz eine theoretische Begründung für die optimale Wahl der Dirichlet-Parameter. In praktischen Tests zeigt sich eine überlegene Leistung bei der Erk
Stabile Aufmerksamkeitssteuerung für zuverlässige Niederschlagsvorhersagen
Die kurzfristige Niederschlagsvorhersage steht aufgrund der komplexen atmosphärischen Dynamik vor großen Herausforderungen. Aktuelle KI-Modelle, die auf Attention-Mechanismen basieren, leiden häufig unter einer Instabilität der Aufmerksamkeitsreaktionen über verschiedene Datenproben hinweg, was die Prognosegenauigkeit beeinträchtigt. Das neu entwickelte Framework HARECast adressiert dieses Problem durch eine gezielte Regularisierung der aufmerksamkeitsbasierten Energiewerte. Durch die Reduktion dieser Schwankungen
Variational Mixture of Graph Neural Experts zur Erkennung von Alzheimer mittels EEG-Frequenzbändern
Ein neues Modell namens Variational Mixture of Graph Neural Experts (VMoGE) verbessert die Diagnose von Demenzerkrankungen wie Alzheimer durch die Analyse von EEG-Daten. Das System nutzt eine Mixture-of-Experts-Architektur, bei der spezialisierte Experten einzelne Frequenzbänder verarbeiten und Gehirnkonnektivität modellieren. Durch einen adaptiven Gating-Mechanismus werden diese Informationen kombiniert, um Unsicherheiten mittels variationaler Inferenz zu erfassen. Die Methode ermöglicht eine präzise Unterscheidun
xHC: Erweiterte Hyper-Connections für effizientes LLM-Training
Die Methode der Hyper-Connections erweitert den Residual-Stream von Transformern in mehrere parallele Ströme, um die Speicherkapazität jenseits von Modellbreite und -tiefe zu skalieren. Da bisherige Ansätze bei einer Erweiterung über vier Ströme hinaus an Effizienz verloren, wurde xHC entwickelt. Durch zeitliche Merkmalsanreicherung und eine spärliche Architektur, die nur einen Teil der Ströme aktualisiert, ermöglicht xHC eine effektive Skalierung auf bis zu 16 Ströme. In Kombination mit der Optimierung xHC-Flash w
T^2MLR: Transformer mit zeitlicher Rekursion in der mittleren Schicht
Die Architektur T^2MLR adressiert die Einschränkungen autoregressiver Transformer bei komplexen Schlussfolgerungsprozessen. Durch die Integration einer zwischengespeicherten Repräsentation der mittleren Schicht aus dem vorherigen Token in die aktuelle Berechnungsebene können abstrakte Zwischenzustände über mehrere Dekodierungsschritte hinweg erhalten bleiben. Dieser Ansatz erfordert nur einen geringen Rechenaufwand und lässt sich durch ein kurzes Finetuning in bestehende vortrainierte Modelle integrieren. Die Metho
Verloren in der Backpropagation: Der LM-Head als Gradienten-Flaschenhals
Die letzte Schicht neuronaler Sprachmodelle, die Merkmale auf die Vokabulargröße projiziert, erweist sich als kritischer Engpass für das Training. Da die Dimension der Merkmale deutlich geringer ist als die des Vokabulars, kommt es bei der Backpropagation zu einer massiven Kompression der Gradienten. Empirische Messungen zeigen, dass bis zu 99 Prozent der Gradientennorm durch diese Schicht unterdrückt werden, was zu ineffizienten Aktualisierungen der Modellparameter führt. Dieser strukturelle Mangel beeinträchtigt
Modell zur Relationsextraktion auf Basis eines semantischen Verbesserungsmechanismus
Die Extraktion von Relationen ist eine zentrale Aufgabe der natürlichen Sprachverarbeitung, wobei bestehende Methoden häufig Schwierigkeiten bei der Identifizierung überlappender Tripel aufweisen. Das neu entwickelte CasAug-Modell adressiert diese Herausforderung durch die Integration eines semantischen Verbesserungsmechanismus in das bestehende CasRel-Framework. Durch eine Vorabklassifizierung potenzieller Subjekte und die Berechnung semantischer Ähnlichkeiten mittels Aufmerksamkeitsmechanismen werden redundante R
Neuraler Kollaps ist untersagt: Informationsuntergrenzen in Sprachmodellen
Die interne Varianz in Sprachmodellrepräsentationen wird oft als unvollständiger neuraler Kollaps interpretiert. Diese Untersuchung zeigt jedoch, dass es sich dabei um eine gezielte Informationsspeicherung handelt, die einem festen Gesetz folgt. Analysen über 14 verschiedene Modelle hinweg belegen, dass die kontextuelle Information innerhalb von Tokens den Großteil der Varianz ausmacht, während makrokategoriale Strukturen nur einen geringen Anteil beanspruchen. Zudem erzwingt eine mathematisch nachgewiesene Untergr
Von der Rekonstruktion zur Interpretation: Zero-Setup-Segmentierung für Röntgen-Tomographiedaten
Ein neues Framework ermöglicht die automatisierte Segmentierung von Röntgen-Tomographiedaten ohne vorheriges Training oder manuelle Eingaben. Durch die Kombination einer materialunabhängigen Maskenstrategie mit einem vortrainierten semantischen Segmentierungsnetzwerk lassen sich verschiedene strukturelle Regionen wie Porosität oder Materialdichte direkt identifizieren. Das Verfahren liefert innerhalb weniger Minuten nach der Rekonstruktion diagnostische Ergebnisse und übertrifft herkömmliche intensitätsbasierte Met
Der RG-Flow Transformer: Skalenfreie Dynamik in begrenzten EEG-Daten
Die Untersuchung analysiert den Einsatz eines speziellen Transformer-Modells, das durch ein Renormierungsgruppen-Induktionsbias erweitert wurde, um die skalenfreie Dynamik von Gehirnstromsignalen in EEG-Daten zu erfassen. Im direkten Vergleich mit einem herkömmlichen Transformer bei der Klassifizierung von Schlafstadien zeigt das Modell keine signifikanten Vorteile bei der reinen Vorhersagegenauigkeit, selbst bei begrenzten Datenmengen. Der entscheidende Mehrwert liegt jedoch in der Interpretierbarkeit: Das Modell
Ehemaliger DeepMind-Forscher erzielt 300-Millionen-Dollar-Bewertung vor Produktstart
Ein erfahrener KI-Experte, der maßgeblich an der Entwicklung wegweisender Sprachmodelle beteiligt war, hat für sein neues Vorhaben eine Bewertung von 300 Millionen US-Dollar in der Pre-Seed-Phase erhalten. Der Fokus des Unternehmens liegt auf dem Bereich der visuellen Künstlichen Intelligenz. Diese Technologie wird als eine der nächsten großen Entwicklungsgrenzen innerhalb der KI-Forschung betrachtet. Trotz des Fehlens eines marktreifen Produkts unterstreicht die hohe Bewertung das enorme Investoreninteresse an spe
Moonshots kommendes Modell Kimi 3 soll den Rückstand zu Anthropics Opus 4.8 verringern
Das in Entwicklung befindliche KI-Modell Kimi 3 wird voraussichtlich als das bisher umfangreichste offene Sprachmodell aus China veröffentlicht. Mit einer geschätzten Parameteranzahl zwischen zwei und drei Billionen zielt das Modell darauf ab, die technologische Lücke zu führenden internationalen Systemen wie Anthropics Opus 4.8 zu schließen. Diese Entwicklung unterstreicht die zunehmende Ambition chinesischer Akteure, im Bereich der hochleistungsfähigen KI-Modelle eine Spitzenposition einzunehmen.
Deutsches KI-Konsortium veröffentlicht Soofi S, ein offenes 30B-Modell mit Spitzenwerten in Deutsch und Englisch
Ein deutsches Forschungskonsortium hat das Sprachmodell Soofi S 30B-A3B vorgestellt, das vollständig auf Cloud-Infrastruktur in München trainiert wurde. Das Modell nutzt eine effiziente Hybrid-Architektur, bei der pro Token nur ein Bruchteil der insgesamt 31,6 Milliarden Parameter aktiviert wird, was eine hohe Verarbeitungsgeschwindigkeit auch bei langen Kontexten ermöglicht. Durch einen Trainingsdatensatz mit einem gezielten Schwerpunkt auf der deutschen Sprache übertrifft das Modell vergleichbare offene Alternati
Profiling in PyTorch (Teil 3): Aufmerksamkeit ist alles, was man profiliert
Der dritte Teil der Artikelserie widmet sich der detaillierten Leistungsanalyse von Transformer-Modellen innerhalb des PyTorch-Frameworks. Im Fokus steht dabei die Identifikation von Engpässen bei der Berechnung von Attention-Mechanismen, die für moderne Sprachmodelle essenziell sind. Durch den Einsatz spezialisierter Profiling-Werkzeuge können Entwickler die Ausführungszeit und den Speicherverbrauch präzise messen. Dies ermöglicht eine gezielte Optimierung der Rechenoperationen, um die Effizienz beim Training und
Ganzkörper-konditionierte egozentrische Videovorhersage
Die Forschung befasst sich mit der Vorhersage von Videosequenzen aus der Egoperspektive unter Einbeziehung von Ganzkörperbewegungen. Durch die Verknüpfung von Kameradaten mit der Körperhaltung des Nutzers lässt sich das zukünftige Sichtfeld präziser modellieren. Dieser Ansatz verbessert das Verständnis für die Interaktion zwischen einer Person und ihrer Umgebung in dynamischen Szenarien. Die Methode ist besonders für Anwendungen in der Robotik und bei tragbaren Assistenzsystemen von Bedeutung, da sie eine realistis
Mamba erklärt
Mamba stellt eine neue Architektur für KI-Modelle vor, die auf sogenannten State Space Models basiert. Diese Technologie zielt darauf ab, die Effizienzprobleme klassischer Transformer-Modelle bei der Verarbeitung sehr langer Datenfolgen zu lösen. Durch einen neuartigen Ansatz zur Sequenzmodellierung bietet Mamba eine leistungsfähige Alternative, die den hohen Rechenaufwand herkömmlicher Aufmerksamkeitsmechanismen reduziert und somit eine skalierbarere Verarbeitung komplexer Informationen ermöglicht.