FlashDiff: Effiziente regionale Ausführung und Planung für das Serving von Diffusionsmodellen
Diffusionsmodelle für die Generierung von Bild-, Video- und Audioinhalten erfordern aufgrund ihrer iterativen Entrauschungsschritte eine hohe Rechenleistung. FlashDiff adressiert diese Herausforderung durch ein System zur adaptiven regionalen Ausführung und Planung. Dabei werden latente Räume in kohärente Regionen unterteilt, wobei ein Laufzeit-Controller inaktive Bereiche identifiziert und deren Aktualisierung überspringt. Ein affinitätsbewusster Scheduler verteilt die freiwerdenden Ressourcen effizient auf parall
Der Einfluss von Stochastik beim Sampling in Score-basierten Diffusionsmodellen: Eine KL-Divergenz-Analyse
Diese Untersuchung analysiert die Auswirkungen stochastischer Prozesse auf die Bild- und Datengenerierung in Score-basierten Diffusionsmodellen. Durch die mathematische Herleitung von KL-Divergenz-Grenzen wird aufgezeigt, dass Stochastik bei exakten Score-Funktionen eine kontraktive Wirkung hat und die Divergenz entlang des Sampling-Pfads verringert. Bei approximativen Scores entsteht jedoch ein Zielkonflikt zwischen der Korrektur akkumulierter Fehler und der Verstärkung aktueller Score-Fehler. Die Ergebnisse verde
MeanFlowNFT: Optimierung von Average-Velocity-Generatoren durch Reinforcement Learning
MeanFlowNFT ist ein neues Framework, das Reinforcement Learning (RL) auf MeanFlow-Generatoren überträgt, um die effiziente Bild- und Videogenerierung in wenigen Schritten zu verbessern. Da MeanFlow-Modelle mit Durchschnittsgeschwindigkeiten arbeiten, während herkömmliche RL-Ansätze auf Momentangeschwindigkeiten basieren, nutzt das Verfahren einen induzierten Prädiktor, um diese Lücke zu schließen. Die Methode ermöglicht eine präzise Belohnungsoptimierung bei gleichbleibend schneller Sampling-Geschwindigkeit. Experi
Maskenbewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Optimierung von maskierten Diffusions-Sprachmodellen mittels Reinforcement Learning stellt aufgrund der schwierigen Schätzung der Log-Likelihood eine Herausforderung dar. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter trainieren. Diese Method
Multi-Axis Max@K Reinforcement Learning für mehr Vielfalt bei der Text-zu-Bild-Generierung
Aktuelle Text-zu-Bild-Modelle erzeugen bei identischen Eingabeaufforderungen oft nur eine begrenzte visuelle Vielfalt, was insbesondere bei personenbezogenen Inhalten zu demografischen Verzerrungen führen kann. Zur Lösung dieses Problems wurde ein auf Reinforcement Learning basierender Ansatz entwickelt, der die Abdeckung vordefinierter semantischer Kategorien gezielt verbessert. Durch eine neue Methode der Kreditvergabe wird sichergestellt, dass verschiedene Bildbeispiele unterschiedliche Zielkategorien abdecken.
Ein zeitkontinuierliches Reinforcement-Learning-Framework für das Fine-Tuning diskreter Diffusionsmodelle
Ein neuer Ansatz formuliert Reinforcement Learning in zeitkontinuierlichen diskreten Zustandsräumen mittels stochastischer Kontrolle. Durch die Modellierung als kontrollierte Markov-Ketten lassen sich Policy-Gradient-Methoden wie PPO und GRPO auf diskrete Diffusionsmodelle übertragen. Dies ermöglicht eine belohnungsbasierte Optimierung, die nicht auf differenzierbare Signale angewiesen ist und Zwischenbelohnungen entlang des gesamten Denoising-Pfades integriert. Speziell für maskierte Diffusions-Sprachmodelle reduz
Integration ist entscheidend: Rollout-basiertes Training für eingeschränkte Diffusionsmodelle
Generative Modelle stehen oft vor der Herausforderung, komplexe Nebenbedingungen einzuhalten, ohne die Datenqualität zu beeinträchtigen. Bisherige Ansätze zur Einhaltung dieser Vorgaben basieren entweder auf einer Optimierung während des Trainings oder auf Korrekturen während der Inferenz, was häufig zu Verteilungsverschiebungen führt. Ein neuer Ansatz integriert nun eine auf Online-Rollouts basierende Steuerung direkt in den Feinabstimmungsprozess. Durch die Differenzierung entlang des festgelegten Rauschplans wäh
MIDiff: Bewältigung von Datenknappheit und Ungleichgewicht bei der Generierung mobiler Nutzungsmuster mittels multivariater Bild-Diffusion
Die Generierung realistischer mobiler Nutzungsmuster ist aufgrund von Datenschutzanforderungen und der hohen Komplexität der Daten eine Herausforderung. Das neue Framework MIDiff adressiert diese Probleme, indem es multivariate Zeitreihen in Korrelationsbilder transformiert. Durch den Einsatz eines auf Diffusionsmodellen basierenden Ansatzes mit Triple-Attention-Mechanismen in einer U-Net-Architektur werden zeitliche Konsistenz und Variablenabhängigkeiten präzise abgebildet. In Tests übertrifft das Modell bisherige
Shell-LCC: Effiziente Optimierung der Text-zu-Video-Generierung durch Daten-Mannigfaltigkeiten
Aktuelle Text-zu-Video-Diffusionsmodelle nutzen häufig aufwendige Belohnungsmodelle oder DPO-Verfahren, um die Qualität der generierten Inhalte zu verbessern. Ein neuer Ansatz zeigt nun, dass die Struktur der Trainingsdaten selbst als Belohnungsquelle fungieren kann. Durch die Modellierung der Mannigfaltigkeit hochwertiger Daten mittels Shell Local Coordinate Coding (Shell-LCC) lassen sich differenzierbare Signale erzeugen, die ohne zusätzliche menschliche Annotationen auskommen. Diese Methode verbessert die Detail
Überwindung des Streaming-Diffusions-Engpasses: Video-Echtzeit-Videobearbeitung mit MLLM-Konditionierung auf Consumer-GPUs
Durch aggressive Destillation von Diffusionsmodellen verschiebt sich der Engpass bei der Videogenerierung vom Denoiser hin zum Text-Encoder. Ein neuer Ansatz optimiert diesen Prozess, indem die rechenintensive MLLM-Konditionierung durch asymmetrisches CUDA-Pipelining und eine effiziente Graphen-Fusion vom kritischen Pfad entkoppelt wird. Dies ermöglicht die Videobearbeitung in Echtzeit auf handelsüblichen Grafikkarten. Mit dieser Methode lassen sich auf einer RTX 4090 Bildraten von 55 fps erreichen, ohne die Qualit
Asymptotische Erhaltung und gleichmäßige Genauigkeit bei Diffusions- und Flow-Matching-Samplern
Die Untersuchung analysiert die mathematischen Eigenschaften von Diffusions- und Flow-Matching-Samplern im Kontext von Rauschgrenzwerten. Dabei stehen die asymptotische Erhaltung und die gleichmäßige Genauigkeit bei der Diskretisierung im Fokus, um Fehler bei der Datenrekonstruktion unabhängig vom Rauschpegel zu begrenzen. Durch die Einführung einer Umschalt-Skala und angepasster Abbildungsfunktionen lassen sich numerische Instabilitäten vermeiden, die bei herkömmlichen Verfahren durch divergierende Schrittzahlen e
Stabile Aufmerksamkeitssteuerung für zuverlässige Niederschlagsvorhersagen
Die kurzfristige Niederschlagsvorhersage steht aufgrund der komplexen atmosphärischen Dynamik vor großen Herausforderungen. Aktuelle KI-Modelle, die auf Attention-Mechanismen basieren, leiden häufig unter einer Instabilität der Aufmerksamkeitsreaktionen über verschiedene Datenproben hinweg, was die Prognosegenauigkeit beeinträchtigt. Das neu entwickelte Framework HARECast adressiert dieses Problem durch eine gezielte Regularisierung der aufmerksamkeitsbasierten Energiewerte. Durch die Reduktion dieser Schwankungen
Herausforderungen beim Schutz von Videos vor KI-basierter Personalisierung und Manipulation
Moderne Diffusionsmodelle ermöglichen die Erstellung personalisierter Videos durch Bild-zu-Video-Generierung oder gezieltes Finetuning, was erhebliche Risiken für den Schutz der Privatsphäre und geistiges Eigentum birgt. Bisherige Schutzmechanismen konzentrierten sich primär auf Einzelbilder und scheitern oft an der zeitlichen Kompression oder mangelnder Robustheit gegenüber neuen Videodaten. Mit der neuen Methode TC-UAP wird ein universeller, zeitlich konsistenter Störungsansatz eingeführt, der Identitäten effekti
Text2Sign: Ein Single-GPU-Diffusionsmodell zur Generierung von Gebärdensprachvideos
Die Generierung von Gebärdensprachvideos aus Text ist aufgrund des hohen Rechenaufwands für Diffusionsmodelle bisher kostspielig. Mit Text2Sign wurde ein Modell entwickelt, das auf einer einzelnen NVIDIA L4 GPU trainiert und ausgeführt werden kann. Durch die Kombination eines vortrainierten Vision-Language-Encoders mit einer 3D-Architektur und faktorisierter räumlich-zeitlicher Aufmerksamkeit wird die Rechenlast reduziert, während die Bewegungskohärenz erhalten bleibt. Das System dient als effiziente Forschungsbasi
Heavy-Tailed Flow Matching mittels Random Clocks
Die neue Methode Heavy-Tailed Flow Matching via Random Clocks adressiert die Herausforderung, Daten mit extremen Ereignissen und ungleichmäßigen Verteilungen präzise zu modellieren. Herkömmliche Diffusionsmodelle basieren oft auf Gauß-Verteilungen, die für solche heavy-tailed Datensätze unzureichend sind. Durch die Verwendung von zeitgesteuerten Gauß-Mischverteilungen und einer effizienten Kodierung mittels Logsignature-Features ermöglicht das Verfahren eine bessere Abdeckung von Randbereichen und eine höhere Quali
Diskrete Diffusionsmodelle: Ein einheitlicher Rahmen von der Tokenisierung bis zur Generierung
Diskrete Diffusionsmodelle stellen eine leistungsfähige Alternative zu autoregressiven Modellen für die Verarbeitung diskreter Daten dar, da sie parallele Generierung und iterative Verfeinerung ermöglichen. Ein neuer theoretischer Rahmen vereinheitlicht verschiedene Ansätze wie Übergangsmatrizen, Maskierungstechniken und score-basierte Methoden unter einem gemeinsamen konzeptionellen Dach. Durch die Analyse der zugrunde liegenden Zustandsräume werden Design-Kompromisse bei Trainingszielen, Inferenzalgorithmen und S
Der Score-Hamiltonoperator: Abbildung von Diffusionsmodellen auf adiabatischen Transport
Es wurde eine exakte mathematische Entsprechung zwischen dem Sampling-Prozess score-basierter Diffusionsmodelle und dem adiabatischen Transport von Grundzuständen für eine neue Klasse von Schrödinger-Operatoren identifiziert. Diese sogenannten Score-Hamiltonoperatoren basieren auf dem gelerntem Quantenpotenzial des Scores. Durch die Anwendung adiabatischer Theoreme auf Fokker-Planck-Gleichungen mit zeitabhängigen Potenzialen lassen sich neue Schranken für die Dichterekonstruktion sowie fundierte Annealing-Zeitpläne
Diffusionsbasierte Rauschunterdrückung für die Kreiselkompass-Navigation
Die präzise Bestimmung der Ausrichtung ist für die Navigation autonomer Systeme entscheidend, wird jedoch bei kostengünstigen Sensoren durch Rauschen erschwert. Ein neuer Ansatz nutzt Diffusionsmodelle zur Rauschunterdrückung, um die Rohdaten von Inertialsensoren vor der eigentlichen Kursberechnung zu bereinigen. In Kombination mit einem lernbasierten Schätzmodell verbessert diese Methode die Genauigkeit der Kursbestimmung signifikant. Tests zeigen eine deutliche Leistungssteigerung gegenüber herkömmlichen modellba
Jenseits der visuellen Distanz: Diskrepanzanalyse in tiefen Repräsentationen zur Out-of-Distribution-Erkennung mit Diffusionsmodellen
Die Erkennung von Out-of-Distribution-Daten zielt darauf ab, zu bestimmen, ob ein Eingabedatenpunkt der Trainingsverteilung eines Modells entspricht oder unbekannt ist. Aktuelle Ansätze nutzen Diffusionsmodelle, um Referenzbilder zu erzeugen, bewerten die Abweichungen jedoch oft nur auf Pixelebene. Ein neuer Ansatz namens DDR nutzt stattdessen die internen Repräsentationsräume des Klassifikators selbst, um Diskrepanzen auf Feature- und Logit-Ebene zu quantifizieren. Durch eine zusätzliche Unterraum-Strategie zur Ve
Spektrale Diffusionsprozesse
Spektrale Diffusionsprozesse erweitern das Framework von Diffusionsmodellen auf stochastische Prozesse in Funktionenräumen. Durch eine spektrale Darstellung der Daten mittels Kernelfunktionen wird die stochastische Komponente von der Raum-Zeit-Struktur entkoppelt. Die Stochastik wird dabei in spektralen Koeffizienten kodiert, die durch Standard-Diffusionsmodelle modelliert werden. Dieser Ansatz stellt die Konsistenz und Austauschbarkeit der resultierenden stochastischen Prozesse sicher. Die Methode eignet sich beso
Steuerung von Diffusionsmodellen durch klassenkontrastiven Einfluss für die medizinische Bildklassifikation mit wenigen Daten
Bei der medizinischen Bildklassifikation mit begrenzten Trainingsdaten können Diffusionsmodelle zur Datengenerierung genutzt werden, wobei jedoch nicht alle synthetischen Bilder für die Klassifizierung gleichermaßen nützlich sind. Ein neuer Ansatz namens Class-Contrastive Influence (C2I) bewertet die Qualität generierter Daten anhand ihres Einflusses auf den Klassifikator. Dabei werden gezielt solche Beispiele erzeugt, die den Entscheidungsgrenzen nahestehen und die Robustheit des Modells stärken. Durch den Einsatz
FlashDiff: Effiziente regionale Ausführung und Planung für das Serving von Diffusionsmodellen
Diffusionsmodelle für die Generierung von Bild-, Video- und Audiodaten stehen aufgrund ihrer hohen Latenz und des intensiven Rechenaufwands vor Herausforderungen bei der Bereitstellung. FlashDiff adressiert diese Probleme durch eine adaptive regionale Ausführung, die erkennt, dass verschiedene Bildbereiche unterschiedlich schnell stabilisieren. Das System unterteilt latente Repräsentationen in kohärente Regionen, überspringt Updates mit geringem Einfluss auf die Qualität und nutzt einen intelligenten Scheduler zur
TraceSynth: Generierung von produktionsnahen Kernel-Traces mittels diffusionsbasierter Modelle
TraceSynth ist ein neues Framework, das auf Diffusionsmodellen basiert, um synthetische Kernel-Traces für die Systemdiagnose zu erzeugen. Da die Erfassung realer Traces in industriellen Umgebungen oft mit hohen Kosten, Speicherbedarf und Datenschutzbedenken verbunden ist, bietet dieser Ansatz eine effiziente Alternative zur Ergänzung begrenzter Datensätze. Durch den Einsatz von Transformer-basierten Diffusionsprozessen und einer regelbasierten Korrektur werden systemrelevante Invarianten gewahrt. Die Ergebnisse zei
GenDiff: Ein dosis- und anatomiebewusstes Diffusionsmodell zur Rekonstruktion von Low-Dose-CT-Aufnahmen
Die Rekonstruktion von CT-Bildern mit niedriger Strahlendosis leidet häufig unter Bildrauschen und Artefakten, was die diagnostische Qualität beeinträchtigt. Das neue Framework GenDiff adressiert diese Herausforderungen durch ein Diffusionsmodell, das kontinuierliche Strahlendosiswerte und anatomische Informationen in einem einheitlichen Netzwerk verarbeitet. Durch die Integration eines speziellen Encoders, einer physikbasierten Konsistenzprüfung und eines Moduls zur Verfeinerung struktureller Prioritäten erzielt d
Die Serialitätslücke in Video-Diffusionsmodellen
Aktuelle Video-Diffusionsmodelle stoßen bei der Vorhersage von aufeinanderfolgenden Ereignissen, wie etwa physikalischen Kettenreaktionen, an ihre Grenzen. Untersuchungen zeigen, dass die Leistung dieser Modelle abnimmt, je länger die Kausalkette der zu simulierenden Ereignisse wird. Dieses Phänomen, als Serialitätslücke bezeichnet, entsteht durch eine Diskrepanz zwischen der benötigten seriellen Rechenleistung für komplexe Abläufe und der Architektur von Diffusionsmodellen. Die Analyse verdeutlicht, dass zusätzlic
Beschleunigung von maskierten Diffusions-Sprachmodellen: Ein Überblick über effiziente Inferenztechniken
Diffusionsbasierte Sprachmodelle bieten theoretische Vorteile bei der parallelen Textgenerierung gegenüber klassischen autoregressiven Modellen, erfordern jedoch spezialisierte Inferenzmechanismen für praktische Geschwindigkeitsvorteile. Eine aktuelle Untersuchung führt ein einheitliches Framework zur Latenzanalyse ein, um die komplexen Zusammenhänge zwischen Algorithmen, Modellarchitekturen und Systemoptimierungen zu entflechten. Die Arbeit kategorisiert bestehende Beschleunigungstechniken und bietet Leitlinien fü
Generierung entwicklungsfähiger 3D-Moleküle durch taschenbasierte Diffusion und eigenschaftsgestützte Optimierung
Ein neues Framework für das strukturbasierte Wirkstoffdesign ermöglicht die gezielte Generierung von Liganden, die sowohl eine hohe Bindungsaffinität zu Zielproteinen aufweisen als auch günstige ADMET-Eigenschaften besitzen. Das System kombiniert ein vortrainiertes Modul zur Repräsentation von Bindungstaschen mit einem diffusionsbasierten Generierungsmodell und einer Optimierungskomponente für die Entwicklungsfähigkeit. In praktischen Tests an Zielproteinen wie PD-L1 und CSF1R konnten die generierten Moleküle exper
Lernen der Diskretisierung: Diffusionsbasierte adaptive Gitter mit spektraler Steuerung
Die Modellierung partieller Differentialgleichungen durch neuronale Netze hängt maßgeblich von der Wahl des zugrunde liegenden Gitters ab. Ein neuer Ansatz transformiert die adaptive Diskretisierung in ein generatives Problem, bei dem ein zweistufiges Diffusionsmodell zunächst die optimale Gitterverschiebung basierend auf der Dynamik lernt und anschließend die Lösungsentwicklung vorhersagt. Durch physikalisch informierte Regularisierung und spektrale Analyse passt sich das Gitter dynamisch an die räumlichen und spe
BARD: Überbrückung von autoregressiven und Diffusions-Vision-Language-Modellen durch effiziente Blockzusammenführung
Das neue Framework BARD ermöglicht die Umwandlung vortrainierter autoregressiver Vision-Language-Modelle in effizientere Diffusionsmodelle. Durch eine schrittweise Zusammenführung von Blöcken und eine stufenweise Destillation innerhalb des Diffusionsregimes wird die Leistungsfähigkeit trotz beschleunigter Dekodierung beibehalten. Die Methode verbessert die Inferenzgeschwindigkeit um das Dreifache, ohne die multimodalen Fähigkeiten zu beeinträchtigen. In Tests mit Modellen der 4B- und 8B-Klasse setzt dieser Ansatz n
MetaState: Persistentes Arbeitsgedächtnis verbessert das logische Schlussfolgern in diskreten Diffusions-Sprachmodellen
Diskrete Diffusions-Sprachmodelle leiden häufig unter dem Informationsinseln-Problem, bei dem kontinuierliche Zustände zwischen den einzelnen Entrauschungsschritten verloren gehen. Dies behindert komplexe logische Schlussfolgerungen, die eine kontinuierliche Zustandsaktualisierung erfordern. Mit MetaState wurde eine rekursive Erweiterung entwickelt, die ein festes Arbeitsgedächtnis in das Modell integriert. Durch drei spezialisierte Module werden Informationen über die Schritte hinweg gespeichert und in den Prozess
SPQR: Ein mehrdimensionaler Benchmark für die Sicherheitsausrichtung bei der Modellanpassung
Text-zu-Bild-Diffusionsmodelle können problematische Inhalte erzeugen, weshalb Sicherheitsausrichtungen implementiert werden. Diese verlieren jedoch häufig ihre Wirkung, wenn Modelle nach der Bereitstellung durch Techniken wie LoRA oder Style-Adapter feinabgestimmt werden. Der neue SPQR-Benchmark adressiert dieses Problem, indem er ein einheitliches Framework zur Messung von Sicherheit, Prompt-Treue, Qualität und Robustheit bietet. Durch eine zentrale Kennzahl ermöglicht das Verfahren eine vergleichbare Bewertung d
Likelihood-Matching für Diffusionsmodelle
Ein neuer Ansatz für das Training von Diffusionsmodellen nutzt Likelihood-Matching, um die Wahrscheinlichkeitsdichte der Zieldaten mit dem Pfad der umgekehrten Diffusion in Einklang zu bringen. Durch die Approximation der Übergangsdichten mittels Gauß-Verteilungen und die Schätzung von Score- und Hesse-Funktionen lässt sich die Genauigkeit der Modellierung verbessern. Ein begleitender stochastischer Sampler nutzt diese Informationen, um die Generierung zu optimieren. Theoretische Garantien zur Konsistenz und Konver
Niedrigdimensionale Anpassung von Diffusionsmodellen: Konvergenz in der Totalvariationsdistanz
Die vorliegende Untersuchung analysiert, wie generative Diffusionsmodelle niedrigdimensionale Strukturen nutzen, um den Sampling-Prozess zu beschleunigen. Es wird mathematisch belegt, dass die Iterationskomplexität für gängige Verfahren wie DDIM und DDPM maßgeblich von der intrinsischen Dimension der Zielverteilung abhängt. Die Ergebnisse zeigen, dass diese Modelle effizient konvergieren, selbst wenn die Score-Funktionen aus Daten gelernt werden, anstatt exakt bekannt zu sein. Damit liefert die Arbeit eine theoreti
x-Prediction Is All You Need: Trainingsfreie beschleunigte Generierung durch Endpoint Decodability
Die Generierung von Bildern mittels Diffusions- und Flow-Matching-Modellen erfordert oft eine hohe Anzahl an neuralen Funktionsauswertungen, was die Inferenz verlangsamt. Ein neuer Ansatz nutzt die Eigenschaft der Endpoint Decodability, bei der ein Zwischenzustand und die Pfadgeschwindigkeit eine präzise Schätzung des Zielbildes ermöglichen. Durch das sogenannte Truncated Jump Sampling wird der ODE-Prozess vorzeitig beendet und das Ergebnis direkt dekodiert. Diese Methode erfordert weder ein erneutes Training noch
Probabilistische Windkraftprognose mittels baumbasiertem maschinellem Lernen und Wetter-Ensembles
Präzise Erzeugungsprognosen sind für die Integration erneuerbarer Energien in das Stromnetz entscheidend. Eine aktuelle Untersuchung vergleicht drei probabilistische Vorhersagemethoden – konformale Quantilregression, natürliches Gradient Boosting und konditionale Diffusionsmodelle – in Kombination mit baumbasiertem maschinellem Lernen. Anhand von Daten belgischer Offshore-Windparks zeigt sich, dass diese Ansätze bestehende deterministische und gaußsche Modelle deutlich übertreffen. Insbesondere konditionale Diffusi
HyperNet-Adaptation zur diffusionsbasierten Testfallgenerierung
Die Zuverlässigkeitsprüfung von Deep-Learning-Systemen erfordert effiziente Methoden zur Generierung realistischer Testfälle. Das neue Verfahren HyNeA nutzt Hypernetzwerke, um Diffusionsmodelle gezielt zu steuern, ohne auf aufwendige Feinabstimmungen oder spezifische Trainingsdatensätze angewiesen zu sein. Durch diese instanzbasierte Anpassung lassen sich fehlerinduzierende Szenarien direkt und recheneffizient erzeugen. Die Methode verbessert die Testvielfalt und ermöglicht eine präzise Fehleranalyse selbst in Anwe
CANDI: Hybride diskret-kontinuierliche Diffusionsmodelle
Die direkte Anwendung kontinuierlicher Diffusionsmodelle auf diskrete Daten führt oft zu Leistungseinbußen. Das neue Framework CANDI analysiert diesen Effekt durch das Konzept der Token-Identifizierbarkeit, welches die Korruption diskreter Daten durch Gaußsches Rauschen in zwei Mechanismen unterteilt. Durch die Entkopplung dieser Prozesse ermöglicht CANDI das gleichzeitige Lernen von kontinuierlicher Geometrie und diskreter Struktur. Dies erlaubt den Einsatz klassifikatorbasierter Steuerung bei diskreten Daten und
Verbesserung der Schlussfolgerungsfähigkeiten von Diffusions-Sprachmodellen durch Distribution Matching Policy Optimization
Diffusionsbasierte Sprachmodelle bieten eine effiziente Alternative zu autoregressiven Modellen, erfordern jedoch spezialisierte Methoden für das Reinforcement Learning, um komplexe Schlussfolgerungsaufgaben zu bewältigen. Die neue Methode Distribution Matching Policy Optimization (DMPO) adressiert diese Lücke, indem sie die Richtlinienverteilung des Modells durch Kreuzentropie-Optimierung an eine optimale, belohnungsbasierte Verteilung anpasst. Durch eine innovative Technik zur Gewichtung und Subtraktion von Basel
Riemannsche Denoising Diffusion Probabilistic Models
Es wurde ein neues Verfahren für generative Modelle auf Mannigfaltigkeiten entwickelt, das als Riemannsche Denoising Diffusion Probabilistic Models bezeichnet wird. Im Gegensatz zu bisherigen Ansätzen, die komplexe geometrische Informationen wie geodätische Kurven oder Eigenfunktionen erfordern, basiert diese Methode auf einem Projektionsschema. Dadurch lässt sie sich auf allgemeinere Mannigfaltigkeiten anwenden, sofern die definierende Funktion und deren erste Ableitungen bekannt sind. Die Leistungsfähigkeit des M
EquiFusion: Kinematik-unabhängige Vorhersage menschlicher Bewegungen durch äquivariante latente Diffusion
EquiFusion stellt einen neuartigen Ansatz zur Vorhersage menschlicher Bewegungen dar, der die bisherige Abhängigkeit von fest kodierten Skelettstrukturen überwindet. Durch die Implementierung eines latenten Diffusionsmodells mit einer permutationsäquivarianten Architektur ist das System in der Lage, Bewegungsdaten unabhängig von spezifischen Gelenkanordnungen oder Graphenstrukturen zu verarbeiten. Dies ermöglicht eine verbesserte Generalisierung über verschiedene Datensätze hinweg sowie neue Funktionen wie die Vorh
Transition Matching Distillation für schnelle Videogenerierung
Die neue Methode Transition Matching Distillation ermöglicht eine effiziente Beschleunigung von Videodiffusionsmodellen für Echtzeitanwendungen. Durch die Destillation komplexer mehrstufiger Diffusionsprozesse in wenige, leichtgewichtige Schritte wird die Rechenlast signifikant reduziert. Das Verfahren unterteilt das Modell in ein Haupt-Backbone zur semantischen Merkmalsextraktion und einen spezialisierten Flow-Head für schnelle Aktualisierungen. Tests mit großen Text-zu-Video-Modellen belegen, dass diese Technik e
Shortcut Trajectory Planning für effizientes Offline Reinforcement Learning
Die neue Methode Shortcut Trajectory Planning (STP) optimiert die Pfadplanung im Offline Reinforcement Learning, indem sie die rechenintensiven iterativen Prozesse herkömmlicher Diffusionsmodelle umgeht. Anstatt auf komplexe Destillationsverfahren zu setzen, nutzt STP ein einstufig trainiertes Modell, das durch eine konditionierte Schrittweitensteuerung sowohl einstufige als auch mehrstufige Inferenz ermöglicht. Ein durch Machbarkeitsprüfungen ergänzter Kritiker bewertet dabei die generierten Pfadkandidaten. In umf
Autoregressive latente Diffusion für die 3D-Molekülgenerierung
Mit KRONOS wurde ein neues Framework zur Generierung von 3D-Molekülen vorgestellt, das autoregressive Ansätze mit latenter Diffusion kombiniert. Das Modell arbeitet im latenten Raum eines vortrainierten Autoencoders und modelliert gleichzeitig die Topologie sowie die Geometrie molekularer Graphen. Durch eine spezielle Trainingsstrategie, die auf dem Fill-in-the-Middle-Prinzip basiert, ermöglicht das System sowohl eine unkonditionierte Generierung als auch die gezielte Erstellung von Molekülen basierend auf vorgegeb
Quantenschaltkreise in Diffusionsmodellen: Eine Vergleichsstudie und Analyse von Embedding-Fehlern
Diese Untersuchung analysiert die Integration von variablen Quantenschaltkreisen in Diffusionsmodelle mittels eines speziellen Modulationsgerüsts. Die Ergebnisse zeigen, dass Quantenkerne zwar eine vergleichbare Bildqualität wie klassische Kontrollmodelle erreichen, jedoch keinen statistisch signifikanten Vorteil bei der Parametereffizienz bieten. Zudem wurde ein systematischer Fehler bei der Winkel-Einbettung identifiziert, bei dem unbegrenzte Zielwerte zu Phasen-Aliasing und zum Zusammenbruch des Modulators führe
BlockServe: Block-granulare kontinuierliche Batch-Verarbeitung für effizientes Diffusion-LLM-Serving
Die effiziente Bereitstellung von Diffusions-Sprachmodellen wird häufig durch unterschiedliche Konvergenzraten bei der Batch-Verarbeitung gebremst, was zu ineffizienten Rechenpausen und erhöhten Latenzzeiten führt. BlockServe adressiert dieses Problem durch ein block-granulares Scheduling, das abgeschlossene Anfragen sofort entfernt, sowie durch eine gemischte Ausführung mittels Gather-Scatter-Indizierung. Ergänzt wird das System durch eine rechenbewusste Zugangssteuerung, die die Batch-Kapazität dynamisch optimier
Masken-bewusste Policy-Gradients für Diffusions-Sprachmodelle
Die Anwendung von Reinforcement Learning auf maskierte Diffusions-Sprachmodelle ist aufgrund der schwierigen Schätzung der Log-Likelihood komplex. Ein neuer Ansatz betrachtet den Generierungsprozess als zweistufigen Entscheidungsprozess, der sowohl die Vorhersage von Token als auch die Auswahl der zu demaskierenden Positionen umfasst. Durch die mathematische Zerlegung des Policy-Gradients in einen Token- und einen Maskierungsterm lässt sich das Modell effizienter optimieren. Diese Methode erzielt signifikante Leist
Entschlüsselung der Kreativität von Diffusionsmodellen
Die Untersuchung widmet sich der theoretischen Fundierung von Diffusionsmodellen, um deren kreative Fähigkeiten besser verständlich zu machen. Dabei wird analysiert, wie diese Algorithmen durch iterative Prozesse aus Rauschen komplexe Datenstrukturen generieren. Ziel ist es, die mathematischen Mechanismen hinter der Bild- und Datengenerierung offenzulegen, die bisher oft als Blackbox wahrgenommen wurden. Durch diesen theoretischen Ansatz soll ein tieferes Verständnis für die Funktionsweise und die Grenzen der gener