FracEvent: Simulation von Event-Kameras durch fraktionale Relaxations-Pixel-Dynamik
Event-Kameras erfassen Helligkeitsänderungen mit hoher zeitlicher Auflösung, jedoch ist die Erfassung realer Daten aufwendig, weshalb präzise Simulationen von großer Bedeutung sind. Bisherige Simulatoren basieren meist auf vereinfachten Kontrastschwellen, was die zeitliche Struktur der Pixelprozesse oft unzureichend abbildet. Mit FracEvent wurde ein neuer Simulator vorgestellt, der die Dynamik auf Pixelebene durch fraktionale Relaxationsprozesse modelliert und so das zeitliche Verhalten realer Sensoren genauer nach
GAN-Diff: Kopplung vortrainierter WGAN-GP-Merkmale mit konditionalen Diffusions-U-Nets
Ein neuartiger hybrider Ansatz kombiniert die Effizienz generativer adversarialer Netzwerke mit der Bildwiederherstellungsqualität von Diffusionsmodellen. Dabei werden intermediäre Merkmale eines eingefrorenen, vortrainierten WGAN-GP-Generators über Kreuzaufmerksamkeit in ein konditionales Diffusions-U-Net eingebunden. Die Evaluierung an Aufgaben wie Rauschunterdrückung und Super-Resolution zeigt signifikante Qualitätssteigerungen gegenüber den jeweiligen Eingangswertbasen. Durch gezielte Behebung von Instabilitäte
Kameraunabhängiges Pruning von 3D Gaussian Splats durch deskriptorbasierte Beta-Evidenz
Für eine effiziente Speicherung, Übertragung und Weiterverarbeitung von 3D Gaussian Splats ist die Reduzierung ihrer Komplexität essenziell. Bisherige Optimierungsverfahren basieren jedoch meist auf spezifischen Kameraparametern oder gerenderten Ansichten, was in kameraunabhängigen Austauschformaten zu Einschränkungen führt. Ein neuer Ansatz ermöglicht nun ein einmaliges, post-Training-basiertes Pruning direkt auf Basis attributbezogener Nachbarschaftsdeskriptoren. Durch ein hybrides Deskriptor-Framework und ein st
Komplexitätsinduktion: Kompositionelle Generalisierung durch strukturierte Trainingsverzerrung
Eine neuartige Methode namens Komplexitätsinduktion zeigt, dass eine gezielte, strukturierte Verzerrung von Trainingsdaten die kompositionelle Generalisierung in Standard-CNN-Klassifikatoren ohne architektonische Modifikationen ermöglichen kann. Durch den Einsatz von Methoden wie gemischten Labels und erweiterten Datensätzen auf Basis von Ähnlichkeitsmetriken lernt das Modell, ungesuchte Klassen- und Merkmalskombinationen vorherzusagen. Die Untersuchungen belegen, dass dieser Effekt direkt von der inhärenten Strukt
Heterogene Ensembles mit Multimodalen Sprachmodellen für robuste klassenübergreifende Bildklassifikation
Ein neuartiger adaptiver Router nutzt multimodale große Sprachmodelle, um Bilder in heterogenen Ensembles dynamisch an passende Vision-Backbones weiterzuleiten. Durch die Kombination verschiedener Architekturen wie Convolutional Neural Networks, selbstüberwachten Repräsentationslernern und Vision-Language-Modellen auf einem einheitlichen Label-Raum wird die Generalisierungsfähigkeit über verschiedene visuelle Domänen hinweg deutlich gesteigert. Das System verbessert die Anpassungsfähigkeit durch einfache Prompt-Mod
Wenn mehr Referenzen schaden: Kontaminationsbewusste DINOv2-Speicherbänke für die Few-Shot-Stahlfehlererkennung
Patch-basierte Anomaliedetektoren in der industriellen Bildverarbeitung setzen voraus, dass die verwendete Referenzbasis ausschließlich fehlerfreie Daten enthält, was bei unvollständig verifizierten Bilderspringen oft nicht gewährleistet ist. Um diese Kontamination zu bereinigen, bewertet ein neuer Ansatz Kandidatenpatches anhand ihres Abstands zu einer verifizierten Vertrauensbasis und entfernt verdächtige Regionen vor der Verdichtung. Durch dieses gezielte Filtern lässt sich der Fremdanteil in industriellen Daten
Berücksichtigung räumlicher Evidenz: Berührungslose Stress- und Suchtdruckerkennung bei Opioidabhängigkeit mittels Thermalbildgebung
Ein neu entwickelter, schwach überwachter Ansatz zur berührungslosen physiologischen Überwachung nutzt stationäre Thermovideos, um Stressreaktionen und Suchtdruck bei Opioidabhängigkeit präzise zu detektieren. Das Modell fusioniert eingefrorene Fundamentmodelle auf Embedding-Ebene und bewahrt dabei räumliche sowie zeitliche Körperlokalisierungen über den gesamten Inferenzprozess hinweg. Mit einer hohen Vorhersagegenauigkeit demonstriert das Verfahren erstmals die Extrahierbarkeit von Suchtdrucksignalen aus thermogr
Von lokaler Geometrie zur globalen Pseudolabeling-Strategie für robustes Positive-Unlabeled-Lernen unter Covariate Shift
Die Erkennung von Covariate Shift ist entscheidend für stabile Computersituationssysteme, jedoch erfordert dieser Prozess meist aufwendig annotierte Daten aus beiden Verteilungen. Ein neuer Ansatz nutzt schwache Supervision durch Positive-Unlabeled-Lernen, um diese Einschränkung zu umgehen, und begegnet Datenüberlappungen durch ein geometriebasiertes Framework namens SPUNA. Dieses Verfahren nutzt lokale Mannigfaltigkeitsstrukturen visueller Merkmale, um verschobene Daten schrittweise zu identifizieren und zu klassi
NAIMA: Semantikbewusste, RGB-gestützte Tiefen-Super-Resolution
Die geführte Tiefen-Super-Resolution kombiniert niedrig aufgelöste Tiefenkarten mit hoch aufgelösten RGB-Bildern zur Rekonstruktion feiner Strukturdetails. Herkömmliche Verfahren nutzen häufig vortrainierte Modelle, deren dekodierte Prädiktionen jedoch zu Artefakten und ungenauen Tiefengrenzen führen können. Ein neu entwickelter Ansatz umgeht dieses Problem durch die direkte Integration globaler kontextueller Semantikprädikate aus Vision-Transformer-Token-Embeddings. Mithilfe eines neuartigen Aufmerksamkeitsmoduls
CFM: Sprachausgerichtetes Konzept-Grundlagenmodell für visuelle Daten
Bestehende sprachausgerichtete Bild-Grundlagenmodelle zeigen starke Leistungen bei nachgelagerten Aufgaben, bleiben jedoch in ihren internen Repräsentationen und Entscheidungsprozessen undurchsichtig. Um diesem Problem zu begegnen, wurde ein neuartiges Konzept-Grundlagenmodell entwickelt, das feingranulare, für Menschen interpretierbare und räumlich verankerte Konzepte im Eingangsbild bereitstellt. Durch die Analyse lokaler Kookkurrenzabhängigkeiten lassen sich zudem konzeptuelle Beziehungen definieren, welche die
Welche Negativbeispiele zählen? Adaptive Ähnlichkeitsabstände für das dichte Untertitel-Retrieval
Bei der kontrastiven Feinabstimmung von Modellen für das dichte Untertitel-Retrieval führt die gängige InfoNCE-Zielfunktion häufig zu einer vorzeitigen Sättigung und verschwindenden Gradienten. Als Lösung wurde ein neuer Ansatz namens HN-CLIP entwickelt, der die interne Textgeometrie des Textencoders nutzt, um pro negativem Beispiel adaptive Ähnlichkeitsabstände zu berechnen. Diese Methode benötigt keine zusätzlichen Trainingsdaten oder Offline-Vorverarbeitungen und erzeugt keinen Mehraufwand zur Inferenzzeit. Umfa
Unsicherheitsbewusste kompositorische Lokalisierung und Platzierungsbewertung von Kathetern und Schläuchen in Thoraxröntgenaufnahmen
Die automatisierte Beurteilung von Kathetern und Tuben in Röntgenaufnahmen des Brustkorbs ist sicherheitskritisch, jedoch fehleranfällig. Ein neues kompositorisches Framework namens UCompCXR kombiniert lokale Fragmenterkennung, graphenbasiertes Clustering und präzisionsgewichtete Gauß-Schätzung, um die Platzierung einzelner medizinischer Geräte präzise zu bewerten. Evaluierungen auf Basis eines umfangreichen Datensatzes zeigen eine deutlich höhere Detektionsrate bei stark reduzierten Fehlalarmen im Vergleich zu her
Entkopplung hoher und niedriger Frequenzen für detailgetreue Bildgenerierung
Latente generative Modelle stehen häufig vor der Herausforderung, feine Details und Texturen in Bildern präzise zu rekonstruieren, da herkömmliche Lernziele grobe Strukturen priorisieren. Als Lösungsansatz wurde ein entkoppelter Frequenzband-Tokenizer entwickelt, der das Erlernen von Einbettungen für niedrige und hohe Frequenzen explizit trennt. Diese Entkopplung ermöglicht in Kombination mit latenten Diffusionsmodellen eine deutlich schärfere und realistischere Bildsynthese. Dadurch bleibt die globale Konsistenz g
Hierarchische Klassifikation durch kaskadierte Merkmalselimination: Anwendung auf das Human Phenotype Ontology-ausgerichtete Gesichts-Phänotypisieren
Ein neues Framework zur automatisierten Klassifikation Gesichts-phänotypischer Deskriptoren verknüpft 3D-Gesichtsgeometrien mit der Human Phenotype Ontology, um klinische Diagnoseprozesse zu unterstützen. Basierend auf aus 2D-Bildern generierten Landmarken und klinischen Annotationen wurde eine hierarchische PointNet-Architektur mit kaskadierter Klassifikation und Merkmalselimination trainiert. Die evaluierten Modelle erzielen auf übergeordneten Klassifikationsebenen signifikant bessere Leistungswerte als bei spezi
Mask2Real-WM: Segmentierungsmasken als Sim-to-Real-Brücke für steuerbare Fingerfertigkeits-Weltmodelle
Ein neuartiges, zweistufiges Weltmodell für komplexe robotische Greif- und Manipulationsaufgaben trennt die Vorhersage von Pixeln in ein Dynamik- und ein Renderingsystem auf. Das Dynamikmodell prognostiziert zukünftige Segmentierungsmasken basierend auf historischen Masken und hochdimensionalen Aktionssequenzen, während das Renderingmodul diese mittels eines erweiterten Diffusionsmodells in fotorealistische RGB-Bilder übersetzt. Durch die geringere Kluft zwischen Simulation und Realität im Segmentierungsraum lässt
STAND: Semantische Verankerungsbeschränkung mit feingranularer Disambiguierung für die Änderungserkennung in der Fernerkundung
Für die präzise Beschreibung von Veränderungen in Fernerkundungsbildern wurde ein neuartiger Ansatz entwickelt, der grundlegende Mehrdeutigkeiten bezüglich Perspektiven, Maßstäben und Vorwissen systematisch adressiert. Das Verfahren nutzt eine interpretierbare Beschränkung zur Regularisierung temporaler Repräsentationen sowie ein duales Disambiguierungsmodul, welches globale Kontextaggregation mit frequenzbasierten Aufmerksamkeitsmechanismen kombiniert. Zusätzlich verankert ein semantisches Konzeptmodul sprachliche
WorldPack: Dynamische Frame-Kompression für Videoweltmodelle mit langem Kontext
Videoweltmodelle stehen vor der Herausforderung, über längere Zeiträume hinweg räumlich und zeitlich konsistente Sequenzen zu generieren. Das neu entwickelte System WorldPack löst dieses Problem durch einen adaptiven Ansatz, bei dem historische Bilddaten basierend auf ihrer dreidimensionalen räumlichen Relevanz zum aktuellen Kamerastandpunkt dynamisch komprimiert werden. Durch die Kombination aus hierarchischer Trajektorienkompression und geometrischer Auswahl wird der effektive Kontext deutlich erweitert, während
Blicküberwachtes multimodales Lernen zur Röntgenthorax-Diagnostik und Befundgenerierung
Ein neuartiger zweistufiger multimodaler Ansatz für die Analyse von Thorax-Röntgenbildern integriert die Blickbewegung von Radiologen direkt in das maschinelle Lernen. Im ersten Schritt steuert ein blicktokenbasierter Klassifikator die visuelle Aufmerksamkeit und erhöht die diagnostische Genauigkeit sowie die räumliche Ausrichtung spürbar. Die zweite Stufe übersetzt diese präzisierten Vorhersagen mithilfe von Sprachmodellen und Expertenwörterbüchern in strukturierte, regionesspezifische Befundtexte. Durch die Einbi
Die vielen Facetten visueller Ähnlichkeit: Ein textgesteuertes, bildbasiertes Perzeptionsmetrik-Verfahren
Menschliche Urteile zur visuellen Ähnlichkeit sind stark kontextabhängig, da bestehende Metriken diese Nuancen jedoch in einen einzigen skalaren Wert komprimieren, fehlt ihnen die Fähigkeit zur kontextuellen Anpassung. Um diese Lücke zu schließen, wurde ein umfangreicher Datensatz menschlicher Ähnlichkeitsurteile auf Basis von Bild-Triplets entwickelt, die über diverse semantische Aspekte hinweg annotiert sind. Umfangreiche Evaluierungen aktueller Vision-Language-Modelle offenbaren deutliche Leistungsdefizite im Ve
Statistische Adversäre: Natürliche, Backdoor-artige adversarische Merkmale in unmanipulierten Bilddatensätzen
In Bilddatensätzen existieren von Natur aus statistische Signale, die ohne böswillige Manipulation wie Backdoor-Trigger wirken und gezielt Modellvorhersagen verändern. Diese sogenannten statistischen Adversäre übertragen sich über verschiedene Architekturen hinweg und verdeutlichen, dass Schwachstellen maßgeblich durch die zugrundeliegende Datenstruktur verursacht werden. Die Ergebnisse zeigen, dass herkömmliche Datensätze auch ohne gezielte Datenvergiftung latente Angriffsvektoren enthalten können, weshalb umfasse
DanceOPD: On-Policy Generative Field Distillation zur Vereinheitlichung von Bildgenerierungsmodellen
Die Kombination verschiedener Bildgenerierungsfunktionen wie Text-to-Image und lokaler beziehungsweise globaler Bildbearbeitung führt in modernen Modellen häufig zu Konflikten und Leistungseinbußen. Als Lösungsansatz wurde ein On-Policy-Framework zur generativen Feld-Distillation für Flow-Matching-Modelle entwickelt, welches einzelne Stichproben gezielt spezifischen Funktionsfeldern zuweist. Das Verfahren nutzt einen einfachen Mean-Squared-Error-Ansatz für die Geschwindigkeit, um Expertenfähigkeiten auf Basis von S
muFlow: Nutzung von Durchschnittsbildern zur Verbesserung der Generalisierung von Deepfake-Erkennern
Moderne generative Modelle erzeugen zunehmend fotorealistische Inhalte, was robuste Detektionsverfahren erforderlich macht. Herkömmliche überwachte Ansätze stoßen bei der Erkennung unbekannter Generator-Architekturen häufig an ihre Grenzen. Als Alternative wurde muFlow entwickelt, ein auf echten Bildern trainiertes Ein-Klassen-Erkennungsverfahren, das ohne synthetische Trainingsdaten auskommt. Durch die Bildung von Bildmitteln werden konsistente generative Spuren verstärkt und mittels Normalizing Flows präzise Merk
SAF3R: Dynamische Sparse Attention für Feed-Forward-3D-Rekonstruktions-Transformer
Feed-Forward-3D-Rekonstruktions-Transformer stoßen bei der Skalierung auf lange Bildsequenzen aufgrund der quadratischen Komplexität der Cross-View-Attention an erhebliche Rechengrenzen. Eine detaillierte Analyse offenbart jedoch, dass die Aufmerksamkeitsmuster über Schichten und Köpfe hinweg extrem sparsam, dynamisch und heterogen ausgeprägt sind. Darauf aufbauend wurde ein trainingsfreies Framework entwickelt, das Offline-Profiling mit einer effizienten Online-Adaption kombiniert, um diese inhärente Sparsität aus
Über die feste Leuchtdichte hinaus: Ansätze zur panchromatischen und orthochromatischen Bildkolorierung
Herkömmliche Bildkolorierungssysteme basieren meist auf festen Leuchtdichtekanälen, was die Flexibilität bei der Helligkeitsanpassung einschränkt und bei historischen orthochromatischen Aufnahmen zu Fehlern führt. Ein neuer, leuchtdichteunabhängiger Ansatz formuliert die Kolorierung stattdessen als vollständige RGB-Bildbearbeitung mithilfe eines generativen Fundamentmodells. Durch ein gemischtes Graustufentraining, das sowohl standardmäßige als auch rotempfindliche Graustufendarstellungen berücksichtigt, wird eine
Neuer Ansatz zur medizinischen Landmarkenlokalisierung mittels prototypenbasierter progressiver Versatzkorrektur
Für eine präzise quantitative Bildanalyse in der Medizin wurde ein neues, parameterökonomisches Verfahren zur Landmarkenlokalisation entwickelt. Das System kombiniert eine mehrskalige dynamische Perzeption zur iterativen Optimierung mit einem prototypenbasierten Lernmechanismus, der anatomisch ähnliche Muster durch robuste lokale Semantik auflöst. Eine neuartige fehlerbewusste Zuverlässigkeitsregularisierung stabilisiert dabei das Modelltraining und gewährleistet eine hohe Genauigkeit bei gleichzeitig geringer Mode
WBMM: Fenstermaschinen-Batch-Matrixmultiplikation für effiziente Faltungen mit großem Rezeptivfeld
Große Kernel-Faltungen leiden oft unter ineffizientem Speicherzugriff bei wachsender Kernel-Größe, was die Leistung mindert. Ein neuer Ansatz namens Windowed Batch Matrix Multiplication (WBMM) teilt Eingaben in zusammenhängende Fenster auf und nutzt eine kompakte Positionstabelle, um regelmäßige Speicherzugriffe über Batched Matrix Multiplications zu ermöglichen. Dadurch steigt der Durchsatz von WBMM im Gegensatz zu herkömmlichen tiefenbezogenen Faltungen bei größeren Fenstern sogar an. In Benchmarks zeigt der Oper
Metriken-Fehlanpassung bei der multivariaten Objektreferenzierung aus mehreren Perspektiven
Bei der multivariaten Objektreferenzierung aus mehreren Kameraperspektiven existiert eine fundamentale Diskrepanz zwischen gängigen paarweisen Rangfolgenmetriken wie Average Precision und dem eigentlichen Zuordnungsziel. Analysen zeigen, dass diese Metriken selbst bei korrekten Zuweisungen fehlerhaft sein können und umgekehrt optimale Rangfolgen zu falschen Zuordnungen führen. Ein auf Sinkhorn-Normalisierung basierender Stresstest belegt, dass gezielte Optimierungen der Metriken die Leistungswerte künstlich verbess
Soft-Attention verbessert die Klassifizierung von Hautkrebs
Eine Untersuchung zeigt, dass der Einsatz von Soft-Attention-Mechanismen in tiefen neuronalen Netzen die Erkennung von Hautläsionen deutlich optimiert. Durch die gezielte Hervorhebung relevanter Bildmerkmale und die Unterdrückung von Rauschen übertreffen erweiterte Architekturen wie VGG, ResNet, InceptionResNetv2 und DenseNet die jeweiligen Basismodelle. Auf Basis etablierter Datensätze wie HAM10000 und ISIC-2017 erzielen die adaptierten Netze spürbare Leistungssteigerungen bei Präzision und Sensitivität.
Der kalibrierte Deepfake-Vertrauensscore: Kompetenzgekoppelte Vertrauensminderung in Deepfake-Detektoren
Die Zuverlässigkeit von Deepcant-Detektoren hängt neben der reinen Erkennungsgenauigkeit maßgeblich von der Kalibrierung ihrer Vertrauenswerte ab. Untersuchungen zeigen eine starke Kopplung zwischen der Kompetenz des Detektors und Fehlern bei unüberwachter Kalibrierung, während Ziel-Labels eine erfolgreiche Korrektur auch bei leistungsschwachen Modellen ermöglichen. Zudem wurde eine methodische Verzerrung in Standard-Kalibrierungsmetriken identifiziert und korrigiert, die fehlerhafte Korrelationen erzeugte. Ein vor
Attribute sollten aus Bildern statt Klassennamen stammen: Verteilungsbedingte Attributauswahl für Vision-Language-Modelle
Bisherige Ansätze zur erklärbaren Klassifikation nutzen oft Sprachmodelle, um Beschreibungen basierend auf Klassennamen für visuelle Modelle zu generieren. Es zeigt sich jedoch, dass diese Beschreibungen stark an den Labelnamen und nicht an den visuellen Daten ausgerichtet sind, was bei Datenverschiebungen zu erheblichen Genauigkeitsverlusten führt. Als Alternative wurde ein Verfahren entwickelt, bei dem Attribute direkt aus der Zielbildmenge im gemeinsamen Einbettungsraum ausgewählt werden. Dies steigert die Robus
Konzeptgeleitete räumliche Regularisierung für Weltmodelle in Atari Pong
Aktuelle visuelle Weltmodelle in modellbasierten Reinforcement-Learning-Systemen weisen trotz hoher Agentenleistung erhebliche Defizite in ihrer eigenständigen Zuverlässigkeit auf. Bei der isolierten Untersuchung von fünf etablierten Modellen anhand von geschlossenen Simulationsläufen und Zero-Shot-Szenarien zeigen sich gravierende visuelle und dynamikalische Fehler wie das Verschwinden von Spielobjekten oder fehlerhafte Kollisionen. Um diese Mängel zu beheben, wird ein neuartiger Ansatz zur konzeptgeleiteten räuml
HIVE-3D: Hierarchische Voxel-Verbesserung für die Erzeugung hochwertiger 3D-Szenen
Zur Generierung detaillierter 3D-Szenen aus einem einzigen Eingangsbild wurde ein neuartiger Ansatz namens HIVE-3D entwickelt, der ein hierarchisches Voxel-Erweiterungsframework nutzt. Die Methode verknüpft Bildsegmentierung und attention-basierte Retrieval-Mechanismen, um 2D-Bildkomponenten präzise mit 3D-Szenenstrukturen in einem hierarchischen Komponentenbaum abzugleichen. Durch ein integriertes Voxel-Super-Resolution-Modell wird eine konsistente, stufenweise Verfeinerung vom groben Ausgangsmodell zur hochauflös
LoCA: Räumlich bewusste Low-Rank-Faltungskonstruktion für visuelle Foundation-Modelle
Zur effizienten Anpassung vortrainierter visueller Foundation-Modelle ohne katastrophales Vergessen wird ein neuer Faltungsansatz vorgestellt, der das Problem der räumlichen und kanadischen Verflechtung in 4D-Tensoren löst. Bisherige Low-Rank-Adaptionsverfahren erzwingen oft eine Umformung in zweidimensionale Matrizen, was die inhärente räumliche Topologie stört. Das neue Framework entkoppelt die Kanal- und Raumanpassung durch eine Kombination aus niederrangiger Kanalkonstruktion und einer Verfeinerung räumlicher B
RenderFormer++: Skalierbares und physikbasiertes Feed-Forward-neuronaleres Rendern
Es wird ein skalierbares und physikbasiertes Feed-Forward-Framework für das neuronale Rendern vorgestellt, das globale Beleuchtung in Szenen mit Dreiecksnetzen effizient berechnet. Durch die Integration von physikbasierten Transportrichtlinien in den Aufmerksamkeitsmechanismus sowie eine Transportkonsistenzverlustfunktion werden fundamentale Beleuchtungsgleichungen direkt modelliert. Zudem reduziert eine hierarchische, objektzentrierte Tokenisierung den Rechen- und Speicheraufwand drastisch, indem kleinteilige Drei
PURe: Ein Plug-and-Play Produkt-Einheiten-Residualmodul für Vision-Netzwerke
Moderne Bildverarbeitungsnetzwerke basieren überwiegend auf additiven lokalen Transformationen, während explizite multiplikative Interaktionen bislang kaum erforscht sind. Zur Lösung dieses Problems wurde PURe entwickelt, ein Residualmodul auf Basis von Produkt-Einheiten mit einer logarithmischen Formulierung im reellen Zahlenbereich, die eine stabile Optimierung in tiefen Hierarchien ermöglicht. Als direkt austauschbarer Ersatz für native Residualeinheiten verbessert dieses Modul die Leistung konventioneller neuro
Recti-Q: Merkmalsraum-Rektifikation für Out-of-Distribution-robuste quantisierte Perzeption in der Edge-Robotik
Die Post-Training-Quantisierung von Vision-Backbones für ressourcenbeschränkte Edge-Plattformen führt häufig zu einer signifikanten Verschlechterung der Robustheit gegenüber Verteilungsverschiebungen wie Sensorrauschen oder Wettereinflüssen, selbst wenn die Genauigkeit in der Trainingsverteilung erhalten bleibt. Um diese quantisierungsinduzierte Robustheitslücke zu schließen, wurde ein leichtgewichtiger Ansatz zur Rektifikation im Merkmalsraum entwickelt, der das quantisierte Backbone einfriert und lediglich einen
Was treibt die Testzeit-Anpassung für CLIP an? Eine kontrollierte empirische Studie aus Aktualisierungsperspektive
Vision-Language-Modelle wie CLIP sind anfällig für Verteilungsverschiebungen im Einsatz, weshalb Test-Time-Adaptation-Verfahren als ressourcenschonende Lösungen an Bedeutung gewinnen. Eine neue systematische Untersuchung analysiert die treibenden Faktoren dieser Anpassungsmethoden und kategorisiert bestehende Ansätze in drei einheitliche Paradigmen. Mithilfe eines neuartigen, standardisierten Benchmarks wurden über zwanzig repräsentative Methoden evaluiert, um die Ursprünge der Leistungssteigerung zu ermitteln. Die
Cortex: Kompaktes Behavior Cloning für Quake mit eingefrorenen visuellen Merkmalen
Es wird eine minimalistische Behavior-Cloning-Politik für das visuell komplexe Ego-Shooter-Spiel Quake untersucht, die vollständig auf Reinforcement Learning und expliziten Speicher verzichtet. Das Modell nutzt einen kompakten Transformer mit knapp elf Millionen trainierbaren Parametern, der auf einem eingefrorenen visuellen Encoder basiert und mit umfangreichen Gameplay-Aufzeichnungen trainiert wurde. Die experimentellen Ergebnisse zeigen eine robuste Navigation und grundlegende Kampffähigkeiten in standardisierte
DriftWorld: Schnelle Weltmodellierung durch Drifting
Ein neuartiges aktionskonditioniertes Weltmodell für die Robotik ermöglicht die Generierung von Zukunftsszenarien in einem einzigen Forward-Pass mit über 30 Bildern pro Sekunde. Durch den Verzicht auf iterative Entrauschungsprozesse, wie sie bei herkömmlichen Diffusionsmodellen üblich sind, arbeitet das System signifikant schneller und übertrifft bisherige Ansätze in der Inferenzgeschwindigkeit um das Siebzehnfache. Die Methode erzielt auf etablierten Benchmarks für visuelle Robotermanipulation eine hohe Entscheidu
Prädiktiver Kortex ist kein domänenübergreifender Prior: Eine Analyse von Gehirnkodierungsmerkmalen für die Einprägsamkeit von Videos
Forschungsarbeiten untersuchen, ob mittels Foundation Models vorhergesagte fMRI-Reaktionen als Merkmalsträger für die Vorhersage der Einprägsamkeit von Kurzvideos dienen können. Durch den direkten Vergleich von kortikalen Projektionen und reinen visuellen Backbone-Modellen zeigt sich eine starke Abhängigkeit vom verwendeten Datensatz. Während auf einem Datensatz das Basismodell überlegen ist, dominiert auf einem anderen die simulierte Gehirnrepräsentation. Die Ergebnisse demonstrieren, dass prädiktive Gehirnmerkmal
HorusEye: Sprache als dynamische Aufmerksamkeit für die visuelle Notfallanalyse
Die Studie untersucht die Leistungsfähigkeit von Vision-Language-Modellen unter schwierigen Bedingungen wie Nebel, Rauch und thermischen Umgebungen im Rahmen der Notfallanalyse. Dabei wurde ein neuer Datensatz mit systematisch degradierten visuellen Daten verwendet, um visuelles Grounding, sprachbasiertes Feedback zur Fehlerbehebung und Halluzinationstendenzen zu analysieren. Die Ergebnisse zeigen, dass die Effektivität sprachlichen Feedbacks stark modellabhängig ist und zu stark unterschiedlichen Leistungsveränder
Physen-Noise2Noise: Physikbasiertes und selbstüberwachtes Entschärfen von Defokussierungsunschärfe bei Schwachlicht
Ein neues selbstüberwachtes Framework verbessert die Entschärfung von Defokussierungsunschärfen unter schwierigen Schwachlichtbedingungen durch die Integration physikalischer Bildgebungsmodelle. Das Verfahren adressiert komplexe, fehlerbehaftete Rauschmuster, die bei Langzeitbelichtungen auftreten, und nutzt eine frequenzbasierte Nebenbedingung für eine präzise Rauschkorrektur. Durch den Verzicht auf saubere Referenzbilder und die Kombination einer rauschunterdrückenden Mehrbild-Initialisierung mit einem Trainingsa
Semi-MedRef: Semisuwenzierte medizinische Referring-Image-Segmentation mit kreuzmodaler Ausrichtung
Für die medizinische Bildsegmentierung mittels natürlicher Sprache fehlen häufig aufwendig annotierte Text-Bild-Paare. Ein neuer semisuberwiesener Ansatz nutzt ungelabelte Daten durch ein Teacher-Student-Framework, das die Konsistenz zwischen medizinischen Bildern und Positionsangaben bewahrt. Das Verfahren kombiniert eine synchronisierte Patch-Modifikation, positionsbewusste Textaugmentationen sowie kontrastives Lernen zur anatomisch fundierten Repräsentationsbildung. Experimente auf etablierten Datensätzen zeigen
Physik aus Videos: Identifizierbarkeit zeitinvarianter Differentialgleichungen
Forscher haben untersucht, wie physikalische Gesetze direkt aus rohen Videodaten gelernt werden können, ohne auf rechenintensive Pixel-Rekonstruktionen angewiesen zu sein. Die mathematische Analyse zeigt unter welchen Bedingungen Encoder-basierte Modelle die Parameter linearer Differentialgleichungen zweiter Ordnung exakt bestimmen können. Dabei wird nachgewiesen, dass unterdämpfte Systeme bereits aus einem einzigen Videoclip identifizierbar sind, während andere Regime mehrere Trajektorien erfordern. Ein neuartiger
CompoSE: Kompositionelle Synthese und Bearbeitung von 3D-Formen durch teilbewusste Steuerung
Ein neues Verfahren zur Generierung und Bearbeitung dreidimensionaler Inhalte ermöglicht die präzise Steuerung einzelner Objektkomponenten auf Basis grober geometrischer Vorgaben. Das System nutzt eine Diffusions-Transformer-Architektur, die lokale Verarbeitsschritte mit globalem Kontext abgleicht und selbstständig Semantik sowie Symmetrien aus Layouts ableitet. Dadurch lassen sich komplexe 3D-Objekte teilbasiert erzeugen und flexibel verändern, einschließlich kontextbezogener Ersetzungen, Hinzufügungen oder Größen
Nutzen von Bildgeneratoren bei Datenknappheit: Der Gen4Regen-Datensatz für die Kartierung von Waldverjüngung
Für eine nachhaltige Bewirtschaftung von Wäldern ist die präzise Erfassung der Artenzusammensetzung essenziell, stößt jedoch bei der manuellen Kartierung an Grenzen. Deep-Learning-Ansätze scheitern oft am Mangel an expertengestützten Trainingsdaten in komplexen Vegetationszonen. Um dieses Problem zu lösen, kombiniert ein neuer Ansatz hochauflösende Drohnenbilder mit synthetisch erzeugten Bild-Masken-Paaren aus Bildgeneratoren. Die Integration dieser künstlich erzeugten Daten verbessert die Modellleistung bei der se
Auf Computer Vision basierende neuronale Netze zur Identifikation von Radioisotopen in städtischen Umgebungen
Zur Erkennung radioaktiver Quellen in komplexen städtischen Suchszenarien wurde ein Ansatz auf Basis maschinellen Lernens entwickelt, der Gammastrahlen-Daten in zweidimensionale Wasserfall-Spektrogramme umwandelt. Dabei werden aufeinanderfolgende Zeitspektren ähnlich wie Farbkanäle in Bildern kombiniert, um sowohl spektrale als auch zeitliche Informationen zu erfassen. Die Evaluierung verschiedener Architekturen wie faltender neuronaler Netze und Vision Transformer auf einem Standarddatensatz zeigt, dass bestimmte
Open-Vocabulary-BEV-Segmentierung mit 3D-geometrischen Beschränkungen
Für das autonome Fahren wurde ein neues Verfahren zur Vogelperspektiven-Segmentierung (BEV) entwickelt, das auf Vision-Language-Modellen basiert und die Erkennung unbekannter Klassen jenseits des Trainingsdatensatzes ermöglicht. Bisherige Methoden litten oft unter geometrischen Inkonsistenzen bei der Übertragung von zweidimensionalen Semantiken in den dreidimensionalen Raum. Das neu vorgestellte Framework nutzt Gaußsche Splatting-Verfahren und robuste 3D-geometrische Beschränkungen, um die Konsistenz über verschied
Verbesserte Nahtsegmentierung für automatisierte Schweißroboter im Bauwesen mittels Transferlernen
Für das autonome Roboterschweißen im Bauwesen stellt eine zuverlässige Nahtsegmentierung unter schwierigen Lichtverhältnissen und bei spiegelnden Oberflächen eine große Herausforderung dar. Eine neu entwickelte, auf Transferlernen und einer hybriden Verlustfunktion basierende Methode erhöht die Robustheit gegenüber Reflexionen deutlich, ohne die Komplexität der zugrundeliegenden Netzwerkarchitektur zu erhöhen. Experimentelle Ergebnisse zeigen erhebliche Leistungssteigerungen bei der Genauigkeit im Vergleich zu herk
Erweiterte Nahtsegmentierung für automatisierte Schweißroboter im Bauwesen durch Transferlernen
Für das autonome Roboterschweißen im Bauwesen wurde ein robuster Ansatz zur Nahtsegmentierung entwickelt, der schwierigen Lichtverhältnissen und starken Reflexionen auf metallischen Oberflächen entgegenwirkt. Durch gezieltes Transferlernen und eine optimierte Verlustfunktion auf Basis eines bestehenden Netzwerks wird die Erkennungsleistung deutlich gesteigert, ohne die Rechenkomplexität oder Verarbeitungsgeschwindigkeit zu erhöhen. Experimentelle Ergebnisse belegen eine hohe Genauigkeit sowie eine zuverlässige Verm
Clips Kitty: Open-Source-Software für lokale KI-Videobearbeitung
Ein neues Open-Source-Werkzeug ermöglicht die automatisierte Erstellung von vertikalen Videoclips und Short-Form-Inhalten direkt auf lokalen Computersystemen. Die Software nutzt multimodale Algorithmen zur Szenenerkennung sowie sprecherbewusstes Gesichts-Tracking, um längeres Ausgangsmaterial zielgerichtet zu kürzen. Ergänzt wird der Funktionsumfang durch editierbare Untertitel, die eine effiziente Nachbereitung ohne Cloud-Anbindung erlauben.
Smartphone-LED erkennt versteckte Kameras mittels künstlicher Intelligenz
Forscher haben ein kostengünstiges Verfahren entwickelt, das die LED-Blitzlichter und Kameras von Standard-Smartphones nutzt, um versteckte Überwachungskameras aufzuspüren. Ein KI-Algorithmus analysiert dabei optische Reflexionen und erreicht eine Erkennungsgenauigkeit von 94 Prozent innerhalb von weniger als fünf Sekunden. Diese Technologie ermöglicht es Anwendern, ihre Privatsphäre in Hotels oder Umkleidekabinen ohne zusätzliche Spezialhardware effektiv zu schützen.
Senator Hawley untersucht KI-gestützte Flock-Überwachungskameras wegen Datenschutzbedenken
Angesichts wachsender Datenschutzbedenken wurden behördliche Untersuchungen zu KI-gestützten Überwachungskameras eingeleitet. Im Fokus stehen dabei insbesondere automatisierte Kennzeichenerfassungssysteme und deren technologische Implementierung durch den Anbieter Flock. Kritisiert wird das Potenzial zur massenhaften Datenerfassung und Überwachung von Bürgern durch hochentwickelte Algorithmen. Die parlamentarische Prüfung soll potenzielle Risiken für die Privatsphäre aufdecken und regulatorischen Handlungsbedarf ev
KI kann optische Täuschungen erkennen
Moderne neuronale Netze sind in der Lage, optische Täuschungen auf ähnliche Weise wie das menschliche Gehirn zu verarbeiten. Diese Fähigkeit eröffnet neue Forschungsansätze, um die Mechanismen der visuellen Wahrnehmung sowohl in künstlichen Systemen als auch in biologischen Organismen besser zu verstehen. Durch die Analyse dieser Fehlinterpretationen lassen sich architektonische Parallelen zwischen maschinellem und menschlichem Sehen identifizieren. Dies könnte künftig dazu beitragen, robuste Computer-Vision-System
KI-Photoscanner von Google ermittelt Körperfettanteil durch Selfies
Ein neu entwickeltes Deep-Learning-Verfahren ermöglicht die präzise Bestimmung der Körperzusammensetzung direkt über Smartphone-Aufnahmen, um die Grenzen traditioneller BMI-Messungen zu überwinden. Das System wurde anhand umfangreicher medizinischer Datensätze vortrainiert und validiert, um eine skalierbare Alternative zu klinischen Goldstandard-Methoden wie der Röntgendensitometrie bereitzustellen. Damit lässt sich das kardio-metabolische Gesundheitsrisiko künftig unkompliziert und breit flächendeckend einschätzen
Berliner Künstler entwickelt Kleidungsstück zur Unsichtbarkeit vor KI-Überwachungskameras
Als Reaktion auf den Einsatz automatisierter Videoanalysesysteme am Berliner Kottbusser Tor wurde ein spezielles Kleidungsstück entwickelt. Die textile Innovation zielt darauf ab, Personen für Künstliche Intelligenz im Rahmen von Überwachungsmaßnahmen unkenntlich zu machen. Das Projekt setzt sich kritisch mit der zunehmenden automatisierten Erfassung im öffentlichen Raum auseinander und demonstriert praktische Gegenmaßnahmen auf Basis von Mode und Design.
Lokale KI-Galerie zur semantischen Bildsuche und automatischen Benennung
Ein neues Werkzeug zur lokalen Bildverwaltung nutzt integrierte künstliche Intelligenz, um Ordnerstrukturen direkt auf dem Endgerät zu indizieren. Nutzer können visuelle Inhalte durch natürlichsprachliche Suchanfragen auffinden, ohne dass Daten an externe Cloud-Dienste übertragen werden müssen. Zusätzlich bietet das System automatisierte Funktionen zur Umbenennung von Bilddateien basierend auf dem erkannten Inhalt. Damit schließt die Software eine Lücke klassischer Betriebssystem-Suchfunktionen bei der inhaltsbasie
Supermarktkette stoppt KI-Kameras nach Fehlalarm bei Kundenerkennung
Der Einsatz von künstlicher Intelligenz zur automatisierten Ladendiebstahlserkennung in einer Supermarktkette wurde vorübergehend ausgesetzt. Auslöser war ein Vorfall, bei dem ein Kunde fälschlicherweise als Ladendieb eingestuft und des Geschäfts verwiesen wurde. Der Vorfall wirft erneut datenschutzrechtliche und ethische Fragen bezüglich der Zuverlässigkeit und Transparenz automatisierter Überwachungssysteme im stationären Handel auf. Betreiber prüfen nun die algorithmische Genauigkeit und die Verhältnismäßigkeit
Meta patentiert KI-Brille mit Gesichtserkennung zur Personenerkennung
Ein neu veröffentlichtu Patent beschreibt ein System für intelligente Brillen, das mittels integrierter Gesichtserkennung Personen in der Umgebung identifiziert. Die Technologie verarbeitet kontinuierlich Videoaufnahmen und erstellt daraus automatisierte Zusammenfassungen von erlebten Situationen. Durch diese visuelle Datenverarbeitung soll der Träger kontextbezogene Informationen über sein direktes Umfeld in Echtzeit erhalten. Damit treibt das Unternehmen die Entwicklung tragbarer Assistenzsysteme mit erweiterten
NiceShot AI: Eine Analyse-Ebene für kompetitive Videospiele
Ein neu entwickeltes System zur computergestützten Gameplay-Analyse verarbeitet aufgezeichnete Videomitschnitte durch eine modulare Pipeline aus Objekterkennung und Texterkennung, um strukturierte Spieldaten und Höhepunkte zu generieren. Durch den Einsatz spezialisierter Modelle werden spielspezifische HUD-Elemente und Ereignisse wie Kills oder Tode automatisiert erfasst, ohne die lokale Hardwareleistung während des aktiven Spielens zu beeinträchtigen. Ergänzend kommt ein leichtgewichtiger Video-LLM-Ansatz zum Eins
Schriftarten wirken auf Menschen normal, stiften aber Chaos in KI-Systemen
Eine Untersuchung zeigt, dass bestimmte visuelle Modifikationen in Schriftarten für das menschliche Auge unauffällig bleiben, aber automatisierte KI-Modelle und Texterkennungssysteme massiv stören können. Solche gezielten Manipulationen nutzen Schwachstellen in neuronalen Netzen aus, um die automatische Verarbeitung von Dokumenten zu sabotieren. Dies verdeutlicht die Anfälligkeit aktueller Bild- und Texterkennungsalgorithmen gegenüber subtilen visuellen Störungen. Die Erkenntnisse unterstreichen die Notwendigkeit r
Wan 3.0 AI – Multimodale Videogenerierung
Das neue multimodale System Wan 3.0 AI ermöglicht die Erzeugung bis zu 30 Sekunden langer Videos aus einer Kombination von Text, Bildern, Audio, bestehenden Videos und Dokumenten. Die Architektur gewährleistet dabei eine hohe Konsistenz über alle Referenzquellen hinweg sowie eine detailgetreue und realistische Darstellung in jedem einzelnen Frame. Durch die Integration verschiedenster Eingabemodalitäten werden neue Ansätze für die automatisierte und präzise audiovisuelle Content-Produktion geschaffen.
Künstliche Intelligenz zur Aufzeichnung von Live-Schachpartien
Ein neues KI-gestütztes System konvertiert Schachvideos vollautomatisch in präzise Spielzüge, synchronisierte Brettpositionen und standardisierte PGN-Dateien. Die Software ermöglicht zudem eine integrierte Partienanalyse durch die Einbindung der Stockfish-Engine. Damit lassen sich physische Partien oder Videomaterial nahtlos in digitale Formate überführen und weiterverarbeiten.
Visuelles KI-Tutoring direkt im Browser
Es wurde eine neuartige Anwendung für künstliche Intelligenz entwickelt, die als interaktiver Tutor agiert und visuelle Seiteninhalte in Echtzeit mittels Desk-View-Technologie analysiert. Das System reagiert dynamisch und kontextbezogen auf Benutzereingaben, um personalisierte Lernunterstützung direkt im Webbrowser bereitzustellen. Aufgrund intensiver hardwareseitiger Anforderungen setzt die Software aktuell spezifische Apple-Silicon-Systeme sowie bestimmte Browserumgebungen voraus. Diese Architektur ermöglicht neu
Finger Frame AI
Das Open-Source-Projekt Finger Frame AI stellt Entwicklern eine praktische Codebasis auf GitHub zur Verfügung, um computergestützte Bildverarbeitung und visuelle Effekte zu realisieren. Die Anwendung demonstriert die Integration von KI-Algorithmen zur Gestenerkennung und kamerabasierten Frame-Manipulation. Entwickler können zu dieser Software beitragen, eigene Erweiterungen implementieren und die Funktionalitäten für interaktive Medienanwendungen nutzen.
KI-Gesichtsanalyse im Praxistest
Die Zuverlässigkeit und Genauigkeit von Systemen zur automatisierten Gesichtsanalyse stehen im Fokus einer aktuellen Diskussion. Dabei wird untersucht, wie präzise Algorithmen menschliche Gesichtsmerkmale und Emotionen erfassen können. Die Debatte beleuchtet sowohl die technischen Möglichkeiten als auch die Grenzen der verwendeten KI-Modelle in realen Anwendungsszenarien.
Lokaler KI-Agent erhält visuelle Wahrnehmung über das Smartphone
Ein neues Open-Source-Projekt ermöglicht es, die Smartphone-Kamera direkt mit einem lokalen KI-Agenten zu verbinden. Die Anwendung funktioniert unabhängig von externen Cloud-Diensten und verarbeitet Bilddaten lokal im eigenen Netzwerk oder über eine verschlüsselte Remote-Verbindung. Damit können Nutzende visuelle Informationen in Echtzeit an lokale Sprach- und Bildmodelle übergeben. Dies erweitert die Möglichkeiten für datenschutzfreundliche KI-Anwendungen auf eigener Hardware erheblich.
KI-Modelle beschleunigen die Analyse von Forschungsdaten
Nationale Forschungslabore in den Vereinigten Staaten setzen fortschrittliche künstliche Intelligenz ein, um gigantische Datenmengen aus physikalischen und materialwissenschaftlichen Experimenten in Echtzeit auszuwerten. Durch die Kombination zweier quelloffener Bildanalysemodelle konnte die Bearbeitungszeit für komplexe Röntgen- und Mikroskopieaufnahmen drastisch verkürzt werden. Die Technologie ermöglicht es Forschern, dynamische Prozesse wie Wassertransport in Pflanzen während des laufenden Experiments zu analys
Automatisierte Erstellung von Radsport-Highlight-Videos mittels KI
Ein neues Open-Source-Projekt ermöglicht die automatische Erstellung von 60-sekündigen Highlight-Videos aus stundenlangem Videomaterial von Radtouren. Das System kombiniert Telemetriedaten aus .fit-Dateien, Informationen von Strava sowie eine visuelle Analyse durch ein multimodales Sprachmodell. Dabei bewertet die KI einzelne Videosequenzen anhand von Leistungsdaten und visuellen Inhalten, um die spannendsten Momente auszuwählen. Durch eine iterative Anpassung der Auswahlkriterien lernt das Modell die individuellen
Ehemalige Meta-Wissenschaftler entwickeln visuelle KI für die Fabrikhalle
Ein neues KI-Modell wurde entwickelt, um Maschinen bei der räumlichen Navigation zu unterstützen und gleichzeitig tiefgehende visuelle Analysen bereitzustellen. Die Technologie zielt darauf ab, industrielle Prozesse in Fabriken durch präzise optische Erfassung und intelligente Umgebungsverarbeitung zu optimieren. Damit soll die Autonomie von Robotersystemen in komplexen Fertigungsumgebungen signifikant gesteigert werden.
KI-gestützte Fotoanalyse in Adobe-Kamera-App
Die Kamera-Anwendung von Adobe führt eine neue Funktion ein, die Fotos mittels künstlicher Intelligenz analysiert und bewertet. Das Projekt unter dem Namen Indigo ermöglicht zudem die automatisierte Entfernung von Hintergründen aus aufgenommenen Bildern. Durch diese technologische Erweiterung unterstützt die Software Anwender dabei, die Qualität ihrer Aufnahmen direkt bei der Erstellung zu optimieren und komplexe Bildbearbeitungsschritte zu vereinfachen.
Durch trübes Wasser blicken
Unterwasserfahrzeuge und autonome Roboter kämpfen beim Manövrieren oft mit starker Sedimentaufwirbelung, die die optische Sicht durch Bordkameras massiv einschränkt. Um dieses Problem zu lösen, wurde ein innovatives Bildverarbeitungssystem entwickelt, das durch trübe Wassermassen hindurchblicken kann. Die Technologie kombiniert fortschrittliche Algorithmen zur optischen Rekonstruktion, um Unterwasserstrukturen auch bei starker Partikeletrübung in Echtzeit sichtbar zu machen. Dies erhöht die Effizienz von Unterwasse
CANDOR: Zufallskalibrierte Diskrepanz in eingefrorenen Grundlagen-Encodern
Eingefrorene Bild-Encoder werden traditionell primär nach der Leistungsfähigkeit aufgesetzter Klassifikatoren bewertet, während die geometrische Anordnung der Merkmale oft unberücksichtigt bleibt. Ein neu eingeführtes Diskrepanzmaß namens CANDOR korrigiert diese Verzerrungen durch symmetrische Stichproben und fixiert das Zufallsniveau exakt bei der Hälfte. Umfangreiche Evaluierungen über zahlreiche Domänen und Datensätze offenbaren, dass Leistungsschwächen häufig auf unzureichende Modellauswahl statt auf genuine In
VisRAG 2.0: Eindämmung visueller Halluzinationen durch evidenzbasiertes Multi-Bild-Reasoning
Visuelle Retrieval-Augmented Generation erweitert Sprach- und Bildmodelle um externe visuelle Beweise, stößt jedoch bei der Verarbeitung mehrerer Bilder häufig auf Halluzinationen und unzureichende Beweiszuordnung. Ein neuer Ansatz namens EVisRAG verknüpft die gezielte Erkennung relevanter Bildinformationen mit einem strukturierten Schlussfolgerungsprozess. Zudem optimiert ein spezielles Belohnungsverfahren das Training durch die genaue Ausrichtung von Tokens an den verschiedenen Verarbeitungsstufen. Experimente au
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumenten-Fragebeantwortung, indem es auf komplexe Zwischenschritte des logischen Schließens verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ausgabedaten verknüpft, was die Inferenzkosten um über 60 Prozent senkt. Analysen zeigen, dass Modelle ohne explizite Reasoning-Pfade effizienter konvergieren und eine höhere geometrische Präzision erreichen. Zudem ermöglicht ein optimierter Übergang von Supervised Fine-Tuning zu R
MonteRET: KI-Agent zur Verbesserung multimodaler Sprachmodelle durch mehrstufige Wissensabfrage bei der Erstellung von Thorax-CT-Berichten
Die automatisierte Erstellung von Thorax-CT-Befunden stellt hohe Anforderungen an das Verständnis sowohl des gesamten Volumens als auch lokaler anatomischer Details. Das neu entwickelte Framework MonteRET adressiert diese Herausforderung durch die Integration globaler CT-Merkmale mit regionalspezifischen anatomischen Repräsentationen. Durch eine gezielte Wissensabfrage basierend auf medizinischen Bedingungen und eine anschließende Überarbeitung der Berichte durch einen KI-Agenten werden klinisch präzisere Ergebniss
DialogueVPR: Fortschritte bei der dialogbasierten visuellen Ortserkennung
Die visuelle Ortserkennung mittels natürlicher Sprache stößt bei statischen Abfrageverfahren oft an Grenzen, wenn Beschreibungen unvollständig oder mehrdeutig sind. Ein neuer Ansatz transformiert diesen Prozess in einen interaktiven Dialog, bei dem ein KI-System gezielte Fragen stellt, um den Standort präziser zu bestimmen. Hierfür wurde ein umfangreicher Benchmark sowie ein spezielles Framework entwickelt, das einen multimodalen Abrufmechanismus mit einem intelligenten Fragesteller kombiniert. Durch ein zweistufig
Fehleranalyse bei Vision-Language-Modellen: Wahrnehmung oder Wissenslücke?
Vision-Language-Modelle zeigen bei der Beantwortung visueller Fragen Schwächen, wenn das benötigte Wissen über das direkt Sichtbare hinausgeht. Ein neuer Forschungsansatz ermöglicht es nun, diese Fehlerquellen systematisch zu unterscheiden, indem zwischen visuellen Wahrnehmungsproblemen und Wissensdefiziten differenziert wird. Die Untersuchung zeigt, dass sich diese Fehlertypen bereits vor der Generierung der Antwort anhand spezifischer interner Modellzustände vorhersagen lassen. Diese Erkenntnis erlaubt es, bei un
Jenseits des BMI: Schätzung des kardiometabolischen Risikos durch Smartphone-Bildgebung
Wissenschaftliche Untersuchungen zeigen, dass mithilfe von Smartphone-Kamerabildern und computergestützten Verfahren das kardiometabolische Risiko präziser als durch den herkömmlichen Body-Mass-Index bestimmt werden kann. Durch die Analyse visueller Körpermerkmale mittels maschinellen Lernens lassen sich gesundheitliche Gefährdungen frühzeitig erkennen. Dieser Ansatz eröffnet neue Möglichkeiten für die präventive Gesundheitsversorgung und telemedizinische Anwendungen. Die Methode bietet einen niederschwelligen Zuga
LFM2.5-VL-3B für verbesserte und schnellere Bildverarbeitungsfunktionen am Edge
Ein neues multimodales Sprachmodell mit drei Milliarden Parametern wurde für den Einsatz auf Edge-Geräten optimiert. Die Architektur zielt darauf ab, visuelle Erkennungsaufgaben effizienter und mit deutlich geringeren Latenzen direkt auf ressourcenbeschränkter Hardware auszuführen. Durch gezielte Optimierungen eignet sich das System besonders für Anwendungen, die eine schnelle lokale Verarbeitung von Bild- und Textdaten erfordern.
Meta veröffentlicht Muse Glimmer: Lokales, multimodales Open-Source-Modell mit Agenten-Fähigkeiten
Mit Muse Glimmer stellt Meta ein neues Open-Source-Modell mit 30 Milliarden Parametern vor, das speziell für lokale, multimodale und agentenbasierte Aufgaben konzipiert wurde. Die Architektur kombiniert einen leistungsstarken visuellen Encoder mit einem hybriden Sprachmodell, das Mechanismen wie Sliding-Window- und Full-Attention nutzt. Dank integrierter Unterstützung für optimiertes spekulatives Decoding über DFlash sowie gängiger Frameworks lässt sich das System effizient für strukturierte Textgenerierung und Vid
Google Deepmind: Videogeneratoren enthalten bereits Weltmodelle für die Computer Vision
Das Forschungsprojekt GenCeption zeigt, dass Videogeneratoren erfolgreich für klassische Aufgaben der Computer Vision wie Tiefenschätzung und Segmentierung eingesetzt werden können. Dabei erzielt das Modell Ergebnisse auf dem Niveau aktueller Spitzenlösungen, benötigt jedoch deutlich weniger Trainingsdaten. Da das System fast ausschließlich mit synthetischen Videos trainiert wurde, stützt es die These, dass moderne Videogeneratoren bereits eine Form von universellem Weltmodell in sich tragen, das für das Verständni
Von der Rekonstruktion zur Interpretation: Zero-Setup-Segmentierung für Röntgen-Tomographiedaten
Ein neues Framework ermöglicht die automatisierte Segmentierung von Röntgen-Tomographiedaten ohne vorheriges Training oder manuelle Eingaben. Durch die Kombination einer materialunabhängigen Maskenstrategie mit einem vortrainierten semantischen Segmentierungsnetzwerk lassen sich verschiedene strukturelle Regionen wie Porosität oder Materialdichte direkt identifizieren. Das Verfahren liefert innerhalb weniger Minuten nach der Rekonstruktion diagnostische Ergebnisse und übertrifft herkömmliche intensitätsbasierte Met
Agentische Vision: Aufbau visueller Intelligenz mit Amazon Bedrock und MCP-Servern
Die Implementierung von Computer Vision MCP-Servern ermöglicht es KI-Systemen, visuelle Informationen effizient zu verarbeiten und fundierte Entscheidungen über eine standardisierte Schnittstelle zu treffen. Durch diesen Ansatz werden komplexe Integrationshürden abgebaut und die Entwicklung visueller KI-Anwendungen deutlich vereinfacht. Die Architektur fördert die Zugänglichkeit fortschrittlicher Bildverarbeitungsfunktionen für ein breiteres Spektrum an Entwicklern und Anwendungsfällen, indem sie den Prozess der vi
Ganzkörper-konditionierte egozentrische Videovorhersage
Die Forschung befasst sich mit der Vorhersage von Videosequenzen aus der Egoperspektive unter Einbeziehung von Ganzkörperbewegungen. Durch die Verknüpfung von Kameradaten mit der Körperhaltung des Nutzers lässt sich das zukünftige Sichtfeld präziser modellieren. Dieser Ansatz verbessert das Verständnis für die Interaktion zwischen einer Person und ihrer Umgebung in dynamischen Szenarien. Die Methode ist besonders für Anwendungen in der Robotik und bei tragbaren Assistenzsystemen von Bedeutung, da sie eine realistis