Automatisierte Erstellung von Radsport-Highlight-Videos mittels KI
Ein neues Open-Source-Projekt ermöglicht die automatische Erstellung von 60-sekündigen Highlight-Videos aus stundenlangem Videomaterial von Radtouren. Das System kombiniert Telemetriedaten aus .fit-Dateien, Informationen von Strava sowie eine visuelle Analyse durch ein multimodales Sprachmodell. Dabei bewertet die KI einzelne Videosequenzen anhand von Leistungsdaten und visuellen Inhalten, um die spannendsten Momente auszuwählen. Durch eine iterative Anpassung der Auswahlkriterien lernt das Modell die individuellen
Die Faszination von Craquelé: Ein variationsgenerativer Ansatz zur Risserkennung in Gemälden
Die automatisierte Analyse von Rissstrukturen in Gemälden ist für die Konservierung und Restaurierung von Kunstwerken von zentraler Bedeutung. Ein neuer hybrider Ansatz kombiniert Deep-Learning-basierte generative Modelle mit variationsmathematischen Methoden, um Risse präzise von anderen bildlichen Elementen wie Pinselstrichen zu unterscheiden. Dabei wird das Bild in eine rissfreie Komponente und eine reine Rissstruktur zerlegt. Durch die gemeinsame Optimierung dieser Komponenten lassen sich pixelgenaue Karten ers
Online-neuronaler Raum-Zeit-Speicher für die Synthese dynamischer neuer Ansichten
Die Synthese neuer Ansichten aus Video-Streams steht vor der Herausforderung, langfristige räumliche Informationen bei strikten Echtzeitanforderungen zu speichern. Ein neuer Ansatz entkoppelt die Frequenz von Speicheraktualisierungen von der Bildverarbeitung, um den Rechenaufwand zu minimieren. Durch die Nutzung von Cross-View-Attention und einer speziellen Speicher-Caching-Strategie können verdeckte Bereiche über längere Zeiträume konsistent rekonstruiert werden. Das Verfahren ermöglicht eine stabile Echtzeit-Dars
Konzeptgesteuerte räumliche Regularisierung für Weltmodelle in Atari Pong
Aktuelle visuelle Weltmodelle in der modellbasierten Verstärkungslernen-Umgebung zeigen bei isolierter Betrachtung signifikante Schwächen. Analysen von fünf führenden Modellen wie DreamerV3 oder DIAMOND offenbaren bei der Simulation von Atari Pong Fehler wie das Verschwinden des Spielballs oder physikalisch inkorrekte Bewegungsabläufe. Um diese Defizite zu beheben, wurde die Methode der konzeptgesteuerten räumlichen Regularisierung eingeführt. Dieser Ansatz nutzt eine zusätzliche Rekonstruktionsfunktion für segment
Effizientes Prompt-Tuning von Vision-Modellen zur interpretierbaren Früherkennung kognitiver Beeinträchtigungen
Ein neues Framework ermöglicht die automatisierte Erkennung von leichter kognitiver Beeinträchtigung durch die Analyse neuropsychologischer Zeichentests. Dabei wird ein vortrainiertes Vision-Modell mittels parameter-effizientem Prompt-Tuning angepasst, wobei nur etwa 1,19 Millionen Parameter trainiert werden müssen. Die Architektur integriert eine adaptive Focal-Loss-Funktion, um mit Datenungleichgewichten und diagnostischen Unschärfen umzugehen. Durch die Nutzung von Cross-Attention-Mechanismen bietet das Modell e
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumentenanalyse, indem es auf aufwendige Zwischenschritte des logischen Schlussfolgerns verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ergebnissen verknüpft, was die Anzahl der benötigten Inferenz-Token um über 60 Prozent reduziert. Analysen zeigen, dass Modelle bei dieser Methode effizienter konvergieren und die Leistung herkömmlicher, auf Reasoning basierender Ansätze übertreffen. Zudem ermöglicht der Ansatz eine de
Multi-Skalen-ViT-Inferenz mit Habitat-Priorisierung und kNN-Retrieval zur Identifizierung mehrerer Pflanzenarten
Die vorgestellte Lösung für die PlantCLEF 2026-Challenge adressiert die Identifizierung mehrerer Pflanzenarten in hochauflösenden Vegetationsaufnahmen, wobei das Training ausschließlich auf Einzelbildern basiert. Das System nutzt einen feinabgestimmten DINOv2-Vision-Transformer, der auf einer Multi-Skalen-Kachelzerlegung operiert. Die Vorhersagen werden durch einen FAISS-kNN-Retriever ergänzt und durch geografische sowie höhenbasierte Habitat-Priorisierungen verfeinert. Durch die Kombination von räumlichen Masken u
Label-entkoppelte Stil-Augmentierung für die Domänen-Generalisierung in der Multi-Label-Fernerkundung
Für die Klassifizierung von Luftbildern mit mehreren Labels wurde ein neues Verfahren zur Domänen-Generalisierung entwickelt, das die bisher übliche globale Stil-Augmentierung verbessert. Anstatt Bildstatistiken ganzheitlich zu verändern, entkoppelt der Ansatz die Stil-Perturbation auf label-spezifische Regionen. Durch den Einsatz von Aufmerksamkeitsmechanismen oder Gradienten-Karten werden Merkmalsstatistiken für jedes Label einzeln berechnet und gemischt. Dies verhindert eine gegenseitige Beeinflussung verschiede
Shell-LCC: Effiziente Optimierung der Text-zu-Video-Generierung durch Daten-Mannigfaltigkeiten
Aktuelle Text-zu-Video-Diffusionsmodelle nutzen häufig aufwendige Belohnungsmodelle oder DPO-Verfahren, um die Qualität der generierten Inhalte zu verbessern. Ein neuer Ansatz zeigt nun, dass die Struktur der Trainingsdaten selbst als Belohnungsquelle fungieren kann. Durch die Modellierung der Mannigfaltigkeit hochwertiger Daten mittels Shell Local Coordinate Coding (Shell-LCC) lassen sich differenzierbare Signale erzeugen, die ohne zusätzliche menschliche Annotationen auskommen. Diese Methode verbessert die Detail
Die TIME-Maschine: Die Kraft der Bewegung für effiziente Wahrnehmung
Ein neuer Ansatz für das Lernen von Videorepräsentationen nutzt Bewegung als zentrale Modalität anstelle von textbasierten Bildunterschriften. Durch den Einsatz von maskierten Autoencodern auf Punktverfolgungsdaten können Modelle in einem selbstüberwachten Verfahren trainiert werden, wobei sie ausschließlich auf synthetischen Bewegungsdaten basieren. Diese Methode umgeht die Abhängigkeit von umfangreichen, sprachgebundenen Datensätzen und verbessert das Verständnis für zeitliche Abläufe erheblich. Die Ergebnisse ze
Inverse-LLaVA: Neudenken der multimodalen Ausrichtung durch Text-zu-Bild-Mapping
Der neue Architekturansatz Inverse-LLaVA kehrt das konventionelle multimodale Lernen um, indem Text-Embeddings in den kontinuierlichen visuellen Repräsentationsraum projiziert werden, anstatt visuelle Merkmale in Text-Token zu übersetzen. Durch dieses Design entfällt die Notwendigkeit eines expliziten Alignment-Vortrainings, was die Abhängigkeit von umfangreichen Datensätzen reduziert. Die Methode ermöglicht effizientes multimodales Schlussfolgern und zeigt, dass die Trennung von Repräsentationsstruktur und Überwac
Deformierbare Zustandsschätzung für die autonome chirurgische Geweberetraktion unter partieller Beobachtbarkeit
Die chirurgische Geweberetraktion erfordert eine präzise Manipulationsplanung trotz unvollständiger und verrauschter Sensordaten. Ein neu entwickelter lernfähiger Zustandsschätzer rekonstruiert den vollständigen Zustand eines deformierbaren Gewebenetzes aus lediglich 40 verrauschten Oberflächenpunkten. Durch die Kombination eines mehrschichtigen Perzeptrons mit einer niedrigdimensionalen PCA-Repräsentation und geometrieorientierter Regularisierung entstehen physikalisch plausible Verformungsmodelle. In Simulationen
HIVE-3D: Hierarchische Voxel-Optimierung für die hochwertige 3D-Szenengenerierung
HIVE-3D ist ein neues Verfahren zur Erzeugung hochauflösender 3D-Szenen aus einem einzelnen zweidimensionalen Bild. Das System nutzt ein hierarchisches Voxel-Framework, bei dem das Eingabebild zunächst in grobe Komponenten zerlegt und über einen aufmerksamkeitsbasierten Abrufprozess mit 3D-Strukturen verknüpft wird. Ein spezielles Modell für Voxel-Super-Resolution verfeinert diese Komponenten anschließend schrittweise. Durch diesen Ansatz lassen sich komplexe 3D-Szenen mit hoher Detailgenauigkeit und Konsistenz gen
DreamSat-Pose: Lagebestimmung von Raumfahrzeugen durch 3D-Rekonstruktion und Merkmalsabgleich
Die präzise Bestimmung der 6-DoF-Lage von unbekannten Raumfahrzeugen ist für autonome Rendezvous-Manöver essenziell. Ein neuer Ansatz ermöglicht dies nun anhand eines einzigen Bildes, indem zunächst ein 3D-Modell des Zielobjekts rekonstruiert und anschließend die relative Lage durch den Abgleich von 2D- und 3D-Merkmalen berechnet wird. Hierbei kommen Vision-Transformer zur Merkmalsextraktion und dynamische Graph-Convolutional-Neural-Networks zum Einsatz. Das Verfahren erzielt eine hohe Genauigkeit bei der Lagebesti
Aktives Lernen zur effizienten Annotation chirurgischer Videos durch schwache Überwachung
Die präzise räumlich-zeitliche Annotation laparoskopischer Videos ist zeitaufwendig und erfordert Expertenwissen. Ein neues Framework kombiniert aktives Lernen mit einer dualen Verlustoptimierung, um den Annotationsaufwand für die automatische Lokalisierung und Segmentierung chirurgischer Instrumente um 50 Prozent zu senken. Dabei werden Foundation-Modelle genutzt, um zeitlich konsistente Aktivierungskarten zu erstellen, die iterativ durch menschliches Feedback verfeinert werden. Dieser Ansatz macht umfangreiche, v
Klassifizierung täglicher Aktivitäten erfordert Körperhaltung, Rekonstruktion benötigt Bewegungsdynamik
Eine wissenschaftliche Untersuchung analysierte verschiedene Strategien zur Analyse menschlicher Bewegungen anhand von Videodaten. Dabei zeigte sich, dass die allgemeine Körperhaltung ausreicht, um Aktivitäten präzise zu klassifizieren, während für eine natürliche Rekonstruktion der Bewegungsabläufe zwingend zeitliche Dynamiken erforderlich sind. Während Methoden wie Legendre-Polynome bei der Klassifizierung hohe Genauigkeiten erzielen, scheitern sie bei der lebensechten Darstellung. Im Gegensatz dazu bewahren zeit
Text2Sign: Ein Single-GPU-Diffusionsmodell zur Generierung von Gebärdensprachvideos
Die Generierung von Gebärdensprachvideos aus Text ist aufgrund des hohen Rechenaufwands für Diffusionsmodelle bisher kostspielig. Mit Text2Sign wurde ein Modell entwickelt, das auf einer einzelnen NVIDIA L4 GPU trainiert und ausgeführt werden kann. Durch die Kombination eines vortrainierten Vision-Language-Encoders mit einer 3D-Architektur und faktorisierter räumlich-zeitlicher Aufmerksamkeit wird die Rechenlast reduziert, während die Bewegungskohärenz erhalten bleibt. Das System dient als effiziente Forschungsbasi
Die TIME-Maschine: Die Kraft der Bewegung für effiziente Wahrnehmung
Ein neuer Ansatz für das Lernen von Videorepräsentationen nutzt Bewegung als zentrale Modalität anstelle von textbasierten Beschreibungen. Durch den Einsatz von Masked-Autoencodern auf Punkt-Trajektorien lernen Modelle in einem selbstüberwachten Verfahren, fehlende Bewegungsabläufe zu rekonstruieren. Diese Methode ermöglicht es, den Bedarf an Trainingsdaten massiv zu reduzieren, da Bewegungsdaten unabhängig vom visuellen Erscheinungsbild sind. Das resultierende Modell erzielt bei deutlich geringerem Rechenaufwand e
Jenseits harter Budgets: Sparsity-Regularisierer für besser interpretierbare Top-k Sparse Autoencoder
Sparse Autoencoder sind ein zentrales Werkzeug, um die komplexen Repräsentationen von Vision-Foundation-Modellen in verständliche, monosemantische Merkmale zu zerlegen. Während Top-k-Varianten durch eine architektonische Beschränkung auf k aktive Einheiten bereits eine Form der Sparsity erzwingen, lassen sich durch zusätzliche Regularisierungsmethoden vor der Auswahl die Selektivität und Interpretierbarkeit der gelernten Merkmale weiter steigern. Die Einführung von Strafmaßen auf nicht ausgewählte Einheiten sowie s
Gleiches Kompressionsprinzip, unterschiedliche Geometrie: Raten-Verzerrungs-Signaturen unterscheiden biologische und künstliche visuelle Systeme
Die Theorie der effizienten Kodierung besagt, dass biologische Wahrnehmungssysteme sensorische Eingaben unter Ressourcenbeschränkungen optimal komprimieren. Durch die Anwendung der Raten-Verzerrungstheorie auf menschliche psychophysische Daten und tiefe neuronale Netze wurde untersucht, wie Systeme Genauigkeit gegen Informationseffizienz abwägen. Dabei zeigt sich, dass biologische und künstliche Systeme zwar einem gemeinsamen Prinzip der verlustbehafteten Kompression folgen, jedoch grundlegend unterschiedliche geom
ANGLE: Angular Neural Generative Learning mittels Engression
Die Analyse zirkulärer Daten wie Richtungen oder Winkel stellt herkömmliche Regressionsmodelle oft vor Probleme, da diese für multimodale oder asymmetrische Strukturen ungeeignet sind. Das neue Framework ANGLE ermöglicht eine nicht-parametrische Verteilungsregression auf dem Kreis, indem es die vollständige bedingte Verteilung durch eine generative Abbildung lernt. Durch die Optimierung mittels eines speziellen Energiewertes bietet das Verfahren theoretische Vorteile wie Rotationsinvarianz. Praktische Anwendungen i
Label-entkoppelte Stil-Augmentierung für die Domänen-Generalisierung in der Multi-Label-Fernerkundung
Bei der Klassifizierung von Luftbildern mit mehreren Labels treten häufig Probleme auf, wenn sich die Datenverteilung zwischen Training und Anwendung unterscheidet. Herkömmliche Methoden zur Stil-Augmentierung verändern globale Bildstatistiken, was bei mehreren Labels zu unerwünschten Vermischungen führen kann. Ein neuer Ansatz entkoppelt diese Augmentierung, indem Stil-Störungen auf label-spezifische Regionen begrenzt werden. Durch die Nutzung von Aufmerksamkeitsmechanismen werden Merkmalsstatistiken pro Label ber
Was messen zeitliche Benchmarks? Analyse der Kanalnutzung bei der Evaluation von Video-VLM
Aktuelle Benchmarks für zeitliche Video-Frage-Antwort-Systeme vermengen oft zwei Aspekte: die Notwendigkeit einer zeitlichen Analyse und die tatsächliche Informationsquelle des Modells. Viele Modelle stützen sich bei der Lösung nicht auf die visuelle Abfolge, sondern auf Positionskodierungen oder statistische Vorannahmen. Mit dem sogenannten Reversal-Drop wurde eine Methode entwickelt, die ohne neue Annotationen misst, ob ein Modell die visuelle Reihenfolge oder lediglich Positionsdaten nutzt. Die Untersuchung zeig
Geometrische Augmentierung mittels Rough-Path-Signaturen für die industrielle Defekterkennung bei geringer Datenlage
Die industrielle Fehlererkennung bei sehr kleinen Datensätzen stellt klassische Überwachungsalgorithmen oft vor Herausforderungen, insbesondere bei grenzorientierten Defekten. Ein neuer Ansatz nutzt die mathematische Methode der Rough-Path-Signaturen, um Kantenstrukturen als geordnete Pfade zu interpretieren und deren geometrische Merkmale gezielt hervorzuheben. Durch die Integration dieser räumlichen Informationen in bestehende Detektionsmodelle wie YOLOv8n lässt sich die Erkennungsgenauigkeit bei wenigen Training
KI-gestützte Schätzung von Küstenwellenparametern mittels Videodaten und Hochleistungsrechnen
Ein neues Deep-Learning-Framework ermöglicht die berührungslose Bestimmung von fünf zentralen Küstenwellenparametern, darunter Wellenhöhe, Periode und Richtung, allein durch die Analyse von Videodaten. Das System kombiniert eine selbstüberwachte V-JEPA-Architektur zur räumlich-zeitlichen Merkmalsextraktion mit einem SlowFast-Encoder und optischen Flussanalysen, um Wellenbewegungen präzise zu erfassen. Trotz begrenzter Trainingsdaten zeigt das Modell eine robuste Generalisierungsfähigkeit und liefert signifikante Ko
Kontrastives Joint-Embedding für das Repräsentationslernen in der strukturellen MRT
Das neue Framework COJEPA nutzt selbstüberwachtes Lernen, um volumetrische Gehirn-MRT-Daten effizient zu analysieren, ohne auf annotierte Datensätze angewiesen zu sein. Durch die Kombination einer prädiktiven Architektur mit einem kontrastiven Verlustansatz werden sowohl lokale Vorhersagbarkeit als auch globale Unterscheidbarkeit der Bilddaten optimiert. Die Methode erweitert bestehende Ansätze durch eine 3D-Maskierung und spezielle Positionskodierungen. In verschiedenen Tests, darunter die Identifizierung von Zwil
Von der Urbildsuche zur quellbasierten Merkmalsinversion
Die Interpretation neuronaler Netze erfordert ein präzises Verständnis darüber, welche Merkmale aus einem Eingangssignal extrahiert werden. Herkömmliche Inversionsmethoden leiden oft unter Mehrdeutigkeiten, da verschiedene Eingaben dasselbe Zielmerkmal erzeugen können. Ein neuer Ansatz löst dieses Problem durch eine quellbasierte Merkmalsinversion, die den Inversionsprozess an der lokalen Netzwerkgeometrie der ursprünglichen Eingabe ausrichtet. Durch die Anwendung mathematischer Korrekturen mittels Wiener-Abbildung
Differenzierbare klonstrukturierte Kausalgraphen für das End-to-End-Lernen kognitiver Karten aus Bildsequenzen
Die Entwicklung kognitiver Karten aus rohen sensorischen Daten stellt eine Herausforderung dar, da sich visuelle Muster selten exakt wiederholen. Ein neuer Ansatz transformiert das Modell klonstrukturierter Kausalgraphen in ein vollständig differenzierbares Modul, das direkt mit neuronalen Netzwerken kombiniert werden kann. Durch die Kopplung mit einem vektorquantisierten variablen Autoencoder wird die Verarbeitung von Bildsequenzen ermöglicht. Das System lernt dabei erfolgreich die zugrunde liegende Topologie von
Behebung von Shape-Prior-Abkürzungen in der Single-Shot-Streifenprojektions-Profilometrie
Bei der tiefenlernenden Streifenprojektions-Profilometrie neigen neuronale Netze dazu, Tiefeninformationen fehlerhaft aus Objektkanten statt aus Phasenverschiebungen abzuleiten. Um dieses Problem zu lösen, wurde PhiCalNet entwickelt, das die Tiefenberechnung durch eine physikalisch fundierte Kalibrierungsschicht architektonisch erzwingt, anstatt sich auf reine Bildmerkmale zu verlassen. Durch die explizite Nutzung einer gewickelten Phasenrepräsentation und die Einbeziehung der Streifenordnung als Hilfseingabe reduz
Nutzen hyperbolische Vision-Language-Modelle tatsächlich ihre Geometrie?
Eine Untersuchung der hierarchischen Repräsentationen in hyperbolischen Vision-Language-Modellen zeigt, dass diese Modelle ihre spezifische Geometrie in der Praxis kaum nutzen. Die Analyse von Modellen wie MERU, HyCoCLIP und PHyCLIP belegt, dass die trainierten Checkpoints weitgehend euklidisch bleiben und die theoretisch vorgesehenen Mechanismen wie Entailment-Cones inaktiv oder gesättigt sind. Die beobachteten Leistungssteigerungen lassen sich eher auf Supervision als auf die geometrische Struktur zurückführen. D
PUMA: Wahrnehmungsgesteuerte einheitliche Trittpunkt-Priorisierung für Parkour-Vierbeiner
Für die agile Fortbewegung von vierbeinigen Robotern stellt die Bewältigung von Parkour-Aufgaben eine besondere Herausforderung dar, da die präzise Auswahl von Trittpunkten auf Basis visueller Umgebungsdaten bisher oft an starre hierarchische Steuerungen gebunden war. Mit dem neuen Lernansatz PUMA wird die visuelle Wahrnehmung direkt in ein einstufiges Training integriert, das auf egozentrischen polaren Trittpunkt-Priorisierungen basiert. Dies ermöglicht Robotern eine dynamische Anpassung der Körperhaltung und eine
Fortschritte bei der blinden Korrektur von Linsenaberrationen durch umfangreiches Vortraining und diskrete Degradations-Priors
Das neue Framework FoundCAC ermöglicht eine universelle Korrektur von optischen Abbildungsfehlern, ohne dass die spezifischen Linseneigenschaften vorab bekannt sein müssen. Durch die Nutzung einer umfangreichen Bibliothek an simulierten Linsendaten und ein neuartiges Verfahren zur Vektorquantisierung werden komplexe Punktverbreitungsfunktionen in diskrete Prior-Informationen umgewandelt. Dieser Ansatz stabilisiert den mathematisch anspruchsvollen Wiederherstellungsprozess erheblich. Das Modell erzielt exzellente Er
Neuronaler Prior für menschliche Körperhaltungen
Ein neuer datengetriebener Ansatz nutzt Normalizing Flows, um eine flexible Wahrscheinlichkeitsdichte für menschliche Körperhaltungen zu modellieren. Durch die Verwendung von RealNVP und eine spezielle Behandlung der 6D-Rotationsdarstellung mittels invertierter Gram-Schmidt-Verfahren wird eine stabile Modellierung auf der Mannigfaltigkeit gültiger Rotationen erreicht. Die Methode ist unabhängig von spezifischen Frameworks einsetzbar und bietet eine robuste probabilistische Grundlage für die Integration in Prozesse
Multimodale Gerüchterkennung durch externe Beweise und Fälschungsmerkmale
Zur Identifizierung von Desinformation in sozialen Medien wurde ein neues Modell entwickelt, das multimodale Inhalte wie Text und Bild analysiert. Das System kombiniert visuelle Encoder mit textuellen BERT-Modellen und integriert spezifische Fälschungsmerkmale, um Manipulationen durch Frequenzanalysen aufzudecken. Ein wesentlicher Bestandteil ist die Nutzung von BLIP zur präzisen Beschreibung von Bildinhalten, wodurch semantische Abweichungen zwischen Bild und Text besser erkannt werden. Durch einen adaptiven Fusio
Verbesserung der adversariellen Übertragbarkeit durch Block-Stauchung und -Dehnung
Die Forschung stellt eine neue Methode zur Optimierung adversarieller Angriffe vor, die auf der gezielten Manipulation von Eingabedaten basiert. Durch die Betrachtung von Transformationen als implizite Ensembles wird die Reaktion des Modell-Frontends in den Fokus gerückt. Die entwickelte Methode nutzt lokale Skalierungsoperatoren durch blockweise Stauchungs- und Dehnungsvorgänge sowie globale Projektionsoperatoren zur räumlichen Deformation. Diese Kombination erzeugt strukturierte Ansichten, die die Übertragbarkeit
Selbstheilende visuelle Wiederherstellung für autonome Bodenfahrzeuge mittels kamerabasierter Odometrie
Für kostengünstige autonome Bodenfahrzeuge, die auf visuelle Linienführung angewiesen sind, stellt der Verlust der Spurführung eine erhebliche Herausforderung dar. Ein neuer zweistufiger Ansatz ermöglicht es Robotern, ohne zusätzliche Hardware wie LiDAR oder GPS eigenständig in die Spur zurückzufinden. Zunächst erfolgt eine adaptive Suche durch Anpassung der Farberkennung, gefolgt von einer Rückkehr zu zuvor gespeicherten Positionen mittels monokularer visueller Odometrie. Das System arbeitet effizient auf CPU-Basi
Training-freies Verfahren zur Schätzung nicht sichtbarer Spielerpositionen in Fußballübertragungen
Bei der Analyse von Fußballspielen basierend auf Übertragungskameras fehlen häufig Positionsdaten von Spielern, die sich außerhalb des aktuellen Bildausschnitts befinden. Dies führt zu erheblichen Verzerrungen bei der Berechnung von Metriken wie der Raumkontrolle. Eine neue Untersuchung quantifiziert diesen Fehler und stellt ein training-freies Verfahren vor, das auf der Schätzung von Spielerpositionen durch rollenbasierte Schwerpunkte basiert. Dieser Ansatz halbiert die Fehlerquote in verdeckten Zonen und verbesse
Pix2Act: Manipulationsstrategien im Bildraum durch äquivariante Augmentierung
Pix2Act ist eine neue Methode des Imitationslernens, die komplexe 3D-Manipulationsaufgaben durch die Umwandlung in 2D-Trajektorien vereinfacht. Anstatt direkt im 3D-Raum zu agieren, generiert das System kontinuierliche Schlüsselpunkt-Trajektorien in der Bildebene, die anschließend mittels Triangulation in präzise Endeffektor-Posen überführt werden. Durch die Ausrichtung von Beobachtungen und Aktionen im selben Koordinatenraum ermöglicht der Ansatz eine äquivariante Augmentierung, die die Datenbasis effektiv erweite
Referenzbasierte Gesichts-Super-Resolution mittels Spatial Transformer
Die hochauflösende Rekonstruktion von Gesichtsbildern stellt eine komplexe Herausforderung in der Computer Vision dar. Ein neuer Ansatz nutzt hochauflösende Referenzbilder, um fehlende Details präzise zu ergänzen. Dabei kommt ein auf Spatial Transformern basierendes Ausrichtungsmodul zum Einsatz, das sich als stabiler gegenüber herkömmlichen deformierbaren Faltungen erweist. Zudem ermöglicht eine adaptive Aggregationsfunktion die selektive Einbindung von Referenzinformationen. Das Modell erzielt trotz kompakter Arc
EquiFusion: Kinematik-unabhängige Vorhersage menschlicher Bewegungen durch äquivariante latente Diffusion
EquiFusion stellt einen neuartigen Ansatz zur Vorhersage menschlicher Bewegungen dar, der die bisherige Abhängigkeit von fest kodierten Skelettstrukturen überwindet. Durch die Implementierung eines latenten Diffusionsmodells mit einer permutationsäquivarianten Architektur ist das System in der Lage, Bewegungsdaten unabhängig von spezifischen Gelenkanordnungen oder Graphenstrukturen zu verarbeiten. Dies ermöglicht eine verbesserte Generalisierung über verschiedene Datensätze hinweg sowie neue Funktionen wie die Vorh
3D-Masked-Autoencoder als robuste Lernmodelle für volumetrische und multimodale zelluläre Repräsentationen in der Mikroskopie
Die Forschung untersucht den Einsatz von 3D-Masked-Autoencodern für die Analyse volumetrischer Mikroskopiedaten, da herkömmliche 2D-Projektionen die dreidimensionale Struktur von Zellen nur unzureichend erfassen. Im direkten Vergleich zeigen 3D-Modelle eine deutlich höhere Leistungsfähigkeit bei der Merkmalsextraktion für Einzelzellaufgaben. Durch die zusätzliche Integration von vortrainierten Protein-Sprachmodellen mittels Cross-Modal-Supervision lässt sich die Genauigkeit weiter steigern. Die Ergebnisse unterstre
Foveationsgesteuerte dynamische Token-Auswahl für robuste und effiziente Vision Transformer
Der Foveated Dynamic Transformer (FDT) überträgt Prinzipien des menschlichen visuellen Systems auf die Architektur von Vision Transformern. Durch den Einsatz von Fixations- und Foveationsmodulen werden relevante Bildbereiche priorisiert und irrelevante Informationen gefiltert. Diese Methode ermöglicht eine effizientere Verarbeitung bei reduzierter Rechenlast, während gleichzeitig die Genauigkeit gesteigert wird. Zudem zeigt das Modell eine hohe Widerstandsfähigkeit gegenüber Rauschen und gegnerischen Angriffen, ohn
Multimodale Szenariensuche für autonomes Fahren
Für die effiziente Analyse umfangreicher Datensätze beim autonomen Fahren ist die Suche nach ähnlichen Verkehrssituationen entscheidend. Ein neuer multimodaler Ansatz kombiniert visuelle Daten mit bewegungsbasierten Trajektorien, um Szenarien präziser zu identifizieren. Während visuelle Merkmale bei der Erkennung von Erscheinungsbildern überzeugen, liefern Trajektorien-basierte Methoden wie Transformer-Modelle exzellente Ergebnisse bei bewegungszentrierten Ereignissen wie Abbiegevorgängen oder Spurwechseln. Die Kom
GenVid2Robot: Von der Videogenerierung zur Robotersteuerung durch starr-geometrische Konsistenz
Die Nutzung generierter Videos für die Robotersteuerung scheitert oft an fehlender physikalischer Umsetzbarkeit. Das neue Framework GenVid2Robot adressiert dieses Problem, indem es Videobewegungen nicht direkt übernimmt, sondern als unsichere Hypothesen behandelt. Durch die Verknüpfung von visuellen Daten mit einer starr-geometrischen Modellierung werden nur physikalisch konsistente Bewegungsabläufe auf den Roboter übertragen. Ein zusätzliches Modul zur Tiefenkompensation gleicht dabei sensorische Ungenauigkeiten a
Über Lokalität und Längengeneralisierung beim visuellen Schlussfolgern
Die menschliche visuelle Wahrnehmung basiert auf lokalen, sequenziellen Blicken statt auf einer globalen Verarbeitung. Diese Untersuchung analysiert, ob dieser Ansatz bei Computermodellen Vorteile für die Generalisierung bietet. Während globale Modelle bei komplexen Aufgaben oft an Abkürzungen scheitern, zeigen Experimente, dass rekursive Modelle mit strikt lokaler Wahrnehmung die Generalisierungsfähigkeit deutlich verbessern. Lokale Aufmerksamkeit erweist sich somit als wesentlicher Faktor für eine robuste und kom
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumenten-Fragebeantwortung, indem es auf komplexe Zwischenschritte des logischen Schließens verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ausgabedaten verknüpft, was die Inferenzkosten um über 60 Prozent senkt. Analysen zeigen, dass Modelle ohne explizite Reasoning-Pfade effizienter konvergieren und eine höhere geometrische Präzision erreichen. Zudem ermöglicht ein optimierter Übergang von Supervised Fine-Tuning zu R
MonteRET: KI-Agent zur Verbesserung multimodaler Sprachmodelle durch mehrstufige Wissensabfrage bei der Erstellung von Thorax-CT-Berichten
Die automatisierte Erstellung von Thorax-CT-Befunden stellt hohe Anforderungen an das Verständnis sowohl des gesamten Volumens als auch lokaler anatomischer Details. Das neu entwickelte Framework MonteRET adressiert diese Herausforderung durch die Integration globaler CT-Merkmale mit regionalspezifischen anatomischen Repräsentationen. Durch eine gezielte Wissensabfrage basierend auf medizinischen Bedingungen und eine anschließende Überarbeitung der Berichte durch einen KI-Agenten werden klinisch präzisere Ergebniss
DialogueVPR: Fortschritte bei der dialogbasierten visuellen Ortserkennung
Die visuelle Ortserkennung mittels natürlicher Sprache stößt bei statischen Abfrageverfahren oft an Grenzen, wenn Beschreibungen unvollständig oder mehrdeutig sind. Ein neuer Ansatz transformiert diesen Prozess in einen interaktiven Dialog, bei dem ein KI-System gezielte Fragen stellt, um den Standort präziser zu bestimmen. Hierfür wurde ein umfangreicher Benchmark sowie ein spezielles Framework entwickelt, das einen multimodalen Abrufmechanismus mit einem intelligenten Fragesteller kombiniert. Durch ein zweistufig
Fehleranalyse bei Vision-Language-Modellen: Wahrnehmung oder Wissenslücke?
Vision-Language-Modelle zeigen bei der Beantwortung visueller Fragen Schwächen, wenn das benötigte Wissen über das direkt Sichtbare hinausgeht. Ein neuer Forschungsansatz ermöglicht es nun, diese Fehlerquellen systematisch zu unterscheiden, indem zwischen visuellen Wahrnehmungsproblemen und Wissensdefiziten differenziert wird. Die Untersuchung zeigt, dass sich diese Fehlertypen bereits vor der Generierung der Antwort anhand spezifischer interner Modellzustände vorhersagen lassen. Diese Erkenntnis erlaubt es, bei un
Von der Rekonstruktion zur Interpretation: Zero-Setup-Segmentierung für Röntgen-Tomographiedaten
Ein neues Framework ermöglicht die automatisierte Segmentierung von Röntgen-Tomographiedaten ohne vorheriges Training oder manuelle Eingaben. Durch die Kombination einer materialunabhängigen Maskenstrategie mit einem vortrainierten semantischen Segmentierungsnetzwerk lassen sich verschiedene strukturelle Regionen wie Porosität oder Materialdichte direkt identifizieren. Das Verfahren liefert innerhalb weniger Minuten nach der Rekonstruktion diagnostische Ergebnisse und übertrifft herkömmliche intensitätsbasierte Met
Agentische Vision: Aufbau visueller Intelligenz mit Amazon Bedrock und MCP-Servern
Die Implementierung von Computer Vision MCP-Servern ermöglicht es KI-Systemen, visuelle Informationen effizient zu verarbeiten und fundierte Entscheidungen über eine standardisierte Schnittstelle zu treffen. Durch diesen
Ganzkörper-konditionierte egozentrische Videovorhersage
Die Forschung befasst sich mit der Vorhersage von Videosequenzen aus der Egoperspektive unter Einbeziehung von Ganzkörperbewegungen. Durch die Verknüpfung von Kameradaten mit der Körperhaltung des Nutzers lässt sich das zukünftige Sichtfeld präziser modellieren. Dieser Ansatz verbessert das Verständnis für die Interaktion zwischen einer Person und ihrer Umgebung in dynamischen Szenarien. Die Methode ist besonders für Anwendungen in der Robotik und bei tragbaren Assistenzsystemen von Bedeutung, da sie eine realistis