Sehen reicht nicht aus: Visuelles Schließen durch Überbrückung der Reasoning-Access-Lücke mit TIGER
Multimodale große Sprachmodelle weisen oft eine Diskrepanz zwischen ihren starken textbasierten Fähigkeiten und der Verarbeitung visueller Eingaben auf. Um diese Lücke zu schließen, wurde das Trainingsverfahren TIGER entwickelt, welches synthetische multimodale Kontrafaktuale nutzt und Modelle mittels fortgeschrittener Optimierungsmethoden wie Group Relative Policy Optimization anpasst. Obwohl das Training ausschließlich auf synthetischen Text-Bild-Daten basiert, zeigt TIGER signifikante Leistungsverbesserungen bei
Split and Bridge: Multimodale Generierung durch Diffusions-Bridging
Forscher haben mit Split and Bridge ein neues Framework zur multimodalen visuellen Generierung vorgestellt, das vortrainierte unimodale Diffusionsmodelle während der Sampling-Phase verknüpft. Statt eines gemeinsamen latenten Raumes von Grund auf zu trainieren, nutzt der Ansatz einen gemeinsamen Diffusionspfad bis zu einem Split-Punkt und verzweigt sich anschließend über ein Brückenmodul in modulspezifische Pfade. Dies ermöglicht die modulare Wiederverwendung leistungsstarker Bestandsmodelle ohne aufwendiges gemeins
BEiTScore++: Referenzfreie Bildbeschreibungs-Evaluierung mit BEiT-3 und konformer Quantilregression
Die neue Methode BEiTScore++ erweitert etablierte Bildbeschreibungs-Metriken um eine verlässliche Unsicherheitsquantifizierung. Durch die Kombination von BEiT-3 und konformer Quantilregression liefert der Ansatz neben präzisen Ausrichtungswerten auch kalibrierte Konfidenzintervalle in einem einzigen Durchlauf. Dies ermöglicht eine robuste Bewertung von multimodalen Modellen selbst bei Domänenverschiebungen und verrauschten Eingabedaten. Evaluierungen auf verschiedenen Benchmarks demonstrieren eine hohe Korrelation
Multimodales Modell-Diffing zur Funktionserkennung und -steuerung
Ein neues Framework namens MMDiff ermöglicht die Analyse und gezielte Steuerung interner Repräsentationen in multimodalen großen Sprachmodellen durch den Einsatz multimodaler Sparse Autoencoder. Die Methode isoliert spezifische Funktionsänderungen, die durch das multimodale Training entstehen, und erlaubt eine kontrastive Analyse kausaler Merkmale. Durch das gezielte Modulieren oder Entfernen dieser Merkmalsrichtungen lassen sich Sicherheitsrisiken reduzieren und die Leistung bei Aufgaben wie OCR sowie visuell-räum
Ausrichtung von Details und Gesamtbild in Bildern und langen Beschreibungen für visuelles Verständnis
Visuelle Sprachmodelle haben oft Schwierigkeiten, detailreiche Beschreibungen präzise zu erfassen, da sie globale Szenenmerkmale bevorzugen und feingranulare visuelle Details übersehen. Um dieses Problem zu lösen, wurde ein hierarchisches Lernprinzip entwickelt, das lokale Text-Regionen und globale Bild-Text-Darstellungen miteinander verknüpft. Das darauf basierende Modell CAFT nutzt einen feingranularen Ansatz, um semantische Teile in Bildern zu lokalisieren und schrittweise zu einer Gesamtdarstellung zusammenzuse
CoMet: Kontext- und Multiplizitätszerlegung für multimodale Unsicherheitsschätzung
Die Quantifizierung von Unsicherheiten in multimodalen großen Sprachmodellen stellt aufgrund vielfältiger Fehlerquellen und offener Antwortformate eine erhebliche Herausforderung dar. Als Lösungsansatz wurde CoMet vorgestellt, eine Methode zur Aufteilung der Unsicherheit in einen kontextspezifischen und einen multiplizitätsspezifischen Term. Ein trainiertes, leichtgewichtiges Post-hoc-Modul ermöglicht dadurch eine effiziente und autoregressive Abtastung umgehende Schätzung der Modellunsicherheit. Umfangreiche Evalu
REVELIO: Universelle multimodale Arbeitsbelastungsschätzung für domänenübergreifende Generalisierung
Adaptive interaktive Systeme erfordern eine zuverlässige Bestimmung der mentalen Arbeitsbelastung, die auch außerhalb des Trainingskontexts stabil bleibt. Das neu entwickelte Framework REVELIO nutzt multimodale Biosignale, Augenbewegungen und Gesichtsausdrücke aus umfangreichen Testszenarien wie Labortests, Simulatoren und Videospielen. Durch einheitliches multimodales Training erreicht der Ansatz eine hohe Generalisierbarkeit und bietet eine standardisierte Grundlage für den praktischen Einsatz in nutzeradaptiven
Herausforderungen der Datenqualität in multimodalen Tourismus-Empfehlungssystemen
Moderne Empfehlungssysteme nutzen zunehmend diverse Datenmodalitäten zur Leistungssteigerung, während die Qualität der zugrundeliegenden Daten oft vernachlässigt wird. Am Beispiel des Tourismussektors werden reale Probleme wie Rauschen durch gefälschte Bewertungen, von Sprachmodellen halluzinierte Inhalte, modalitätsübergreifende Widersprüche und demografische Verzerrungen in Datensätzen von Yelp und Instagram analysiert. Zur Verbesserung der Robustheit und Zuverlässigkeit werden Lösungsansätze wie qualitätsbewusst
Kontrafaktische Analyse von Extent Leakage bei annotierungsbasierten Prompts in der medizinischen Bildsegmentierung
In textgesteuerten Segmentierungsmodellen für die medizinische Bildgebung zeigt sich ein methodisches Problem: Die Modelle nutzen in Beschreibungen häufig Informationen über Ausdehnung und Läsionsgröße, die direkt aus den Zielmasken abgeleitet wurden. Diese Leckage, genannt Extent Leakage, erklärt einen Großteil der Leistungssteigerung auf Benchmarks, während semantische Details oft vernachlässigt werden. Zudem schwächt dieses Verhalten die Fähigkeit der Modelle, Segmentierungen allein auf Basis der Bilddaten vorzu
Zuverlässige Vision-Language-Model-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Modelle werden zunehmend als automatisierte Juroren für multimodale und verkörperte Aufgaben eingesetzt, wobei herkömmliche Genauigkeitsmetriken oft versagen. Zur Lösung dieses Problems wird das Prinzip der zustandsbedingten Invarianz vorgeschlagen, das Stabilität gegenüber semantisch neutralen Darstellungsänderungen bei gleichzeitiger Kausalsensitivität fordert. Das zugehörige Benchmark-System GridWM-Judge untersucht visuelle Fundierung, Aktionsübergänge und kontrafaktische Diskriminierung anhand d
Jenseits von Sprache: Bewertung nonverbalen sozialen Denkens in der frühen Kindheit
Die frühkindliche Entwicklung stützt sich stark auf nonverbale Interaktionen wie Blickkontakt, Gestik und körperliche Nähe, die in bisherigen multimodalen Videobewertungen für Künstliche Intelligenz kaum berücksichtigt wurden. Ein neues Benchmark namens NEST schließt diese Lücke, indem es manuell annotierte Videoclips zur Analyse frühkindlichen Verhaltens bereitstellt und ein fein abgestuftes Bewertungsschema für soziales Denken einführt. Umfassende Analysen aktueller Vision-Language-Modelle zeigen erhebliche Leist
VIGOR: Benchmarking der visuellen Rationalitätskorrektheit in multimodalen großen Sprachmodellen
Multimodale große Sprachmodelle werden traditionell primär anhand der Korrektheit ihrer Antworten bewertet, was jedoch keinen Aufschluss über die zugrundeliegende visuelle Evidenz gibt. Zur Schließung dieser Lücke wurde VIGOR entwickelt, ein umfassender Benchmark für visuell begründete Rationalitäten auf Basis expliziter Konzepte und pixelgenauer Annotationen. Ein neuartiges, automatisiertes Annotationsframework ermöglicht dabei die Skalierung über verschiedene Abstraktionsebenen hinweg von visuellen Eigenschaften
Attribut-Evidenz-Lernen mit multimodalem Prompt für die verallgemeinerte Kategorienentdeckung
Für die verallgemeinerte Kategorienentdeckung in unbeschrifteten Daten wurde ein neues multimodales Framework namens AptM-GCD entwickelt, das globale Kategorienbeschreibungen und lokale Attribute entkoppelt. Ein neuartiger Attribut-Evidenz-Lernmechanismus verknüpft dabei lokale Attribut-Einbettungen mit visuellen Patch-Token, um verlässliche visuelle Evidenz zu extrahieren und Rauschen zu reduzieren. Ergänzend überbrückt ein multimodales Prompt-Lernen die Lücke zwischen feingranularen Text-Hinweisen und globalem Bi
Möbius Interaction Filtering: Ordnungsselektive spektrale Regularisierung zur multimodalen Humorerkennung
Für die multimodale Humorerkennung ist die gemeinsame Analyse von Sprache, Stimme und visuellen Merkmalen essenziell. Mit Möbius Interaction Filtering (MoIF) wurde ein neuer Ansatz vorgestellt, der eine modalitätsspezifische Vorhersagefunktion mit einer ordnungsselektiven spektralen Regularisierung über die Aggregationsstruktur verbindet. Private temporale Encoder und balancierte reziproke Interaktionen ermöglichen dabei die Konstruktion unimodaler, bimodaler und trimodaler Prädiktoren. Durch diese Formulierung las
AnchorMTS: Multimodale Signalrepräsentation und prognoseverankerte Fusion für langfristige Zeitreihenvorhersagen
AnchorMTS ist ein neues Verfahren für langfristige Zeitreihenvorhersagen, das neben numerischen Daten auch visuelle und textuelle Ansichten aus beobachteten Zeitfenstern ableitet. Ein trainierbarer Evidenzpfad erzeugt einen Kandidaten für die Vorhersage, während eine parameterfreie Ausgabeprojektion exakte Grenzen für die Abweichung vom numerischen Anker durchsetzt. Über verschiedene Benchmarks und Zeithorizonte hinweg übertrifft das Modell etablierte überwachte Baselines signifikant. Die Methode zeigt, dass komple
Visuell redundanzgesteuertes paralleles Dekodieren für diffusionsbasierte multimodale große Sprachmodelle
Diffusionsbasierte multimodale große Sprachmodelle generieren Token parallel an maskierten Positionen, leiden jedoch häufig unter visueller Redundanz bei der Auswahl zu committender Tokens. Um dieses Problem zu adressieren, wurde der Visual Redundancy Index zur Messung der visuellen Überlappung sowie die Methode des Visual-Redundancy-Controlled Decoding entwickelt. Diese trainingsfreie Inferenz-Methode priorisiert visuell komplementäre Positionen anhand der Token-zu-Bild-Aufmerksamkeit. Experimente auf verschiedene
Leckage- und labelbewusste Evaluierung von Strategien gegen Klassenunbalanced bei multimodalen Thoraxröntgen- und EHR-Klassifikationen
Bestehende Benchmarks zur Bewältigung von Klassenunbalancen in multimodalen medizinischen Datensätzen leiden häufig unter methodischen Fehlern wie Datenleckagen durch ungeeignete Datenaufteilungen auf Patientenebene. Eine Untersuchung des MIMIC-CXR-Datensatzes zeigte, dass fehlerhafte Label-Zuordnungen und Datenlecks die Modellleistung massiv verzerren und zu scheinbar hohen, aber in der Praxis unbrauchbaren Genauigkeiten führen. Unter strenger patientengetrennter Evaluierung mit bereinigten Labeln relativieren sic
Clips2Story: Trainingsfreies Video-Storyboarding und Editing durch multimodale Retrieval-Embedded Generation
Forscher haben Clips2Story vorgestellt, eine trainingsfreie und auf Large Language Models basierende Pipeline zur automatisierten Erstellung kohärenter Kurzvideos aus unstrukturierten Clip-Sammlungen. Das System extrahiert multimodale Textdeskriptoren aus dem Videomaterial, ermittelt anhand benutzerdefinierter Schlüsselwörter relevante Sequenzen und lässt ein LLM ein editierbares Storyboard inklusive verbindender Narrationen generieren. Durch die Kombination von Clip-Auswahl und passenden visuellen Ergänzungen über
Multimodale Fusionsmethoden für Ganzschnittbilder und klinische Daten bei chronisch-entzündlichen Darmerkrankungen
Forscher haben ein modulares Framework zur multimodalen KI-Fusion von Histologiedaten und klinischen Patientenakten entwickelt, um Remissionsverläufe bei chronisch-entzündlichen Darmerkrankungen vorherzusagen. Dabei wurden 15 verschiedene Fusionsmethoden anhand einer prospektiven Kohorte unter identischen Bedingungen verglichen. Die Ergebnisse zeigen, dass multimodale Ansätze rein monomodale Modelle in den meisten Szenarien übertreffen, wobei die spezifische Abhängigkeit von Bilddaten je nach Zielvariable stark var
Analyse des Optimierungskonflikts zwischen bild- und textbasieller Personenwiedererkennung
Die Zusammenführung von bild- und textbasierter Personenwiedererkennung in einem einzigen Modell scheitert an einem grundlegenden Konflikt der Trainingsziele. Während bildbasierte Ansätze auf identitätsübergreifende Invarianz abzielen, erfordern textbasierte Verfahren instanzspezifische Beschreibungen, was bei gemeinsamen Encodern zu gegenläufigen Optimierungsanforderungen führt. Eine empirische Untersuchung zeigt, dass beide Ziele nicht simultan mit einem unbeschränkten Encoder erfüllbar sind. Als Lösungsansatz wi
Verständnis des Leistungsplateaus beim Text-zu-Video-Retrieval: Eine umfassende empirische und linguistische Analyse
Eine aktuelle Untersuchung beleuchtet die Leistungsplateaus von 14 aktuellen Text-zu-Video-Retrieval-Methoden anhand von drei standardisierten Datensätzen. Die Analyse zeigt, dass kurze und präzise Beschreibungen zu deutlich höheren Abrufgenauigkeiten führen, während komplexe Handlungen und detailreiche Szenen weiterhin eine große Herausforderung für bestehende Architekturen darstellen. Zudem verdeutlichen die Ergebnisse, dass aufmerksamkeitsbasierte Modelle zeitlich abhängige Anfragen besser verarbeiten können, wä
VisualSphinx: Große synthetische visuelle Logik-Puzzle für Reinforcement Learning
Zur Verbesserung des multimodalen Schließens bei Vision Language Models wurde VisualSphinx entwickelt, ein groß angelegter synthetischer Trainingsdatensatz für visuelle Logik-Puzzles. Ein automatisierter Pipeline-Ansatz generiert regelbasiert synthetische Bilder mitsamt verifizierbaren Antworten für das Training. Experimente zeigen, dass Modelle durch dieses Training signifikante Leistungssteigerungen bei logischen, algebraischen und geometrischen Aufgaben erzielen.
Mage-VL-Cowork: Ein vollständiges Trainingsrezept für hybrides Computer-Use
Mage-VL-Cowork ist ein hybrider Computer-Use-Agent mit vier Milliarden Parametern, der visuelle Benutzeroberflächen-Interaktionen mit Code- und Terminal-Ausführungen in einer einzigen Richtlinie vereint. Das Modell wurde durch einen progressiven Fünf-Stufen-Lehrplan trainiert, der Mitteltraining, überwachtes Feintuning und Reinforcement Learning kombiniert. Zur effizienten Skalierung der Trainingsdaten generiert ein automatisiertes System Hunderttausende Desktop- und Web-Aufgaben über Tausende spezifischer Fähigkei
Latent-Lens: Visuelle Wahrnehmung in kleinen Sprachmodellen durch latente Kommunikation
Ein neuartiger Codec namens Latent-Lens ermöglicht die direkte visuelle Kommunikation zwischen eigenständigen Vision-Language-Modellen und kleinen Sprachmodellen im latenten Raum. Durch den Verzicht auf verlustbehaftete diskrete Textübertragungen können räumliche und feingranulare Details effizient übergeben werden. Die Architektur besteht aus einem Domänenencoder und einem auf LoRA basierten Aufmerksamkeitsdecoder, wobei nur ein Bruchteil der Parameter trainiert werden muss. Evaluierungen zeigen signifikante Leist
Rollenbewusste Server-Optimierung für multimodales föderiertes Lernen bei fehlenden Modalitäten
Beim multimodalen föderierten Lernen trainieren verteilte Clients gemeinsam ein Modell, obwohl oft bestimmte Eingabemodalitäten fehlen. Um diese Heterogenität auf Serverseite zu bewältigen, wurde ein rollenbasiertes Optimierungsverfahren entwickelt, das die Beitragsauswahl der Clients gezielt mit rollenspezifischen Server-Updates koordiniert. Dabei werden Encoder-Aktualisierungen und der gemeinsame Fusions- sowie Klassifikationsblock getrennt betrachtet und entsprechend ihrer Verfügbarkeit aggregiert. Experimente a
MOSAIC: Entflechtung von Modalitäten durch gradientenbasiertes Routing in Multitask-Architekturen
In Multitask-Umgebungen mit mehreren Modalitäten führt die erzwungene Vereinheitlichung in einem gemeinsamen Repräsentationsraum häufig zu suboptimalen Gradientenaktualisierungen, da Aufgaben unterschiedlich stark von einzelnen Modalitäten abhängen. Um diese Einschränkungen herkömmlicher Fusionsarchitekturen zu überwinden, wurde MOSAIC entwickelt. Das Verfahren trennt unimodale Repräsentationen und steuert die Interaktion gezielt über Cross-Attention, während verlustbasiertes Gradienten-Routing eingesetzt wird. Auf
CountVideoBench: Ein Benchmark zur Evaluierung von Vorhersagebiases bei der Objektzählung durch Video-Language-Modelle
Multimodale Sprachmodelle zeigen erhebliche Defizite bei der präzisen Objektzählung in Videos, da bestehende Datensätze stark zu kleinen Zahlenwerten tendieren. Um diese Verzerrungen zu analysieren, wurde CountVideoBench entwickelt, das synthetische Videos mit gleichmäßig verteilten Häufigkeiten von fünf bis fünfzig Objekten umfasst. Tests mit gängigen Video-Language-Modellen im Zero-Shot-Modus offenbaren eine maximale Genauigkeit von lediglich 27,6 Prozent sowie stark modellabhängige Vorhersagebiases. Die Ergebnis
MedEvo: Medizinisches Schließen durch Wissensnavigation weiterentwickeln
MedEvo ist ein neuartiger Ansatz zur Verbesserung multimodaler medizinischer KI-Modelle, der fehlerhafte Denkprozesse von Schülermodellen anhand medizinischer Taxonomien und Fehlerdiagnosen gezielt korrigiert, anstatt nur auf vorgegebene Lehrerlösungen zu setzen. Durch die Kombination aus minimalen Hinweisen für Fehltritte und einer gezielten Priorisierung von Wissenslücken bei neuen Trainingsläufen steigert das Verfahren die Leistungsfähigkeit verschiedener Modellgrößen von Qwen signifikant über mehrere medizinisc
Jenseits der Störungsgröße: Richtungsabhängige Reaktionen in multimodalen geometrischen Repräsentationen
Die Untersuchung analysiert, wie geometrische Ausrichtungsscores auf Basis von Gram-Determinanten bei multimodalen Modellen auf Modalitätsdegradationen reagieren. Dabei zeigt sich, dass die bloße Verschiebungsgröße maximal 15 Prozent der Varianz erklärt, während die Richtung der Störung entscheidend ist. Als Lösung wird der Direktionale Geometrische Response (DGR) vorgestellt, der die Projektion der Verschiebung auf den lokalen Volumengradienten abbildet. Dieser Ansatz erklärt die beobachtete Resonanz deutlich präz
Katalogverankerte multimodale Attribuierung für Museumsvideos unter Ressourcen- und Regulierungsbeschränkungen
Museumsarchive verfügen oft über audiovisuelle Bestände ohne kompatible Metadaten, was die Durchsuchbarkeit erschwert. Ein neuer Ansatz namens CaGMulA kombiniert lokale Videasprachmodelle, strukturierte Katalogabfragen und abstentionfähige Entscheidungsrichtlinien zur automatisierten Identifikation von Kunstwerken in Galerievideos. Die Evaluierung verschiedener Modellkonfigurationen zeigt, dass insbesondere geschlossene Katalogabfragen und verifiergesteuerte Hybridmodelle eine präzise Attribuierung von Titeln und K
FediLoRA: Praktisches föderiertes Fine-Tuning von Foundation-Modellen bei fehlenden Modalitäten
FediLoRA ist ein neues leichtgewichtiges Framework für die föderierte LoRA-Aggregation, das speziell für heterogene Umgebungen mit unvollständigen Datenmodalitäten und unterschiedlichen Rechenressourcen entwickelt wurde. Das Verfahren kombiniert einfache Mittelwertebildung mit strukturierten Anpassungen, um sowohl globale als auch personalisierte Modelle zu optimieren. Evaluierungen auf verschiedenen General- und Medizin-Benchmarks belegen die hohe Leistungsfähigkeit und Praxistauglichkeit des Ansatzes, insbesonder
Jenseits von Vision-Language-Modellen: Visuell-semantische Affektgraphen zur Emotionen-Erkennung in Kunstwerken
Zur Verbesserung der automatischen Emotionenerkennung in Kunstwerken wurde ein graphenbasiertes Framework namens Visual-Semantic Affect Graphs entwickelt. Der Ansatz verknüpft interpretierbare visuelle und semantische Merkmale wie Farbgebung, Pukturbierung und Komposition in einer strukturierten Repräsentation. Evaluierungen auf Basis des EmoArt-5k-Datensatzes im Vergleich zu Modellen wie Qwen3-VL und InternVL3.5 zeigen, dass explizite visuell-semantische Graphenstrukturen die Vorhersagegenauigkeit im Vergleich zu
Modality-Grounding bei Vision-Language-Modellen: Gezielte Steuerung von Bild- und Textmodalitäten
Um zu überprüfen, ob Vision-Language-Modelle gezielt bestimmten Modalitäten folgen, wurde ein neuer Evaluierungsansatz mittels konfliktbewahrender kontrafaktischer Interventionen entwickelt. Durch das Training spezifischer Wort-Embeddings und den Einsatz einer Counterfactual Twin-Margin-Supervision lässt sich die Steuerung zwischen visuellen und textlichen Eingaben signifikant verbessern. Die Ergebnisse zeigen, dass dieser leichtgewichtige Ansatz eine präzisere Kontrolle über multimodale Ausgaben ermöglicht, ohne d
GEMS-RAG: Graph-basierte multimodale Retrieval-Augmented Generation für technische Standards
GEMS-RAG ist ein neuartiges Framework zur präzisen Informationsgewinnung und zum logischen Schließen über komplexe technische Standards hinweg. Das System kombiniert hierarchisches Parsing, visuelle Entitätsextraktion und multimodale Wissensgraphen, um textuelle Bestimmungen, Tabellen und technische Zeichnungen miteinander zu verknüpfen. Durch die Integration von graphenbasiertem Hybrid-Retrieval überwindet das Framework die Schwächen herkömmlicher RAG-Ansätze bei multimodalen und strukturierten Dokumenten. Evaluie
AgriDefend: Günstiges Offline-Edge-Gerät zur Pflanzengesundheitsüberwachung mittels multimodaler KI
AgriDefend ist ein kostengünstiges Edge-Gerät auf Basis eines Raspberry Pi 5, das multimodale Künstliche Intelligenz zur Früherkennung von Pflanzenstress nutzt. Durch die Kombination von Kameradaten via MobileNetV2-CNN und Bodensensoren über einen Random-Forest-Klassifikator prognostiziert das System den Gesundheitszustand von Pflanzen vollständig offline. In Gewächshaustests konnte das Modell sichtbare Welkeerscheinungen um rund vier Tage vorhergesagen und demonstriert damit das Potenzial ressourcenschonender, net
TimeWorld: Hin zu aktionskonditionierten multimodalen Weltmodellen für die Zeitreihenvorhersage
Für die präzise Vorhersage von Zeitreihen in dynamischen Umgebungen wie dem Online-Handel oder dem Netzwerkmanagement ist die Berücksichtigung geplanter Maßnahmen von zentraler Bedeutung. Bisherige multimodale Ansätze stoßen hierbei jedoch an Grenzen, da sie Text meist nur als passiven Kontext nutzen und starre Kovariaten-Schemata erfordern. Ein neues, domainübergreifendes Benchmark-Framework zeigt nun, dass vortrainierte Zeitreihen-Grundlagenmodelle durch einfache Text-Präfix-Adaptionen deutlich verbessert werden
Halbwahrheiten stören die ähnlichkeitssbasierte Wiederfindung
Gängige multimodale Modelle wie CLIP zeigen Schwächen bei der Verarbeitung von Bild-Text-Ähnlichkeiten, da das Hinzufügen falscher Details zu Textbeschreibungen oft zu fälschlicherweise höheren Ähnlichkeitswerten führt. Diese sogenannten Halbwahrheiten resultieren aus einer schwachen Überwachung auf Satzteile während des kontrastiven Trainings. Zur Behebung dieses Defizits wurde CS-CLIP entwickelt, ein Verfahren zur Komponentensupervision, das Bildunterschriften in Entitäten und Relationen zerlegt. Durch gezieltes
Attention-space Contrastive Guidance: Effiziente Reduktion von Halluzinationen in großen Vision-Language-Modellen
Große Vision-Language-Modelle neigen oft zu Halluzinationen, wenn sprachliche Priorarten visuelle Beweise dominieren. Um diesem Problem zu begegnen, wurde Attention-space Contrastive Guidance (ACG) entwickelt, eine trainingsfreie und effiziente Methode im Self-Attention-Bereich. Durch die Konstruktion von bildkonditionierten sowie textbasierten Aufmerksamkeits-Pfaden in einem einzigen Durchlauf werden visuell ungenaue Korrekturen vermieden. Eine zusätzliche orthogonale Projektion unterdrückt unerwünschte Verzerrung
VLMShield: Effiziente und robuste Verteidigung von Vision-Language-Modellen gegen bösartige Prompts
Vision-Language-Modelle sind aufgrund von Schwachstellen bei der visuellen Integration anfällig für bösartige Prompt-Angriffe. Um diesen Sicherheitsrisiken zu begegnen, wurde das Multimodal Aggregated Feature Extraction Framework entwickelt, welches multimodale Informationen in einheitliche Repräsentationen überführt. Auf Basis dieser Merkmalsanalyse entstand VLMShield, ein leichtgewichtiger und als Plug-and-Play einsetzbarer Sicherheitsdetektor. Umfangreiche Experimente belegen eine überlegene Leistungsfähigkeit h
Feature-Space Smoothing: Zertifizierte Robustheit für Deep-Learning-Repräsentationen
Zur Abwehr adversarieller Angriffe wurde ein neues Zertifizierungsframework namens Feature-Space Smoothing entwickelt, das auf Gaußscher randomisierter Glättung basiert. Der Ansatz wandelt Feature-Encoder so um, dass eine zertifizierte untere Schranke für die Kosinusähnlichkeit zwischen sauberen und manipulierten Merkmalen garantiert wird. Zudem führt der Mechanismus das Modul Gaussian Smoothness Booster ein, welches die Konsistenz im Feature-Raum verbessert. Dadurch lässt sich die Robustheit von multimodalen große
On-Policy-Selbsttraining: Datefreie Selbstverbesserung in großen Sprachmodellen
Forscher haben ein neues Framework für das On-Policy-Selbsttraining von Sprachmodellen vorgestellt, das ohne externe menschliche Daten oder überlegene Lehrermodelle auskommt. Ausgehend von groben Themenbeschreibungen generiert das Modell eigenständig Trainingsfragen sowie hergeleitete Begründungen und baut sich so ein eigenes Curriculum auf. Dies ermöglicht kontinuierliche Leistungssteigerungen über diverse Domänen hinweg in textbasierten sowie multimodalen Aufgaben. Die Ergebnisse zeigen, dass Basismodelle über la
Multimodale Vorhersage des Gesprächserfolgs bei autistischen und nicht-autistischen Interaktionen
Eine aktuelle wissenschaftliche Untersuchung widmet sich der Vorhersage des wahrgenommenen Gesprächserfolgs in spontanen Dialogen zwischen autistischen und nicht-autistischen Personen. Durch die Kombination von artikulatorischen, facialen, akustisch-prosodischen und interaktiven Merkmalen aus mehreren Datensätzen zeigt sich, dass der Kommunikationserfolg eine mehrdimensionale Analyse erfordert. Die multimodale Herangehensweise überwindet die Grenzen einzelner Datenkanäle und ermöglicht eine präzisere Erfassung sozi
Effiziente omnimodale Large-Language-Model-Inferenz durch abfragebasierte Modalitätsauswahl
Omnimodale Large Language Models verarbeiten zwar Text, Audio und Video parallel, verursachen dabei jedoch hohe Inferenzkosten. Da der Nutzen zusätzlicher Modalitäten stark von der jeweiligen Anfrage abhängt, wurde ein kostensensitiver Lernansatz zur adaptiven Modalitätsauswahl entwickelt. Evaluierungen mit Modellen wie Qwen2.5-Omni und Qwen3-Omni zeigen, dass dieses dynamische Verfahren den Zielkonflikt zwischen Genauigkeit und Rechenaufwand signifikant verbessert. Im Vergleich zur vollständigen Nutzung aller Moda
Autoregressive multimodale Anomaliederkennung mit großen Sprachmodellen für Microservice-Systeme
Zur Sicherstellung der Zuverlässigkeit von Microservice-Architekturen wurde das Framework LLMMAD vorgestellt, das auf großen Sprachmodellen basiert. Der Ansatz kombiniert multimodale Daten in einer einheitlichen Sequenz, bewahrt mittels spezifischer Rekonstruktionsköpfe aber auch modaliätsspezifische Eigenschaften. Durch ein prädiktiv angetriebenes, autoregressives Ziel wird zudem das Problem von Identitätsabkürzungen bei der Merkmalsrekonstruktion vermieden. Umfangreiche Experimente auf Basis realer Datensätze bel
SciFusion: Physikgesteuerte diffusionseinfache Komposition für multimodale wissenschaftliche 3D-Bildgenerierung
SciFusion ist ein multimodales Framework zur einheitlichen Generierung wissenschaftlicher 3D-Bilder auf Basis eines latenten Diffusionsmodells. Durch ein kompositorisches Konditionierungsschema werden Modalitäten in Domänen-, Objekt- und Kontrastrepräsentationen zerlegt, was Wissenstransfer und Zero-Shot-Synthesen über heterogene Bildgebungsbereiche hinweg ermöglicht. Zusätzlich integriert das System domänenspezifische, physikalisch informierte Zielvorgaben wie Fourier-Spektralkonsistenz für MRT, Radon-Projektionsk
CRANE: Post-hoc kontrafaktische Suche für multimodale Klassifikatoren
Bisher fehlten post-hoc-Methoden zur Erklärung von Klassifikatoren mit multimodalen Eingaben, da bestehende Ansätze Modalitäten nur unabhängig voneinander analysieren. Mit CRANE wurde nun das erste modellunabhängige Framework vorgestellt, welches kontrafaktische Erklärungen durch das Abrufen realer Trainingsbeispiele aus der Zielklasse generiert. Der Ansatz stellt sicher, dass Erklärungen plausibel sind und auf der gemeinsamen Trainingsverteilung basieren. Besonders die Multimodal Consensus Retrieval genannte Strat
Sequenzkomprimierung neu gedacht durch Test-Time-Regression
Forscher haben einen neuartigen Ansatz zur Sequenzkomprimierung in Sprach- und Multimodellen vorgestellt, der auf Test-Time-Regression basiert. Anstelle herkömmlicher Pooling- oder Projektionsverfahren wird hierbei ein Regressionsproblem definiert, dessen Koeffizienten während des Vorwärtsdurchlaufs in geschlossener Form berechnet und end-to-end optimiert werden. Der daraus resultierende TTR-Compressor verbessert die Leistung bei blockweiser sparsamer Aufmerksamkeit deutlich und reduziert visuelle Token in multimod
Ratenkontrollierte KV-Cache-Neuauswahl für lange multimodale Generierung
Bei multimodalen Sprachmodellen erweist sich die einmalige Kompression des KV-Cache vor dem Generierungsprozess bei langen Texten als unzureichend, da sich der Fokus während der Beschreibung verschiebt. Um diesem Effekt entgegenzuwirken, wurde der Ansatz der ratenkontrollierten Aktualisierung entwickelt, bei dem ein dynamischer Detektor den Zeitpunkt der Neuauswahl bestimmt, während ein prozessinterner Controller die Häufigkeit reguliert. Diese Methode übertrifft herkömmliche Retrieval-Verfahren bei Bild- und Video
CountVideoBench: Ein Benchmark zur Evaluierung von Vorhersagebias bei der Objektzählung durch Video-Language-Modelle
Multimodale große Sprachmodelle zeigen erhebliche Defizite bei der präzisen Objektzählung in Videos, da bestehende Benchmarks stark zu kleinen Stückzahlen tendieren und Fehlauswertungen verschleiern. Zur Schließung dieser Lücke wurde CountVideoBench entwickelt, ein Benchmark aus 2600 synthetischen Videos mit kontrollierten Objektanzahlen zwischen fünf und fünfzig. Die Evaluierung von sechzehn verschiedenen Video-Language-Modellen im Zero-Shot-Modus offenbarte eine maximale Genauigkeit von lediglich 27,6 Prozent sow
Semantik bewahren: Bild-Token-Kompression durch variable Auflösung und Relevanz-Pruning für Sprachmodelle
Forscher haben Varest vorgestellt, eine neue Methode zur effizienten Kompression von Bild-Token in multimodalen Systemen. Der Ansatz kombiniert eine semantikgesteuerte Tokenisierung mit variabler Auflösung, um wichtige Objektränder und Textdetails zu erhalten, während homogene Bereiche zusammengefasst werden. Ergänzend sorgt ein auf Relevanz basierendes Beschneidungsverfahren nach frühen Verarbeitungsschritten für eine drastische Reduktion der Rechenlast. In umfangreichen Benchmarks übertrifft Varest vergleichbare
Maschinelles Hören: Können Audio-LLMs über die menschliche Wahrnehmung hinausgehen?
Multimodale Sprachmodelle konzentrieren sich meist auf die menschlich wahrnehmbare Welt, wodurch ihre akustische Wahrnehmung stark limitiert ist. Zur Untersuchung darüber hinausgehender Frequenzen und Schwingungen wurde ein neuer Benchmark mit Tস্রusenden Instanzen aus diversen Domänen entwickelt. Aktuelle Open-Source- und proprietäre Audio-LLMs zeigen bei diesen Aufgaben erhebliche Defizite im Zero-Shot-Transfer. Um diese Lücke zu schliessen, wurde eine leichtgewichtige Encoder-Erweiterung entwickelt, die bestehen
Multimodaler Modellvergleich zur Funktionserkennung und -steuerung
Forscher haben MMDiff vorgestellt, ein Framework zum Vergleich multimodaler Sprachmodelle mittels spärlicher Autoencoder, um interne Repräsentationen besser zu verstehen und zu kontrollieren. Das Verfahren ermöglicht die Isolierung spezifischer Merkmale durch den Vergleich von Basis- und multimodalen Modellen, die Erkennung aufgabenspezifischer Merkmale sowie die gezielte Steuerung oder Entfernung einzelner Einflüsse. Tests mit prominenten Modellfamilien wie LLaVA-MORE, PaliGemma 2 und InternVL3.5 zeigen signifikan
DermaVQA-DAS: Dermatologisches Bewertungsschema und Datensätze für multimodale Bildanalyse und Fragenbeantwortung
Zur Verbesserung der patientenzentrierten dermatologischen Bildanalyse wurde das Dermatology Assessment Schema als strukturiertes Bewertungsframework entwickelt, das klinisch relevante Merkmale erfasst. Darauf basierend stellen Forschende erweiterte Datensätze für geschlossene Fragenbeantwortung und Läsionensegmentierung vor. Evaluierungen mit multimodalen Modellen wie BiomedParse, o3, GPT-4.1 und Gemini-1.5-Pro zeigen vielversprechende Ergebnisse bei der automatisierten Diagnose und dem Prompt-Design.
Zuverlässige VLM-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Models werden zunehmend als automatisierte Juroren für multimodale Aufgaben eingesetzt, allerdings offenbaren Gesamtkennzahlen oft nicht die zugrundeliegenden Entscheidungsgründe. Zur Lösung dieses Problems wurde das Prinzip der zustandsbedingten Invarianz entwickelt, welches Stabilität gegenüber semantischen Präsentationsänderungen bei gleichzeitiger Sensitivität für kausale Interventionen fordert. Das darauf basierende Diagnose-Benchmark GridWM-Judge untersucht fünf Aufgabenbereiche wie lokale Wah
Moebius Interaction Filtering: Ordnungssensitive spektrale Regularisierung fuer multimodale Humorerkennung
Fuer eine praezise multimodale Humorerkennung ist die gemeinsame Analyse von Sprache, Stimme und visueller Mimik essenziell. Forscher haben hierzu Moebius Interaction Filtering entwickelt, ein Verfahren zur ordnungssensitive spektralen Regularisierung. Die Methode gewichtet multimodale Wechselwirkungen ueber eine strukturierte Aggregation und verbessert so die Signal-Rausch-Verhaeltnisse sowie die Vorhersagestaerke. Experimente auf etablierten Datensaetzen wie UR-FUNNY, CMU-MOSI und CMU-MOSEI belegen eine ueberlege
AVCC: Ein audiovisuelles Konversationskorpus zur Vorhersage von Sprecherwechseln mit menschlichem Benchmark
Für die Entwicklung sozialer Roboter und dialogfähiger KI-Agenten ist die präzise Vorhersage des nächsten Sprechers in Mehrpersonen-Gesprächen essenziell. Bisher fehlten jedoch standardisierte Benchmarks, die auf den Einsatz einer einzigen Kamera und eines Mikrofone ausgelegt sind und zudem menschliche Referenzwerte einbeziehen. Das neu veröffentlichte 31-stündige AVCC-Korpus schließt diese Lücke, indem es Video- und Audiodaten von Online-Gesprächen mit zwei bis drei Teilnehmern als öffentlichen Benchmark bereitste
TimeOmni-o1: Bidirektionale Kopplung von Zeitreihen-Grundlagenmodellen und LLMs für multimodales Reasoning und Forecasting
TimeOmni-o1 ist ein neuartiger Architekturansatz, der vortrainierte Zeitreihen-Grundlagenmodelle und große Sprachmodelle bidirektional miteinander verknüpft, um multimodales Reasoning und präzise Vorhersagen zu ermöglichen. Während das Zeitreihenmodell Daten komprimiert an das Sprachmodell übermittelt, fließen umgekehrt die textbasierten Argumentationsprozesse als Konditionierung in die Zeitreihenprognose ein. Zur Evaluation wurde zudem ein umfassender Datensatz mit mehr als 500.000 annotierten Samples über zwölf D
Flüstereien der Nachbarn: Überdenken des Caption-Konsenses als Inferenzzeit-Evidenz für das Vision-Language-Retrieval
Traditionelle Vision-Language-Modelle bewerten Bild-Text-Paare meist isoliert, obwohl Bilder oft mit mehreren Beschriftungen versehen sind. Eine neue Methode nutzt diese benachbarten Bildbeschriftungen zur Inferenzzeit, indem sie Bildähnlichkeiten mit der Ähnlichkeit zu den eigenen Captions fusioniert. Dadurch lässt sich die Text-zu-Bild-Retrieval-Genauigkeit über verschiedene eingefrorene Encoder hinweg signifikant steigern. Die Analyse zeigt, dass dieser Vorteil aus spezifischen Support-Strukturen und dem Abgleic
Von den Sinnen zur Entscheidung: Der Informationsfluss auditiver und visueller Wahrnehmung in multimodalen LLMs
Eine aktuelle Untersuchung beleuchtet die internen Informationspfade von Audio-Visual Large Language Models bei der Verarbeitung von Audio- und Videodaten. Die Analyse zeigt, dass Modelle wie Qwen2.5-Omni und Video-SALMONN2 Plus bei Videosequenzen sequenzielle Pfade nutzen, während bei verschachtelten Eingaben parallele Verarbeitungsströme aktiv werden. Zudem lässt sich demonstrieren, dass Tokens nach der Informationsübertragung an das Sprachmodell ohne Genauigkeitsverlust verworfen werden können, was effizientere
MetaEncoder: Untersuchung von Bi-Encodern für multimodale System-One-Entscheidungsprozesse
Die Arbeit untersucht die Skalierung und Inferenz-Effizienz von Bi-Encodern, Cross-Encodern und Decoder-Architekturen für latenzkritische System-One-Entscheidungsprozesse. Dabei zeigt sich, dass Bi-Encoder durch offline cachebare Kandidaten-Embeddings eine nahezu konstante Inferenzlatenz bei wachsendem Kandidatenpool aufweisen. Daraus abgeleitet stellen die Entwickler MetaEncoder vor, einen multimodalen Encoder, der durch unidirektionales kontrastives Lernen feinabgestimmt wurde. Das Modell übertrifft etablierte mu
ABHBench: Bewertung moralischer Entscheidungen von Foundation Models aus Agentenperspektive
Zur Evaluierung des moralischen Verhaltens autonomer KI-Agenten wurde der multimodale Benchmark ABHBench auf Basis des interaktiven Spiels Detroit: Become Human entwickelt. Bisherige Benchmarks basieren meist auf rein textbasierten Beobachtungen aus der Dritten Person, während ABHBench Modelle in situative, multimodale Ich-Perspektiven mit visuellen Daten, Dialogen und Aktionsoptionen versetzt. Bewertet werden zentrale Dimensionen wie Unschädlichkeit, Gehorsam, Selbsterhaltung, Autonomie, Stabilität und Sicherheit.
Sehen versus Zählen: Untersuchung von Schwachstellen multimodaler Sprachmodelle bei Diagrammen
Multimodale Sprachmodelle zeigen bei der Analyse von Diagrammen spezifische Defizite, wobei unklar blieb, ob diese auf visuelle Erfassung oder algorithmische Verarbeitung zurückzuführen sind. Durch die Gegenüberstellung von Zählaufgaben unterschiedlicher Komplexität sowie den Einsatz von Textkontrollen wurde untersucht, wie Modelle wie Gemini, Gemma und Qwen3-VL agieren. Die Ergebnisse zeigen, dass Modelle bei Kettendenken oft korrekt erfassen, aber beim Zählen scheitern, wobei die Antwortgröße die Fehlerrate stärk
Türkische multimodale Video-Faktenprüfung: Ein neuer Datensatz und der Vergleich von Zero-Shot-Agenten und feinabgestimmten Systemen
Falschinformationen in Videoform auf Social Media erfordern spezialisierte Erkennungssysteme, insbesondere für ressourcenarme Sprachen wie Türkisch. Forscher haben TeViD vorgestellt, den ersten multimodalen Datensatz zur Video-Faktenprüfung für die türkische Sprache, basierend auf verifizierten Quellen und synthetischen Daten. Darauf aufbauend wurden zwei Verifizierungspipelines entwickelt: 3MFact-TR als agentenbasierter Ansatz mit großen Sprach- und Vision-Modellen sowie ein mit LoRA feinabgestimmtes Modell. Die E
Subliminales Lernen in Vision-Language Models
Forscher haben untersucht, ob subliminales Lernen bei Vision-Language Models auftritt, wobei ein Lehrer-Modell verborgene Präferenzen über scheinbar unbezogene Trainingsdaten an ein Schüler-Modell weitergibt. Die Ergebnisse zeigen, dass sowohl Tier- als auch Gesichtspräferenzen über visuelle Aufgaben mit geometrischen Formen auf Modelle mit zwei bis sieben Milliarden Parametern übertragen werden können. Trainierte Schüler-Modelle wählten die Zielpräferenzen signifikant häufiger aus und zeigten zudem Ähnlichkeiten i
V-LUMEN: Visuelles Speichermodul zur Skalierung von Vision-Language-Modellen
Forscher haben V-LUMEN entwickelt, ein visuelles Speichermodul zur effizienten Kapazitätserweiterung von Vision-Language-Modellen ohne Erhöhung der Modelltiefe oder dichten Berechnung. Das System diskretisiert kontinuierliche visuelle Merkmale mittels eines eingefrorenen Codebooks, generiert ortssensitive Speicherkeys durch räumliche Aggregation und moduliert diese über textkonditionierte Relevanzsignale. Die adressierten Embeddings werden über einen gelynchten Resnahmepfad in das Backbone integriert, wodurch die L
StreamGaze: Blickgesteuertes temporales Schließen und proaktives Verstehen in Streaming-Videos
Das Verständnis von Streaming-Videos erfordert neben der Verarbeitung kontinuierlicher Bildrahmen oft auch die Antizipation menschlicher Absichten, beispielsweise für den Einsatz in Augmented-Reality-Brillen. Um zu bewerten, wie effektiv multimodale große Sprachmodelle menschliche Blick- und Fixierungssignale nutzen können, wurde ein neuer Benchmark namens StreamGaze entwickelt. Dieser kombiniert egozentrische Videos mit Rohdaten von Blickverläufen, um Aufgaben zum vergangenen, gegenwärtigen und proaktiven Sehverha
Einheitliches Halluzinations-Fuzzing für multimodale große Sprachmodelle
Zur Bekämpfung von Halluzinationen in multimodalen großen Sprachmodellen wurde ein systematisches Bewertungsframework entwickelt, das einen detaillierten Datensatz mit selbstadaptiven Stresstests kombiniert. Das Framework nutzt evolutionäre Mutationsstrategien, um die Grenzen von Modellfehlern in dynamischen Szenarien auszuloten und die Robustheit zu prüfen. Experimente zeigen deutliche Leistungseinbrüche aktueller Modelle unter Fuzzing und offenbaren einen Zielkonflikt zwischen Hilfsbereitschaft und Faktenstreue b
Vision-Default, Prior-Override: Kausale Mechanismen von Wahrnehmungs- und Wissenskonflikten in Vision-Language Models
Vision-Language Models müssen bei Konflikten visuelle Evidenz und gespeichertes Weltwissen miteinander in Einklang bringen. Eine neue Untersuchung analysiert mittels Aktivierungs-Patching und Komponenten-Ablation die zugrundeliegenden kausalen Mechanismen dieses Konflikts über verschiedene Modellfamilien hinweg. Die Ergebnisse zeigen, dass visuelle Fundierung standardmäßig erfolgt, während die Nutzung von Vorwissen von einer kleinen, spezifischen Menge kausal notwendiger Attention-Heads in der zweiten Netzwerkhälft
Multimodale Sprachmodelle zeigen signifikante Verzerrungen bei der Audiovisuellen Transkription
Forscher haben die erste systematische Bias-Evaluierung für multimodale Spracherkennungsmodelle durchgeführt, indem sie identische Audiospuren per Lip-Sync mit unterschiedlichen Gesichtern kombiniert haben. Die Auswertung von Modellen wie mWhisper-Flamingo und Gemini offenbarte erhebliche Qualitätsunterschiede und Fehlerraten von bis zu 4,05 Prozentpunkten in Abhängigkeit von Geschlecht und Ethnie. Die Ergebnisse verdeutlichen, dass zusätzliche Modalitäten nicht automatisch zu besseren Ergebnissen führen, sondern p
ProQuant: Progressives quantisierungsbewusstes Training für Edge-MLLMs
Multimodale große Sprachmodelle bieten enorme Potenziale, stoßen jedoch auf ressourcenbeschränkten Edge-Geräten an Rechen- und Speicherlimits. Herkömmliche Post-Training-Verfahren führen bei niedriger Bitbreite oft zu starken Leistungseinbrüchen. Als Lösung wurde ein neuftartiges Quantization-Aware-Training-Framework namens ProQuant entwickelt, das speziell auf Low-Bit-MLLMs zugeschnitten ist. Ein integriertes Self-Relabeling-Schema und ein progressiver Blockaktivierungsmechanismus priorisieren die Wiederherstellun
Compositional Unalignment: Prüfung der Sicherheit in großen Vision-Language-Modellen
Große Vision-Language-Modelle sind anfällig für kompositorische Schäden, wenn an sich gutartige Bilder und Prompts durch multimodale Verarbeitung gefährliche Inhalte erzeugen. Bisherige Ausrichtungsmethoden basieren meist auf externen Bewertungen, die jedoch keine Rückschlüsse auf die Robustheit der internen Sicherheitsstrukturen zulassen. Um diese Fragilität zu analysieren, wurde ein trainingsfreier Ansatz zur Fehlausrichtung namens CMaG entwickelt, welcher die Entkopplung von Erkennung und Verweigerung nachweist.
Multimodal-SEA: Sicherheitsbewertung von KI-Agenten unter multimodalen Social-Engineering-Angriffen
Forscher stellen Multimodal-SEA vor, einen interaktiven Benchmark zur Untersuchung der Sicherheit persönlicher KI-Agenten gegenüber manipulierten multimodalen Inhalten. Der Benchmark umfasst 608 praxisnahe Aufgaben aus 14 Domänen, die auf realen Betrugsfällen basieren und sowohl chinesische als auch englische Kontexte berücksichtigen. Tests mit sieben etablierten multimodalen Modellen zeigen, dass alle Systeme anfällig für diese Angriffe sind, wobei Erfolgsquoten zwischen 7,1 und 34,5 Prozent erreicht werden. Zusät
Effiziente agentenbasierte Audio-Visuelle Fragebeantwortung durch Werkzeugkürzung und Modalitätskonsolidierung
Für eine präzise audio-visuelle Fragebeantwortung nutzen moderne Omni-Modale Agenten oft umfangreiche Werkzeugsätze, was jedoch zu hohen Inferenzkosten führt. Neue Untersuchungen zeigen, dass ein stark reduzierter Arbeitsablauf mit nur zwei omnimodalen Grundwerkzeugen für die Beschriftung und die Fragebeantwortung vergleichbare oder sogar bessere Ergebnisse liefert. Durch diese Konsolidierung und das Entfernen unnötiger Spezialwerkzeuge sinken die Rechenkosten bei Benchmarks um rund siebzig Prozent. Dieser Ansatz d
ClinFusion: Ein visionszentriertes multimodales KI-System für die ganzheitliche medizinische Diagnostik
ClinFusion ist ein neu entwickeltes multimodales großes Sprachmodell, das speziell für das ganzheitliche Verständnis heterogener medizinischer 2D- und 3D-Bilddaten konzipiert wurde. Eine neuartige, kaskadierte Vision-Encoder-Architektur ermöglicht die präzise Integration verschiedenster bildgebender Verfahren für klinische Anwendungen. Ergänzend führt das System ein visionsbasiertes Evaluierungsframework ein, das Instruktionsbefolgung sowie die Erstellung faktentreuer Befunde unterstützt. In umfangreichen Benchmark
Wenn keine Antwort korrekt ist: Diagnose der Erkennung fehlender Antworten bei multimodalen großen Sprachmodellen im Videoverständnis
Multimodale große Sprachmodelle zeigen erhebliche Schwächen bei der Erkennung von Aufgaben im Videoverständnis, bei denen die korrekte Antwort bewusst in den Kandidatenoptionen fehlt. Eine umfassende Untersuchung unter verschiedenen Antwortszenarien belegt, dass die untersuchten Systeme überwiegend plausible Distraktoren auswählen anstatt zu erkennen, dass keine gültige Option existiert. Diese Fehlerrate verstärkt sich insbesondere bei temporalen Reasoning-Aufgaben sowie bei dichterer Frameprobennahme. Weder Standa
Anthropogene regionale Anpassung in multimodalen Vision-Language-Modellen
Zur besseren Berücksichtigung menschzentrierter und regionaler Kontexte in multimodalen Systemen wurde das Paradigma der anthropogenen regionalen Anpassung entwickelt. Dieses zielt darauf ab, die Relevanz von Modellen für spezifische geografische Regionen zu optimieren und gleichzeitig die globale Generalisierungsfähigkeit zu erhalten. Als konkreter Lösungsansatz dient die Methode der geografischen Generalisierung durch regionales Datenfiltering und Modellzusammenführung. Experimente mit verschiedenen Vision-Langua
Entflechtung von Wahrnehmung und Schlussfolgerung in multimodalen Large Language Models durch Reward-Design
Bei multimodalen Sprachmodellen gilt die visuelle Wahrnehmung oft als der eigentliche Leistungsengpass und nicht die logische Schlussfolgerung. Eine Untersuchung anhand algorithmischer visueller Rätsel zeigt, dass das Ersetzen von Bildern durch textuelle Beschreibungen die Leistung von Claude-Modellen deutlich steigert. Zudem fördert ein gezieltes Reward-Design bei der Trainingseinrichtung von Qwen-2.5-VL-7B mittels GRPO strukturierte Denkprozesse mit Selbstreflexion. Die Ergebnisse verdeutlichen, dass wahrnehmungs
ViSSFlow: Einheitliche Generierung von Geräuschen und Sprache aus Video-Signalen durch gemeinsames Lernen
Forscher haben ViSSFlow vorgestellt, ein neuartiges Flow-Matching-Framework, das Videobasierte Audio- und Sprachsynthese in einer einzigen Architektur vereint. Bisher wurden Videobasierte Klangerzeugung und visuelle Text-to-Speech-Anwendungen getrennt voneinander betrachtet, da heterogene Bedingungen und mangelnde Trainingsdaten eine Integration erschwerten. Das System nutzt einen Diffusion Transformer mit einem entflochtenen Bedingungsaggregationsmechanismus, um semantische Bedingungen und temporale visuelle Hinwe
Können große Sprachmodelle das Engagement in Videospielen erfassen?
In einer umfassenden Untersuchung wurde analysiert, inwieweit multimodale große Sprachmodelle in der Lage sind, menschliche Emotionen und Engagement-Veränderungen anhand von Videospielsequenzen vorherzusagen. Dafür werteten Forschende in über 4800 Experimenten Videomaterial aus verschiedenen Ego-Shootern des GameVibe-Korpus aus, um Architektur, Modellgröße und Prompting-Strategien zu testen. Die Ergebnisse zeigen, dass die untersuchten Modelle zwar traditionelle Ansätze des maschinellen Lernens teilweise übertreffe
Was überträgt sich von Text auf Vision? Fähigkeitsbasierte Skalierungsgesetze und Transferdynamiken für Vision-Language-Modelle
Die Wahl des zugrundeliegenden Sprachmodells für Vision-Language-Modelle basiert bislang auf empirischen Tests statt auf fundierten Prinzipien. Ein neuer, datengetriebener Rahmen prognostiziert die Leistung multimodaler Modelle direkt aus beobachtbaren textlichen Fähigkeiten des Basismodells. Durch die Analyse von über 150 trainierten Modellen zeigt sich, dass unoptimierte Basismodelle oft besser als instruktionstrainierte Varianten abschneiden und die Methodik teure Trainingsläufe durch präzise Vorhersagen ersetzt
DR Pixel: Seitenbasierte Deep-Research-Agenten mit Vision-Language-Modellen
Komplexe Dokumente wie wissenschaftliche Arbeiten enthalten wertvolle Informationen in Tabellen, Grafiken und Formeln, die durch herkömmliche Texterkennung oft verloren gehen. Um diesen Mangel zu beheben, nutzt DR Pixel gerenderte Dokumentseiten direkt als Retrieval- und Reasoning-Einheit für Vision-Language-Modelle. Der quelloffene multimodale Agent arbeitet seitenbasiert auf Basis eines großen Korpus und übertrifft textbasierte Ansätze auf einem neuen Benchmark deutlich. Zudem verbessert eine feingranulare Gewich
PixelBench: Können Sprachmodelle Bilder Pixel für Pixel verstehen und generieren?
Große Sprachmodelle werden auf ihre Fähigkeit hin untersucht, Bildinhalte direkt als Rasterdaten ohne spezielle Bild-Decoder zu verarbeiten und zu erzeugen. Dazu stellt ein neues Benchmark-Framework Aufgaben zur Text-zu-Pixel- sowie Bild-zu-Pixel-Generierung über verschiedene Auflösungen hinweg bereit. Die Ergebnisse zeigen, dass führende Modelle erkennbare Grafiken direkt aus Text erzeugen und bei niedrigen Auflösungen bestehende Pixelalisierungsverfahren übertreffen. Zudem verbessert das sogenannte Pixel Reconstr
Visuelle Textkomprimierung bei Vision-Language-Modellen: Die Kluft zwischen Texterkennung und Textnutzung
Vision-Language-Modelle können Text in Bildern zwar präzise transkribieren, scheitern jedoch häufig daran, diese Informationen inhaltlich für Antworten zu nutzen. Diese sogenannte Lücke zwischen Erkennung und Nutzung erfordert unterschiedliche Auflösungen, wobei das Generieren eigener Transkripte die Verarbeitungsleistung signifikant steigert. Der neue Ansatz namens ALOUD kombiniert visuelle Texterkennung mit sprachbasierten Token und verdoppelt so die Genauigkeit komprimierter Dokumente. Damit übertrifft die Metho
Können Large-Language-Model-Agenten durch das Ansehen von Tutorial-Videos lernen?
Große Sprachmodelle scheitern oft daran, das riesige Online-Angebot an Tutorial-Videos für kontinuierliches Lernen ohne Parameteranpassungen zu nutzen. Ein neues nonparametrisches Lernparadigma namens Tutorial Agentic Learning konsolidiert Lehrvideos in einem strukturierten Speicher durch einen adversariellen Prozess. Über einen inhaltsbasierten Suchbaum greift das System während der Inferenz direkt auf dieses Wissen zu, anstatt sich auf herkömmliche Einbettungsähnlichkeiten zu verlassen. Tests auf einem neuartigen
ConstraintMatch: Kompositionelles Bild-Text-Matching durch eingeschränkte regionale Evidenzauswahl
Lokales Bild-Text-Matching leidet oft unter fehlerhaften Attribut-Entitäts-Verknüpfungen, obwohl es starke Evidenz für Einzelkonzepte liefert. Mit ConstraintMatch wurde eine trainingsfreie Inferenzmethode entwickelt, die konsistente regionale Entitäten in die Berechnung einbezieht. Durch die Gegenüberstellung unabhängiger und gemeinsam genutzter Ausschnitte quantifiziert das Verfahren den Vorteil gelockerter Beschränkungen. Eine räumliche Kalibrierung sorgt für die präzise Zuordnung von Attributen und Kategorien, o
LF-VideoQA: Bewertung des Langvideo-Verständnisses durch offene Theory-of-Mind-Fragen
Zur Evaluierung des Verständnisses langer narrativer Videos wurde der Datensatz LF-VideoQA entwickelt, der über 6300 offene Fragen zu 94 Spielfilmen umfasst. Die Fragen basieren auf Theory-of-Mind-Konzepten und erfordern das Zusammenführen von Hinweisen über Szenen hinweg, die im Durchschnitt 23 Minuten umfassen. Die Generierung erfolgte automatisiert über Drehbücher und große Sprachmodelle, validiert durch menschliche Prüfungen. Tests mit aktuellen Vision-Language-Modellen zeigen, dass die Aufgabe extrem anspruchs
HistGramBench: Messung der strukturellen Rekonstruktion beim Neugestalten historischer mathematischer Diagramme als TikZ durch multimodale Modelle
Zur Erschließung historischer mathematischer Diagramme aus dem 16. bis 20. Jahrhundert wurde ein neuer Benchmark namens HistGramBench entwickelt. Dieser umfasst 2507 Diagramme aus 95 Werken in acht Sprachen, um die Fähigkeit multimodaler KIs zu bewerten, gedruckte Abbildungen in ausführbaren Code wie TikZ zu überführen. Da kein Quellcode vorliegt, validiert der Benchmark die Ergebnisse durch automatisierte Faktenprüfungen, bei denen geometrische Relationen wie Parallelen und Tangenten analysiert werden. Die Evaluie
MultiInpaintCOCO: Fein granulare visuelle Erkennung in mehreren Sprachen
Das neue multilinguale Benchmark MultiInpaintCOCO erweitert den Datensatz InpaintCOCO auf 13 typologisch diverse Sprachen, um die Schwächen von Vision-Language-Modellen bei feingranularen Bilddetails zu analysieren. Die Evaluation zeigt, dass die Leistung bei ressourcenarmen Sprachen stark abnimmt und die verfügbare Datenmenge der stärkste Prädiktor für die Modellgüte ist. Zudem offenbaren die Tests einen systematischen Bias der meisten Modelle zugunsten der englischen Sprache bei der cross-lingualen Retrieval-Aufg
PGuard: Ein natives Streaming-Schutzschild für multimodale große Sprachmodelle
Mit PGuard wurde ein integratives Sicherheits-Guardrail für multimodale große Sprachmodelle entwickelt, das die Sicherheitsüberwachung direkt in den Inferenzprozess einbettet. Durch die Nutzung intermediärer Repräsentationen des Basismodells analysiert das System Tokens in Echtzeit während des Streaming-Generierungsprozesses. Verschiedene Architekturvarianten, darunter zustandslose Ansätze und sequenzbewusste Module, minimieren den Rechenaufwand. Tests mit dem Modell Qwen3.5 belegen eine hohe Erkennungsgenauigkeit
Effiziente LLM-Planung durch Erwartungs-Beobachtungs-Konsistenzverifizierung
Zur Optimierung der Ausführungseffizienz von Sprachmodellen wurde ein neuartiger Mechanismus zur Konsistenzverifizierung zwischen erwarteten und tatsächlichen Beobachtungen entwickelt. Dieser ansatz ermöglicht es, mehrere Aktionen gebündelt vorab zu planen, während gleichzeitig durch kontinuierliche Validierung Fehler kumulierender Prozesse vermieden werden. Bei Abweichungen erfolgt ein automatischer Abbruch mit direktem Neuplanungsschritt basierend auf dem aktuellen Zustand. Experimente auf textbasierten und multi
ElectrochemLLM: Eine multimodale LLM-Pipeline für hochpräzise elektrochemische Informatik
Forscher haben ElectrochemLLM vorgestellt, eine multimodale Informationsextraktions-Pipeline zur automatisierten und präzisen Erfassung elektrochemischer Daten aus unstrukturierten wissenschaftlichen Publikationen. Durch die Kombination von Dokumentenparsern und vision-fähigen Sprachmodellen verarbeitet das System Text-, Tabellen- und Bilddaten, um strukturierte Datensätze zu Elektrolytzusammensetzungen und Materialeigenschaften zu generieren. Auf Basis dieser Pipeline wurde die Datenbank ElectroChemDB mit über 15.
GAVAGAI: Referenzielle Ausrichtung für Vision-Language-Modelle im Kleinkind-Maßstab durch balancierten optimalen Transport
Ein neues Trainingsverfahren für Vision-Language-Modelle adressiert das Problem der unzureichenden Verknüpfung von Wörtern und visuellen Regionen bei begrenzter Datenmenge im Stil frühkindlichen Spracherwerbs. Durch die Formulierung als optimales Transportproblem mit spezifischen Nebenbedingungen – wie einer Leerwert-Spalte für nicht sichtbare Wörter und Kapazitätsbeschränkungen zur Abbildung gegenseitiger Exklusion – wird der Trainingsprozess gezielt gesteuert. Experimente auf Videokorparia zeigen eine signifikant
Von der Fragmentierung zur Fusion: Eine Bestandsaufnahme und Roadmap für omnimodale Embeddings
Embedding-Modelle bilden das Fundament moderner KI-Systeme, wobei die Forschung bislang stark nach Modalitäten getrennt ist. Eine aktuelle Untersuchung zeigt jedoch eine tiefgreifende Konvergenz auf, die durch kontrastives Lernen, Transformer-Architekturen und Granularitätsverschiebungen angetrieben wird. Um diese Entwicklung zu strukturieren, schlägt die Arbeit ein dreistufiges Framework aus Abdeckung, Vergleichbarkeit und Kompositionalität vor. Als ultimativen Ansatz zur Vereinheitlichung befürwortet die Roadmap
Latentes Reasoning im kontinuierlichen Raum für multimodale Modelle
Ein neuer Ansatz zur Lösung der Modalitätslücke zwischen sprachbasiertem Reasoning und kontinuierlicher Bildgenerierung in multimodalen Modellen wurde entwickelt. Das Framework namens LARC ermöglicht logische Schlussfolgerungen direkt in kontinuierlichen verborgenen Zuständen und umgeht so die Einschränkungen diskreter Token. Durch ein zweistufiges Trainingsverfahren aus Curriculum-Supervised-Fine-Tuning und Information-Gain-Reinforcement-Learning zeigt das System ein deutliches Test-Time-Scaling-Verhalten. In Benc
Inkongruenzbasierte Evaluierung multimodaler Spracherkennung in Audio-Sprachmodellen
Große Audio-Sprachmodelle verarbeiten sowohl den sprachlichen Inhalt als auch die akustische Ausdrucksweise, wobei Abweichungen zwischen beiden Kanälen die Leistung beeinflussen. Eine Untersuchung anhand von drei multimodalen Modellen und diversen Sprachkorpora zeigt, dass solche Inkongruenzen die Fehlerwahrscheinlichkeit bei der Spracherkennung signifikant erhöhen. Die Ergebnisse verdeutlichen, dass die Schwierigkeiten vor allem in der multimodalen Informationsfusion der Modelle begründet liegen. Zur Nachvollziehb
S2TDR: Strukturierte multimodale Rekonstruktion für stickerbasierte Dialogverständigung
Sticker sind in modernen Social-Media-Dialogen weit verbreitet, um Emotionen und Intentionen auszudrücken, stellen jedoch herkömmliche textbasierte Modelle vor Herausforderungen. Das neu entwickelte Framework Sticker-to-Text Dialogue Reconstruction wandelt Sticker kontextbezogen in textuelle Äußerungen um. Der Ansatz unterteilt die Interpretation in visuelle Merkmalsextraktion, Affekt- und Intentionsinferenz sowie kontextsensitive Dialogrekonstruktion. Experimente zeigen, dass diese strukturierte Methode die Leistu
Räumlich-zeitliches Audio-Sprachmodell für dynamische Schallquellen
Forscher haben ein neuartiges räumlich-zeitliches Audio-Sprachmodell entwickelt, das semantische Klangerkennungen mit der präzisen Verfolgung von Schallquellen über die Zeit verbindet. Durch die Einführung des Datensatzes ST-AudioQA und des ST-Audio Encoders können Sprachmodelle komplexe Fragen zu Identität, Position und Bewegung von statischen sowie bewegten Schallquellen in einer Szene beantworten. Experimente zeigen, dass dieser Ansatz eine verbesserte Balance zwischen semantischer Analyse und Lokalisierung ermö
Entkopplung und Regulierung von Modalitätsköpfen zur Falschnachrichtenerkennung bei fehlenden Modalitäten
Bei der Verbreitung von multimodalen Nachrichten im Web gehen häufig Text- oder Bildkomponenten verloren, was herkömmliche Detektoren vor Probleme stellt. Um diesem Informationsverlust und daraus resultierenden Modalitätsverzerrungen zu begegnen, wurde ein neuer Ansatz für multimodale große Sprachmodelle entwickelt. Dieser basiert auf einer kopfbezogenen Entkopplung und Regulierung der Modalitäten sowie auf einem modalitätsinvarianten Lernen. Experimente auf zwei Referenzdatensätzen belegen, dass die Methode die Er
Eine überraschend einfache Datenauswahlstrategie für multimodales Instruktionstuning im Millionenmaßstab
Für das effektive Training multimodaler Sprachmodelle ist eine gezielte Datenauswahl entscheidend, um den hohen Rechenaufwand herkömmlicher Einbettungs- und Gradientenverfahren zu umgehen. Ein neuer Ansatz namens SSR nutzt Interaktionsstile als Indikator für strukturelle Diversität und zerlegt die Datenqualität in kapazitätsspezifische Bewertungen. Durch eine submodulare Abdeckung Maximierung auf einem Kapazitäts-Stil-Gitter gelingt es der Methode, mit nur dreißig Prozent eines 2,6 Millionen Datensätze umfassenden
Spielt die Art der Planung eine Rolle? Eine empirische Studie zu Planungsrepräsentationen für LLM-Web-Agenten
Großsprachmodell-basierte Web-Agenten scheitern häufig an unzureichender Exploration und fehlenden Schritten bei komplexen Aufgaben. Um den Einfluss verschiedener Planungsrepräsentationen auf die Leistungsfähigkeit zu untersuchen, wurde das Framework PlanAhead entwickelt. Dabei wurden vier verschiedene Planformate wie sequenzielle Teilziele, Narrative, Pseudocode und Checklisten systematisch anhand von Web-Aufgaben unterschiedlicher Schwierigkeitsgrade evaluiert. Die Ergebnisse zeigen, dass sowohl die gewählte Form
Split and Bridge: Multimodale Generierung durch Diffusions-Bridging
Forscher haben mit Split and Bridge ein Bottom-Up-Framework zur multimodalen Generierung vorgestellt, das vortrainierte unimodale Diffusionsmodelle während des Sampling-Prozesses koppelt. Anstelle eines gemeinsam trainierten latenten Raumes folgt das System einer geteilten Diffusionsbahn bis zu einem Verzweigungspunkt, an dem modellspezifische Pfade über ein Bridge-Modul gesteuert werden. Dieser Ansatz ermöglicht die modulare Wiederverwendung leistungsstarker Einzelsysteme ohne aufwendiges Gesamttraining und zeigt
Multimodales Modell-Diffing zur Funktionserkennung und Steuerung
Forscher haben mit MMDiff ein neuartiges Framework zur Analyse und Steuerung multimodaler großer Sprachmodelle vorgestellt. Das Verfahren nutzt multimodale Sparse Autoencoder, um interne Repräsentationen zu untersuchen, durch multimodales Training veränderte Merkmale zu isolieren und gezielte Steuerungseingriffe zu ermöglichen. Die Evaluation an Modellen wie LLaVA-MORE, PaliGemma 2 und InternVL3.5 zeigt, dass sich spezifische Fähigkeiten in Bereichen wie visuell-räumlichem Verständnis, Sicherheit und Texterkennung
AnyMo: Geometriebewusste und setup-unabhängige Modellierung menschlicher Bewegungen
Das neu entwickelte Framework AnyMo ermöglicht eine setup-unabhängige Modellierung menschlicher Bewegungen anhand von Inertialsensor-Daten in realen Umgebungen. Durch physikalisches IMU-Simulationstraining auf Basis dichter Körperoberflächenplatzierungen generiert das System synthetische Signale, die mittels eines Graph-Encoders verarbeitet und mit einem Sprachmodell für ein umfassendes Bewegungsverständnis verknüpft werden. Evaluationsergebnisse zeigen signifikante Leistungssteigerungen bei der Null-Schuss-Aktivit
BrainVista: Modellierung natürlicher Gehirndynamik als multimodale Vorhersage des nächsten Tokens
Forscher haben BrainVista vorgestellt, ein multimodales autoregressives Framework zur bedingten Vorhersage von Gehirnzuständen anhand funktioneller Magnetresonanztomographie. Das System verknüpft neuronale Vergangenheitsdaten mit zeitlich abgestimmten Reiz-Tokens, um zukünftige Aktivierungsmuster zu prognostizieren, ohne auf zukünftige Zielzustände zuzugreifen. Durch die Kombination netzwerkspezifischer Tokenizer, räumlicher Mischmechanismen und kausaler Maskierung bewältigt der Ansatz die zeitliche Diskrepanz zwis
Ausrichtung von Details und Gesamtbild in Bildern und langen Beschreibungen für visuelles Verstehen
Aktuelle Vision-Language-Modelle haben oft Schwierigkeiten, detailreiche und lange Bildbeschreibungen präzise zu erfassen, da sie sich zu stark auf dominante Szenenmerkmale konzentrieren. Um diesen Mangel zu beheben, wurde das Modell CAFT entwickelt, das lokale Text-Region-Ausrichtungen mit globalen Bild-Text-Ausrichtungen kombiniert. Durch einen hierarchischen Ansatz von fein zu grob werden lokale Semantiken in Bildregionen lokalisiert und schrittweise zu einer ganzheitlichen Darstellung zusammengeführt. Das Train
DermaVQA-DAS: Dermatologisches Bewertungsschema und Datensätze für multimodale KI in der Patientenversorgung
Zur Verbesserung der KI-gestützten Dermatologie wurde DermaVQA-DAS vorgestellt, ein neues Framework samt Datensätzen für geschlossene Fragen und Läsionssegmentierung in Patientenbildern. Das Dermatology Assessment Schema systematisiert klinische Merkmale durch zahlreiche strukturierte Fragen in mehreren Sprachen. Evaluierungen mit multimodalen Modellen wie BiomedParse, o3, GPT-4.1 und Gemini-1.5-Pro zeigen vielversprechende Ergebnisse bei der Beantwortung klinischer Fragestellungen und der Bildsegmentierung. Die öf
Sehen reicht nicht aus: Visuelles Schließen durch Überbrückung der Reasoning-Access-Lücke mit TIGER verbessern
Multimodale große Sprachmodelle weisen oft eine Lücke zwischen visueller Wahrnehmung und textbasierten Schlussfolgerungen auf, obwohl sie Texte gut verarbeiten können. Um dieses Defizit zu beheben, wurde die Trainingsmethode TIGER entwickelt, die synthetische multimodale Kontrafaktuale nutzt und Modelle mittels Group Relative Policy Optimization trainiert. Obwohl das Training ausschließlich auf synthetischen gerenderten Textbildern basiert, verbessert TIGER die Leistung bei realen visuellen Benchmarks wie geometris
MAGAR: Multimodale Agenten für GUI-basierte dreidimensionale mechanische Montage und minimale Nacharbeit
Für die automatisierte dreidimensionale Montage über grafische Benutzeroberflächen wird ein neuer Benchmark namens MAGAR-Bench mit 4000 multimodalen Datensätzen vorgestellt. Das System MAGAR kombiniert überwachtes Feintuning mit einem selektiven Korrekturframework, um die Granularität von Korrekturen an Ausgabedefizite anzupassen. Durch strukturierte Kandidaten und einen gelernten Selektor lassen sich Montagefehler gezielt beheben, während stabile Vorhersagen erhalten bleiben. In Tests konnte die Gesamtleistung auf
MMCOMET: Ein groß angelegter multimodaler Wissensgraph für visuelles Schließen
Mit MMCOMET wurde ein umfangreicher multimodaler Wissensgraph vorgestellt, der physisches, soziales und ereignisbasiertes Wissen mit visuellen Bezügen verknüpft. Das System erweitert bestehende textbasierte Ressourcen durch einen hybriden Ausrichtungsprozess um repräsentative Bilder, was zu über 900.000 multimodalen Tupeln führt. Durch die Integration eines adaptiven Routers können multimodale KI-Systeme relevante Wissenspfade dynamisch auswählen und visuelles Schließen in verschiedenen Aufgabenbereichen optimieren
ZoomGain: Nutzung von Global-zu-Zoom-W Wahrnehmungslücken für feinadäquate visuelle Supervision
Vision-Language-Modelle stehen oft vor der Herausforderung, subtile visuelle Details in komplexen Szenen präzise zu interpretieren. Das neue Framework ZoomGain nutzt eine automatisierte Datenkonstruktionspipeline, die globale und vergrößerte Bildansichten abgleicht, um hochwertige Trainings- und Evaluierungsdaten zu generieren. Durch die Verifizierung mit mehreren Modellen und die Erstellung anspruchsvoller Distraktoren entsteht ein datenreicher Benchmark sowie ein effizienter Trainingsdatensatz. Bereits kleine Spr
Verknüpfung von anatomischer Inspektion und diagnostischem Schließen für erklärbare Radiologieberichte
Das neu entwickelte Framework ARIVE verknüpft die visuelle Inspektion anatomischer Regionen mit einem diagnostischen Ketten-Schließen, um transparente und nachvollziehbare Radiologieberichte zu generieren. Durch das Training auf einer eigens konstruierten Multimodal-Datenbank mit fast 160000 Pfaden und optimiert durch klinische Belohnungsfunktionen übertrifft das System etablierte Baseline-Modelle in der klinischen Wirksamkeit. Die generierten Berichte und dazugehörigen Argumentationsketten erzielten in verblindete
Wie hyperbolisch sind eigentlich hyperbolische Vision-Language-Modelle?
Eine aktuelle Untersuchung beleuchtet die tatsächliche Rolle hyperbolischer Geometrien in modernen Vision-Language-Modellen wie MERU, HyCoCLIP, ARGENT und PHyCLIP. Die Analyse zeigt, dass die zentrale Exponentialabbildung stark durch die Identitätsfunktion angenähert wird und die Projektion kaum Einfluss auf Distanzen und Winkel im euklidischen Raum hat. Auch der Vergleich mit von Grund auf im euklidischen Raum trainierten Modellen bestätigt, dass hierarchisches Lernen ohne komplexe Krümmungen vergleichbare Evaluat
TIB: Stichprobenbasiertes Tempered Information Bottleneck für multimodale Attribution jenseits von Ausrichtungsannahmen
Multimodale Attributionsverfahren zur Modellinterpretierbarkeit basieren häufig auf der Annahme semantisch perfekt ausgerichteter Bild-Text-Paare, was in realen Datensätzen jedoch oft verletzt wird. Dies führt bei herkömmlichen Methoden auf Basis des Information Bottleneck zu strukturellen Einschränkungen wie erzwungenen Erklärungen. Als Lösung wird das Framework TIB vorgestellt, das die Attributionsstärke anpassbar und pro Stichprobe entsprechend der kreuzmodalen Zuverlässigkeit moduliert. Umfangreiche Experimente
Moebius Interaction Filtering: Ordnungssensitive spektrale Regularisierung zur multimodalen Humorerkennung
Für die multimodale Humorerkennung ist die gemeinsame Analyse von Sprache, Stimme und visuellen Merkmalen erforderlich. Ein neuer Ansatz namens Moebius Interaction Filtering nutzt eine ordersensitive spektrale Regularisierung über eine Aggregationsstruktur, um die Interaktionen verschiedener Modalitäten optimal zu gewichten. Durch private temporale Encoder und reziproke Interaktionen werden unimodale, bimodale und trimodale Prädiktoren konstruiert, deren einheitliche Aggregation als Filter im Moebius-Bereich wirkt.
Multimodale Enthaltung zur Bewahrung erworbener korrekter Antworten
Das Training multimodaler Modelle zur Verweigerung von Antworten führt oft zum Verlust zuvor erworbener Fähigkeiten. Um diesem Problem zu begegnen, wurde ReFrain entwickelt, ein Verfahren zur regressionsfreien Enthaltung. Die Methode kombiniert lineare Sonden auf Logits des ersten Tokens, Schwellenwertkalibrierung und ein deterministisches Veto. Dadurch können Modelle bei unbeantwortbaren Fragen korrekte Antworten verweigern, ohne bereits gelernte Aufgaben einzubüßen. Tests zeigen eine deutliche Steigerung der Zuve
Zuverlässige VLM-Judges: Zustandsbedingte Invarianz und präsentationsbewusste Diagnostik
Vision-Language-Modelle werden zunehmend als automatisierte Juroren für multimodale und verkörperte Aufgaben eingesetzt, doch oft fehlen verlässliche Metriken zur Überprüfung ihrer Urteilsgründe. Um diese Zuverlässigkeit zu bewerten, wurde das Prinzip der zustandsbedingten Invarianz entwickelt, welches Stabilität bei semantikerhaltenden Präsentationsänderungen und gleichzeitig Sensibilität für kausale Interventionen fordert. Das darauf basierende Benchmark-System GridWM-Judge untersucht Modelle anhand deterministis
WoW: Ein groß angelegter Weltwissenskorpus für das vollständige LLM-Training
Mit WoW wurde ein umfassender und strukturierter Datensatz für das vollständige Training von Basismodellen vorgestellt, der auf einem bildungswissenschaftlichen Wissensgraphen basiert. Dieser Ansatz schließt systematisch Lücken in bisherigen Korpora und deckt alle Entwicklungsphasen von Sprachmodellen durch multimodale Signale ab. Umfangreiche Experimente belegen signifikante Leistungssteigerungen der so trainierten Modelle über diverse Benchmarks hinweg. Zusätzlich stellt das Projekt eine interaktive Plattform für
Entflechtung der multimodalen rotatorischen Positionseinbettung in Vision-Language-Modellen
Vision-Language-Modelle nutzen häufig die multimodale rotatorische Positionseinbettung zur Kodierung räumlicher Strukturen visueller Token, wobei diese Koordinaten jedoch auch Texttoken zugewiesen werden. Eine aktuelle Untersuchung analysiert die Auswirkungen dieser kreuzmodalen Effekte im Vergleich zur rein visuellen räumlichen Kodierung. Die Ergebnisse zeigen, dass die kreuzmodalen Positionseffekte kaum nennenswerte Vorteile bieten und die Modellleistung sogar beeinträchtigen können, während die intra-visuelle Ko
Graphen-Visualisierungen in Prompts für die Wissensgraphen-Fragebeantwortung
Eine aktuelle Untersuchung analysiert den Einsatz multimodaler Eingaben zur Verbesserung der Fragebeantwortung mit Wissensgraphen in großen Vision-Language-Modellen. Die Ergebnisse zeigen, dass das Hinzufügen von Graphengrafiken zu Prompts durchschnittlich zu moderaten Leistungssteigerungen führt, wobei insbesondere die Präzision bei weniger komplexen Fragen profitiert. Zudem hängt der Erfolg stark vom Layout der Visualisierungen ab, weshalb strukturierte Darstellungen und hierarchische Anordnungen unstrukturierte
V-LUMEN: Visuelles Speichersystem zur Skalierung von Vision-Language-Modellen
Forscher haben V-LUMEN vorgestellt, ein visuelles Speichersystem zur embedding-basierten Skalierung von Vision-Language-Modellen, das ohne zusätzliche Modelltiefe oder dichte Berechnungen auskommt. Das System diskretisiert kontinuierliche Bildmerkmale mittels eines eingefrorenen Codebooks, generiert ortssensitive Schlüsselspeicher und steuert diese über textkonditionierte Relevanzsignale an. Die abgerufenen Einbettungen werden über einen geduchteten ResidPfad in das Backbone integriert, wodurch die Speicherkapazitä
Robustheit interner Signale zur Erkennung von Halluzinationen in Vision-Language-Modellen
Vision-Language-Modelle neigen oft dazu, in ihren Textausgaben Objekte zu halluzinieren, was in sicherheitskritischen Anwendungen problematisch ist. Zur Erkennung nutzen Ansätze häufig interne Signale des Modells während der Textgenerierung. Eine detaillierte Analyse zeigt jedoch, dass bestehende Methoden stark von der Token-Position als heuristischem Shortcut abhängen und oft sprachbasierte statt visuell fundierte Halluzinationen erkennen. Zudem weisen die Untersuchungen darauf hin, dass die Kombination verschiede
Einheitliches Halluzinations-Fuzzing für multimodale große Sprachmodelle
Zur Bekämpfung von Halluzinationen in multimodalen großen Sprachmodellen wurde ein systematisches Evaluationsframework entwickelt, das einen feingranularen Datensatz mit einem evolutionären Stresstest kombiniert. Das Verfahren nutzt adaptive Mutationsstrategien, um die Grenzen der Modellrobustheit und faktischen Verlässlichkeit dynamisch zu erkunden. Umfangreiche Experimente offenbaren erhebliche Leistungsabfälle gängiger Modelle unter Stress und verdeutlichen einen Zielkonflikt zwischen Hilfsbereitschaft und Hallu
Thalamus-Reasoning: Ein multimodales großes Sprachmodell für die multimodale Omics-Analyse
Mit Thalamus-Reasoning wurde ein multimodales Sprachmodell mit neun Milliarden Parametern entwickelt, das quantitative Transkriptomdaten direkt in kontinuierliche Einbettungen übersetzt und nahtlos mit natürlicher Sprache kombiniert. Durch ein umfassendes Trainingskorpus aus experimentellen Messungen, biologischem Fachwissen und Instruktionsdaten überwindet das System die Grenzen herkömmlicher textbasierter Ansätze. Der neuartige GEO-OmicsQA-Benchmark belegt die Leistungsfähigkeit des Modells bei der Interpretation
StreamGaze: Blickgesteuertes temporales Schließen und proaktives Verstehen in Streaming-Videos
Das Verständnis von Streaming-Videos erfordert neben der Verarbeitung kontinuierlicher Bildframes auch die Antizipation menschlicher Absichten für Anwendungen wie Augmented-Reality-Brillen. Um zu bewerten, wie effektiv multimodale große Sprachmodelle menschliche Blickdaten in Streaming-Szenarien nutzen können, wurde der neue Benchmark StreamGaze entwickelt. Dieser kombiniert egozentrische Videos mit rohen Blickbahnen durch Fixationsextraktion und visuelles Prompting, um Aufgaben zur vergangenheits-, gegenwarts- und
Nutzen der multimodalen Vision-Fähigkeiten von ChatGPT zur Klassifizierung von Satellitenbildern nach Armutsniveau
Eine aktuelle Untersuchung zeigt, dass multimodale Sprachmodelle wie ChatGPT effektiv Satellitenbilder analysieren und Dörfer anhand ihres Armutsniveaus bewerten können. Durch einen paarweisen Vergleich erreichen die Modelle eine Genauigkeit, die mit spezialisierten, auf menschlichen Experten basierenden Systemen vergleichbar ist oder diese sogar übertrifft. Diese Methode eröffnet neue Wege für eine kosteneffiziente und skalierbare sozioökonomische Forschung sowie ein automatisiertes Wohlfahrtsmonitoring. Gleichzei
PhysTrace: Interpretierbare zeitliche Evaluierung physikalischer Konsistenz in generativen Videomodellen
Generative Videomodelle und Weltmodelle basieren zunehmend auf Diffusions- und Flow-Verfahren, deren physikalische Konsistenz über die Zeit jedoch schwer zu bewerten ist. Das neu eingeführte Framework PhysTrace nutzt multimodale große Sprachmodelle, um historie-konditionierte physikalische Erwartungen zu formulieren und deren Übereinstimmung mit Videosequenzen mittels zeitlicher Video-Sprach-Ausrichtung zu verfolgen. Ohne zusätzliches Training erreicht der Ansatz eine hohe Diskriminierungsgenauigkeit bei physikalis
Können linguistische Vektoren die multimodale Argumentationsfähigkeit verbessern?
Die Skalierung von Vision-Language-Modellen führt häufig zu einer Verschlechterung der sprachlichen Argumentationsfähigkeiten, die im zugrundeliegenden Sprachmodell ursprünglich vorhanden waren. Um dieses Problem zu lösen, wurde die Methode Language-side reasonIng Facilitation and Transfer entwickelt, welche sogenannte Reasoning Vectors direkt in die sprachlichen Aktivierungen des Zielmodells injiziert. Diese leichten Vektorinterventionen übertragen die Argumentationskompetenz des Basismodells auf das multimodale M
VisionSIM: Ein multimodaler Simulator für robuste Roboterwahrnehmung jenseits idealisierter Sensoren
VisionSIM ist eine neue, physikalisch fundierte Simulationsplattform, die den Realismus verschiedener konventioneller und neuartiger Sensoren in der Robotik verbessert. Das System modelliert den rohen physikalischen Messprozess und bildet spezifische Fehlermodi wie Sättigung, Bewegungsartefakte und Blendung präzise nach. Dadurch wird ein methodischer Vergleich heterogener Sensormodalitäten wie Kameras, LiDAR und Wärmebildkameras unter realistischen Bedingungen ermöglicht. Die Entwickler stellen die Plattform sowie
NutriVisRAG: Multimodales Exemplar-Grounding zur Nährstoffschätzung mit Vision-Language Models
Forscher haben NutriVisRAG vorgestellt, ein Retrieval-Augmented-Generation-Framework zur präzisen Nährstoffschätzung anhand von Mahlzeitenbildern. Das System nutzt Vision-Encoder, um visuell ähnliche, bereits annotierte Mahlzeiten as Datenbanken abzurufen und diese als multimodale In-Context-Exemplare für Vision-Language Models bereitzustellen. Ohne zusätzliches Fine-Tuning verbessert dieser Ansatz die Schätzgenauigkeit in zahlreichen getesteten Konfigurationen signifikant. Validierungen an verschiedenen Datensätze
THG-Omni: Rückverfolgbare menschenzentrierte Graphenüberwachung für Videoreasoning
Das neue Framework THG-Omni verknüpft menschenzentrierte Trackings mit zeitlich fundierten Annotationen, um multimodale Videoreasoning-Modelle präziser zu trainieren. Durch strukturierte Graphen als räumliche und zeitliche Überwachung lernen Modelle, menschliche Attribute, Handlungen und Interaktionen in Videos exakt zuzuordnen und zu interpretieren. Evaluierungen auf Benchmarks wie IntentBench und NExT-QA belegen signifikante Leistungssteigerungen gegenüber unadaptierten Basismodellen. Zudem zeigt sich, dass die g
PSGAgent: Verbesserung der dynamischen visuellen Wahrnehmung von MLLMs für die panoptische Szenengraphengenerierung mittels agentischem Reasoning
Die panoptische Szenengraphengenerierung erfordert eine präzise Analyse komplexer Objektbeziehungen, stößt jedoch bei bisherigen multimodalen großen Sprachmodellen aufgrund statischer Ansätze an Wahrnehmungsgrenzen. Um dem entgegenzuwirken, wurde PSGAgent entwickelt, ein agentenbasiertes Framework, das visuelle Details durch iterative Denk- und Beobachtungsschleifen dynamisch verfeinert. Das System nutzt gezielte Werkzeuge für Ausschnittvergrößerungen und visuelle Hervorhebungen, um sowohl kleine Objekte als auch k
WeLM-Image: Ein einheitliches Bildgenerierungsmodell für visuelle Intelligenz
WeLM-Image ist ein vereinheitlichtes Bildgrundlagenmodell, das multimodales Verständnis in die Text-zu-Bild-Generierung, die anweisungsbasierte Bildbearbeitung und die Mehrfachreferenz-Synthese integriert. Die Architektur basiert auf einer Mixture-of-Transformers-Struktur und Mixture-of-Experts-Modulen, um Optimierungsinterferenzen zu minimieren und eine effiziente Bereitstellung auf einer einzelnen GPU zu ermöglichen. Das Modell wurde speziell für den Einsatz in großflächigen Verbraucheranwendungen optimiert und u
Kompositionelle Fehlausrichtung: Überprüfung der Sicherheit in großen Vision-Language-Modellen
Große Vision-Language-Modelle sind anfällig für kompositionelle Schäden, wenn scheinbar harmlose Kombinationen aus Bildern und Prompts durch multimodale Verarbeitung riskantes Verhalten auslösen. Da herkömmliche Benchmarks lediglich das beobachtete Verhalten bewerten, bleibt die tatsächliche Robustheit der Sicherheitsvorkehrungen oft unklar. Eine neu entwickelte, trainingsfreie Methode zur Entsicherung demonstriert, dass Sicherheitsmechanismen durch gezielte interne Interventionen leicht umgangen werden können, obw
PCBRouteAgent: Wie nah sind LLM-Agenten daran, Leiterplatten-Routing-Ingenieure zu werden?
Zur Automatisierung des Leiterplatten-Routings wurde ein multimodaler Agent namens PCBRouteAgent entwickelt, der globale Strategien mit lokaler Ausführung koordiniert. Ein globaler Planer kombiniert visuelle und strukturierte Daten, um Topologie, Routenreihenfolge und Schichtübergänge festzulegen, während ein Ausführender die Umsetzung über die KiCad-Engine steuert. Bei Fehlern erfolgt ein strukturiertes Feedback zur gezielten Revision der Vorgaben. In Tests mit realen und synthetischen Platinen übertrifft das Syst
Ein generatives Basismodell für multimodale Tokamak-Aufgaben
Für die Fusionsforschung wurde ein generatives multimodales Basismodell namens GenToka entwickelt, das verschiedene Plasmatests und Messungen wie Wellenformen, Profile und Felder gemeinsam verarbeitet. Bisherige Ansätze nutzten meist getrennte Modelle für spezifische Einzelfunktionen, während der neue Ansatz auf einem konditionierten Diffusion-Transformer basiert. Durch die gemeinsame Vorabtraining- und Anpassungsphase lassen sich kreuzübergreifende Signale und Strukturen übertragen. Die Evaluierung anhand von MAST
CST-Bench: Ein neuer Benchmark zur Bewertung des kontrafaktischen räumlichen Schließens bei multimodalen Sprachmodellen
Multimodale große Sprachmodelle stoßen bei der Analyse dynamischer Szenen und veränderter räumlicher Beziehungen häufig an ihre Grenzen. Zur Schließung dieser Lücke wurde CST-Bench entwickelt, ein umfassender Benchmark mit über 7000 Beispielen zur Bewertung des kontrafaktischen räumlichen Schließens. Ergänzend dazu stellen die Entwickler die Methode CT-OPSD vor, welche kausale Zustandsübergänge modelliert und durch Self-Distillation die Leistung von Modellen bei räumlichen Interventionen gezielt verbessert.
PACE: Pareto-adaptive Kompression für effiziente native multimodale große Sprachmodelle
Native multimodale große Sprachmodelle verarbeiten visuelle und sprachliche Sequenzen in einem einheitlichen Transformer, neigen jedoch zu starker visueller Token-Redundanz. Um dieses Problem zu lösen, wurde ein Analyseansatz zur Token-Diskriminierbarkeit und heiterogenen Redundanz entwickelt. Darauf aufbauend stellt PACE den ersten visuellen Token-Kompressionstabrahmen vor, der speziell auf native MLLMs mit Multimodal-RoPE zugeschnitten ist. Das Verfahren nutzt eine dimensionale Entkopplung der Positionssokodierun
Analyse des Optimierungskonflikts zwischen bild- und textbasierter Personen-Wiedererkennung
Die Zusammenführung von bild- und textbasierter Personen-Wiedererkennung in einem einzigen Modell stößt auf grundlegende Konflikte bei den Trainingszielen. Während die bildbasierte Erkennung auf Identitätsinvarianz zwischen verschiedenen Aufnahmen abzielt, erfordert der textbasierte Ansatz instanzspezifische Beschreibungen, was bei einem gemeinsamen Vision-Encoder zu gegensätzlichen Anforderungen führt. Eine Untersuchung zeigt, dass diese Ziele mit einem unkonstrainten Encoder nicht gemeinsam lösbar sind. Als Lösun
DRScaffold: Verbesserung des räumlichen und relationalen Schließens in kompakten Vision-Language-Modellen
Leichte Vision-Language-Modelle zeigen in komplexen visuellen Szenen mit vielen Objekten und Relationen oft Schwächen, da herkömmliche Trainingsdaten keine explizite Verknüpfung zwischen Denkschritten und visuellen Elementen herstellen. Um dies zu beheben, wurde der neue Benchmark DRBench sowie das Fine-Tuning-Framework DRScaffold entwickelt, welches den Lernprozess in vier kausale Stufen unterteilt. Durch diese strukturierte Supervision gelingt es kleineren Modellen wie Qwen2.5-VL-3B, deutlich größere Modelle bei
SUREON: Ein Benchmark und Vision-Language-Modell für chirurgisches Reasoning
Mit SUREON wurde ein neuer Benchmark samt Datensatz und Vision-Language-Modell entwickelt, um das visuell basierte logische Schließen in der Chirurgie rigorously zu bewerten. Bisherige Modelle nutzen oft sprachliche Verzerrungen und prozedurale Prio-Wissen, ohne visuelle Evidenz adäquat einzubeziehen. Der Datensatz umfasst 76.000 Trainingspaare und eliminiert Fragen, die ohne Videoinput lösbar sind. Das darauf trainierte Basismodell SUREON-VLM übertrifft gängige Open-Source-Modelle und demonstriert, dass visuell fu
Place-it-R1: Umgebungssitives Reasoning für physikalisch konsistente Videoobjekteinfügungen mit MLLMs
Place-it-R1 stellt ein neuartiges End-to-End-Framework vor, das multimodale große Sprachmodelle nutzt, um die physikalische Konsistenz bei der Videoobjekteinfügung zu verbessern. Das System analysiert die Zielumgebung, leitet Objekt-Szene-Interaktionen ab und steuert die Videodiffusion durch semantische sowie räumliche Vorgaben. Ergänzend kommt eine auf Präferenzoptimierung basierende Methode zum Einsatz, die visuelle und physikalische Fehler gezielt im Bereich des eingefügten Objekts minimiert. Umfangreiche Experi
MLLMEraser: Test-Time-Unlearning in multimodalen großen Sprachmodellen durch Activation Steering
Zur gezielten Entfernung unerwünschter oder privater Inhalte aus multimodalen großen Sprachmodellen wurde das Framework MLLMEraser entwickelt. Der Ansatz arbeitet im Gegensatz zu herkömmlichen, rechenintensiven Trainingsmethoden ohne Parameteraktualisierungen zur Laufzeit. Mittels Activation Steering und einer eingabeabhängigten Steuerung werden visuelle und textuelle Diskrepanzen analysiert, um spezifisches Wissen dynamisch zu löschen. Experimente mit Modellen wie LLaVA-1.5 und Qwen-2.5-VL belegen eine hohe Effekt
VisualSphinx: Große synthetische visuelle Logik-Rätsel für Reinforcement Learning
VisualSphinx ist ein neuartiger, groß angelegter synthetischer Datensatz zur Verbesserung des logischen Denkens in visuellen Sprachmodellen. Mittels einer regelbasierten Bildsynthese-Pipeline und ausführbaren Rendering-Programmen werden strukturierte visuelle Logik-Rätsel mit fundierten Antworten generiert. Das Training mit dem Verfahren Group Relative Policy Optimization zeigt signifikante Leistungssteigerungen bei multimodalen logischen, algebraischen und geometrischen Aufgaben.
Von Phasen zu Zuständen: Einheitsbasiertes iteratives Schließen für multimodale große Sprachmodelle
Multimodale große Sprachmodelle leiden oft unter fragmentierten Denkprozessen und Diskrepanzen zwischen Training und Inferenz. Das neu entwickelte Framework ReState überwindet diesen Ansatz durch einen zustandsbasierten, dynamischen Prozess für multimodale Überlegungen. Die Methode vereint Zustandsmodellierung und geschlossenen Lernkreislauf in einem gemeinsamen Raum, um die Selbstkorrektur ohne zusätzliche Reflexionsmodule zu ermöglichen. Ergänzend wurde der Datensatz VersaCoT-10K mit acht visuellen Domänen für da
Latent-Lens: Visuelle Wahrnehmung in kleinen Sprachmodellen durch latente Kommunikation
Zur Überwindung des Informationsverlusts bei der diskreten Textübertragung zwischen visuellen Sprachmodellen und kleinen Sprachmodellen wurde ein neuer Codec namens Latent-Lens entwickelt. Dieser verbindet eingefrorene Modelle direkt im latenten Raum, indem verborgene Zustände mittels eines leichten Domänen-Encoders und eines auf LoRA basierenden Attention-Decoders übergeben werden. Mit nur rund 1,6 Millionen trainierbaren Parametern erreicht das Verfahren bei visuellen Frage-Antwort-Aufgaben und der Bildbeschreibu
Aufmerksamkeitskarten erkennen Denfbedarf: Trainingsfreies, schwierigkeitsbasiertes Chain-of-Thought für das Reasoning-Segmentieren
Der Artikel stellt ein neues, trainingsfreies Framework namens Difficulty-Aware Chain-of-Thought vor, das die Notwendigkeit von iterativen Denkprozessen in multimodalen Sprachmodellen dynamisch steuert. Bisheriges unselektiertes Vorgehen führt oft zu Überdenken und Fehlausrichtungen bei visuellen Aufgaben. Durch die Analyse der Entropie in den Aufmerksamkeitskarten erkennt das System die intrinsische Aufgabenschwierigkeit und entscheidet adaptiv über den Einsatz von Kettendenken. Ein zusätzlicher bidirektionaler Me
GenDSR: Übertragung von Repräsentationen aus Videogenerierungsmodellen für dynamisches räumliches Schließen
Dynamisches räumliches Schließen stellt Vision-Language-Modelle weiterhin vor Herausforderungen, da sie Szenenzustände bewahren und zeitliche Veränderungen verfolgen müssen. Um diese Lücke zu schließen, wurde das GenDSR-Framework entwickelt, welches Zwischendarstellungen aus Videogenerierungsmodellen in multimodale Sprachmodelle integriert. Durch die Kombination aus einem Rohdaten-Zweig für den generativen Kontext und einem Delta-Zweig für zeitliche Variationen werden relevante Signale auf Token-Ebene fusioniert. A
Erase the Injected Region: Multimodale Prompt-Injection-Abwehr durch On-Policy-Selbst-Destillation
Forscher haben eine neue Methode namens ERASE zur Abwehr multimodaler indirekter Prompt-Injections entwickelt. Das Verfahren nutzt On-Policy-Selbst-Destillation, bei der schädliche Instruktionen in externen Medien gezielt durch neutrale Inhalte ersetzt werden, während nützliche Informationen erhalten bleiben. Ein Schüler-Modell lernt dabei von einem eingefrorenen Basismodell, das die bereinigten Daten verarbeitet. Evaluierungen über Bild-, Audio- und Videodaten zeigen eine nahezu vollständige Neutralisierung von An
WebOverlay: Effiziente, rein visuelle Erkennung von Web-Overlays durch Wissensdistillation
Zur automatisierten Erkennung störender Web-Overlays wie Cookie-Banner oder Altersabfragen wurde ein neues, rein visuelles Erkennungsverfahren entwickelt. Das System nutzt einen leichten, durch Wissensdistillation trainierten Bilderkennungsmodellansatz, der ohne rechenintensive Sprachmodelle oder DOM-Baum-Analysen auskommt. Durch eine dynamische Kachelungsstrategie für extrem langgestreckte Webseiten-Renderings werden Textmerkmale verlustfrei erfasst. Der Ansatz erreicht eine mit großen multimodalen Sprachmodellen
Konfliktsensitive Evaluation der multimodalen Spracherkennung von Emotionen in Audio-Großmodellen
Audiobasierte Sprachmodelle verarbeiten sowohl den sprachlichen Inhalt als auch die akustische Artikulation, wobei Diskrepanzen zwischen beiden Kanälen die Erkennung von Emotionen signifikant beeinträchtigen können. Mithilfe eines kontinuierlichen, schwellenwertfreien Inkongruenzwerts im Valenz-Arousal-Dominanz-Raum wurde untersucht, wie sich solche Widersprüche auf drei verschiedene Modelle über diverse Korpora hinweg auswirken. Die Auswertung zeigt, dass Inkongruenzen bei vorhandener Audiospur die Fehlerwahrschei
Klassifizierung von Bildern mit einem 2B-Entscheidungsmodell anstelle eines Vision-LLM
Das multimodale Entscheidungsmodell Strands Decider mit zwei Milliarden Parametern ermöglicht die effiziente Klassifizierung von Bildern als Alternative zu großen Vision-LLMs. Anhand eines Überwachungskameraszenarios werden Setup, Implementierung sowie Aspekte zu Genauigkeit und Kosten im Vergleich zu bestehenden Diensten wie Bedrock demonstriert. Diese Architektur bietet eine ressourcenschonende Option für spezifische visuelle Erkennungsaufgaben in der Praxis.
GPT-6.1 Terra
OpenAI hat das neue KI-Modell GPT-6.1 Terra veröffentlicht und legt in der offiziellen Ankündigung den Schwerpunkt auf verbesserte visuelle Faehigkeiten und Computer-Interaktionen. Die Weiterentwicklung adressiert zentrale Herausforderungen im Bereich des multimodalen maschinellen Lernens und erweitert die Anwendungsbereiche fuer komplexe visuelle Analysen. Das Modell demonstriert signifikante Fortschritte bei der Verarbeitung visueller Daten durch künstliche neuronale Netze.
Datenverarbeitung für multimodale KI
Das Data Engineering für multimodale künstliche Intelligenz erfordert spezialisierte Architekturen zur effizienten Verarbeitung verschiedener Datenformate wie Text, Bild, Audio und Video. Im Fokus stehen dabei die skalierbare Bereitstellung, Bereinigung und Synchronisation heterogener Datenströme für das Training komplexer Modelle. Robuste Datenpipelines bilden die fundamentale Basis, um die Leistungsfähigkeit und Genauigkeit multimodaler Systeme in produktiven Umgebungen sicherzustellen.
Frage zu KI-Modellen für die Audiogenerierung basierend auf Text und Referenz
Die Suche nach kommerziellen KI-Modellen, die Audio- und Texteingaben kombinieren, um neue Klangeffekte zu generieren, gestaltet sich derzeit schwierig. Während multimodale Workflows für Bild- oder Textausgaben weit fortgeschritten sind, hinkt die Audio-zu-Audio-Modellierung mit textbasierten Steuerungen technologisch hinterher. Bestehende Lösungen liefern oft unzureichende Ergebnisse oder beschränken sich rein auf textbasierte Generierungen ohne präzise Referenzton-Steuerung. Dieser Bereich der generativen künstli
Das Fundament der KI-gesteuerten Robotik verstehen
Vision-Language-Action-Modelle bilden das technologische Rückgrat moderner Robotersysteme, indem sie visuelle Wahrnehmung, natürliche Sprache und physische Handlungen nahtlos miteinander verknüpfen. Diese multimodalen Architekturen versetzen Roboter in die Lage, komplexe Umgebungen optisch zu erfassen, sprachliche Instruktionen kontextbezogen zu interpretieren und daraus präzise Steuerungsimpulse für physische Interaktionen abzuleiten. Durch die Integration dieser Modalitäten wird ein signifikanter Fortschritt hin
Pluralis: Ein multikultureller, multimodaler und mehrsprachiger Benchmark für KI-Risiken
Aktuelle Evaluationsrahmenwerke für KI-Sicherheit basieren überwiegend auf westlich zentrierten Standards, welche regionale Gesetze, sprachliche Nuancen und kulturelle Tabus oft vernachlässigen. Um diese Sicherheitslücken bei weltweiten Einsätzen von Vision-Language-Modellen zu schließen, wurde ein neuer multimodaler, regional diversifizierter und mehrsprachiger Datensatz entwickelt. Dieser verfolgt einen kulturspezifischen Ansatz zur umfassenden Bewertung von Risiken und gesellschaftlichen Besonderheiten. Durch di
GPT-6 Astra ist das beste von uns getestete Vision-Modell
In einer umfassenden Evaluation wurde das multimodale KI-Modell GPT-6 Astra anhand verschiedener visueller Aufgaben wie Objekterkennung, Segmentierung, visuellem Schließen und Videoverarbeitung analysiert. Die Untersuchung umfasst konkrete Praxisbeispiele, detaillierte Benchmark-Ergebnisse sowie ökonomische Kostenvergleiche. Die Resultate unterstreichen die Leistungsfähigkeit des Systems bei komplexen Bild- und Videoanalysen im Vergleich zu bestehenden Architekturen.
IntelliChat: Minimalistische und Open-Source-Benutzeroberfläche für lokale und Cloud-KI-Modelle
IntelliChat ist eine neue, unter der MIT-Lizenz stehende Open-Source-Benutzeroberfläche, die darauf ausgelegt ist, die Interaktion mit verschiedenen KI-Modellen zu vereinfachen. Die Anwendung ermöglicht die parallele Nutzung und Generierung von Text, Bildern und Audiodaten sowohl über lokale Inferenz-Engines als auch über Cloud-Dienste. Entwickelt wurde das Tool, um eine minimalistische Bedienbarkeit mit hoher Flexibilität bezüglich der Ausführungsumgebung von Sprach- und Multimodell-Systemen zu verbinden.
SWE-Bench Multimodal: Generalisieren KI-Systeme auf visuelle Software-Domänen?
Die Veröffentlichung von SWE-bench Multimodal erweitert bestehende Benchmarks um zahlreiche Softwareprobleme, die visuelle Elemente wie Diagramme und Benutzeroberflächen beinhalten. Diese Erweiterung bewertet die Fähigkeit von Modellen, Informationen in textuellen und visuellen Formaten simultan zu interpretieren und entsprechende Code-Änderungen umzusetzen. Die aktualisierte Version bereinigt den Evaluationsdatensatz von instabilen Tests und optimiert die zugrundeliegenden Docker-Umgebungen sowie die Testinfrastru
KI-Antworten mit interaktivem Video
Es wurde ein neues System vorgestellt, das künstliche Intelligenz nutzt, um Antworten in Form von interaktiven Videos zu generieren. Diese Technologie verknüpft automatisierte Antwortprozesse direkt mit visuellen, dynamischen Inhaltselementen. Damit lassen sich komplexe Sachverhalte anschaulicher und zielgerichteter vermitteln als durch rein textbasierte Ausgaben. Die Entwicklung zielt darauf ab, die Nutzerinteraktion in KI-gestützten Anwendungen durch multimediale Komponenten deutlich zu erweitern.
Planetary Prediction Engine: Automatisierung globaler Modelle durch Erdbeobachtungs-KI
Ein neues experimentelles KI-System automatisiert den gesamten geodätischen Modellierungs- und Analyseprozess von der Datensuche bis zum Training. Die Software kombiniert LLM-basierte Orchestrierung, multimodale Datenkuratierung und automatisierte Modelloptimierung, um komplexe Vorhersagen für globale Herausforderungen in Minuten statt Wochen zu generieren. Durch die Verknüpfung statistischer Kovariablen mit Geodaten-Fundamentmodellen erzielt die Engine signifikante Leistungssteigerungen bei Benchmark-Aufgaben im B
Clips Kitty: Open-Source-Software für lokale KI-Videobearbeitung
Ein neues Open-Source-Werkzeug ermöglicht die automatisierte Erstellung von vertikalen Videoclips und Short-Form-Inhalten direkt auf lokalen Computersystemen. Die Software nutzt multimodale Algorithmen zur Szenenerkennung sowie sprecherbewusstes Gesichts-Tracking, um längeres Ausgangsmaterial zielgerichtet zu kürzen. Ergänzt wird der Funktionsumfang durch editierbare Untertitel, die eine effiziente Nachbereitung ohne Cloud-Anbindung erlauben.
MiniMax H3: Text und Bilder in KI-Videoclips umwandeln
Es wurde ein multimodales System zur KI-gestützten Videogenerierung vorgestellt, das Text- und Bilddaten in cineastische Videoclips transformiert. Die Software verfügt über integrierte Audiofunktionen sowie erweiterte Referenzierungsoptionen zur präzisen visuellen Steuerung. Damit steht Entwicklern und Medienschaffenden ein weiteres Werkzeug zur automatisierten und kontextbezogenen Erstellung audiovisueller Inhalte zur Verfügung. Das Modell ist initial kostenfrei zugänglich und erweitert das bestehende Portfolio ge
Interaktion mit einem Sprachmodell durch lippensynchrone Gesichtsanimation
Ein neuartiger Ansatz zur Mensch-Maschine-Interaktion ermöglicht direkte, visuelle Unterhaltungen mit einem großen Sprachmodell. Dabei wird die generierte Sprache mit realistischen Gesichtsbewegungen und einer präzisen Lippensynchronisation kombiniert. Diese multimodale Benutzeroberfläche zielt darauf ab, die Natürlichkeit von Konversationen mit künstlichen Intelligenzen signifikant zu steigern. Durch die synchrone Darstellung von Mimik und Audiosignal entsteht der Eindruck eines echten visuellen Dialogpartners.
KI von Reddit transformiert Beiträge in Podcasts und Kurzvideos
Eine neue Entwicklung im Bereich der künstlichen Intelligenz ermöglicht die automatisierte Umwandlung von Textbeiträgen in Audioformate sowie kurze Videosequenzen. Diese Technologie zielt darauf ab, textbasierte Community-Inhalte barrierearm und konsumabel in alternativen Medienformaten bereitzustellen. Durch die multimodale Aufbereitung können Nutzer komplexe Diskussionen künftig akustisch oder visuell rezipieren, was die Reichweite und Interaktion auf Plattformen signifikant steigern kann.
Einzel- versus Multianbieter-Architekturen für multimodale KI-Anwendungen
Bei der Konzeption multimodaler KI-Anwendungen stehen Entwickler vor der strategischen Entscheidung, ob sie auf Infrastrukturen und Modelle eines einzelnen Anbieters setzen oder Multi-Provider-Architekturen implementieren sollen. Während ein Single-Provider-Ansatz oft eine nahtlose Integration und vereinfachte Wartung ermöglicht, bieten Multi-Provider-Setups mehr Flexibilität, Ausfallsicherheit und die Möglichkeit, spezifische Best-in-Class-Modelle für verschiedene Modalitäten wie Text, Bild und Audio zu kombiniere
Wan 3.0 AI – Multimodale Videogenerierung
Das neue multimodale System Wan 3.0 AI ermöglicht die Erzeugung bis zu 30 Sekunden langer Videos aus einer Kombination von Text, Bildern, Audio, bestehenden Videos und Dokumenten. Die Architektur gewährleistet dabei eine hohe Konsistenz über alle Referenzquellen hinweg sowie eine detailgetreue und realistische Darstellung in jedem einzelnen Frame. Durch die Integration verschiedenster Eingabemodalitäten werden neue Ansätze für die automatisierte und präzise audiovisuelle Content-Produktion geschaffen.
Unbemerkte parallele Audio-Prompt-Injections gegen multimodale KI-Agenten
Multimodale KI-Agenten, die über kontinuierliche Audio-Interaktionen gesteuert werden, sind anfällig für neuartige Sicherheitslücken. Durch unvermeidbare Hintergrundgeräusche in der Umgebung können unbemerkt gleichzeitige Audio-Prompt-Injections eingeschleust werden. Diese verdeckten Angriffe manipulieren das Verhalten autonomer Agenten während der Ausführung ihrer Aufgaben. Die Untersuchung verdeutlicht die Notwendigkeit robusterer Abwehrmechanismen für sprachbasierte multimodale Systeme.
NVIDIA Nemotron 3.5 Super VL ist ab sofort in Amazon SageMaker JumpStart verfügbar
Das multimodale Vision-Language-Modell NVIDIA Nemotron 3.5 Super VL mit 120 Milliarden Parametern ist ab sofort in Amazon SageMaker JumpStart verfügbar. Anwender können wahlweise die NVFP4- oder die BF16-Variante mit wenigen Schritten bereitstellen, um Inferenzaufgaben für Text, Bilder und Videos durchzuführen. Das Modell eignet sich insbesondere für Anwendungen in den Bereichen Dokumentenintelligenz, computerbasierte Agenten und multimodale agentische Workloads.
Beschleunigen Sie agentenbasierte KI mit NVIDIA Nemotron-Modellen auf Amazon EKS und SageMaker HyperPod EKS
NVIDIA hat mit Nemotron 3.5 Super VL ein Mixture-of-Experts-Modell mit 120 Milliarden Parametern vorgestellt, das multimodale Funktionen mit logischem Schließen und Werkzeugnutzung kombiniert. Der Artikel beschreibt die zugrundeliegende Architektur sowie potenzielle Anwendungsfälle für autonome KI-Agenten. Zudem wird demonstriert, wie sich das Modell mithilfe von NVIDIA Dynamo und vLLM effizient auf Amazon EKS, EKS Auto Mode sowie Amazon SageMaker HyperPod EKS bereitstellen lässt.
Pegasus 1.5 von TwelveLabs ist ab sofort in Amazon Bedrock verfügbar
Das Videasprachmodell Pegasus 1.5 von TwelveLabs ist ab sofort in Amazon Bedrock integriert und ermöglicht die Transformation von Langvideos in strukturierte, mit Zeitstempel versehene Metadaten. Die Technologie unterstützt neue Funktionen wie präzise Videosegmentierung, multimodales Prompting mit Referenzbildern sowie die On-the-Fly-Verarbeitung von bis zu zweistündigen Videoinhalten. Entwickler können damit relevante Szenen exakt definieren und als strukturierte JSON-Daten ausgeben lassen.
Wie Condé Nast mit Amazon Bedrock multimodale Videorecherche entwickelte
Um den enormen Zeitaufwand für die manuelle Videosuche in umfangreichen Archiven zu minimieren, wurde eine fortschrittliche multimodale Lösung zur automatisierten Inhaltserkennung implementiert. Durch den gezielten Einsatz generativer KI auf Basis moderner Cloud-Infrastrukturen und semantischer Suchdienste sank die durchschnittliche Recherchedauer drastisch von vormals über vier Stunden auf weniger als zwei Minuten. Die zugrundeliegende Architektur analysiert visuelle und textuelle Metadaten in Echtzeit, um Redakti
Multimodales Reinforcement-Learning-Training mit SkyRL auf Amazon SageMaker HyperPod beschleunigen
Ein Open-Source-Framework für Reinforcement Learning ermöglicht das Post-Training des multimodalen Vision-Language-Modells Qwen3-VL-8B mittels Group Relative Policy Optimization auf Amazon SageMaker HyperPod. Die technische Anleitung umfasst die Erstellung von Container-Images, die Bereitstellung eines Ray-Clusters über SageMaker Studio sowie die Ausführung und Überwachung der Trainingsjobs. Abschließend wird die Integration des trainierten LoRA-Adapters für produktive Inferenzszenarien beschrieben.
Einführung von Kimi K3 auf Amazon Bedrock
Das KI-Modell Kimi K3 von Moonshot AI ist ab sofort über Amazon Bedrock verfügbar und erweitert das Portfolio um eine leistungsstarke Open-Weight-Option für Programmierung und Wissensarbeit. Es zeichnet sich durch native Bildverarbeitung, ein Kontextfenster von einer Million Token sowie explizites Prompt Caching zur Latenz- und Kostenreduzierung aus. Entwickler und Unternehmen erhalten damit skalierbare Zugriffsmöglichkeiten auf fortschrittliche multimodale Funktionen für komplexe Anwendungsszenarien.
Videosuche und Bildsuche in Amazon Bedrock Knowledge Base mit Marengo 3.0
Das Einbettungsmodell Marengo 3.0 ist ab sofort allgemein verfügbar für Amazon Bedrock Knowledge Bases und ermöglicht eine vollständig verwaltete Suche in Video-, Bild- und Audioinhalten mittels natürlicher Sprache. Entwickler können damit wissensbasierte Systeme aufbauen, die semantische Abfragen direkt gegen multimediale Datenbestände ausführen. Diese Integration erweitert die bisherigen textbasierten Analysefunktionen von Cloud-Infrastrukturen um performante multimodale Fähigkeiten. Die Architektur unterstützt e
Können Frontier-Modelle hinter eine Täuschung blicken? Elorian testet visuelles Schlussfolgern
Ein neuer Benchmark zum Zählen von Objekten unter Einsatz von Täuschungselementen zeigt deutliche Defizite aktueller Frontier-Modelle an der Schnittstelle von visueller Wahrnehmung und logischem Schließen auf. Viele multimodale Systeme scheitern daran, visuelle Ablenkungen korrekt zu ignorieren und rein logische Ableitungen zu treffen. Mit Glimpse stellt Elorian einen Lösungsansatz vor, der diese Lücke schließen soll, indem Bildinformationen direkt in den Denk- und Inferenzprozess einbezogen werden. Das Verfahren z
DeepSeek v4.1-Flash stellt neuartige kausale Encoder-Decoder-Architektur mit Vision vor
Das neue Sprachmodell DeepSeek v4.1-Flash setzt auf eine innovative kausale Encoder-Decoder-Architektur mit einer Gesamtparameterzahl von 763 Milliarden, wovon 8 Milliarden aktiv genutzt werden und 16 Milliarden als latente Dimensionen dienen. Diese Architektur integriert native visuelle Verarbeitungsfunktionen direkt in das Modelldesign. Fachkreise diskutieren bereits, ob der enorme Leistungssprung eine Versionsnummer höher gerechtfertigt hätte. Die technische Konzeption zielt auf eine signifikante Effizienzsteige
Das erste KI-Modell von Elorian soll mit Bildern argumentieren, nicht nur über sie
Das KI-Unternehmen Elorian hat mit Glimpse sein erstes multimodales Modell vorgestellt, das speziell auf visuelles logisches Schließen ausgelegt ist. Die Architektur zielt darauf ab, aktiv mit Bildinhalten zu argumentieren, anstatt diese lediglich oberflächlich zu beschreiben. Nach internen Evaluationen des Unternehmens übertrifft Glimpse bei der Analyse wissenschaftlicher Diagramme sowie der Untertitelung von Kurzvideos sogar Modelle wie GPT-6 Astra. Auch bei weiteren komplexen Aufgaben im Bereich des visuellen Re
Neues 1-Billion-Parameter-Modell von Mistral zielt auf Technologieführerschaft ab
Das französische KI-Forschungsunternehmen Mistral AI hat ein neues multimodales Large Language Model namens Mistral Large 4 veröffentlicht. Das Modell, das eine Modellgröße von rund einer Billion Parametern aufweist, ist darauf ausgelegt, sowohl geschlossene als auch offene Konkurrenzmodelle aus den USA und China technologisch zu übertreffen. Mit dieser Entwicklung baut das Unternehmen seine Position im globalen Wettbewerb der fortschrittlichen KI-Systeme weiter aus.
Google stellt EmbeddingGemma 2 mit multimodaler Unterstützung und hoher Effizienz vor
Mit EmbeddingGemma 2 wurde ein quelloffenes Modell mit 740 Millionen Parametern veröffentlicht, das Text, Bilder, Video, Audio und Code in Vektoren konvertiert. Das System benötigt lediglich rund 191 Megabyte Arbeitsspeicher und erzielt auf Endgeräten eine Leistung, die vergleichbare Modelle mit doppelter Parametergröße übertrifft. In Kombination mit kompakten Sprachmodellen ermöglicht die Architektur den Betrieb vollständiger Retrieval-Augmented-Generation-Anwendungen im Offline-Modus, wodurch die lokale Datenvera
Reka AI stellt multimodales Modell Rho-1 für Text, Bild, Video und Robotik vor
Das Unternehmen Reka AI hat mit Rho-1 ein universelles neuronales Netz mit 19 Milliarden Parametern entwickelt, das Text, Bilder, Videos und Robotersteuerungen in einem einzigen Kontextfenster verarbeitet. Das Modell wurde in rund drei Monaten auf einer effizienten Hardware-Infrastruktur trainiert und benötigt im Vergleich zu etablierten Systemen deutlich weniger Rechenleistung. Durch die Tokenisierung aller Modalitäten entfällt die sonst übliche Weiterleitung an spezialisierte Teilsysteme, wodurch eine kohärente m
GPT-6 Astra erkennt Montagefehler bei IKEA-Möbeln
Das neueste KI-Modell erreicht eine Genauigkeit von achtzig Prozent bei der Analyse von Fotos fehlerhaft montierter Möbelstücke. Noch im November desselben Jahres lag die Erfolgsquote vergleichbarer Systeme bei lediglich 28 Prozent. Zwar reicht die Verarbeitungsgeschwindigkeit aktuell noch nicht für eine Echtzeit-Anleitung aus, jedoch schließt sich diese technologische Lücke rasant. Damit demonstrieren multimodale Systeme deutliche Fortschritte im visuellen räumlichen Verständnis komplexer physischer Objekte.
Meta stattet Muse-KI-Agenten mit Video-Avataren, E-Mail-Adressen und Mac-Steuerung aus
Im Rahmen der Veranstaltung Meta Connect 2026 hat Meta den Funktionsumfang seines KI-Agenten Muse massiv erweitert. Zu den neuen Fähigkeiten gehören lebensechte Video-Avatare, eigenständige E-Mail-Adressen für die Kommunikation sowie die direkte Kontrolle über Apple-Mac-Systeme. Damit positioniert sich der Assistent stärker als autonomer Agent für komplexe, multimodale Aufgaben im Arbeitsalltag.
Tencent entwickelt multimodales KI-System Gander für parallele Hintergrundaufgaben
Das neue KI-Modell Gander verarbeitet Sprache, Bilder und Text, während es gleichzeitig komplexe Aufgaben im Hintergrund ausführt. Eine architektonische Trennung zwischen einem sprachgesteuerten Kleinhirn und einem austauschbaren Hauptmodul ermöglicht es Anwendern, fließend mit dem System zu kommunizieren und laufende Prozesse in Echtzeit anzupassen. Benchmark-Tests zeigen eine besonders geringe Rate an ungewollten Unterbrechungen durch das System, während bei der reinen Aufgabenpräzision noch Optimierungsbedarf be
Qwen3.8-Omni-Flash unterbietet Gemini-Preise bei gleicher multimodaler Leistung
Das neue multimodale Sprachmodell Qwen3.8-Omni-Flash wurde speziell für den Einsatz in autonomen KI-Agenten entwickelt und verarbeitet Audio- sowie Videodaten parallel. Neben der nativen Werkzeugnutzung zur Bearbeitung von Videomaterial und der Erstellung von Zusammenfassungen erreicht das System auf gängigen Benchmark-Tests Ergebnisse, die mit etablierten Konkurrenzmodellen vergleichbar sind. Die Bereitstellung über die Schnittstelle erfolgt dabei zu deutlich reduzierten API-Kosten.
Qwen-Drive 1.0: KI-Modell für autonomes Fahren und Cockpit-Steuerung vorgestellt
Ein neues integriertes System für autonomes Fahren kombiniert Umweltwahrnehmung, Routenplanung und Verkehrskommunikation in einem einzigen KI-Modell. Die Entwickler zeigen dabei, dass räumliches Bewusstsein in multimodalen Text-Bild-Architekturen gezielt trainiert werden muss und nicht automatisch vorhanden ist. Das langfristige Ziel dieser Forschung ist eine einheitliche Systemarchitektur, die sowohl die Fahrzeugsteuerung als auch die Interaktionsschnittstellen im Cockpit nahtlos bedient.
LAION veröffentlicht massiven offenen Videodatensatz mit 10 Millionen Stunden für die KI-Forschung
Das Big Video Dataset umfasst rund 80 Millionen Videodateien mit einer Gesamtlaufzeit von zehn Millionen Stunden sowie 55 Millionen automatisch generierte Beschreibungen für das Training von KI-Modellen. Mit diesem Korpus trainierte Architekturen übertreffen bisherige Leistungsstandards wie InternVid um bis zu 2,1 Prozentpunkte. Die Bereitstellung stützt sich auf rechtliche Einschätzungen zur Erfassung urheberrechtlich geschützter Inhalte für nicht-kommerzielle Forschungszwecke. Der Datensatz adressiert den steigen
Alibaba präsentiert Videogenerierungsmodell Wan3.0 für bis zu 30 Sekunden lange Clips
Das neue KI-Modell Wan3.0 generiert hochauflösende Videoclips mit einer Länge von bis zu 30 Sekunden direkt aus Texteingaben, Bildern, PDFs sowie Präsentationen. Die Technologie ermöglicht die Erstellung von zehnsekündigen bis hin zu halbstündigen Sequenzen zu skalierbaren Rechenkosten. Diese Entwicklung unterstreicht die massiven Investitionen in generative Medienmodelle, während gleichzeitig ein deutlicher Rückgang des Quartalsgewinns im Zuge dieser strategischen Ausrichtung verzeichnet wird.
Deepseek veröffentlicht experimentelles Flash-Vision-Modell mit starker Agenten-Leistung
Das Unternehmen hat mit V4-Flash-Vision-Exp ein neues multimodales Modell vorgestellt, das die bisherigen Textfähigkeiten der V4-Flash-Architektur um visuelle Bildverarbeitung erweitert. Interne Benchmark-Ergebnisse verdeutlichen, dass das System in agentenbasierten Szenarien an die Leistungsfähigkeit etablierter Top-Modelle wie Opus 4.8 heranreicht und diese in Teilbereichen sogar übertrifft. Damit wird die Palette effizienter KI-Modelle um eine leistungsfähige Bildverstehenskomponente ergänzt.
Neuer Benchmark bestätigt Schwächen von KI-Modellen bei der visuellen Wahrnehmung
Ein neu entwickelter Benchmark untersucht die tatsächlichen Fähigkeiten multimodaler KI-Modelle im Bereich der visuellen Bildverarbeitung und trennt diese streng von reinem logischen Schlussfolgern. Die aktuellen Ergebnisse zeigen, dass keines der führenden Systeme eine Trefferquote von 60 Prozent übersteigt, wobei Spitzenmodelle nur knapp vorne liegen. Zudem deutet die Analyse darauf hin, dass vermeintliche kognitive Fehler häufig bereits in der initialen Phase der Bildinterpretation und visuellen Extraktion entst
Neues KI-Videomodell erzeugt dreißigsekündige Clips mit integriertem Ton
Ein neues künstliches Intelligenzmodell zur Videogenerierung ermöglicht die gleichzeitige Erstellung von Bewegtbild und passendem Ton in einem einzigen Durchgang. Die erzeugten Sequenzen erreichen eine Länge von bis zu dreißig Sekunden. Durch die Möglichkeit, zahlreiche Bild-, Video- und Audiodateien als Referenz einzubinden, lassen sich komplexe Produktionen steuern. Insbesondere für die Werbebranche eröffnet dies neue Wege zur effizienten und schnellen Erstellung von Medieninhalten.
Entwicklung von Gemini Robotics 2 zur Steuerung verschiedenster Robotertypen vorgestellt
Ein neues multimodales Sprach- und Aktionsmodell wurde entwickelt, um Robotypen von kleinen Tischarmen bis hin zu komplexen humanoiden Systemen zu steuern. Das System integriert eine fortschrittliche Reasoning-Schicht, die es Robotern ermöglicht, logische Abläufe und physische Aufgaben auf einem höheren kognitiven Niveau zu verarbeiten. Diese Technologie soll die Flexibilität und Autonomie von Robotersystemen in unterschiedlichen physischen Umgebungen signifikant verbessern.
Neues Bildgenerierungsmodell erzeugt komplexe Infografiken und lesbaren Text
Ein neues KI-Modell zur Bildgenerierung verarbeitet umfangreiche Texteingaben von bis zu 4.500 Token und unterstützt zwölf Sprachen nativ. Das System ist in der Lage, komplexe Layouts wie Infografiken, wissenschaftliche Dokumente und Zeitungsseiten in einem einzigen Durchgang zu erstellen. Dabei gelingt es dem Generator, selbst winzigen Text in einer Größe von zehn Pixeln gut lesbar darzustellen. Kritisch angemerkt wird jedoch, dass der praktische Nutzen dieser pixelbasierten Ergebnisse im Vergleich zu editierbaren
Neue Guided-Vision-Funktion unterstützt beim Lesen von Kleingedrucktem
Für kompatible Android-Endgeräten steht ab sofort eine neue multimodale Funktion zur Verfügung, die mittels künstlicher Intelligenz Echtzeit-Audiobeschreibungen über die Smartphone-Kamera liefert. Anwender können die Kameraübertragung in Echtzeit nutzen, um sich detaillierte Beschreibungen der Umgebung ausgeben zu lassen, Objekte identifizieren zu lassen oder schwer lesbaren Text erfassen zu lassen. Das System verarbeitet visuelle Eindrücke kontinuierlich und unterstützt dadurch visuell beeinträchtigte oder suchend
Gemini 3.8 Live mit Live Avatar verleiht der Google-KI ein Gesicht
Ein neues Update für die Sprachmodell-Infrastruktur ermöglicht interaktive Unterhaltungen mit einer animierten KI-Person in Echtzeit. Die sogenannte Live-Avatar-Funktion synchronisiert die Lippenbewegungen dynamisch und stellt während der Konversation verschiedene Gesichtsausdrücke dar. Diese multimodale Benutzeroberfläche zielt auf natürlichere Interaktionen ab und wird zunächst exklusiv für Geschäftskunden im Enterprise-Segment bereitgestellt.
Einführung von Gemini 3.8 Live mit Live Avatar
Die Veröffentlichung von Gemini 3.8 Live mit Live Avatar erweitert die konversationelle künstliche Intelligenz um eine visuelle Präsenz in nahezu Echtzeit. Diese neue Funktion ermöglicht dynamische und visuell synchronisierte Interaktionen, wodurch die Benutzererfahrung bei KI-gestützten Dialogen signifikant verbessert wird. Die Technologie setzt auf fortschrittliche Modellarchitekturen, um flüssige und kontextbezogene Video- und Sprachantworten simultan zu generieren.
Einführung von agentischem Videoverständnis mit Gemini
Für die neuesten Modelle der Gemini-Reihe wurde eine fortschrittliche Funktion für das agentische Videoverständnis eingeführt. Diese architektonische Neuerung zielt darauf ab, die Analysegenauigkeit von Videodaten signifikant zu steigern und gleichzeitig den Token-Verbrauch sowie die damit verbundenen Betriebskosten zu reduzieren. Durch den agentischen Ansatz können visuelle Informationen zielgerichteter und ressourceneffizienter verarbeitet werden.
Gemini Omni 1.1 Flash bietet Entwicklern mehr Steuerungsmöglichkeiten
Die Veröffentlichung von Gemini Omni 1.1 Flash stellt Entwicklern eine erweiterte Reihe kreativer Steuerungswerkzeuge sowie neue generative Videofunktionen zur Verfügung. Mit diesen optimierten Schnittstellen lässt sich die Modellausgabe präziser steuern und nahtlos in moderne Applikationen integrieren. Das Update zielt darauf ab, die Effizienz bei der Entwicklung multimodaler KI-Anwendungen signifikant zu steigern.
LFM2.5-VL-3B für verbesserte und schnellere Bildverarbeitungsfunktionen am Edge
Ein neues multimodales Sprachmodell mit drei Milliarden Parametern wurde für den Einsatz auf Edge-Geräten optimiert. Die Architektur zielt darauf ab, visuelle Erkennungsaufgaben effizienter und mit deutlich geringeren Latenzen direkt auf ressourcenbeschränkter Hardware auszuführen. Durch gezielte Optimierungen eignet sich das System besonders für Anwendungen, die eine schnelle lokale Verarbeitung von Bild- und Textdaten erfordern.
Meta veröffentlicht Muse Glimmer: Lokales, multimodales Open-Source-Modell mit Agenten-Fähigkeiten
Mit Muse Glimmer stellt Meta ein neues Open-Source-Modell mit 30 Milliarden Parametern vor, das speziell für lokale, multimodale und agentenbasierte Aufgaben konzipiert wurde. Die Architektur kombiniert einen leistungsstarken visuellen Encoder mit einem hybriden Sprachmodell, das Mechanismen wie Sliding-Window- und Full-Attention nutzt. Dank integrierter Unterstützung für optimiertes spekulatives Decoding über DFlash sowie gängiger Frameworks lässt sich das System effizient für strukturierte Textgenerierung und Vid
Einführung von Inkling: Ein multimodales Large Language Model
Inkling ist ein neues, quelloffenes multimodales Sprachmodell mit rund einer Billion Parametern und einem Kontextfenster von einer Million Token. Es verarbeitet nativ Text, Bild- und Audiodaten und nutzt eine Mixture-of-Experts-Architektur, um bei 41 Milliarden aktiven Parametern eine effiziente Inferenz zu ermöglichen. Das Modell verwendet relative Aufmerksamkeit und ein hybrides Aufmerksamkeitsmuster, um komplexe Schlussfolgerungen über verschiedene Modalitäten hinweg zu ziehen. Es ist für die Domänenanpassung du
Weiterentwicklung von AMIE für medizinische Beratungen auf Expertenniveau mit Audio- und Videofunktionen
Ein fortschrittliches KI-System wurde weiterentwickelt, um klinische Beratungen auf Expertenniveau durchzuführen. Die Technologie integriert nun sowohl Audio- als auch Videofunktionen, um komplexe medizinische Diagnosen und Anamnesen multimodal zu unterstützen. Ziel dieser Entwicklung ist es, die Qualität und Effizienz von telemedizinischen Konsultationen signifikant zu verbessern. Durch die Verarbeitung multimodaler Daten nähert sich das System der klinischen Urteilsfähigkeit menschlicher Spezialisten an.
Thinking Machines Lab veröffentlicht erstes KI-Modell
Das neue Open-Source-Modell Inkling umfasst 975 Milliarden Parameter und wurde speziell für das Verständnis von Video- und Audiodaten trainiert. Mit dieser technologischen Entwicklung positioniert sich das Unternehmen im Wettbewerb mit führenden Akteuren der Branche. Die Veröffentlichung markiert einen strategischen Schritt, um die eigene Marktpräsenz im Bereich der multimodalen KI-Systeme zu festigen und neue Standards in der Verarbeitung komplexer Medieninhalte zu setzen.