Conan-embedding-v3: Zusammenführung modalitätsspezifischer Modelle für omnimodale Einbettungen
Das neue Framework Conan-embedding-v3 ermöglicht die Erstellung eines einheitlichen Einbettungsraums für verschiedene Datentypen wie Text, Bild, Video, Dokumente und Audio. Durch den Ansatz der entkoppelten Spezialistenfusion werden zunächst eigenständige Modelle trainiert und anschließend in ein gemeinsames Backbone integriert. Um das Problem der sogenannten Projektor-Drift bei externen Encodern zu beheben, nutzt das System eine gezielte Nachjustierung der Projektoren sowie ein balanciertes multimodales Training.
AlphaWiSE: Adaptive Gewichtungsinterpolation für kontinuierliches multimodales Lernen
Multimodale Modelle wie CLIP stehen vor der Herausforderung, dass kontinuierliches Lernen neuer Daten die bereits erlernten modalübergreifenden Zusammenhänge stören kann. Die Methode AlphaWiSE adressiert dieses Problem durch eine nachträgliche Interpolation im Gewichtsraum, bei der zwei eingefrorene Modellzustände kombiniert werden. Durch die Anpassung spezifischer Skalierungskoeffizienten auf Basis eines kleinen Datenspeichers wird ein neues Modell erzeugt, das die Stabilität und Plastizität optimiert. Da die Arch
GeoDetect: Geometrische Erkennung von Adversarial Attacks in Vision-Language-Modellen
Vision-Language-Pre-trained-Modelle sind anfällig für gezielte Störangriffe, deren Erkennung in multimodalen Umgebungen bisher kaum erforscht war. Eine Analyse der Einbettungsräume zeigt eine spezifische geometrische Anisotropie, bei der manipulierte Beispiele systematisch aus den regulären Datenverteilungen herausgedrängt werden. Basierend auf dieser Erkenntnis wurde GeoDetect entwickelt, ein Verfahren, das geometrische Abweichungen nutzt, um Adversarial Examples zuverlässig zu identifizieren. Die Methode erweist
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumentenanalyse, indem es auf aufwendige Zwischenschritte des logischen Schlussfolgerns verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ergebnissen verknüpft, was die Anzahl der benötigten Inferenz-Token um über 60 Prozent reduziert. Analysen zeigen, dass Modelle bei dieser Methode effizienter konvergieren und die Leistung herkömmlicher, auf Reasoning basierender Ansätze übertreffen. Zudem ermöglicht der Ansatz eine de
Multimodales semantisches kontrastives Lernen zur Reduzierung falsch-negativer Ergebnisse in der medizinischen 3D-Bildgebung
Das neue Framework MseaCL verbessert das kontrastive Lernen in der medizinischen Bildgebung, indem es die Problematik falsch-negativer Proben adressiert. Herkömmliche Ansätze behandeln alle nicht gepaarten Daten als negativ, was bei semantisch ähnlichen medizinischen Befunden zu Fehlern führt. Durch die Integration semantischer Ähnlichkeiten aus Radiologieberichten als Steuerungssignal während des Trainings werden Repräsentationen präziser ausgerichtet. Tests mit pädiatrischen MRT-Daten zeigen eine signifikante Lei
LATTICE: Graph-basiertes selbstüberwachtes Lernen zur Integration multimodaler räumlicher Omics-Daten
Das Framework LATTICE ermöglicht die Zusammenführung verschiedener räumlicher Omics-Daten, wie Transkriptomik und Epigenomik, in einer einheitlichen Repräsentation. Durch den Einsatz eines graphbasierten, selbstüberwachten Transformer-Encoders werden räumliche Nachbarschaftsbeziehungen sowie verschiedene molekulare Modalitäten wie RNA- und ATAC-Daten harmonisiert. Die Methode verbessert die Analysegenauigkeit bei der Untersuchung von Gewebeproben signifikant. Die Ergebnisse zeigen, dass die Integration zusätzlicher
Taktile Modalitätsfusion für Vision-Language-Action-Modelle
Das neue Verfahren TacFiLM ermöglicht die Integration von visuellen und taktilen Signalen in Vision-Language-Action-Modelle für die Robotik. Während bisherige Ansätze primär auf visueller Wahrnehmung basieren, adressiert diese Methode die Herausforderungen bei kontaktintensiven Manipulationen, bei denen Faktoren wie Reibung und Kontaktkräfte entscheidend sind. Durch den Einsatz von Feature-wise Linear Modulation werden vortrainierte taktile Repräsentationen effizient in bestehende visuelle Merkmale eingebettet. Exp
Inverse-LLaVA: Neudenken der multimodalen Ausrichtung durch Text-zu-Bild-Mapping
Der neue Architekturansatz Inverse-LLaVA kehrt das konventionelle multimodale Lernen um, indem Text-Embeddings in den kontinuierlichen visuellen Repräsentationsraum projiziert werden, anstatt visuelle Merkmale in Text-Token zu übersetzen. Durch dieses Design entfällt die Notwendigkeit eines expliziten Alignment-Vortrainings, was die Abhängigkeit von umfangreichen Datensätzen reduziert. Die Methode ermöglicht effizientes multimodales Schlussfolgern und zeigt, dass die Trennung von Repräsentationsstruktur und Überwac
Überwindung der Modalitätslücke bei kontextgestützten Prognosen
Kontextgestützte Prognosemodelle sollen KI-Systeme durch die Einbindung von Fachwissen und zukunftsorientierten Informationen verbessern, scheitern jedoch oft an der Qualität der verfügbaren Datensätze. Um dieses Problem zu lösen, wurde eine Methode zur semi-synthetischen Datenerweiterung entwickelt, die zeitliche Dynamiken präzise beschreibt und verifizierbare Kontextinformationen liefert. Mit dem Datensatz CAF-7M, der sieben Millionen kontextangereicherte Zeitreihen umfasst, konnte nachgewiesen werden, dass die b
Quantum Circuit Vision: Kostenbewusste Evaluierung visueller KI-Agenten für die Generierung von Quantencode
Ein neues Evaluierungs-Framework untersucht die Fähigkeit multimodaler KI-Agenten, Quantenschaltkreis-Diagramme visuell zu erfassen und in ausführbaren Code zu übersetzen. Die Analyse von 132 Schaltkreisen zeigt, dass die Schaltungstiefe ein entscheidenderer Faktor für die Fehleranfälligkeit ist als die Anzahl der Qubits. Ein Vergleich verschiedener Modellklassen verdeutlicht, dass mittlere Modellvarianten ein optimales Verhältnis zwischen Kosten und Genauigkeit bieten. Zudem belegt eine Kaskaden-Routing-Strategie,
Die hypersphärische Geometrie des CLIP-Latent-Raums: Ein semantisches Mischmodell
Die Repräsentationen von CLIP basieren auf einer hypersphärischen Geometrie, die durch Kosinus-Ähnlichkeit definiert ist. Herkömmliche Gauß-Modelle erfassen diese Struktur nur unzureichend, weshalb ein neues Dichtemodell auf Basis von von-Mises-Fisher-Mischverteilungen vorgeschlagen wird. Dieser Ansatz ermöglicht eine präzise semantische Zerlegung der Einbettungen und verbessert die Erkennung von Out-of-Distribution-Daten sowie die Handhabung langschwänziger Verteilungen. Das Modell bietet einen geometrisch konsist
Die Grenzen der Audio-Sprach-Modelle bei der Verarbeitung von Negationen
Aktuelle Audio-Sprach-Modelle wie CLAP zeigen erhebliche Schwächen bei der Interpretation von verneinten Konzepten. Während diese Modelle bei der Identifizierung vorhandener Geräusche gut funktionieren, können sie zwischen bejahten und verneinten Beschreibungen kaum unterscheiden, da sie für beide nahezu identische Repräsentationen erzeugen. Mit dem neuen Test-Framework NegEval-Audio wurde nachgewiesen, dass die Leistung bei Negationsaufgaben drastisch abfällt. Dies deutet auf einen grundlegenden Fehler in der Repr
SymbOmni: Entwicklung agentischer Omni-Modelle durch symbolisches Konzeptlernen
Das neuartige Modell SymbOmni adressiert das Problem der mangelnden kumulativen Lernfähigkeit bei aktuellen generativen KI-Systemen. Durch ein integriertes Speichermodul, die sogenannte Symbolic Concept Box, werden Erfahrungen in wiederverwendbare symbolische Arbeitsanweisungen abstrahiert. Dieser Ansatz ermöglicht einen Zyklus aus Induktion und Transduktion, bei dem das System ohne klassisches gradientenbasiertes Fine-Tuning kontinuierlich durch sprachbasiertes Feedback lernt. In Tests zeigt das Modell eine verbes
Erinnerst du dich? Auf dem Weg zu einer gedächtniszentrierten multimodalen KI
Aktuelle multimodale Sprachmodelle verarbeiten visuelle Informationen meist nur einmalig, ohne interne Repräsentationen dauerhaft zu speichern. Die neue Architektur DoYouRemember führt ein rekonstruktives Gedächtnis ein, das auf VQ-VAE-Kompression, einem feinabgestimmten Sprachmodell und einem Diffusions-Decoder basiert. Durch die Implementierung einer lokalen EMA-Aktualisierung für eine Speichermatrix wird das Problem der Gradientenauslöschung gelöst. Die Ergebnisse zeigen, dass das Modell visuelle Daten effizient
Kontinuierliches Lernen mit elastischer Regularisierung und synthetischem Replay für föderiertes MLLM-Feintuning
Das föderierte Feintuning multimodaler großer Sprachmodelle steht vor der Herausforderung des katastrophalen Vergessens, bei dem neues Wissen frühere Informationen überschreibt. Das neue Framework FedCMM adressiert dieses Problem durch einen dreistufigen Ansatz: Eine modalitätsspezifische elastische Gewichtskonsolidierung schützt die Parameter, während lokale generative Module synthetische Daten für das Replay erzeugen, ohne Rohdaten preiszugeben. Ergänzt wird dies durch eine aufgabenorientierte Gradientenaggregati
SpurLens: Automatische Erkennung von Scheinkorrelationen in multimodalen Sprachmodellen
Multimodale große Sprachmodelle neigen dazu, sich auf irrelevante visuelle Hinweise zu stützen, was zu Fehlern bei der Objekterkennung und verstärkten Halluzinationen führt. Mit SpurLens wurde ein automatisiertes Verfahren entwickelt, das auf GPT-4 und Objekterkennung basiert, um diese problematischen Korrelationen ohne menschliches Eingreifen zu identifizieren. Die Untersuchung zeigt, dass solche Scheinkorrelationen die Zuverlässigkeit der Modelle massiv beeinträchtigen. Erste Ansätze zur Minderung dieser Verzerru
Multimodale Gerüchterkennung durch externe Beweise und Fälschungsmerkmale
Zur Identifizierung von Desinformation in sozialen Medien wurde ein neues Modell entwickelt, das multimodale Inhalte wie Text und Bild analysiert. Das System kombiniert visuelle Encoder mit textuellen BERT-Modellen und integriert spezifische Fälschungsmerkmale, um Manipulationen durch Frequenzanalysen aufzudecken. Ein wesentlicher Bestandteil ist die Nutzung von BLIP zur präzisen Beschreibung von Bildinhalten, wodurch semantische Abweichungen zwischen Bild und Text besser erkannt werden. Durch einen adaptiven Fusio
Hyper-modale Imputations-Diffusions-Einbettung mit Dual-Destillation für föderierte multimodale Wissensgraphen
Die Vervollständigung multimodaler Wissensgraphen in föderierten Umgebungen stellt eine Herausforderung dar, da Daten dezentral vorliegen und sensible Informationen geschützt werden müssen. Ein neues Framework adressiert diese Problematik durch die Kombination von Hyper-modalen Imputations-Diffusions-Einbettungen zur Wiederherstellung unvollständiger Entitäten und einer föderierten dualen Destillation zur Wissensübertragung zwischen Clients und Server. Dieser Ansatz verbessert die semantische Konsistenz und Konverg
MMRM: Ein multiplexes multimodales Repräsentationsmodell für das Produktranking im E-Commerce
Das neue Modell MMRM optimiert das Ranking in E-Commerce-Suchmaschinen durch die Integration vielfältiger multimodaler Daten. Im Gegensatz zu bisherigen Ansätzen, die meist nur ein einzelnes kollaboratives Signal nutzen, verarbeitet das Framework heterogene Signale gleichzeitig über ein gemeinsames Backbone mit aufgabenspezifischen Tokens. Durch die Generierung umfassender Repräsentationen in einem einzigen Inferenzschritt und eine neuartige Strategie zur Modellierung von Nutzerverhalten auf Basis dieser Daten wird
Erklären ist schwieriger als Vorhersagen: Evaluation konzeptbasierter Erklärungen bei MLLMs als visuelle Klassifikatoren
Multimodale große Sprachmodelle nutzen In-Context-Learning, um Bilder anhand weniger Beispiele zu klassifizieren, wobei ihre interne Entscheidungsfindung oft intransparent bleibt. Eine systematische Untersuchung zeigt, dass die Generierung formal strukturierter, konzeptbasierter Erklärungen die Vorhersagegenauigkeit der Modelle paradoxerweise verschlechtert. Während die Qualität der Erklärungen bei korrekten Vorhersagen stark mit der Identifikation visueller Merkmale korreliert, offenbart der Vergleich, dass die Mo
Zählfehler bei Vision-Language-Modellen verstehen und korrigieren
Vision-Language-Modelle zeigen trotz ihrer Leistungsfähigkeit in multimodalen Aufgaben häufig Schwächen beim Zählen von Objekten. Untersuchungen mittels Sonden auf Aktivierungsebene belegen, dass die Modelle die korrekte Anzahl intern oft erfassen, diese jedoch nicht präzise in sprachliche Ausgaben übersetzen. Durch eine gezielte Beeinflussung der internen Repräsentationen lässt sich die Zählgenauigkeit signifikant steigern. Ein neuer Ansatz zur fehlergesteuerten Selbstkorrektur während der Inferenz verbessert die
Test-Time-Skalierung für kleine multimodale Sprachmodelle bei visuellen Multiple-Choice-Aufgaben
Die Untersuchung analysiert, ob Test-Time-Skalierung (TTS) die Schlussfolgerungsfähigkeiten kleiner Open-Source-Vision-Language-Modelle verbessern kann. Dabei zeigt sich, dass die Formatierung der Eingabeaufforderungen und die Bereitstellung eines ausreichenden Token-Budgets für die Generierung entscheidender sind als komplexe Such- oder Verifizierungsmechanismen. Während eine Erhöhung der Token-Limits signifikante Leistungssteigerungen ermöglicht, bieten aufwendige Methoden wie PRM-gesteuerte Beam-Suche kaum Vorte
Multimodale Szenariensuche für autonomes Fahren
Für die effiziente Analyse umfangreicher Datensätze beim autonomen Fahren ist die Suche nach ähnlichen Verkehrssituationen entscheidend. Ein neuer multimodaler Ansatz kombiniert visuelle Daten mit bewegungsbasierten Trajektorien, um Szenarien präziser zu identifizieren. Während visuelle Merkmale bei der Erkennung von Erscheinungsbildern überzeugen, liefern Trajektorien-basierte Methoden wie Transformer-Modelle exzellente Ergebnisse bei bewegungszentrierten Ereignissen wie Abbiegevorgängen oder Spurwechseln. Die Kom
Mixture of Probes: Nutzung privilegierter Modalitäten in multimodalen Sprachmodellen
Multimodale große Sprachmodelle scheitern oft daran, zusätzliche Informationen aus Modalitäten zu nutzen, die nur während des Trainings verfügbar sind. Das neue Framework Mixture of Probes (MoP) löst dieses Problem durch eine strukturierte Analyse von Zwischenrepräsentationen, anstatt sich nur auf die finale Ausrichtung zu verlassen. Durch einen speziellen Trainingsansatz werden modalitätsspezifische und allgemeine Signale entkoppelt, was die Modellleistung bei fehlenden Eingabedaten signifikant steigert. In versch
MAG: Ein Benchmark und Framework für multimodale Web-Agenten und Anleitungsgenerierung
MAG ist ein neuer Benchmark, der die Ausführung von Web-Aufgaben und die Erstellung von Benutzeranleitungen in einem einheitlichen multimodalen Ansatz zusammenführt. Anstatt sich auf textbasierte Repräsentationen wie den DOM-Baum zu stützen, arbeitet das System direkt mit Screenshots, um menschliches Interaktionsverhalten besser abzubilden. Das zugehörige Framework unterstützt den gesamten Prozess von der Annotation über das Training bis zur Evaluation in Live-Umgebungen. Durch eine spezielle Trainingsmethode mit E
Entwicklung von Agenten-Systemen zur wissenschaftlichen Kuratierung aus multimodalen Quellen
Die automatisierte Extraktion strukturierter Daten aus wissenschaftlichen Publikationen stellt eine Herausforderung dar, da relevante Informationen oft über lange Texte, komplexe Tabellen und Abbildungen verteilt sind. Das neue System Beaver adressiert diese Problematik durch einen strukturierten, prüfbaren Arbeitsablauf, der multimodale Werkzeuge mit iterativen Korrekturschleifen kombiniert. Durch die Verknüpfung von Agenten-Logik mit einer präzisen Quellenrückverfolgung erreicht das Modell eine signifikant höhere
Benchmarking multimodaler Sprachmodelle für wissenschaftliche Visualisierungskompetenz
Die Fähigkeit multimodaler Sprachmodelle zur Interpretation wissenschaftlicher Visualisierungen wurde anhand eines standardisierten Tests mit 49 Aufgaben untersucht. Dabei wurden sechs verschiedene Modelle mit menschlichen Referenzdaten verglichen. Die Ergebnisse zeigen deutliche Leistungsunterschiede: Während einige Modelle bei wissenschaftlichen Illustrationen und räumlichem Verständnis überzeugen, scheitern sie häufig an quantitativen Schätzungen sowie komplexen, texturbasierten Darstellungen. Die Studie unterst
Effizientes multimodales Dokumenten-QA durch reasoning-freies Alignment
Das neue Trainingsframework Perception-RFT optimiert die multimodale Dokumenten-Fragebeantwortung, indem es auf komplexe Zwischenschritte des logischen Schließens verzichtet. Stattdessen werden visuelle Merkmale direkt mit strukturierten Ausgabedaten verknüpft, was die Inferenzkosten um über 60 Prozent senkt. Analysen zeigen, dass Modelle ohne explizite Reasoning-Pfade effizienter konvergieren und eine höhere geometrische Präzision erreichen. Zudem ermöglicht ein optimierter Übergang von Supervised Fine-Tuning zu R
SD-MAR: Analytisches Schlussfolgern über mehrere Bilder mittels synthetischer Daten und Reinforcement Learning
Das neue Framework SD-MAR adressiert die Schwächen aktueller Vision-Language-Modelle bei komplexen Aufgaben wie dem Bildvergleich, der Erkennung von Veränderungen und mehrstufigen visuellen Schlussfolgerungen. Durch die Erstellung kontrollierter, synthetischer Bildpaare und gezielte Aufgabenstellungen wird die analytische Kapazität der Modelle trainiert. Ein neuartiger Reinforcement-Learning-Ansatz namens GRPO-lite mit Backward Discounted Allocation optimiert dabei die logische Konsistenz und die Qualität der Erklä
DialogueVPR: Fortschritte bei der dialogbasierten visuellen Ortserkennung
Die visuelle Ortserkennung mittels natürlicher Sprache stößt bei statischen Abfrageverfahren oft an Grenzen, wenn Beschreibungen unvollständig oder mehrdeutig sind. Ein neuer Ansatz transformiert diesen Prozess in einen interaktiven Dialog, bei dem ein KI-System gezielte Fragen stellt, um den Standort präziser zu bestimmen. Hierfür wurde ein umfangreicher Benchmark sowie ein spezielles Framework entwickelt, das einen multimodalen Abrufmechanismus mit einem intelligenten Fragesteller kombiniert. Durch ein zweistufig
Jenseits von Benchmarks: Design-Prinzipien für vertrauenswürdige multimodale medizinische Bildanalyse
Die Entwicklung multimodaler KI-Systeme für das Gesundheitswesen erfordert eine präzise Verknüpfung von visuellen und textuellen Informationen bei gleichzeitiger Gewährleistung von Zuverlässigkeit und Interpretierbarkeit. Eine Analyse von Systemen zur medizinischen Bildauswertung zeigt, dass hohe Leistung bei Standard-Benchmarks nicht zwangsläufig mit einer korrekten klinischen Argumentation einhergeht. Effektivere Ansätze setzen auf strukturierte Schlussfolgerungen und eine explizite Verankerung der Ergebnisse in
TikStance: Ein multimodaler und hierarchischer Datensatz zur Stimmungsanalyse in politischen TikTok-Diskussionen
Der neue Datensatz TikStance adressiert die Herausforderung, politische Diskurse auf Kurzvideo-Plattformen computergestützt zu analysieren. Er umfasst 161 Videos und knapp 14.000 Kommentare zu zentralen Akteuren des US-Wahlzyklus 2024 und verknüpft audiovisuelle Inhalte mit hierarchischen Kommentarstrukturen. Durch eine präzise manuelle Annotation ermöglicht das Korpus die Untersuchung von Positionierungen in politischen Debatten. Damit bietet die Ressource eine fundierte Grundlage für die Forschung in den Bereiche
Dialogzusammenfassung mit Emotionsdynamik durch themen- und teilnehmerzentrierte Zerlegung
Ein neues Framework zur Zusammenfassung von Dialogen adressiert die Herausforderung, Interaktionen zwischen mehreren Sprechern präzise abzubilden. Dabei werden Dialoge in thematische Segmente und teilnehmerspezifische Äußerungen unterteilt, um sowohl semantische Inhalte als auch emotionale Verläufe zu erfassen. Durch die Integration eines hierarchischen Agenten-Ansatzes und spezifischer Metriken zur Erhaltung des emotionalen Flusses gelingt eine präzisere Abbildung komplexer Gesprächsverläufe. Die Methode zeigt, da
Fehleranalyse bei Vision-Language-Modellen: Wahrnehmung oder Wissenslücke?
Vision-Language-Modelle zeigen bei der Beantwortung visueller Fragen Schwächen, wenn das benötigte Wissen über das direkt Sichtbare hinausgeht. Ein neuer Forschungsansatz ermöglicht es nun, diese Fehlerquellen systematisch zu unterscheiden, indem zwischen visuellen Wahrnehmungsproblemen und Wissensdefiziten differenziert wird. Die Untersuchung zeigt, dass sich diese Fehlertypen bereits vor der Generierung der Antwort anhand spezifischer interner Modellzustände vorhersagen lassen. Diese Erkenntnis erlaubt es, bei un
Thinking Machines Lab veröffentlicht erstes KI-Modell
Das neue Open-Source-Modell Inkling umfasst 975 Milliarden Parameter und wurde speziell für das Verständnis von Video- und Audiodaten trainiert. Mit dieser technologischen Entwicklung positioniert sich das Unternehmen im Wettbewerb mit führenden Akteuren der Branche. Die Veröffentlichung markiert einen strategischen Schritt, um die eigene Marktpräsenz im Bereich der multimodalen KI-Systeme zu festigen und neue Standards in der Verarbeitung komplexer Medieninhalte zu setzen.
Einführung von Inkling: Ein multimodales Large Language Model
Inkling ist ein neues, quelloffenes multimodales Sprachmodell mit rund einer Billion Parametern und einem Kontextfenster von einer Million Token. Es verarbeitet nativ Text, Bild- und Audiodaten und nutzt eine Mixture-of-Experts-Architektur, um bei 41 Milliarden aktiven Parametern eine effiziente Inferenz zu ermöglichen. Das Modell verwendet relative Aufmerksamkeit und ein hybrides Aufmerksamkeitsmuster, um komplexe Schlussfolgerungen über verschiedene Modalitäten hinweg zu ziehen. Es ist für die Domänenanpassung du