>_ der Promptbote
News vom 13.11.2026  ·  8 neue Artikel heute  ·  10 Kanäle
Schlagwort: Natural Language ProcessingFilter entfernen ×
arXiv – cs.LG 82 Artikel Forschung
arxiv.org · 11.11. 06:00

HiCAP: Hierarchische kulturelle Anpassung durch Persönlichkeit für die Dialoggeneration

Forscher haben HiCAP vorgestellt, ein neues Framework zur kulturellen Anpassung von Dialogsystemen, das gezielt die Rolle von Persönlichkeitsmerkmalen einbezieht. Der Ansatz nutzt einen persönlichkeitskonditionierten Kontrollmechanismus, der Antwortstile zunächst an kulturelle Normen anpasst und anschließend durch spezifische Persönlichkeitsattribute verfeinert. Durch die Kombination von überwachtem Feintuning und instruktionsbasiertem Training ermöglicht das Modell eine präzisere und natürlichere Sprachgenerierung

arxiv.org · 11.11. 06:00

ZeroPoint: Ein leichtgewichtiger, energiebasierter Entscheidungsmodellansatz

Energiebasierte Entscheidungsmodelle scheitern oft daran, eine absolute Referenz für die Akzeptanz von Optionen zu definieren, da sie lediglich relative Kompatibilitäten lernen. Das neu entwickelte Modell ZeroPoint löst dieses Problem, indem es eine leere Antwort als festen Zustand mit der Energie null für jeden Eingang definiert. Dadurch wird eine explizite Referenz geschaffen, die eine integrierte und präzisere Entscheidung zwischen verschiedenen Optionen sowie die Option zur Enthaltung ermöglicht. Die Inferenz e

arxiv.org · 11.11. 06:00

Themenüberwachung beim Textgeneration: Sparse Autoencoder für TopicScope

Mit TopicScope wurde ein neuartiges Framework zur thematischen Überwachung von Sprachmodellen während der Token-Generierung vorgestellt. Durch das Training kausaler Themenklassifikatoren auf Basis von Sparse Autoencodern (SAEs) lassen sich Themenwechsel präzise für jedes einzelne Token in Echtzeit nachvollziehen. Die Evaluation mit Modellen wie Gemma-3 zeigt, dass in der Prefill-Phase trainierte Detektoren erfolgreich auf die Decoder-Phase übertragen werden können und zudem eine hohe Robustheit gegenüber Textpertur

arxiv.org · 11.11. 06:00

Möbius Interaction Filtering: Ordnungsselektive spektrale Regularisierung zur multimodalen Humorerkennung

Für die multimodale Humorerkennung ist die gemeinsame Analyse von Sprache, Stimme und visuellen Merkmalen essenziell. Mit Möbius Interaction Filtering (MoIF) wurde ein neuer Ansatz vorgestellt, der eine modalitätsspezifische Vorhersagefunktion mit einer ordnungsselektiven spektralen Regularisierung über die Aggregationsstruktur verbindet. Private temporale Encoder und balancierte reziproke Interaktionen ermöglichen dabei die Konstruktion unimodaler, bimodaler und trimodaler Prädiktoren. Durch diese Formulierung las

arxiv.org · 06.11. 06:00

Label-Wording-Erweiterung in Typed-Decision-Encodern: Verbesserungen bei unbekannten Wörtern, keine Effekte bei Abkürzungen oder Codes

Eine Untersuchung an einem mehrsprachigen Cross-Encoder mit 307 Millionen Parametern zeigt, dass die Augmentation von Label-Formulierungen die Klassifikationsgenauigkeit bei unvertrauten Wörtern, Fachjargon und Slang signifikant steigert. Bei abstrakten Abkürzungen und undurchsichtigen Codes bringt die Methode hingegen keinen messbaren Nutzen. Die Ergebnisse basieren auf evaluierten Label-Vokabularen unter konstanten Fragestellungen und verdeutlichen sowohl Leistungsgewinne als auch spezifische Evaluationsrisiken b

arxiv.org · 06.11. 06:00

ConvPE: Konvolutionale Positionseinbettungen verbessern Transformer-Modelle

ConvPE steigert sowohl die Leistung als auch die Effizienz von Transformer-Modellen in Bereichen wie Sprachmodellierung, Langkontextverarbeitung und Computer Vision. Durch die Integration eines fensterbasierten, inhaltssensitiven Bias in die Attention-Scores mittels einer leichtgewichtigen kausalen Konvolution lässt sich der Mechanismus nahtlos als Plug-in mit bestehenden Techniken wie RoPE oder Attention-Masken kombinieren. Reproduktionstests zeigen eine Überlegenheit gegenüber zahlreichen herkömmlichen eindimensi

arxiv.org · 05.11. 06:00

Entdeckung semantischer Strukturen in psychologischen Skalen: Ein antwortfreier Ansatz zur effizienten Vereinfachung

Ein neues Framework zur Verfeinerung psychologischer Skalen nutzt Techniken der natürlichen Sprachverarbeitung und kontextuelle Satz-Embeddings, um semantische Strukturen ohne empirische Antwortdaten zu analysieren. Durch dichtebasiertes Clustering und hierarchische Zusammenführung identifiziert das System repräsentative Items und reduziert die Skalenlänge im Durchschnitt um über sechzig Prozent, während psychometrische Eigenschaften gewahrt bleiben. Ein integriertes, visualisiertes Werkzeug unterstützt Forscher be

arxiv.org · 05.11. 06:00

EmoTrack: Klinisch-semantische Modellierung zur textbasierten Depressionsschweregrad-Schätzung

Für die automatische Einschätzung von Depressionssymptomen anhand von Online-Beratungstranskripten wurde EmoTrack entwickelt. Das Verfahren verbindet klinische Feature-Token mit Client-Turn-Embeddings, um den PHQ-8-Score präzise zu ermitteln. Zusätzlich integriert eine optionale Gated-Memory-Architektur den Kontext vorheriger Sitzungen. Evaluierungen auf mehreren Datensätzen zeigen signifikante Verbesserungen der Vorhersagegenauigkeit im Vergleich zu bisherigen Methoden.

arxiv.org · 05.11. 06:00

Domänenangepasste Small Language Models zur Vorhersage strukturierter Steuercodes

Für die komplexe und fehleranfällige Zuordnung von Produkt- und Dienstleistungsteuercodes in multinationalen Unternehmen wurde ein neuer Ansatz auf Basis domänenangepasster Small Language Models mit Encoder-Decoder-Architektur entwickelt. Das Verfahren ermöglicht die sequenzielle Generierung hierarchischer Steuercodes wie dem Harmonized System of Nomenclature aus unstrukturierten Daten und übertrifft herkömmliche flache Klassifikatoren sowie reine Encoder- oder Decoder-Modelle deutlich. Damit lässt sich die automat

arxiv.org · 05.11. 06:00

Informationsangepasstes Audit-Protokoll zur Vorhersage von Emotionswechseln in Dialogen

Vergleiche bei der Vorhersage von Emotionswechseln in Konversationen leiden oft unter ungleichen Bedingungen, Datenlecks oder verzerrten Basislinien. Ein neues, informationsangepasstes Audit-Protokoll schließt diese Lücken durch einen expliziten Verpflichtungspunkt, ausführbare Kausalitätstests und validierte Konfigurationen. Die Anwendung auf sechs kausale Modellfamilien zeigt, dass realistische Klassifikatoren für den aktuellen emotionalen Zustand zu anderen Ergebnissen führen als ideale Orakel-Diagnostiken. Insb

arxiv.org · 05.11. 06:00

Template Gap Reconstruction zur Simulation von Shell-Ausgaben mit kleinen Sprachmodellen

Zur effizienten Simulation von Shell-Ausgaben ohne tatsächliche Befehlsausführung wurde die Methode Template Gap Reconstruction entwickelt. Diese Technik kombiniert wiederverwendbare Ausgabetemplates mit autoregressiv generierten Lücken, um die strukturelle Vorhersage zu optimieren. Aus einer Datenbasis von Millionen Ausgaben wurde eine Template-Bank erstellt, die als Grundlage für das Training dient. Die Evaluation zeigt eine verbesserte Ähnlichkeit der generierten Ausgaben sowie eine signifikante Reduktion der zu

arxiv.org · 02.11. 06:00

Entschlüsselung der Matryoshka: Extraktion ontologischer Strukturen aus Retrieval-Embeddings

Wissenschaftler haben entdeckt, dass in Matryoshka Representation Learning Embeddings die Präfixlänge direkt mit der Granularität von Taxonomien korreliert. Das darauf basierende Verfahren PEEL nutzt diese Eigenschaft, um ohne aufwendiges Training hierarchische Strukturen aus gefrorenen Embeddings zu extrahieren. Durch die Abbildung von Hierarchien als Vektoreinschlüsse lassen sich präzise taxonomische Graphen rekonstruieren, die auch auf neue Domänen übertragbar sind. Diese Methode ermöglicht eine effizientere Kon

arxiv.org · 28.10. 05:00

CoinRAG: Wiederverwendung von KV-Caches für Retrieval-Augmented Generation mit langem Kontext

Zur Optimierung von Retrieval-Augmented Generation bei langen Kontexten stellt CoinRAG einen neuartigen Ansatz zur feingranularen Wiederverwendung von KV-Caches vor. Statt ganzer Textblöcke verarbeitet das System query-relevante semantische Einheiten und setzt deren KV-Repräsentationen effizient zusammen. Durch diese Methode werden redundante Informationen und Rauschen reduziert sowie die Latenz beim Prefill minimiert. Umfangreiche Evaluierungen auf Basis von LongBench-Benchmarks zeigen signifikante Qualitätssteige

arxiv.org · 28.10. 05:00

Kontinuierliche Diffusion skaliert wettbewerbsfähig mit diskreter Diffusion für Sprache

Forscher haben mit RePlaid ein likelihood-basiertes kontinuierliches Diffusionssprachmodell entwickelt, das architektonisch an moderne diskrete Modelle angepasst wurde. Das Modell etabliert das erste Skalierungsgesetz für kontinuierliche Diffusionssprachmodelle, das mit diskreten Ansätzen konkurrieren kann. Auf dem OpenWebText-Benchmark erreicht RePlaid einen neuen Bestwert für die Perplexität unter kontinuierlichen Diffusionsmodellen und demonstriert eine überlegene Generierungsqualität. Die Ergebnisse belegen, da

arxiv.org · 28.10. 05:00

PREFER: Personalisierte Zusammenfassung von Produktbewertungen durch Online-Präferenzlernen

E-Commerce-Plattformen stehen vor der Herausforderung, dass grosse Mengen an Produktbewertungen Nutzer überfordern und generische Zusammenfassungen individuelle Präferenzen oft ignorieren. Um dies zu lösen, wurde ein Online-Lernrahmen entwickelt, der personalisierte Zusammenfassungen generiert, indem Nutzerinteressen in einem latenten Raum abgebildet und präferenzangepasste Bewertungsnachweise ausgewählt werden. Das System verfeinert sein Verständnis der Nutzerpräferenzen iterativ durch direktes Feedback zu den gen

arxiv.org · 28.10. 05:00

SATFormer: Selektive Nutzung fruher Wert-Residuale in Transformer-Architekturen

Forscher haben den Selective Access Transformer (SATFormer) vorgestellt, der den Zugriff auf fruhe Wert-Projektionen in Transformer-Modellen durch ein kontextabhängiges Gatter steuert. Bisherige Ansätze nutzten statische Mischkoeffizienten für die Wiederverwendung fruher Repräsentationen, vernachlässigten dabei jedoch token- und kopf-spezifische Unterschiede. In Tests mit Modellgrößen von 130 Millionen bis zu 1,3 Milliarden Parametern übertrifft SATFormer sowohl Standard-Transformer als auch statische Wert-Residual

arxiv.org · 28.10. 05:00

Leistungssteigerung komprimierter Transformer-Modelle durch nachträgliche Einbettungsausrichtung

Modellkompression ist essenziell für den Einsatz von Transformern in ressourcenbeschränkten Umgebungen, führt jedoch oft zu Leistungseinbußen bei nachgelagerten Aufgaben. Zur Kompensation dieses Leistungsverlusts wurde ein neuartiger Ansatz namens Alignment Adapter entwickelt, der die Token-Einbettungen eines komprimierten Modells nachträglich an ein leistungsstärkeres Referenzmodell anpasst. Dieser Adapter nutzt den lokalen Kontext benachbarter Token und kann sowohl separat trainiert als auch gemeinsam mit dem kom

arxiv.org · 28.10. 05:00

PENEX: Von AdaBoost inspirierte Regularisierung für neuronale Netze

Forscher haben mit Penalized Exponential Loss eine neuartige Formulierung der multi-Klassenzustands-Exponentialverlustfunktion vorgestellt, die sich für die Optimierung mittels Gradientenverfahren bei neuronalen Netzen eignet. Der Ansatz vergrößert effektiv die Abstände zwischen den Datenpunkten und verbessert dadurch die Generalisierungsfähigkeit in datenarmen Szenarien. Umfangreiche empirische Evaluierungen in den Bereichen Computer Vision und Sprachverarbeitung belegen, dass die Methode etablierte Regularisierun

arxiv.org · 28.10. 05:00

StateWise: Sprachmodelle trainieren, um sich entwickelnde Einschränkungen in Dialogen zu verfolgen

Konversationsassistenten scheitern oft daran, dynamisch ändernde Einschränkungen über viele Dialogschritte hinweg korrekt zu verwalten, was zu Missachtung oder unerwünschtem Fortbestehen widerrufener Regeln führt. Als Lösung wird StateWise vorgestellt, ein selbstverbessernder Ansatz, der ein einzelnes Sprachmodell trainiert, einen eigenen, revidierbaren Beschränkungsstatus zu pflegen. Durch eine Kombination aus Feinabstimmung auf Basis komplementärer Fähigkeiten und einem Präferenztraining zur Vermeidung von Rückfä

arxiv.org · 28.10. 05:00

Entity-bewusste Evaluierung von OCR-Systemen für die Transkription historischer Dokumente

Für die Digitalisierung historischer Archive greifen klassische Metriken wie die Zeichenfehlerrate oft zu kurz, da sie die Erhaltung semantisch wichtiger Entitäten wie Namen und Daten vernachlässigen. Eine neue Untersuchung vergleicht klassische OCR-Systeme sowie spezialisierte und allgemeine Vision-Language-Modelle anhand eines Benchmarks aus dem Berrutti-Archiv mit manuell annotierten Entitäten. Die Ergebnisse zeigen, dass sich das Ranking der Systeme je nach Evaluierungskriterium deutlich verschiebt und manche M

arxiv.org · 27.10. 05:00

Halbwahrheiten stören die ähnlichkeitssbasierte Wiederfindung

Gängige multimodale Modelle wie CLIP zeigen Schwächen bei der Verarbeitung von Bild-Text-Ähnlichkeiten, da das Hinzufügen falscher Details zu Textbeschreibungen oft zu fälschlicherweise höheren Ähnlichkeitswerten führt. Diese sogenannten Halbwahrheiten resultieren aus einer schwachen Überwachung auf Satzteile während des kontrastiven Trainings. Zur Behebung dieses Defizits wurde CS-CLIP entwickelt, ein Verfahren zur Komponentensupervision, das Bildunterschriften in Entitäten und Relationen zerlegt. Durch gezieltes

arxiv.org · 27.10. 05:00

Adaptive Frequenzschwellenwert-Byte-Pair-Codierung für gemischte natürliche und strukturierte symbolische Korpora

Forscher haben mit Adaptive Frequency Threshold Byte Pair Encoding ein neues Tokenisierungsverfahren für Sprachmodelle vorgestellt, das Whitespace-Grenzen überwindet und adaptive Frequenzschwellen nutzt. Die Methode passt Mindestfrequenzen dynamisch basierend auf Tokenlänge und Datentyp an, um die Vokabularkapazität für domänenspezifische Notationen wie LaTeX effizient zu verteilen. Evaluierungen auf fünf Datensätzen zeigen konsistente Leistungssteigerungen bei der Codierung und nachgeschalteten Sprachmodellaufgabe

arxiv.org · 27.10. 05:00

Analyse österreichischer Parlamentsreden durch Vorhersage von Parteizugehörigkeiten

Eine neue Untersuchung analysiert die Sprachmerkmale von Mitgliedern des österreichischen Nationalrats mithilfe eines feinabgestimmten BERT-Modells, das Reden bestimmten Parteien zuordnet. Statt Fehlklassifikationen als bloße Schwachstelle zu betrachten, nutzen die Forschenden diese Abweichungen gezielt für politikwissenschaftliche Erkenntnisse. Die Ergebnisse zeigen, dass sich Regierungsparteien in ihrer Sprache im Laufe der Zeit annähern, während Oppositionsparteien sich sprachlich weiter entfernen. Zudem wurde f

arxiv.org · 27.10. 05:00

ConsMSA: Konsistenzlernen der semantischen Verteilung für multimodale Sentimentanalyse

Die multimodale Sentimentanalyse steht häufig vor der Herausforderung semantischer Inkonsistenzen innerhalb und zwischen verschiedenen Datenmodalitäten wie Text, Audio und Video. Um dem zu begegnen, wurde ConsMSA entwickelt, ein konsistenzbasierter Mechanismus zur robusten und effizienten Vorhersage von Sentiments. Durch die Projektion multimodaler Token in einen gemeinsamen Sentimentraum ermittelt das Verfahren Konsistenzwerte, die als Regularisierung, für adaptive Gewichtungen sowie zum Beschneiden redundanter To

arxiv.org · 23.10. 06:00

Wenn mehr Metadaten in die Irre führen: Untersuchung der feldbezogenen Fundierung in LLM-generierten Museumsbeschreibungen

Die generierung basierend auf Metadaten wird oft als Aufgabe betrachtet, bei der zusätzliche Eingabefelder die Verankerung verbessern sollten. Museumsbeschreibungen stellen diese Annahme jedoch auf die Probe, da Katalogeinträge heterogen und ungleichmäßig dokumentiert sind. Eine neue Untersuchung zeigt, dass die bloße Menge an Metadaten das Generierungsverhalten von Sprachmodellen nicht erklärt, sondern vielmehr der spezifische Feldtyp bestimmt, ob Informationen korrekt vergraben, ausgelassen oder halluziniert werd

arxiv.org · 23.10. 06:00

Positionierungsbias von Sequenz-Mixern bei der Fragebeantwortung in langen Kontexten untersucht

Eine aktuelle Untersuchung analysiert den Positionsbias von Transformer-, State-Space- und hybriden Mamba-Architekturen bei der Verarbeitung langer Kontexte in Frage-Antwort-Szenarien. Die Ergebnisse zeigen, dass Transformer-Modelle einen Vorteil am Anfang des Kontextes aufweisen, den reine State-Space-Modelle nicht besitzen, während beide Architekturen relevante Informationen am Ende bevorzugen. Zudem hächst die effektive Nutzung des Kontextes stark von der jeweiligen Architekturfamilie, den Fähigkeiten, der Aufga

arxiv.org · 23.10. 06:00

Was Open-Book-Scores bei dokumentenbasierten LoRA-Adaptern tatsächlich messen

Untersuchungen an dokumentenbasierten LoRA-Adaptern zeigen, dass Open-Book-Evaluierungen primär ein universelles Leseverhalten statt spezifischen Wissensbesitz quantifizieren. In Tests mit Llama-3.1-8B-Instruct erzielten zufällig zugewiesene Adapter erhebliche Vorteile bei Open-Book-Aufgaben, während sie bei geschlossenen Faktenabfragen (Cloze Probes) versagten. Dies verdeutlicht grundlegende Einschränkungen bei der modularen Wissensspeicherung und der automatisierten Adapter-Auswahl für das Merging.

arxiv.org · 22.10. 06:00

Crash-Deduplizierung basierend auf Stack-Traces mittels Transformer-Anpassung

Automatisierte Fehlermeldeverfahren erzeugen oft redundante Berichte, welche die Fehlerverfolgung belasten. Um diesem Problem zu begegnen, wurde dedupT entwickelt, ein auf Transformern basierender Ansatz zur ganzheitlichen Analyse von Stack-Traces. Durch die Anpassung vortrainierter Sprachmodelle und den Einsatz eines neuronalen Netzwerks zur Ranglistenbildung übertrifft das System herkömmliche Deep-Learning- sowie heuristische Methoden deutlich. Tests auf realen Datensätzen belegen eine höhere Genauigkeit bei der

arxiv.org · 22.10. 06:00

Quantifizierung der Kausalität von Symptomen bei klinischen Entscheidungen: Eine Untersuchung mit CausaLM

Traditionelle Ansätze des maschinellen Lernens in der medizinischen Diagnostik basieren häufig auf Korrelationen zwischen Symptomen und Krankheiten, was bei mehrdeutigen Indikationen zu Fehldiagnosen führen kann. Aktuelle Untersuchungen nutzen das CausaLM-Framework sowie kontrafaktische Textrepräsentationen, um den kausalen Einfluss spezifischer Symptome wie Brustschmerzen auf diagnostische Vorhersagen gezielt zu ermitteln. Durch den Einsatz des Textual Representation-based Average Treatment Effect lassen sich die

arxiv.org · 22.10. 06:00

Sprachübergreifende Multi-Label-Sentiment-Analyse für 100 Sprachen mit dynamischer Gewichtung

Es wurde ein neues Framework für die multi-linguale Sentiment-Analyse vorgestellt, das auf Plutchiks Rad der Emotionen basiert und 100 Sprachen unterstützt. Um das Problem von unausgewogenen Klassen zu lösen, kommt ein neuartiges, dynamisches Gewichtungsverfahren sowie eine an die Multi-Label-Klassifikation angepasste Focal Loss zum Einsatz. Zudem optimiert ein spezieller Algorithmus die Schwellenwerte zur Maximierung des Macro-F1-Scores in linearer Zeitkomplexität. Umfangreiche Experimente belegen eine Leistung au

arxiv.org · 21.10. 06:00

STRABLE: Benchmarking für tabellarisches maschinelles Lernen mit Textdaten

Tabellarische Daten in realen Anwendungsszenarien enthalten neben numerischen Werten häufig auch Text- und String-Einträge, deren systematische Untersuchung bislang vernachlässigt wurde. Um diese Forschungslücke zu schließen, wurde STRABLE entwickelt, ein umfassender Corpus aus 108 realen Tabellen für das maschinelle Lernen. Eine großangelegte Evaluierung von 445 Pipelines zeigt, dass fortgeschrittene tabellarische Lernverfahren in Kombination mit einfachen String-Embeddings bei kategorial geprägten Tabellen hervor

arxiv.org · 21.10. 06:00

SZED bei ArGuard Shared Tasks: Multitask-Label-Attention und kreuzmodale Fusion zur Erkennung hasserfüllter arabischer Memes

Im Rahmen der ArGuard 2026 Evaluation wurde ein neuartiger Ansatz zur Erkennung hasserfüllter arabischer Memes vorgestellt, der sowohl binäre Klassifikation als auch granulare Multilabel-Klassifikation adressiert. Dabei werden Einbettungen von MARBERTv2 und CLIP ViT-L/14 mittels kreuzmodaler Fusion und Selbstaufmerksamkeitsmechanismen kombiniert. Für die detaillierte Kategorisierung kommt eine Multitask-Label-Attention-Architektur mit klassenspezifischen Abfragevektoren und einer Kaskadenkalibrierung zum Einsatz. D

arxiv.org · 19.10. 06:00

Abhängigkeitsbasiertes Schließen für die Aspect Sentiment Quadruple Prediction

Die Vorhersage von Aspekt-Sentiment-Vervierfachungen wird als relationales Problem modelliert, das über sequentielle Token-Kombinationen hinausgeht. Ein neuer Ansatz namens DRIFT linearisiert Dependenzbäume und integriert diese direkt als expliziten relationalen Kontext in die Prompts von Large Language Models. Dadurch wird ein präziseres Schließen über Aspekt-Meinungs-Beziehungen ermöglicht. Ergänzt wird die Methode durch retrieval-augmentiertes Lernen sowie einen syntaxbewussten Schlichtungsmechanismus. In Benchm

arxiv.org · 19.10. 06:00

ECPO: Evidenz-gekoppelte Richtlinienoptimierung für Prüfer-validiertes Kandidaten-Ranking

Rankingsysteme für Entscheidungshilfen sollten Belege liefern, die unabhängig vom Modell-Score prüfbar sind. Evidence-Coupled Policy Optimization (ECPO) kombiniert listenbasierte Nutzenfunktionen, Zertifikatsvalidität und eine Evidenz-Zyklus-Belohnung zur deterministischen Wiederherstellung. In Evaluierungen auf Datensätzen wie MAVEN-ERE und RAMS verbessert das Verfahren die auditierbare Rückverfolgbarkeit sowie die menschliche Vergleichsunterstützung im Vergleich zu Standardkontrollen. Die Leistungssteigerungen er

arxiv.org · 19.10. 06:00

Ueberwindung der Sprachbarruere in wissenschaftlichen Daten: Verbesserung der Geschlechtsinferenz fuer chinesische Namen

Fuer eine inklusive szientometrische Forschung ist die Ableitung des wahrgenommenen Geschlechts aus Namen von grosser Bedeutung, wobei bestehende Methoden bei nicht-westlichen Forschern oft versagen. Zur Loesung dieses Problems bei chinesischen Namen, die in den Formen Hanzi und Pinyin vorliegen, wurden neue Regressions- und Klassifikationsmodelle entwickelt. Ein spezieller Ansatz verknuepft Hanzi-Vorhersagen durch Transliteration und Frequenzgewichtung mit einem Mehrdeutigkeitswert fuer Pinyin-Namen. Im Vergleich

arxiv.org · 19.10. 06:00

Satzbasiertes Topic Modeling mit lexikalischen und kontextuellen Hinweisen

Traditionelle Topic-Modelle kämpfen oft mit einem Granularitätsdilemma, da sie Themen entweder auf Wort- oder Dokumentebene zuordnen. Ein neu entwickeltes neuronales Topic-Modell namens SentenceETM löst dieses Problem, indem es Themen direkt auf Satzebene zuweist. Dabei werden lexikalische Evidenz und kontextuelle Hinweise durch die Kombination von Wort- und Satz-Embeddings gemeinsam genutzt. Experimente zeigen, dass dieser Ansatz die Themenerkennung auf Satzebene im Vergleich zu bisherigen Methoden deutlich verbes

arxiv.org · 19.10. 06:00

FederatedBytes: Tokenizerfreie, byte-basierte Small Language Models für effizientes multimodales Federated Learning

FederatedBytes ist ein neuartiges, byte-basiertes Small Language Model, das für das föderierte Lernen in multimodalen und sprachbasierten Anwendungsszenarien entwickelt wurde. Durch die Verarbeitung von Eingaben als reine Bytestreams und den Einsatz eines linearen Aufmerksamkeitsmechanismus reduziert das Modell den Speicher- und Rechenaufwand drastisch. Leistungsvergleiche auf Basis etablierter Datensätze belegen, dass der Ansatz herkömmliche Architekturen wie ByT5 und LSTM bei geringeren Kommunikationskosten hinsi

arxiv.org · 19.10. 06:00

TheatreStageAI: Multi-View Retrieval-Augmented Generation für die strukturierte bengalische Theaterproduktionsplanung

TheatreStageAI ist ein spezialisiertes Framework zur strukturierten Planung bengalischer Theaterproduktionen mittels Multi-View Retrieval-Augmented Generation. Das System trennt Szenen, Schauspielerbewegungen und Beleuchtung in separate Datenansichten, die mit BGE-M3 eingebettet und in Qdrant-Vektordatenbanken indiziert werden. Basierend auf diesen Referenzen und einem Produktionsbrief erzeugt Gemini ein strukturiertes JSON-Schema für Dialoge, Regieanweisungen und technische Cues. Eine Validierung stellt die strukt

arxiv.org · 16.10. 06:00

Bedeutet morphologische Korrektheit bei der Tokenisierung wirklich etwas? Eine Kontrollstudie am Beispiel von Tagalog

Neue Untersuchungen zur Tokenisierung in morphologisch komplexen Sprachen wie Tagalog zeigen, dass die linguistisch korrekte Erfassung von Morphemgrenzen überraschend wenig zur Modellleistung beiträgt. Ein speziell entwickelter Tokenizer namens MorphAustro-Tok, der grammatikalische Wurzeln als zusammenhängende Einheiten ausgibt, verbessert zwar die maschinelle Übersetzung im Vergleich zu Standard-BPE-Verfahren. Kontrollstudien mit randomisierten Pseudoinfixen belegen jedoch, dass dieser Leistungszuwachs kaum auf di

arxiv.org · 16.10. 06:00

Urteil: Einmal encodieren, mehrfach entscheiden

Zur Automatisierung organisatorischer Arbeitsabläufe wurde Verdict-MQ vorgestellt, ein offener Encoder, der einen Sachverhalt nur einmal liest und parallel mehrere typisierte Entscheidungsfragen beantwortet. Durch ein strukturiertes Attention-Maskierungssystem bleibt die Zustandsenkodierung unabhängig von den Fragen, während gegenseitige Beeinflussungen ausgeschlossen werden. Im Vergleich zu herkömmlichen Cross-Encodern erzielt das Modell auf spezialisierten Benchmarks eine signifikant höhere Genauigkeit und stimmt

arxiv.org · 16.10. 06:00

Paarweise AUC-Optimierung benötigt Korrekturkraft: Eine vereinheitlichte Perspektive

Das direkte Training mit paarweisen AUC-Surrogaten zielt zwar optimal auf Ranking-Metriken ab, garantiert jedoch keine ausreichende Korrekturkraft stochastischer Updates bei schweren Klassifizierungsfehlern. Forscher analysieren diese Lücke über die sogenannte Korrekturkraft und zeigen, dass herkömmliches paarweises Training in Regionen geraten kann, in denen selbst stochastische Gradientenabstiege keine nützlichen Korrekturbewegungen mehr erzeugen. Die theoretische Untersuchung entarteter U-Statistiken in paarweis

arxiv.org · 16.10. 06:00

RDL-Bench: Ein Benchmark für aufgabenbewusste Frage-Antwort-Systeme über relationale Datenbanken

RDL-Bench schließt eine Lücke bei natürlichsprachlichen Schnittstellen zu relationalen Datenbanken, indem es sowohl begründungsbasierte als auch vorhersageorientierte Fragestellungen unter Berücksichtigung temporaler Einschränkungen vereint. Das Benchmark-System strukturiert reale Nutzeranfragen in logische Analyseaufgaben des aktuellen Datenbankzustands und prädiktive Inferenzaufgaben auf Basis historischer Datensätze. Dadurch ermöglicht es eine differenzierte Evaluation sowohl nativer Problemlöser als auch modula

arxiv.org · 15.10. 06:00

TopicMerge: Ein Divide-and-Conquer-Ansatz für Topic Modeling

Das neu entwickelte Verfahren TopicMerge verbindet effiziente Einbettungsmethoden mit der Leistungsfähigkeit von Large Language Models, um Dokumentenkorpora skalierbar und präzise zu strukturieren. Zunächst wird ein Korpus durch ein schnelles Clustering in feingranulare Mikro-Cluster unterteilt. Anschließend steuert ein iterativer Algorithmus auf Basis von LLMs die semantische Zusammenführung dieser Einheiten, wodurch die Anzahl der erforderlichen Modellaufrufe im Vergleich zu herkömmlichen Dokumentenansätzen drast

arxiv.org · 12.10. 06:00

Entwurf von Proteinstrukturen aus natürlicher Sprache

Mit Prompteina wurde ein neues KI-Modell zur Erstellung von All-Atom-Proteinstrukturen vorgestellt, das sich durch natürliche Sprache steuern lässt. Das Modell basiert auf einem eigens entwickelten Datensatz mit Millionen von Strukturen und Beschreibungen, die globale sowie spezifische Funktionseigenschaften abbilden. In Leistungstests übertrifft das System bisherige Ansätze bei zahlreichen Struktur- und Bindungsaufgaben deutlich. Auch experimentelle Validierungen an komplexen Zielstrukturen zeigten erfolgreiche Er

arxiv.org · 09.10. 06:00

Erst klären, dann fokussieren: Aussage-Normalisierung für Konversationsanalysen in großem Maßstab

Für die effiziente Auswertung von Millionen Kundendialogen wurde ein Verfahren zur Normalisierung von Konversationen entwickelt. Dabei werden Dialoge in kurze, sprecherbezogene Aussagen mit Quellverweisen und semantischen Tags transformiert, um wiederkehrende interpretatorische Arbeit zu vermeiden. Diese Aufbereitung ermöglicht es nachgeschalteten Modellen, gezielt relevante Informationen zu extrahieren. Durch die Auslagerung der Vorverarbeitung lässt sich eine vollständige Inferenz-Pipeline aus kleineren, kostengü

arxiv.org · 09.10. 06:00

Überbewertung bei der Argumentation geschlechtsspezifischer Wirtschafts-Memes unter multimodaler Mehrdeutigkeit

Multimodale Modelle neigen bei der Analyse ambivalenter Internet-Memes oft zu verzerrten und stereotypen Zuweisungen geschlechtsspezifischer Wirtschaftsrollen, wenn kontextuelle Beweise fehlen. Zur Lösung dieses Problems wurde das Framework CGER-Net entwickelt, das die Evidenzlage von Bild-Text-Kombinationen prüft und bei unzureichenden Hinweisen eine prinzipielle Enthaltung ermöglicht. Evaluierungen auf dem Datensatz EconMeme-GE zeigen eine signifikante Reduktion von Fehlschlüssen bei ambigen Instanzen, während di

arxiv.org · 05.10. 06:00

Erklärbare Suizidrisikobewertung in sozialen Medien durch Multi-Task-QLoRA

Ein neuartiges System zur automatisierten und erklärbaren Bewertung von Suizidrisiken in Social-Media-Beiträgen kombiniert Risikoklassifikation, Beweisextraktion und Faktorentidentifikation. Der Ansatz basiert auf feinabgestimmten Sprachmodellen unter Verwendung von quantisierter Low-Rank-Adaption und optimierten Trainingszielen über mehrere Aufgaben hinweg. Durch Aggregationsstrategien wie Wahrscheinlichkeitsmittelung und Kreuzvalidierungs-Konsens erzielt das Modell auf offiziellen Benchmarks hohe Leistungswerte.

arxiv.org · 05.10. 06:00

TACTICS: Taxonomie-bewusstes, intelligentes Korpus-Sampling für maschinelle Übersetzung

Großskalige Systeme zur maschinellen Übersetzung werden üblicherweise anhand zufälliger Stichproben evaluiert, was keine verlässliche Abdeckung von seltenen Phänomenen oder dokumentenweiter Kohärenz garantiert. Ein neu entwickelter Ansatz namens TACTICS formuliert die Testabdeckung als explizites Optimierungsziel, indem eine hierarchische Taxonomie aus Stilrichtlinien abgeleitet und Segmente entsprechend klassifiziert werden. Durch die gemeinsame Optimierung von seltenen Kategorien, Kontextkohärenz und Verteilungst

arxiv.org · 05.10. 06:00

Satzbasierte Kontextsensitivität als trainingsfreier Detektor für unbelegte Inhalte in Retrieval-Augmented Generation

Für den Einsatz von Retrieval-Augmented Generation in sensiblen Bereichen wie der Medizin und Justiz ist die Verlässlichkeit der generierten Antworten von entscheidender Bedeutung. Ein neuer Ansatz nutzt die Kontrastanalyse der Ausgabewahrscheinlichkeit mit und ohne Quellenkontext als trainingsfreien Detektor, um unbelegte Sätze in mehrteiligen Antworten zu identifizieren. Durch die isolierte Neubewertung einzelner Textabschnitte gelingt es, die Erkennungsgenauigkeit im Vergleich zu herkömmlichen Antwort-Metriken s

arxiv.org · 03.10. 06:00

Ein kanalverstärktes Multi-Agenten-System mit iterativer Konsultation zur Klassifikation von Dokumentensensitivität

Kritische Infrastrukturen stehen vor der Herausforderung, heterogene Dokumente automatisiert und präzise auf ihre Sensitivität zu prüfen, um manuelle und fehleranfällige Prozesse abzulösen. Herkömmliche Encoder-Modelle stoßen bei langen Texten aufgrund von Token-Begrenzungen und dem Verlust relevanter Abschnitte an strukturelle Grenzen. Ein neues Multi-Agenten-System kombiniert kanalverstärkte Textverarbeitung mit iterativen Konsultationsprozessen, um Evidenzen aus dem Anfangs- und Endbereich langer Dokumente effiz

arXiv – cs.CL 343 Artikel Forschung
arxiv.org · 11.11. 06:00

WarBias: Ein zweisprachiger LLM-Benchmark für Stereotype über Binnenvertriebene und Veteranen

Forscher haben WarBias vorgestellt, einen zweisprachigen Ukrainisch-Englisch-Benchmark zur Messung sozialer Vorurteile in großen Sprachmodellen gegenüber Binnenvertriebenen und Veteranen. Diese oft vernachlässigten gesellschaftlichen Gruppen fallen meist nicht unter gesetzlich geschützte Merkmale, weshalb entsprechende Stereotype bislang selten evaluiert wurden. Der Benchmark umfasst eine Taxonomie von 120 Stereotyp-Behauptungen sowie strukturierte Datensätze für Satzvergleiche und Multiple-Choice-Fragen in beiden

arxiv.org · 11.11. 06:00

Gerücht oder Fakt: Wie Framing und Elicitation die Wahrscheinlichkeitsaktualisierung bei LLMs beeinflussen

In einer umfassenden Untersuchung über diverse Sprachmodelle hinweg wird analysiert, wie unterschiedliche Formulierungen und Abfrageverfahren die Aktualisierung von Wahrscheinlichkeiten in logischen Inferenzaufgaben steuern. Die Ergebnisse zeigen konsistente Muster bei der Beeinflussung durch Framing-Effekte und Mehrkandidaten-Abfragen über verschiedene Modellarchitekturen hinweg. Dabei erweisen sich bestimmte Hypothesen zur Richtungsänderung und Entropie als robust gegenüber methodischen Anpassungen. Die Arbeit li

arxiv.org · 11.11. 06:00

UD_Czech-PDTC: Ein großer und genre-reicher Treebank in Universal Dependencies

Der Prague Dependency Treebank-Consolidated wurde erfolgreich in das Universal-Dependencies-Framework konvertiert. Der neue Datensatz zeichnet sich im Vergleich zur Originalversion durch eine mehr als verdoppelte Größe sowie eine deutlich größere Vielfalt an Textgenres und Domänen aus. Im Rahmen der Konvertierung wurden strukturelle Unterschiede in der Topologie der Dependenzstrukturen sowie in den Inventaren von Wortarten und Relations-Tags analysiert und harmonisiert. Dies ermöglicht eine präzisere sprachübergrei

arxiv.org · 11.11. 06:00

Semantische Bewegung Anker: Verknüpfung von Bewegung und Bedeutung in begleitenden Gesten

Die Verknüpfung von gesprochener Sprache und Gestik stellt die Forschung aufgrund der komplexen semantischen Inhalte vor Herausforderungen. Ein neuer Ansatz verwendet natürlichsprachliche Abstraktionen von 3D-Gesten, um physikalische Form und kommunikative Absicht zu erfassen. Durch die Diskretisierung von Körper- und Handbewegungen in primitive Einheiten sowie deren Verbalisierung wird eine präzisere kontrastive Überwachung ermöglicht. Experimente auf dem BEAT2-Datensatz zeigen signifikante Verbesserungen bei der

arxiv.org · 11.11. 06:00

StateRAG: Typisierte Statusverträge für komplexe Retrieval-Augmented Generation

StateRAG ist ein neues Framework für mehrstufige Retrieval-Augmented Generation, das die Verfolgung von Informationsbedürfnissen, Beweisen und verbleibenden Lücken durch explizite Statusverträge optimiert. Das System koordiniert vier spezialisierte Komponenten wie Planner, Navigator, Retriever und Verifier über strukturierte Statusfelder und validiert alle Aktualisierungen durch einen zentralen Controller. Dadurch werden inkonsistente Statusüberschreibungen vermieden und präzisere Antworten ermöglicht. In Benchmark

arxiv.org · 11.11. 06:00

Projektiertionsfreie Evolutionsstrategien für die kontinuierliche Prompt-Suche

Die kontinuierliche Prompt-Suche stellt eine effiziente Alternative zur klassischen Parameteranpassung in der natürlichen Sprachverarbeitung dar, leidet jedoch oft unter hochdimensionalen Zielfunktionen. Bisherige Ansätze nutzen meist zufällige Projektionen in niederdimensionale Teilräume, welche die intrinsische Struktur des Prompt-Raums jedoch unzureichend abbilden. Als Lösung wurde ein projektiertionsfreier Ansatz auf Basis von Evolutionsstrategien entwickelt, der direkt im vollständigen Raum optimiert. Ergänzen

arxiv.org · 11.11. 06:00

Lineares Minimum Bayes Risk Decoding mit Referenzaggregation

Minimum Bayes Risk Decoding ist eine effektive Technik zur Textgenerierung in der maschinellen Übersetzung, leidet jedoch unter einem hohen quadratischen Rechenaufwand bei der paarweisen Bewertung von Sequenzen. Forscher haben nun einen Ansatz vorgestellt, der die Komplexität durch die Verwendung aggregierter Referenzrepräsentationen von der quadratischen zur linearen Ordnung reduziert. Dadurch lässt sich der enorme Rechenaufwand drastisch senken, während die durch das Verfahren erzielten Qualitätsgewinne in der Üb

arxiv.org · 11.11. 06:00

Verwischte Blockgrenzen: Überlappende Block-Entrauschung für effiziente Diffusionssprachmodelle

Diffusionssprachmodelle bieten eine latenzarme Alternative zu autoregressiven Modellen, leiden jedoch oft unter sequenziellen Engpässen bei der Blockverarbeitung. Ein neues, trainingsfreies und hyperparameterfreies Verfahren namens Blurring the Block Boundaries ermöglicht die parallele Verfeinerung zweier Blöcke in einem gemeinsamen Vorwärtsdurchlauf. Das System kalibriert sich dynamisch und startet nachfolgende Blöcke, sobald das Modell für die Generierung bereit ist. Evaluierungen auf Basis moderner Diffusionsspr

arxiv.org · 11.11. 06:00

Zeichengenaue Erkennung von Halluzinationen in bildbasierten Vision-Language-Modellen

Ein Forschungsteam hat ein System zur zeichengenauen Erkennung von Halluzinationen in Antworten bildbasierter Vision-Language-Modelle entwickelt, das auf der Architektur von Gemma-4-12B-it mit trainierbaren LoRA-Adaptern basiert. Durch eine wiederholte Eingabe der Antwort innerhalb eines Prompts wird ein bidirektionaler Kontext in einem nicht-autoregressiven Durchlauf erzeugt, um Halluzinationen über verschiedene Sprachräume hinweg präzise zu lokalisieren. Der Ansatz erzielt auf einem geschlossenen Testdatensatz ei

arxiv.org · 11.11. 06:00

PolyRoute: Ein mehrsprachiger Benchmark für typisierte Entscheidungsrouten mit Basismodellen und Bestenliste

Zur Evaluierung von typisierten Entscheidungs-Encodern außerhalb des englischen Sprachraums wurde der Benchmark PolyRoute entwickelt. Das Framework umfasst strukturierte Nachrichten in zwölf Sprachen, neun Schriftsystemen sowie verschiedenen Code-Mixing-Varianten für standardisierte Routing-Prozesse. Die Validierung der synthetischen Datensätze erfolgte durch den Einsatz mehrerer Sprachmodelle zur Sicherung einer hohen Datenqualität. Ein begleitender Vergleich verschiedener Architekturen zeigt deutliche Leistungsun

arxiv.org · 11.11. 06:00

LLM-Validierung vereinfacht Minimal-Paar-Benchmarks für Sprachmodelle

Die Validierung von Minimal-Paar-Benchmarks durch große Sprachmodelle bietet eine kosteneffiziente Alternative zur menschlichen Annotation, weist jedoch spezifische Einschränkungen auf. Untersuchungen mit Datensätzen wie BLiMP und QFrBLiMP zeigen, dass automatisierte Validierungsansätze zwar eine hohe Übereinstimmung mit menschlichen Mehrheitsentscheidungen erreichen, aber systematische Fehler bei der Filterung aufweisen. Das Herausfiltern von Beispielen, bei denen Sprachmodelle im Gegensatz zu Menschen versagen, e

arxiv.org · 11.11. 06:00

HiCAP: Hierarchische kulturelle Anpassung durch Persönlichkeit für die Dialoggenerierung

Das neue Framework HiCAP integriert Persönlichkeitsmerkmale in die kulturell adaptive Dialoggenerierung, um sprachliche Normen und soziale Erwartungen verschiedener Kulturen besser zu berücksichtigen. Ein persönlichkeitskonditionierter Kontrollmechanismus moduliert den Antwortstil hierarchisch, indem er diesen zunächst an den kulturellen Ton anpasst und anschließend den sprachlichen Ausdruck sowie den Inhalt verfeinert. Durch die Kombination von überwachtem Feintuning und instruktionsbasiertem Tuning mithilfe dynam

arxiv.org · 11.11. 06:00

Ein Multi-Wort-Tokenizer für 204 Sprachen mit höherer Effizienz als GPT-4o

Mit Havon wurde eine neue Familie von Byte-Level-BPE-Tokenizern entwickelt, die 204 Sprachen abdeckt und insbesondere für indische und romanische Sprachen eine deutlich höhere Kompression als der GPT-4o-Tokenizer erreicht. Durch einen speziellen zweistufigen Trainingsansatz namens SuperBPE reduziert die vierte Version den Token-Bedarf bei gleicher Vokabelgröße selbst im Englischen im Vergleich zu etablierten Modellen. Die Weiterentwicklung optimiert zudem die Verarbeitung von Quellcode und steht in mehreren Program

arxiv.org · 11.11. 06:00

Brasilidade: Messung der brasilianischen Identität für große Sprachmodelle

Mit Brasilidade wurde ein neuer Benchmark zur Evaluierung großer Sprachmodelle im brasilianischen Portugiesisch vorgestellt. Die Methodik umfasst standardisierte Aufgaben in vier Domänen, wobei der erste Teil sprachliche Nuancen, Grammatik und regionale Varianten abbildet. Die Testergebnisse zeigen, dass die Modellgröße allein nicht ausschlaggebend für die Leistung ist, da einige mittelgroße Modelle größere Architekten übertreffen konnten. Zudem offenbaren die Resultate spezifische Defizite sowohl bei allgemeinen a

arxiv.org · 11.11. 06:00

Neues Dekodierungsverfahren reduziert Halluzinationen in multimodalen Diffusionssprachmodellen

Multimodale Diffusionssprachmodelle leiden oft unter temporären Entropiespitzen während des iterativen Entrauschens, die direkt mit Halluzinationen zusammenhängen. Als Gegenmaßnahme wurde StepRefine entwickelt, eine flexible Dekodierungsstrategie zur adaptiven Steuerung zwischen diskreter Token-Generierung und kontinuierlicher Latenzverfeinerung. Durch die Messung von Entropieabweichungen und den Einsatz wahrscheinlichkeitsgewichteter Einbettungen bewahrt das Verfahren alternative semantische Hypothesen in kritisch

arxiv.org · 11.11. 06:00

Von relevanten Beiträgen zu zurechenbaren Textabschnitten: Explizite Symptom Evidenz für die Inferenz von Depressionsfragebögen

Zur präzisen Auswertung standardisierter Depressionsfragebögen aus Social Media Verlaufshistorien wurde eine neue Pipeline namens SREE entwickelt. Die Methode filtert gezielt erstsprachliche und symptomspezifische Textabschnitte heraus, um irreführende Kontextdaten auszuschließen. Mithilfe eines an die Standortoptimierung angelehnten Auswahlverfahrens und einer evidenzgesteuerten Inferenz übertrifft der Ansatz bestehende semantische Suchverfahren deutlich in Präzision und F1-Score. Damit lassen sich Fragebogenantwo

arxiv.org · 09.11. 06:00

FindLink: Bewertung wissenschaftlicher Verbindungen aus quellenbasierten Prämissen

Für den wissenschaftlichen Erkenntnisgewinn ist es entscheidend, Verbindungen zwischen Forschungsergebnissen unter unterschiedlichen Bedingungen zu bewerten. Zur Lösung dieses Problems wurde der Benchmark GI-TraceBench mit über zehntausend Fragen in der gastrointestinalen Onkologie sowie das zweistufige Framework FindLink entwickelt. Das System kombiniert quellenbasierte Prämissenvalidierung mit strukturiertem, durch einen deterministischen Compiler überwachten logischen Schließen. Dadurch wird die Leistung bei kom

arxiv.org · 09.11. 06:00

DunbaaBERT: Neue Sprachmodelle für Urdu

Mit DunbaaBERT wurde eine neue Familie von RoBERTa-basierten Sprachmodellen für die Urdu-Sprache vorgestellt, die von Grund auf auf einem bereinigten Korpus von 17 Gigabyte trainiert wurden. Die Modelle wurden anhand verschiedener Benchmarks für Sprachakzeptanz, Nachrichtenklassifikation, Erkennung anstößiger Sprache und Sentimentanalyse evaluiert. Dabei zeigen die Varianten eine starke Wettbewerbsfähigkeit gegenüber mehrsprachigen Alternativen und bieten günstige Effizienzvorteile. Die Untersuchungen zur Vokabular

arxiv.org · 09.11. 06:00

Datenschutzfreundlicher, natürlicher Sprachzugriff auf industrielle Smart-Meter-Daten

Für das Energiemanagement und den Netzbetrieb stellt die Analyse großer Telemetriedaten oft eine technische Hürde dar, während strenge Datenschutzvorgaben den Einsatz von Cloud-basierten Sprachmodellen erschweren. Als Lösung wurde OpenMeter entwickelt, ein schemaunabhängiges Multi-Agenten-System, das natürlichsprachliche Abfragen in ausführbaren Code und verständliche Einblicke übersetzt. Die Architektur ermöglicht es auch nicht-technischem Personal, intuitiv mit komplexen Datenbanken zu interagieren und den Betrie

arxiv.org · 09.11. 06:00

Verbesserung des kontextbezogenen Retrievers für lange Dokumente durch semantisches Chunking und hybride Retrieval-Strategien

Herkömmliche Retrieval-Augmented-Generation-Systeme stoßen bei der Verarbeitung langer, verteilter Dokumente und komplexen Multi-Hop-Fragen häufig an Leistungsgrenzen. Ein neu vorgestelltes hybrides Framework kombiniert die strukturierte Repräsentation von Wissensgraphen mit der semantischen Abdeckung dichter Vektorretrieval-Verfahren. Durch den Einsatz einer mehrstufigen Pipeline mit transformatorbasierter Zusammenfassung und semantischem Chunking wird die Kontextkohärenz signifikant erhöht. Die Evaluierung auf de

arxiv.org · 09.11. 06:00

Kompakuierung, Zerfall und Verstärkung in einem zweistufigen Konversationsgedächtnis im Vergleich zu Retrieval-Augmented Generation

Untersuchungen an Conversational Agents zeigen, dass die Kompakuierung von Dialogen in atomare Fakten der klassischen Retrieval-Augmented Generation bei sachbezogenen Antworten überlegen ist und gleichzeitig den Token-Verbrauch reduziert. Die Methode verliert jedoch an Wirksamkeit, wenn Antworten präzise Wortlaute aus der Quelle erfordern. Zudem wurden vier negative Resultate inklusive statistischer Power-Berechnungen ermittelt.

arxiv.org · 09.11. 06:00

Zur Effektivität und zu Grenzen von Open-Weight-LLMs bei der Erkennung offensiver Sprache im Dänischen

Die Studie untersucht die Leistungsfähigkeit von Open-Weight-Modellen wie Llama, Mistral, Gemma und Qwen bei der Erkennung beleidigender Inhalte im Dänischen als ressourcenarmem Szenario. Anhand verschiedener Prompting-Strategien und Modellarchitekturen zeigt sich, dass vortrainierte Sprachmodelle auch ohne spezifisches Feintuning klassische BERT-Baselines übertreffen können. Semantisch fundierte Prompts erweisen sich als besonders robust, während Klassenungleichgewichte und Datenverzerrungen weiterhin signifikante

arxiv.org · 09.11. 06:00

Syn2DRE: Synergetisches Duales Teacher-Student-Framework für dokumentenbasierte RelationsEXTRAKTION

Für die dokumentenbasierte RelationsEXTRAktioN wurde das semi-supervidierte Framework Syn2DRE entwickelt, welches selbstüberwachtes Lernen mit Kreuzüberwachung in einer kompakten Teacher-Student-Architektur verbindet. Durch diesen Ansatz lassen sich zuverlässigere Pseudolabel generieren und Bestätigungsfehler bei der Nutzung qualitativ minderwertiger Daten reduzieren. Eine integrierte End-to-End-Trainingsstrategie steigert zudem die Effizienz des gesamten Prozesses. Umfangreiche Evaluierungen auf gängigen Benchmark

arxiv.org · 09.11. 06:00

Multilinguale künstliche Datensätze für die KI-gestützte Kardiologie: Die Korpora CliTe und ParaCliTe

Zur Förderung vertrauenswürdiger Sprachmodelle in der Kardiologie wurden neue, multilinguale und datenschutzkonforme Korpora künstlicher klinischer Berichte entwickelt. Unter Mitwirkung europäischer Kardiologen entstanden die Datensätze CliTe und ParaCliTe in sieben europäischen Sprachen, darunter Deutsch, Englisch und Spanisch. Die Ressourcen umfassen medizinische Dokumente wie Arztbriefe und Ambulanzberichte fiktiver Patienten mit ischämischen Herzkrankheiten oder Herzinsuffizienz. Empirische Auswertungen demonst

arxiv.org · 09.11. 06:00

Die unsichtbare Lücke: Die Generierung romanisierter indischer Sprachen scheitert, wo automatisierte Metriken versagen

Obwohl hunderte Millionen Menschen digitale Systeme in romanisierten indischen Schriften nutzen, fehlen entsprechende Tests in gängigen Benchmarks und Evaluations-Frameworks. Eine Untersuchung von Sprachmodellen wie GPT-5.5, Claude Opus 4.8, Gemini 2.5-flash und Qwen3.5-35B zeigt, dass automatisierte Metriken wie BGE-M3 oder BERTScore die tatsächliche Qualität bei Sprachen wie Hindi, Telugu und Kannada systematisch falsch bewerten. Dabei treten modellspezifische Schwächen wie unerwartete Skriptwechsel oder komplett

arxiv.org · 09.11. 06:00

Einsatz von Sprachmodellen zur Bewältigung schwieriger Fälle bei der Named Entity Recognition in nepalesischen Tweets

Die Erkennung benannter Entitäten in Social-Media-Daten stellt insbesondere bei ressourcenarmen Sprachen eine erhebliche Herausforderung dar. Obwohl klassische vortrainierte Sprachmodelle auf diesem Gebiet oft überlegen sind, zeigen große Sprachmodelle Stärken bei besonders komplexen Testfällen. Anhand eines Datensatzes nepalesischer Tweets wurde evaluiert, wie verschiedene Prompt-Konfigurationen die Leistung auf schwierigen Datenpunkten beeinflussen. Durch die gezielte Auswahl semantisch ähnlicher Beispiele und ei

arxiv.org · 09.11. 06:00

Semantic Conditional Similarity (SCS): Ein formaler mathematischer Rahmen

Mit Semantic Conditional Similarity wird ein neuer mathematischer Rahmen zur Textähnlichkeit vorgestellt, der über klassische paarweise Vergleiche hinausgeht. Durch die Eliminierung gemeinsamer semantischer Inhalte mittels mengentheoretischer Operationen ermöglicht der Ansatz die Bestimmung marginaler Beiträge in multidokumentären Kontexten. Das Verfahren führt gerichtete, rollenabhängige Asymmetrien ein und trennt geteilte von residualen Inhalten ohne willkürliche Schwellenwerte. Damit lassen sich komplexe Beziehu

arxiv.org · 09.11. 06:00

Kontextualität und Widersprüche: Erforschung realer Identifikationen von KI-generierten Texten

In einer wissenschaftlichen Untersuchung wurden die realen Praktiken und Diskurse zur Identifikation von KI-generierten Texten bei Wikipedia-Editoren und Studierenden analysiert. Die Forscher kombinierten qualitative Kodierung mit computergestützten Analysen lexikalischer Veränderungen und stellten fest, dass Erkennungen stark kontextabhängig, dynamisch und oft widersprüchlich sind. Häufig motiviert nicht ein spezifisches Textelement die Annahme eines KI-Ursprungs, sondern eine pragmatische Diskrepanz zum erwartete

arxiv.org · 06.11. 06:00

FindLink: Bewertung wissenschaftlicher Verbindungen auf Basis quellengestützter Prämissen

Für den wissenschaftlichen Erkenntnisgewinn ist es entscheidend, Zusammenhänge zwischen Forschungsergebnissen unterschiedlicher Studienbedingungen zu bewerten. Zur Lösung dieses Problems wurde das Framework FindLink sowie der Benchmark GI-TraceBench entwickelt, die Provenienz-Fragebeantwortung und strukturierte Hypothesenbewertung kombinieren. Das zweistufige Verfahren generiert quellengebundene Prämissen und organisiert diese in unterstützenden Planungsstrukturen, die durch deterministisches Compiler-Feedback vali

arxiv.org · 06.11. 06:00

Statistische Analysen zur Sprachstruktur des Voynich-Manuskripts

Mittels statistischer Tests wurde untersucht, ob das unverständliche Voynich-Manuskript eine echte natürliche Sprache abbildet oder bedeutungslose Kopien darstellt. Die Ergebnisse zeigen, dass bestimmte Kopiermodelle und komplexe Chiffren die vorliegenden statistischen Muster ähnlich gut erklären wie natürliche Sprachen. Dennoch weisen Linienvergleiche von Wortpaaren auf strukturelle Spuren hin, die am ehesten zu stark fehlerhaft kopierten Texten oder bestimmten historischen Verschlüsselungsmethoden passen. Umfasse

arxiv.org · 06.11. 06:00

Jeweils unzureichend auf eigene Art: Kalibrierung von Sprachmodellen über verschiedene Evidenzzustände hinweg

Sprachmodelle neigen oft dazu, Antworten zu generieren, obwohl die zugrundeliegende Evidenz nicht ausreicht. Zur Lösung dieses Problems wurde ein neues Verfahren zur Evidenzzustands-Kalibrierung entwickelt, das die Konfidenz eines Modells dynamisch an die verfügbare Datenbasis anpasst. Die Methode mit der Bezeichnung SuffiCE nutzt die im Next-Token-Distribution bereits vorhandene Unsicherheit und optimiert diese durch Fine-Tuning. Tests in Bereichen wie klinischer Diagnostik und komplexem Question Answering zeigen

arxiv.org · 06.11. 06:00

TACG: Trajektorienbasiertes Commit-Gating für das Decoding von Diffusions-Sprachmodellen

Diffusions-Sprachmodelle erzeugen Text iterativ über mehrere Entrauschungsschritte, wobei die Effizienz und Qualität stark von der Auswahl der übernommenen Token abhängen. Das neu entwickelte, trainingsfreie Verfahren Trajectory-Aware Commit Gating trennt den Token-Vorschlag von der eigentlichen Commit-Entscheidung, indem es zeitliche Muster und Logits-Historien analysiert. Durch diesen Ansatz lässt sich die Genauigkeit bei gleicher oder sogar geringerer Anzahl von Modellauswertungen im Vergleich zur klassischen Ko

arxiv.org · 06.11. 06:00

Soft Token Alignment für sprachübergreifendes Schließen

Multilinguale Sprachmodelle zeigen oft inkonsistente Ergebnisse bei semantisch identischen Prompts in verschiedenen Sprachen, da die Generierung stark von diskreten Ausgabetokens abhängt. Um dieses Problem zu lösen, wurde ein neues Hilfsziel für das überwachte Fine-Tuning namens SOLAR entwickelt, das Soft-Token-Repräsentationen über Sprachen hinweg mit Englisch als Pivot-Sprache ausrichtet. Durch kontinuierliche Repräsentationen aus wahrscheinlichkeit gewichteten Vokabularmischungen wird die semantische Struktur wä

arxiv.org · 06.11. 06:00

JudgmentBench: Vergleich von Rubriken und Präferenzbewertung zur Qualitätsanalyse

Zur Untersuchung unterschiedlicher Evaluierungsmethoden für Sprachmodelle wurde JudgmentBench veröffentlicht, ein neues Benchmark aus dem Bereich komplexer juristischer Aufgaben. Der Datensatz umfasst von US-Anwälten generierte Bewertungen in Form von vordefinierten Kriterien und paarweisen Präferenzvergleichen. Erste empirische Analysen zeigen, dass vergleichende Urteile die beabsichtigte Qualitätsreihenfolge deutlich präziser abbilden als klassische Rubriken und dabei weniger als die Hälfte der Annotationszeit er

arxiv.org · 06.11. 06:00

Projektionsfreie Evolutionsstrategien für die kontinuierliche Prompt-Suche

Die kontinuierliche Prompt-Suche bietet eine effiziente Alternative zum herkömmlichen Parameter-Tuning in der natürlichen Sprachverarbeitung, leidet jedoch oft unter hochdimensionalen Zielfunktionen. Bisherige Ansätze nutzen häufig zufällige Projektionen in niedrigdimensionale Unterräume, welche die intrinsische Struktur des Prompt-Raums jedoch unzureichend abbilden. Als Lösung wurde ein projektionsfreier Optimierungsansatz auf Basis evolutionärer Strategien entwickelt, der direkt im vollständigen Raum operiert und

arxiv.org · 06.11. 06:00

Neubewertung der Positionssupervision im Training maskierter Diffusionssprachmodelle

Maskierte Diffusionssprachmodelle generieren Text durch paralleles Aufheben von Maskierungen und nutzen standardmäßig einen positionsbasierten Cross-Entropy-Verlust. Eine Untersuchung am Modell LLaDA-8B-Instruct zeigt jedoch, dass bereits geringe Positionsverschiebungen von nur einem Prozent der Tokens die Ausgabequalität bei der iterativen Dekodierung drastisch verschlechtern. Zur Behebung dieses Problems adaptieren Forschende die aus der Spracherkennung bekannte Connectionist-Temporal-Classification-Zielfunktion

arxiv.org · 06.11. 06:00

Polaritätsklassifikation durch syntaxangereichertes Multitask-Lernen

Für eine effizientere Sentimentanalyse wurde der Einsatz von syntaktischem Wissen in neuronale Modelle mittels Multitask-Lernen untersucht. Dabei wurden zwei Strategien verglichen: ein gemeinsames Training von Dependenzparsing und Polaritätsklassifikation sowie ein ansatzloses, kontrastives Hilfsziel mit syntaxbiasierter Aufmerksamkeitsbündelung. Die Auswertung über elf multilinguale Datensätze zeigt, dass die implizite syntaktische Steuerung während des Trainings eine explizite Parser-Anwendung in der Inferenzphas

arxiv.org · 06.11. 06:00

Ein menschlich annotierter Benchmark für arabischen Diskurs über Angst

Forscher haben einen neuen Benchmark zur Analyse von Angstbezogenem Diskurs im arabischen Raum auf Basis von Twitter-Daten vorgestellt. Der Datensatz umfasst 1.000 Posts, die manuell von Muttersprachlern für sechs verschiedene Diskursfunktionen annotiert und in einem Konsultationsprozess validiert wurden. Im Rahmen von Evaluationen erreichte das Sprachmodell Fanar-C-2-27B eine Genauigkeit von 79,8 Prozent. Der Datensatz, die Annotationsrichtlinien sowie der zugehörige Evaluierungscode wurden öffentlich zugänglich g

arxiv.org · 06.11. 06:00

CardioLM: Eine multilinguale Suite kleiner Sprachmodelle für die Kardiologie

Die Kardiologie erzeugt umfangreiche klinische Freitextdokumentationen, während spezialisierte NLP-Ressourcen oft auf die englische Sprache beschränkt sind. Als Lösungsansatz wurden der kardiologische Korpus CardioCCC in sieben Sprachen sowie die Sprachmodell-Suite CardioLM entwickelt, die aus domänenspezifischen Encodern und NER-Modellen zur Entitätenerkennung besteht. Die Ergebnisse zeigen, dass insbesondere ein multilinguales, gemeinsames Training die Erkennungsleistung drastisch verbessert und eine effizientere

arxiv.org · 06.11. 06:00

AraEngage: Interpretierbare linguistische Korrelate von Nutzerinteraktionen in arabischen Facebook-Nachrichten

Mit AraEngage wurde ein auf 10.000 öffentlich zugänglichen arabischen Facebook-Beiträgen basierender Datensatz entwickelt, um sprachliche Indikatoren für Nutzerinteraktionen zu untersuchen. Mithilfe von Random-Forest-Modellen und SHAP-Analysen zeigt sich, dass insbesondere religiöse Ausdrücke, Text- und Satzlänge sowie die lexikalische Dichte stark mit der Interaktionsrate korrelieren. Eine linguistische Überprüfung offenbart jedoch erhebliche Messfehler durch lexikalische Mehrdeutigkeiten im unvokalierten Arabisch

arxiv.org · 06.11. 06:00

Datensatzkuratierung und Feinabstimmung von NLLB für die Deutsch-Englisch-Übersetzung

Für die Optimierung der maschinellen Übersetzung zwischen Deutsch und Englisch wurde eine hochwertige parallele Textbasis aus OPUS Books erstellt. Durch einen mehrstufigen Filterungsprozess entstand aus 45.000 rohen Satzpaaren ein bereinigter Korpus von 25.000 Einträgen. Auf dieser Grundlage erfolgte die ressourceneffiziente Feinabstimmung des Modells NLLB-600M von Meta für den Einsatz auf Consumer-Grafikkarten. Das angepasste Modell übertrifft die Basisversion bei literarischen und technischen Texten deutlich in g

arxiv.org · 06.11. 06:00

Automatisierte Video-zu-QA-Pipeline: End-to-End-Fragenerstellung und -verifizierung mit Large Language Models

Zur effizienten Wissensextraktion aus Videodaten wurde eine vollautomatisierte End-to-End-Pipeline entwickelt, die strukturierte Zusammenfassungen und präzise Frage-Antwort-Paare generiert. Das System kombiniert Audioteilung mittels FFmpeg, Spracherkennung durch Whisper und Textsegmentierung mit BART. Ein zentrales Element ist eine Selbstverifizierungs- und Feinabstimmungsschleife basierend auf Llama-3.1-8B-Instruct, welche Kandidatenpaare generiert, bewertet und mittels LoRA für domänenspezifische Aufgaben optimie

arxiv.org · 06.11. 06:00

Matriarchy Classics: Ein computergestützter Ansatz zum gezielten Tausch geschlechtsspezifischer Wörter in klassischen Romanen

Forscher stellen eine deterministische Methode zur Geschlechterumkehrung in gemeinfreien Romanen vor, die programmatisch sicherstellt, dass ausschließlich geschlechtsspezifische Wörter vertauscht und alle restlichen Textbestandteile exakt beibehalten werden. Gängige Large Language Models sowie naive regelbasierte Ansätze scheitern bislang an dieser Aufgabe. Die vorgestellte Pipeline nutzt einen whitespace-erhaltenden Tokenizer, grammatikalisch differenzierte Zuordnungen für Pronomen, Plural- und Possessivformen sow

arxiv.org · 06.11. 06:00

Hürden bei Krebsvorsorgeuntersuchungen: Analyse von Online-Communities durch Text Mining

Ungleichheiten bei Krebsvorsorgeuntersuchungen stellen im US-Gesundheitssystem weiterhin eine Herausforderung dar, wobei die von Patientinnen und Patienten geschilderten Hindernisse oft unzureichend erfasst werden. In einer aktuellen Studie wurde eine groß angelegte Analyse von über 56.000 Beiträgen aus sechs kreffspezifischen Reddit-Communities durchgeführt, um reale Barrieren systematisch zu ermitteln. Durch die Kombination von Keyword-Filterung, qualitativem Open Coding und Codebook-Synthese extrahierten Forsche

arxiv.org · 06.11. 06:00

Konsistent und kontextual: Modellierung von Autorenstilen für die Urheberschafts Zuordnung

Traditionelle Ansätze zur Urheberschaftsbestimmung modellieren meist nur den Dokumentstil, vernachlässigen jedoch die stilistische Vielfalt der Autoren selbst. Ein neuer Ansatz bildet mehrere konsistente, aber unterschiedliche Schreibstile eines Autors ab, was zu signifikanten Leistungssteigerungen bei der Identifikation führt. Mithilfe dieses Modells untersuchten Forscher, unter welchen Bedingungen Autoren am idiomatischsten schreiben, darunter Publikumsgrösse, zeitlicher Abstand, Kontext und Genrenormen. Die Erge

arxiv.org · 06.11. 06:00

Automatisiertes Feedback für studentische Tutoren steigert das mathematische Denken von Lernenden

Eine groß angelegte randomisierte kontrollierte Studie mit über 1.000 Tutoren und 7.400 Lernenden auf der Plattform Schoolhouse.world untersuchte die Auswirkungen automatisierten Feedbacks auf den Unterrichtsdialog in Online-Mathematik-Bootcamps. Die Ergebnisse zeigen, dass automatisiertes Feedback für Tutoren deren Gesprächsführung sowie das mathematische Denken der Lernenden um acht bis fünfzehn Prozent verbessert. Allerdings veränderte sich das allgemeine Gesprächsverhältnis zwischen Tutoren und Lernenden durch

arxiv.org · 04.11. 06:00

MulTaBench: Ein neuer Benchmark für multimodales tabellarisches Lernen mit Text und Bild

Tabellarische Basismodelle erzielen zwar hervorragende Ergebnisse bei strukturierten Daten, unterstützen unstrukturierte Modalitäten wie Text und Bild jedoch oft nur unzureichend über eingefrorene Einbettungen. Um diese Lücke zu schließen, wurde MulTaBench vorgestellt, ein umfassender Benchmark aus 40 Datensätzen für Bild-Tabellen- und Text-Tabellen-Aufgaben. Der Fokus liegt auf prädiktiven Szenarien, in welchen die Modalitäten komplementäre Signale liefern und zielbewusste Repräsentationen erfordern. Experimente z

arxiv.org · 04.11. 06:00

Verbesserung der Extraktion von Wissensentitäten und -beziehungen in wissenschaftlichen Artikeln durch große Sprachmodelle

Diese Untersuchung evaluiert den Einsatz großer Sprachmodelle zur Extraktion von Entitäten und Relationen in wissenschaftlichen Fachartikeln. Dabei werden verschiedene Strategien wie Chain-of-Thought-Prompting, LoRA-adaptierte Open-Source-Modelle sowie kombinierte Architekturen aus kleinen und großen Sprachmodellen analysiert. Die Ergebnisse zeigen, dass ein per LoRA angepasstes T5-Modell auf eigens erstellten Datensätzen für Abstracts und Volltexte die höchsten F1-Werte erzielt. Zudem verdeutlichen Fehleranalysen

arxiv.org · 04.11. 06:00

Parametereffiziente Anpassung von Large Language Models an eine ressourcenarme agglutinierende Sprache: Ein Korpus, Datensätze und ein reproduzierbarer Benchmark für die baschkirische Sprache

Für die im Kontext moderner Sprachmodelle stark unterrepräsentierte baschkirische Sprache wurde ein umfassendes Open-Source-Ressourcenpaket sowie ein systematischer Benchmark für Anpassungsmethoden entwickelt. Das Paket umfasst ein Webkorpus mit knapp 47 Millionen Token sowie drei annotierte Datensätze für Textklassifikationsaufgaben. In umfangreichen Experimenten wurden acht Modellarchitekturen mit verschiedenen Adaptionsverfahren wie QLoRA, vollständigem Fine-Tuning und In-Context-Learning untersucht. Die Ergebni

arxiv.org · 04.11. 06:00

Vergleich von statischen und agentenbasierten RAG-Pipelines für taiwanesische historische Fragen

Eine vergleichende Untersuchung zwischen statischen und agentenbasierten Retrieval-Augmented-Generation-Pipelines im Kontext taiwanesischer historischer Fragestellungen zeigt, dass beide Ansätze trotz ähnlicher Gesamtleistung bei der Mehrzahl der Fragen unterschiedliche Ergebnisse liefern. Ein neu entwickelter post-hoc-Selektor nutzt diese Komplementarität aus, indem er die jeweiligen Antworten und Belege vergleicht, und übertrifft dadurch beide Einzelpipelines signifikant. Die Ergebnisse verdeutlichen, dass eine f

arXiv – cs.AI 89 Artikel Forschung
arxiv.org · 11.11. 06:00

ALTO: Ein Korpus zu technologiegestützter geschlechtsspezifischer Gewalt in afrikanischen und levantinischen Sprachen

Zur Verbesserung der Erkennung technologiegestützter geschlechtsspezifischer Gewalt in unterrepräsentierten Sprachen wurde der Datensatz ALTO entwickelt. In Zusammenarbeit mit zivilgesellschaftlichen Organisationen entstand ein Korpus mit 3022 annotierten Beispielen in levantinischem Arabisch, afrikanischem Französisch und Suaheli. Benchmarking-Experimente zeigen, dass bestehende Erkennungsmodelle ohne spezifisches Feintuning erhebliche Defizite aufweisen und insbesondere verdeckte Formen von Gewalt oft übersehen.

arxiv.org · 11.11. 06:00

StakeBench: Sprachverständnis durch Marktverpflichtung evaluieren

Mit StakeBench wurde ein neuer Evaluierungsrahmen vorgestellt, der das Sprachverständnis großer Sprachmodelle anhand tatsächlicher Marktverpflichtungen statt durch menschliche Annotationen misst. Das Framework verknüpft über 560000 Kommentare von Prognosemärkten wie Polymarket und Manifold mit verifizierten Positions- und Handelsdaten. Tests an 15 Sprachmodellen zeigen, dass diese zwar Marktsignale teilweise erkennen, jedoch bei komplexeren Aufgaben wie der Antizipation zukünftiger Handlungen strukturelle Schwächen

arxiv.org · 11.11. 06:00

PolyRoute: Ein mehrsprachiger Benchmark für typisierte Entscheidungsrouten mit Basismodellen und Bestenliste

Zur Evaluierung von typisierten Entscheidungs-Encodern außerhalb des englischen Sprachraums wurde der Benchmark PolyRoute vorgestellt. Das Framework umfasst strukturierte Nachrichten in zwölf Sprachen, neun Schriftsystemen sowie verschiedenen Code-Mixing-Varianten für automatisierte Routing-Prozesse. Ein systematischer Leistungsvergleich von dreizehn Systemen zeigt signifikante Unterschiede zwischen einsprachigen und multilingualen Architekturen. Die Validierung der generierten Daten erfolgte durch LLM-basierte Kre

arxiv.org · 11.11. 06:00

Ein Multi-Wort-Tokenizer für 204 Sprachen benötigt weniger Tokens als GPT-4o

Mit Havon v4 wurde ein neuer Byte-Level-BPE-Tokenizer entwickelt, der durch ein zweistufiges Trainingsverfahren mit SuperBPE eine deutlich höhere Kompression als GPT-4o erreicht. Bei identischer Vokabulargröße benötigt das Modell bei englischen Texten 6,1 Prozent weniger Tokens und übertrifft das GPT-4o-Vokabular in der Mehrheit der 204 unterstützten Sprachen sowie allen indischen Sprachen. Das System reduziert damit die Rechen- und Speicherkosten für mehrsprachige Sprachmodelle erheblich. Bislang wurden allerdings

arxiv.org · 11.11. 06:00

TIB: Stichprobenbasiertes Tempered Information Bottleneck für multimodale Attribution jenseits von Ausrichtungsannahmen

Multimodale Attributionsverfahren zur Modellinterpretierbarkeit basieren häufig auf der Annahme semantisch perfekt ausgerichteter Bild-Text-Paare, was in realen Datensätzen jedoch oft verletzt wird. Dies führt bei herkömmlichen Methoden auf Basis des Information Bottleneck zu strukturellen Einschränkungen wie erzwungenen Erklärungen. Als Lösung wird das Framework TIB vorgestellt, das die Attributionsstärke anpassbar und pro Stichprobe entsprechend der kreuzmodalen Zuverlässigkeit moduliert. Umfangreiche Experimente

arxiv.org · 11.11. 06:00

Brasilidade: Messung der brasilianischen Identität für große Sprachmodelle

Mit Brasilidade wurde ein neuer Evaluierungsbenchmark vorgestellt, der die Leistung großer Sprachmodelle im brasilianischen Portugiesisch anhand standardisierter Aufgaben in vier Domänen prüft. Erste Ergebnisse zeigen, dass die Modellgröße allein nicht ausschlaggebend für die Leistungsfähigkeit ist, da einige mittelgroße Modelle größere Alternativen übertrafen. Speziell für Portugiesisch trainierte Modelle schnitten zudem meist nur im Durchschnitt ab, was den Bedarf an zielgerichteten Evaluationsmethoden zur Identi

arxiv.org · 06.11. 06:00

Mehrwert statt Sprachmodell: Erkennung origineller Beiträge beim Schreiben

Zur Unterscheidung von rein maschinell erstellten Texten und echter menschlicher Wertschöpfung wurde ein neues Framework namens Value Over Language Model entwickelt. Der Ansatz bewertet nicht die sprachliche Oberfläche, sondern misst anhand schrittweiser Inhaltsrekonstruktion, wie viele originelle Informationen ein Autor im Vergleich zu einer reinen LLM-Ausgabe beigesteuert hat. Die Methode funktioniert ohne Trainingsdaten und bleibt robust gegenüber stilistischen Transformationen oder Übersetzungen. Damit lässt si

arxiv.org · 06.11. 06:00

Label-Wording-Augmentation in einem Typed-Decision-Encoder: Leistungssteigerung bei unbekannten Wörtern statt bei Abkürzungen oder Codes

Untersucht wurde der Einfluss von Label-Wording-Augmentation auf die Genauigkeit eines multilingualen Cross-Encoders mit 307 Millionen Parametern bei der Bewertung variierender Entscheidungsoptionen. Der Vergleich zweier Modellversionen zeigt, dass die erweiterte Version bei gewöhnlichen Wörtern, Fachjargon und Slang konsistent höhere Genauigkeiten erzielt. Bei kryptischen Abkürzungen und undurchsichtigen Codes zeigt sich hingegen kein messbarer Nutzen der Augmentierung. Zudem wurden spezifische Evaluierungsrisiken

arxiv.org · 06.11. 06:00

Verknüpfung von Struktur und Semantik: Wissensgraphen-Verifizierung durch Triple-Text-Ausrichtung

Zur Verbesserung der semantischen Genauigkeit von Wissensgraphen wurde ein generativer Verifizierer namens GenVer entwickelt. Das Verfahren kombiniert relationale Strukturen mit generierten natürlichen Sprachrepräsentationen durch einen Sequence-to-Sequence-Generator. Ein BERT-basierter Klassifikator wertet die kombinierten Merkmale aus und erzielt in Experimenten mit verschiedenen Datensätzen branchenweit führende Klassifikationsgenauigkeiten. Die Ergebnisse belegen das Potenzial generativer Darstellungen für die

arxiv.org · 06.11. 06:00

Enkodierung und Propagation grammatikalischer Numeri in Large Language Models

Mithilfe von Sparse Autoencoders wurde untersucht, wie Large Language Models grammatikalische Phänomene wie den Numerus intern repräsentieren und verarbeiten. Am Beispiel des Modells Pythia-70M sowie größerer Architekturen wie Gemma-2-2b und Llama-3.1-8b konnten spezifische Merkmale für Singular und Plural im verborgenen Zustand identifiziert und gezielt manipuliert werden. Gezielte Eingriffe in diese Repräsentationen zeigten, dass sich das Generierungsverhalten des Modells direkt von Plural auf Singular und umgeke

arxiv.org · 06.11. 06:00

Anonymisierung personenbezogener Daten: Ein Leistungsvergleich von Regex, Presidio und Hybridansätzen

Bei der Anbindung von Unternehmensanwendungen an große Sprachmodelle stellt der Schutz personenbezogener Daten eine zentrale Herausforderung dar. Eine aktuelle Untersuchung vergleicht vier verschiedene Architekturen zur Datenanonymisierung hinsichtlich ihrer Verarbeitungsgeschwindigkeit und Erkennungsgenauigkeit. Dabei zeigt sich, dass reine reguläre Ausdrücke zwar extrem schnell arbeiten, aber unstrukturierte Namen nur unzureichend erfassen. Ein optimierter Hybridansatz, der regelbasierte Verfahren mit effizienten

arxiv.org · 03.11. 06:00

DialFork: Überprüfung prozeduraler Halluzinationen bei Konversationsagenten

Große Sprachmodelle in Dialogsystemen stehen oft vor der Herausforderung, prozedurale Logik einzuhalten, während bestehende Forschung meist nur faktenbasierte Halluzinationen betrachtet. Um Abweichungen vom beabsichtigten Gesprächsverlauf bei ansonsten flüssigen und plausiblen Aussagen zu messen, wurde der neue Benchmark DialFork entwickelt. Dieser umfasst mehr als 36000 Dialoge über verschiedene Domänen hinweg und führt spezielle Metriken wie FlowKL und FlowScore ein. Die Evaluation zeigt, dass semantische Ähnlich

arxiv.org · 03.11. 06:00

WeFair: Treue-bewusstes Alignment aus menschlichem Feedback für personalisiertes Query Rewriting in der Kurzvideo-Suche

Für die Personalisierung von ungenauen Suchanfragen in Kurzvideo-Plattformen wurde ein neues Verfahren zur Abfrageoptimierung namens WeFair entwickelt. Das System nutzt menschliches Feedback, das anhand seiner Wiedergabetreue zum tatsächlichen Nutzerintent in verschiedene Stufen wie Demonstration, Präferenz und Verifikation unterteilt wird. Ein beaufsichtigter Feintuning-Curriculum-Ansatz kombiniert mit Direktpräferenzoptimierung und Gruppenrichtlinienoptimierung verhindert Intent-Drift bei gleichzeitiger Einhaltun

arxiv.org · 03.11. 06:00

Sparse Text Diffusion unter doppelten Budgets: Kontextkonnektivität und Expertenaktivierung

Lange Kontextdiffusion verursacht hohe Rechenkosten für Token-Interaktionen und Feed-Forward-Berechnungen, weshalb diese als zwei separate Budgets formuliert werden. Das vorgestellte DualBudget-Modell verbindet lokale, dilatierte und globale Aufmerksamkeit mit bedingter Expertenberechnung, um die Effizienz zu steigern. Evaluierungen über wissenschaftliche Zusammenfassungen, Frage-Antwort-Systeme und Dialoge zeigen Leistungssteigerungen bis zu einer Kontextlänge von 16K im Vergleich zu Basislinien. Gleichzeitig bele

arxiv.org · 31.10. 05:00

Der Preis der Skalierung beim proaktiven Speicherabruf

Bei KI-Assistenten mit proaktivem Speicherabruf wächst die Schwierigkeit der Unterbrechungsentscheidung massiv mit der Speichergröße. Tests auf Benchmarks zeigen, dass herkömmliche Ähnlichkeitsschwellenwerte bei größer werdenden Datenmengen zu drastischen Fehlalarmraten führen. Ein neu entwickeltes konformes Gate mit Hinweisaustausch kann diese Falschpositives effektiv kontrollieren und hält die Fehlalarmrate in realistischen Tests stabil. Dennoch verdeutlichen die Analysen die fundamentalen Grenzen simpler Ähnlich

arxiv.org · 31.10. 05:00

Protegrity-PII Technischer Bericht

Mit Protegrity-PII wurde ein neues Modell zur Erkennung personenbezogener Daten in strukturierten und unstrukturierten Texten vorgestellt. Auf dem neu entwickelten Benchmark PII-SCOPE erreicht das System eine typbezogene Sensitivität von 0,910 bei einer Präzision von 0,902. Dank einer breiten Entitätstyp-Taxonomie zeigt das Modell eine exzellente Generalisierung bei Out-of-Distribution-Szenarien. Die Verarbeitung erfolgt mittels Batch-Inferenz auf einer einzelnen Grafikkarte mit hoher Effizienz und geringen Kosten

arxiv.org · 31.10. 05:00

Vergessen Sie Attention: Importance-Aware Attention Is All You Need

Forscher stellen SSM-Informed Softmax Attention vor, einen neuartigen Ansatz, der Zustandsraummodelle direkt in die Attention-Scores integriert. Durch die Kombination von Mamba-3-ähnlichen Zustandsübergängen und Vergessensgattern entfallen separate positionale Encodings wie RoPE, da Rotationen die relative Position bereits abbilden. In Benchmarks zur Sprachmodellierung und Längenextrapolation übertrifft das Verfahren herkömmliche Transformer und vergleichbare Modelle deutlich. Zudem skaliert die Architektur effizie

arxiv.org · 31.10. 05:00

Wann unterstützen und was vorschlagen: Gekoppelte Gating- und speicherbasierte Hinweiserzeugung in einem kompakten Decoder

Proaktive Assistenzsysteme müssen während einer Konversation präzise entscheiden, wann eine Hilfestellung sinnvoll ist und wie diese inhaltlich aussehen sollte. Bisherige Architekturen trennen diese Aufgaben meist in ein separates Gating-Modul und einen deutlich größeren Generator. Forscher haben nun untersucht, wie ein kompakter Decoder mit nur einer Milliarde Parametern beide Funktionen in einem einzigen Durchlauf vereinen kann. Die Evaluation zeigt, dass ein solches integriertes Modell die Leistung zweistufiger

arxiv.org · 31.10. 05:00

Gesetzesabruf aus arabischen Gerichtserzählungen: Familien- und Beweisrecht in Saudi-Arabien

Für den präzisen Abruf von Rechtssinformationen in arabischen Gerichtsdokumenten wurde eine neue Methode zur Überbrückung der Kluft zwischen ausführlichen Sachverhalten und abstrakten Gesetzestexten entwickelt. Mithilfe eines Benchmarks aus saudi-arabischen Rechtssachen wurden verschiedene Retrieval-Verfahren wie BM25 und dichte Encoder verglichen. Ein vorgeschlagener Decompose-and-Refine-Ansatz, bei dem Sprachmodelle Sachverhalte in Streitpunkte zerlegen und zielgerichtete Suchkanäle generieren, steigert die Retri

arxiv.org · 31.10. 05:00

NLP-basierte Nachrichtenhierarchisierung für opportunistisches Routing am Beispiel des Erdbebens in Nepal

Eine wissenschaftliche Untersuchung analysiert den Einsatz von Natural Language Processing zur semantischen Priorisierung dringender Notfallnachrichten in opportunistischen Netzwerken anhand des Erdbebens in Nepal aus dem Jahr 2015. Dabei werden TF-IDF mit logistischer Regression sowie BERT eingesetzt, um Social-Media-Beiträge in humanitäre Kategorien und entsprechende Routing-Prioritäten einzuordnen und im ONE-Simulator zu testen. BERT erzielt eine höhere Klassifikationsgenauigkeit und reduziert gravierende Priori

arxiv.org · 31.10. 05:00

DuQUAD: Ein Dual-View-Framework mit qualitätsbewusstem Evidenz-Pruning für die Multidokument-Fragebeantwortung

Große Sprachmodelle mit Retrieval-Augmented Generation leiden häufig unter dem Phänomen des Lost in the Middle, bei dem Informationen in der Mitte von Kontexten übersehen werden. Das neu entwickelte Framework DuQUAD adressiert dieses Problem durch einen kombinierten Ansatz aus Dual-View-Reasoning und qualitätsbewusstem Evidenz-Pruning. Ein lokaler Agent mit strukturellem Fusion Score und ein globaler Agent für den Gesamtkontext ermöglichen gemeinsam eine präzise Evidenzwiederherstellung und Rauschreduktion auf Satz

arxiv.org · 31.10. 05:00

Ein Konfidenzschwellenwert, ungleiche Abdeckung: Sprachliche Lücken in typisierten Entscheidungsschnittstellen und wie Übersetzung Abhilfe schafft

Untersuchungen an kommerziellen Klassifikatoren zeigen, dass sprachübergreifend einheitliche Konfidenzschwellenwerte zu systemischen Ungleichheiten führen. Obwohl Anfragen in anderen Sprachen korrekt beantwortet werden, überschreitet die englische Version den Schwellenwert von 0,9 signifikant häufiger als andere Sprachen. Dies führt zu einer geringeren automatisierten Abdeckungsrate in Nicht-Standardsprachen, die selbst durch Kalibrierungsmetriken oder sprachspezifische Schwellenwerte nicht vollständig ausgeglichen

arxiv.org · 31.10. 05:00

FIRME: Registerverankerte Wissensgraphen für dynamisches und heterogenes Investorenwissen

Für Finanz-KI-Workflows, die auf wiederverwendbarem Investorenwissen basieren, wurde ein registerverankertes Memory-Graph-System namens FIRME entwickelt. Das System integriert Beobachtungen aus verschiedenen Quellen und Zeiträumen, indem es eingehende Daten mittels regelbasierter Fusion und kanonischer Identitäten konsolidiert, ohne dabei Identität oder Herkunft zu verlieren. Durch deterministische Aktualisierungen werden Verstärkungen, Inaktivitäten und Reaktivierungen präzise zusammengefasst. Evaluierungen anhand

arxiv.org · 31.10. 05:00

MemSteer: Nutzung von Nutzerver historischen Daten zur Optimierung von Agenten-Gedächtnissystemen

Ein neues Framework namens MemSteer transformiert unbeschriftete Nutzerhistorien in automatisierte Frage-Antwort-Supervisionen inklusive Belegen, um die Gedächtnisarchitektur von KI-Agenten ohne Modellgewichtsanpassungen zu optimieren. Das System generiert evidenzbasierte Antwortpläne zur gezielten Fragenerstellung und validiert diese durch Quellüberprüfungen. Ergänzend ermöglicht MemSteer-Opt eine strukturierte Design-Evaluation sowie Fehlerdiagnose zur Verbesserung von Speicherung, Abruf und Kontextaufstellung. E

arxiv.org · 31.10. 05:00

CALM: Konfliktbewusste Lebenszyklus-Speicherverwaltung für Sprachagenten

Forscher haben CALM vorgestellt, ein Governance-Framework für den Speicher von Sprachagenten, das die dauerhafte Aufbewahrung von Erinnerungen von der abfragezeitigen Zulassung entkoppelt. Das System wandelt heterogene Datensätze in evidenzbasierte Speicherzellen um und aktualisiert deren Gültigkeit anhand von Unterstützungs-, Konflikt- und Abhängigkeitssignalen. Durch einen konfliktbewussten Ansatz verhindert das Framework fehlerhafte Abrufe, während veraltete, aber für die historische Rekonstruktion notwendige In

arxiv.org · 28.10. 05:00

Agaram 2.5B: Das erste von Grund auf trainierte Sprachmodell mit Fokus auf Tamil und Tool-Nutzung

Mit Agaram 2.5B wurde ein neues, speziell für die tamilische Sprache optimiertes Sprachmodell mit 2,53 Milliarden Parametern vorgestellt, das von Grund auf auf 50 Milliarden Token trainiert wurde. Das Modell unterstützt neben der tamilischen Schrift auch romanisiertes Tanglish sowie Englisch und beherrscht die Anbindung externer Werkzeuge. Dank eines optimierten Tokenizers und eines umfassenden Fine-Tunings auf Basis realer Nutzerdaten übertrifft das unter der Apache-2.0-Lizenz veröffentlichte Modell vergleichbare

arxiv.org · 27.10. 05:00

Wie zuverlässig sind AMR-Parser? Unsicherheitsschätzung für das Abstract Meaning Representation Parsing

Obwohl moderne Parser für Abstract Meaning Representation erhebliche Leistungssteigerungen erzielt haben, war die Verlässlichkeit ihrer Ergebnisse bislang kaum erforscht. Eine aktuelle Untersuchung präsentiert erstmals einen Ansatz zur Unsicherheitsschätzung für AMR-Parser in einem Black-Box-Szenario unter Verwendung von Top-K-Beam-Search-Kandidaten. Dabei wird die Unsicherheit aus paarweisen Ähnlichkeiten der Kandidaten abgeleitet und mittels der Prediction Rejection Ratio bewertet. Die Ergebnisse zeigen, dass ein

arxiv.org · 27.10. 05:00

Große Sprachmodelle sind keine stochastischen Papageien: Belege für bedeutungsmittelspezifische Abstraktion

Eine neue Untersuchung widerlegt die These, dass große Sprachmodelle lediglich statistische Muster wiedergeben und zu keiner echten Abstraktion fähig sind. Durch den Einsatz künstlicher Plansprachen ohne Trainingsbeispiele wurde getestet, ob Modelle komplexe Regeln allein anhand sprachlicher Beschreibungen anwenden können. Die Ergebnisse zeigen, dass die Systeme in der Lage sind, semantische Beziehungen anzupassen und vorgegebene Einschränkungen zu verarbeiten. Dies belegt, dass statistisches Lernen unter geeignete

arxiv.org · 27.10. 05:00

Von atomaren Evidenzen zur logischen Komposition: Strukturiertes, kompositionelles Schließen über zusammengesetzte Antwortoptionen

Große Sprachmodelle scheitern häufig daran, atomare Urteile logisch korrekt zu verknüpfen, selbst wenn sie die Einzelteile fehlerfrei bewerten. Ein neuer, strukturierter Ansatz umgeht dieses Problem, indem komplexe Antwortoptionen mit logischen Operatoren wie UND oder ODER in atomare Einzelteile zerlegt und separat bewertet werden. Ein anschließendes, operatorbeschränktes lineares Optimierungsverfahren setzt diese kalibrierten Bewertungen zu einer präzisen Vorhersage zusammen. Tests auf spezialisierten Benchmarks z

arxiv.org · 27.10. 05:00

SURGELLM: Neubewertung der Multitask-Evaluierung durch aufgabenbewusstes Feature Gating und klassenausgeglichene Normalisierung

Fine-Tuning-Encoder stehen bei heterogenen NLP-Aufgaben vor Herausforderungen wie divergierenden induktiven Biases und Klassenungleichgewichten. Zur Lösung dieser Probleme wurde ein einheitliches Transformer-Framework entwickelt, das auf drei spezialisierte Module setzt: ein chirurgisches Feature Gate für lexikalische Indikatoren, aufgabenkonditionierte Präfixtokens sowie eine instanzgewichtete Normalisierung zur Vermeidung von Klassenprior-Biases. Umfangreiche Evaluierungen über vier verschiedene Aufgaben hinweg z

arxiv.org · 26.10. 05:00

Wie Ground Truth Retrieval-Scores beeinflusst: Evidenzbasierte Evaluierung eines RAG-Systems für Brustläsionen

Es wurde ein evidenzbasiertes Evaluierungsprotokoll für ein Retrieval-Augmented-Generation-System im Bereich der Brustläsionen-Literatur entwickelt. Die Untersuchung analysiert die Abhängigkeit von Retrieval-Scores von der Annotationsabdeckung anhand verschiedener Chunk-Größen, Overlaps und Retriever-Konfigurationen. Ein hybrider Ansatz mit Cross-Encoder-Reranking erzielte dabei in Kombination mit optimalen Chunk-Parametern herausragende Ergebnisse bei Metriken wie Recall und nDCG. Die Erweiterung der Ground-Truth-

arxiv.org · 26.10. 05:00

Was Open-Book-Scores bei dokumentenbasierten LoRA-Adaptern tatsächlich messen

Eine Untersuchung von dokumentenbasierten LoRA-Adaptern auf Basis von Llama-3.1-8B-Instruct zeigt, dass Open-Book-Scores primär ein universelles Leseverhalten statt spezifischen Wissensbesitz quantifizieren. Auch zufällig gewählte Adapter erreichen beim Vorlesen des Quelldokuments einen Großteil des Vorteils spezialisierter Adapter, während sie bei geschlossenen Wissensabfragen ohne Quelltext versagen. Zudem offenbart die Analyse spezifische Fehlermehler und Herausforderungen bei der Modellierung von Wissenseinheit

arxiv.org · 26.10. 05:00

ToolRACER: Eine robuste, agentenbasierte Konversationsemulation für das Training und die Evaluation

Aufgabenorientierte KI-Agenten zeigen in realen, unvorhersehbaren Konversationsszenarien mit nicht kooperativen Nutzern häufig Defizite. Um diesem Problem zu begegnen, wurde ToolRACER entwickelt, eine Pipeline zur Generierung synthetischer Daten, die Benutzer-, Assistenten- und Werkzeugemulationsmodelle koordiniert. Daraus resultiert ToolRACERBench, ein robuster Benchmark mit über 5.500 validierten Interaktionstrajektorien über sechs Domänen hinweg, der gezielt fehleranfällige und adversariale Szenarien abbildet. D

arxiv.org · 26.10. 05:00

Wie weiss ich, was ich als Nächstes sage? Barenholtz' autogenerative Theorie als Bereicherung des harriseanischen Integrationismus

Eine aktuelle Untersuchung verknüpft die integrationistische Linguistik nach Roy Harris mit der autogenerativen Sprachtheorie von Elan Barenholtz, die als Reaktion auf das Verhalten von Large Language Models entwickelt wurde. Die Synthese schliesst theoretische Lücken des Integrationismus, indem sie strukturelle Mechanismen für prospektive Offenheit und semiotische Kontinuität liefert. Gleichzeitig wird eine konkrete Theorie des sprachlichen Archivs etabliert, die erklärt, wie vergangene Integrationen das aktuelle

arxiv.org · 26.10. 05:00

StealthRL: Reinforcement-Learning-Paraphrasenangriffe zur Umgehung von KI-Textdetektoren

Forscher haben StealthRL vorgestellt, ein auf Reinforcement Learning basierendes Framework zur gezielten Umgehung von KI-Textdetektoren durch bedeutungsbewahrende Paraphrasierung. Das System trainiert eine Angriffsrichtlinie gegen ein Ensemble verschiedener Detektoren wie RoBERTa, Fast-DetectGPT und Binoculars, um die Erkennungsleistung massiv zu reduzieren, während gleichzeitig die semantische Integrität und Lesbarkeit des Textes gewahrt bleibt. Die Ergebnisse zeigen, dass die generierten Paraphrasen auch auf unge

arxiv.org · 26.10. 05:00

DeepOpen: Entscheidungsorientierte Absichtserkennung für BANKING77 und CLINC150

Es wird das Framework DeepOpen vorgestellt, das aufgabenspezifische Systeme für die Intent-Classification auf den Datensätzen BANKING77 und CLINC150 implementiert. Durch den Einsatz von Sharpness-Aware Minimization wird auf BANKING77 eine Testgenauigkeit von 94,12 Prozent erreicht, während auf CLINC150 durch eine Wahrscheinlichkeitsfusion mehrerer Klassifizierer ein Wert von 98,02 Prozent erzielt wird. Die Untersuchung zeigt jedoch, dass die beobachteten Verbesserungen stark durch Selektionseffekte beeinflusst sind

arxiv.org · 26.10. 05:00

Entschärfung des Salienz-Kollabierens: Robustes bild-text-basiertes Alignment für lange Texte

Beim bild-text-basierten Alignment für lange Texte neigen Modelle oft dazu, sich zu stark auf visuell prominente Inhalte zu verlassen und weniger auffällige, aber informative Kontextbereiche zu vernachlässigen. Um diesen sogenannten Salienz-Kollaps zu beheben, wurde das Fine-Tuning-Framework RoSA entwickelt, welches Bild-Text-Paare in komplementäre saliente und kontextuelle Ansichten zerlegt. Durch den Einsatz einer modalitätsunabhängigen Dekompositionsstrategie und multimodaler Hilfsziele kombiniert der Ansatz obj

arxiv.org · 26.10. 05:00

Rauschrobuste Kennzeichnung finanzaffin-numerischer Entitäten

Für ein präzises Verständnis numerischer Angaben in Finanzberichten wurde ein neues Verfahren zur rauschrobusten Attributkennzeichnung entwickelt. Das System mit der Bezeichnung NORA nutzt eine aufgabenbewusste, instanzspezifische Gewichtung, um fehlerhafte Labels in manuell erstellten XBRL-Daten während des Trainings auszugleichen. Neben Konzeptnamen werden dabei auch wichtige Zusatzattribute wie Berichtszeitbezüge, Messskalen und Vorzeichen analysiert. Ein neu bereitgestellter Benchmark-Datensatz mit über elf Mil

arxiv.org · 26.10. 05:00

SP-Guide: Verbesserung der luftgestützten Vision-Language-Navigation durch räumliche Priorisierungen

Für die luftgestützte Navigation von unbemannten Fluggeräten anhand sprachlicher Instruktionen wurde ein neuer Transformer-basierter Ansatz namens SP-Guide entwickelt. Das Framework adressiert Schwächen bei der kreuzmodalen Ausrichtung von visuellen Beobachtungen und Sprachbefehlen durch einen speziellen räumlichen Prioritäten-Encoder, einen instruktionserweiterten Decoder sowie einen Zielkonvergenzfilter. Evaluierungen auf Basis des CityNav-Benchmarks belegen eine signifikante Steigerung der Erfolgsraten im Vergle

arxiv.org · 26.10. 05:00

Analyse österreichischer Parlamentsreden durch Vorhersage von Parteizugehörigkeiten

Eine neue Untersuchung analysiert die sprachlichen Merkmale von Mitgliedern des österreichischen Nationalrats mithilfe eines feinabgestimmten BERT-Modells. Das System sagt für jede Rede eine Wahrscheinlichkeitsverteilung über die Parteizugehörigkeit voraus, um politische Dynamiken und Entwicklungen zu untersuchen. Die Ergebnisse zeigen, dass sich regierende Parteien in ihrer Sprache einander annähern, während sich Oppositionsparteien weiter entfernen. Zudem wurde festgestellt, dass Mandatsträger nach einem Parteige

arxiv.org · 26.10. 05:00

Negation geht in der Übersetzung nicht verloren: Eine kausale Analyse von Negationsrepräsentationen in multilingualen LLMs

Multilinguale große Sprachmodelle zeigen eine robuste Handhabung von Negationen über verschiedene Sprachen hinweg. Mithilfe kausaler Interventionen an synthetischen Kontrastdatensätzen und Übersetzungsdaten wurde nachgewiesen, dass Negationsrepräsentationen weitgehend sprachübergreifend geteilt und kausal steuerbar sind. Eine in einer Sprache extrahierte Aktivierungsrichtung kann Polaritäten in anderen Sprachen gezielt erzeugen oder entfernen. Zudem zeigt sich, dass Negationen in spärlichen Merkmalen repräsentiert

arxiv.org · 26.10. 05:00

SOPO: Sokratisch geführte Richtlinienoptimierung zur Erkennung von Halluzinationen auf Segmentebene

Zur präzisen Erkennung von Halluzinationen in Large Language Models wurde ein mehrstufiges Reinforcement-Learning-Framework namens Socratic Guided Policy Optimization entwickelt. Ein zentrales sokratisches Feedback-Möglichkeit steuert dabei die Argumentationspfade während des Trainings durch indirekte Hinweise, wodurch das Problem der spärlichen Belohnungen bei schwierigen Beispielen gelöst wird. Zusätzlich verhindert eine rundenbasierte Vorteilsskalierung eine unerwünschte Wortreichweite. Das Modell übertrifft in

arxiv.org · 26.10. 05:00

Was die Abfrage erinnert: Wie Query-Abstraktion das lexikalische und ddense Retrieval klassischer arabischer Poetik steuert

Die Effizienz der Suche in archivierten Texten klassischer arabischer Poesie hängt maßgeblich davon ab, wie präzise der Wortlaut in der Suchanfrage erhalten ist. Ein Vergleich zwischen klassischen BM25-Verfahren und modernen ddenlen Encodern zeigt, dass lexikalische Suchsysteme bei exakten Zitaten dominieren, während ddenle Modelle bei abstrakten Anfragen überlegen sind. Diese Mechanismen verdeutlichen, dass standardisierte Benchmarks stark von der Formulierung der Suchanfragen und den zugrundeliegenden Protokollen

arxiv.org · 26.10. 05:00

Erkennung von herablassender und bevormundender Sprache im Englischen und Mandarin

Herablassende und bevormundende Sprache gegenüber vulnerablen Gruppen stellt eine subtile Form schädlicher Kommunikation dar, die oft schwer zu identifizieren ist. Zur automatischen Erkennung dieses Phänomens wurde ein auf Deep Learning basierendes System entwickelt. Dabei wurden klassische Convolutional Neural Networks mit statischen Word Embeddings verglichen sowie vortrainierte BERT-Modelle feingetunt. Die Ergebnisse zeigen, dass feinabgestimmte BERT-Architekturen deutlich bessere Resultate bei der Klassifikatio

arxiv.org · 23.10. 06:00

DiaLong: Benchmarking der Erinnerungsleistung in langen Dialogkontexten

Transformer-basierte Sprachmodelle stoßen bei der Verarbeitung langer Dialogkontexte häufig an Grenzen und vergessen langfristige Fakten. Um dieses Defizit quantitativ zu bewerten, wurde das neue Dataset und Benchmark-Framework DiaLong entwickelt. Es umfasst von Menschen erstellte und durch Sprachmodelle erweiterte Konversationen, die über bisherige Datenmengen hinausgehen. Die integrierte Speicheraufgabe prüft anhand von Fakteneinstufungen die Fähigkeit der Modelle zur aktiven Informationsrückholung. Die Evaluier

arxiv.org · 23.10. 06:00

Zur Rolle von Zitaten in Präferenzdaten für Sprachmodelle

Die korrekte Attribuierung von Quellen ist essenziell, um Halluzinationen bei Sprachmodellen zu minimieren und die Überprüfbarkeit von Ausgaben sicherzustellen. Eine aktuelle Untersuchung analysiert den Einfluss von Zitaten auf die Paarvergleiche von menschlichen Bewertern sowie vier Open-Source-LLMs im Bereich wissenschaftlicher Fragenbeantwortung. Die Ergebnisse zeigen, dass Menschen zwar eine höhere Diversität, aber insgesamt weniger Zitate bevorzugen. Zudem offenbaren die untersuchten Modelle eigene Präferenzmu

arxiv.org · 23.10. 06:00

DualView: Adaptive lokale und globale Fusion für das Multi-Hop-Dokumenten-Reranking

Für wissensintensive Anwendungen ist die Aggregation von Informationen aus mehreren Dokumenten essenziell. Ein neues, leichtgewichtigenes Reranking-Framework kombiniert einen lokalen Scorer mit Kreuz-Aufmerksamkeit für feingranulare Relevanz mit einem globalen Scorer zur Modellierung von Dokumentabhängigkeiten. Eine adaptive, abfragekonditionierte Steuerung fusioniert beide Perspektiven dynamisch. Das System übertrifft deutlich größere Modelle bei einer Latenz von nur vier Millisekunden und erreicht auf dem MuSiQue

arxiv.org · 23.10. 06:00

AgriVLN: Vision-und-Sprach-Navigation für landwirtschaftliche Roboter

Für den Einsatz in der Landwirtschaft wurde ein neuer Benchmark namens A2A entwickelt, der die visuelle und sprachbasierte Navigation von Robotern in komplexen Agrarumgebungen evaluiert. Da bestehende Verfahren vor allem bei langen Anweisungen Defizite aufweisen, wurde das Modul STL zur Zerlegung komplexer Befehle in einfache Teilaufgaben konzipiert. Durch die Integration von STL in das NavGPT-Modell gelingt mit dem Ansatz AgriVLN eine signifikante Leistungssteigerung bei der autonomen Robotersteuerung anhand natür

arxiv.org · 23.10. 06:00

Quantifizierung der Symptomkausalität in der klinischen Entscheidungsfindung: Eine Untersuchung mit CausaLM

Aktuelle Ansätze des maschinellen Lernens in der medizinischen Diagnostik stützen sich häufig auf rein korrelative Muster, was bei mehrdeutigen Symptomen zu Fehldiagnosen führen kann. Um dieses Problem zu adressieren, untersucht eine neue Studie den kausalen Einfluss spezifischer Symptome wie Brustschmerzen auf diagnostische Vorhersagen. Unter Verwendung des CausaLM-Frameworks und kontrafaktischer Textrepräsentationen wird der kausale Effekt einzelner Konzepte auf die vorhergesagte Krankheitsverteilung ermittelt. D

arxiv.org · 23.10. 06:00

Was der Autor schreibt, was der Agent liest: Stilerkennungsverluste bei der Dokumentenverarbeitung in Unternehmen

Bei der automatisierten Verarbeitung von Unternehmensdokumenten durch KI-Agenten gehen visuelle Formatierungen wie Farbe und Hervorhebungen in Standard-Konvertern oft verloren. Diese Blindheit gegenüber optischen Hervorhebungen führt dazu, dass Sprachmodelle wie GPT oder Claude bei Compliance- oder Richtlinienfragen massiv an Zuverlässigkeit einbüßen und fehlerhafte Antworten generieren. Eine präzisere Dokumenten-Ingestion, die gezielt Hervorhebungen berücksichtigt, erweist sich daher als entscheidender Hebel für d

Hacker News – AI/LLM 25 Artikel Community
veludocs.com · 03.11. 19:16

Wie unsere KI-Agenten ein Hilfe-Center erstellen

Einblicke in die technische Architektur zeigen, wie ein einzelner KI-Agent zu einer siebentufigen Pipeline aus kleineren Spezialagenten weiterentwickelt wurde. Die Ingenieure erläutern die architektonischen Entscheidungen hinter dieser Aufteilung, die eine präzisere und automatisierte Erstellung von Support-Inhalten ermöglicht. Durch die Modularisierung des Workflows wird die Zuverlässigkeit und Qualität der generierten Texte signifikant gesteigert. Dieser strukturierte Ansatz demonstriert, wie komplexe Schreibaufg

arxiv.org · 24.10. 20:04

Warum von KI generierte Sprache so schwer zu verstehen ist

Neuere Analysen zeigen, dass von künstlicher Intelligenz generierte Texte oft schwieriger von Menschen zu erfassen sind als von Menschen geschriebene Inhalte. Eine aktuelle Untersuchung psycholinguistischer Merkmale verdeutlicht, dass KI-Modelle spezifische syntaktische Strukturen und sprachliche Muster verwenden, die nachweislich zu einer höheren kognitiven Belastung bei der Verarbeitung führen. Zu diesen Faktoren gehören komplexe Nebensätze, lange syntaktische Abhängigkeiten sowie ungewöhnliche Wortkombinationen.

minlit.app · 20.10. 20:19

Minlit – ein KI-Agent, der Fachartikel aus den Bereichen Informatik und maschinelles Lernen liest und mit Quellenangaben antwortet

Minlit ist ein spezialisierter KI-Agent, der wissenschaftliche Publikationen aus den Bereichen Informatik und Maschinelles Lernen analysiert. Das System beantwortet gezielte Fachfragen und liefert dabei direkte Zitate und Verweise auf die zugrundeliegenden Literaturquellen. Damit soll Forschern und Entwicklern die effiziente Recherche und Auswertung umfangreicher Paper erleichtert werden.

github.com · 12.10. 12:46

Show HN: Reproduktion von drei KI-Textdetektoren und warum das Filtern meinem Modell geschadet hat

Im Rahmen eines experimentellen Projekts wurden drei bestehende Detektoren zur Erkennung von KI-generierten Texten anhand von Filmkritiken reproduziert und analysiert. Dabei zeigte sich überraschend, dass das herausfiltern bestimmter Daten die Leistungsfähigkeit der Modelle negativ beeinflussen kann. Das veröffentlichte Repository stellt den gesamten Quellcode sowie fixierte Eingabedaten für eine transparente und exakte Replikation der Ergebnisse bereit. Diese Untersuchung liefert wertvolle Einblicke in die Optimie

lesswrong.com · 06.10. 14:38

Wie humorvoll sind moderne KI-Modelle?

Eine Untersuchung analysiert die Fähigkeit aktueller Sprachmodelle zur Generierung origineller und humorvoller Witze. Durch standardisierte Wortpaar-Vorgaben und menschliche Blindbewertungen zeigt sich, dass modernere und größere Architekturen signifikant besser abschneiden als ältere Systeme. Die Ergebnisse verdeutlichen, dass Fortschritte in logisch verifizierbaren Bereichen wie Programmierung oder Mathematik positiv mit der Entwicklung in subjektiven Domänen wie Humor korrelieren.

news.ycombinator.com · 02.10. 21:30

Frage an die Community: Warum lösen KIs Navier-Stokes-Gleichungen, scheitern aber an menschlichem Schreibstil?

In der Fachwelt wird diskutiert, weshalb moderne KI-Systeme hochkomplexe physikalische Probleme wie die Navier-Stokes-Gleichungen mathematisch modellieren können, während sie gleichzeitig Schwierigkeiten haben, einen natürlich wirkenden, menschenähnlichen Schreibstil zu erzeugen. Obwohl die Textgenerierung intuitiv als das leichtere Problem erscheint, zeigt sich in der Praxis oft das Gegenteil. Diese Diskrepanz wirft grundlegende Fragen über die zugrundeliegenden Architekturen, das Verständnis von Kontext und die A

seodraft.app · 29.09. 05:24

Kostenloses Werkzeug zur Erkennung von KI-generierten Texten

Ein neues Analysetool identifiziert maschinell erstellte Textpassagen in Entwürfen und zeigt konkrete stilistische Mängel sowie Korrekturvorschläge auf. Das System basiert auf zwölf definierten Prüfregeln, von denen der Großteil deterministisch arbeitet, um typische Merkmale synthetischer Sprache präzise zu lokalisieren. Damit erhalten Anwender eine detaillierte Rückmeldung auf Satzebene, um die sprachliche Qualität und Authentizität von Texten zu optimieren.

news.ycombinator.com · 27.09. 20:12

Fragen zur Leistungsfähigkeit der neuen Siri-KI bei einfachen Alltagsaufgaben

Nutzer mit umfassender Erfahrung im Bereich großer Sprachmodelle wundern sich über die überraschend schwache Leistung der neuen Siri bei grundlegenden Interaktionen im Ökosystem. Selbst simple Aufgaben wie das Abrufen kürzlich empfangener Standortdaten aus Textnachrichten oder das Erstellen präziser Kalendereinträge scheitern häufig. Angesichts des vermeintlichen Einsatzes moderner Backend-Technologien stellen sich fundamentale Fragen zur tatsächlichen Integration und Funktionsweise dieser Sprachassistenten im Verg

pogueman.substack.com · 23.09. 18:59

Praxistests der neuen KI-Siri

Erste ausführliche Praxistests der neuen künstlichen Intelligenz für Sprachassistenten zeigen weitreichende Veränderungen im täglichen Umgang mit mobilen Endgeräten. Die tiefgreifende Integration fortschrittlicher Sprachmodelle ermöglicht eine deutlich präzisere Kontextverarbeitung und optimierte Nutzerinteraktionen. Damit wandelt sich der virtuelle Assistent von einem einfachen Befehlsausführer zu einem zentralen Steuerungselement des gesamten Betriebssystems. Diese technologische Weiterentwicklung verbessert die

sciencedaily.com · 18.09. 22:00

Künstliche Intelligenz deckt verborgene Ozempic-Nebenwirkungen in 400.000 Reddit-Beiträgen auf

Mithilfe von Methoden der künstlichen Intelligenz wurden rund 400.000 Reddit-Beiträge analysiert, um bisher unerkannte Nebenwirkungen des Diabetes- und Abnehmmedikaments Ozempic zu identifizieren. Durch die automatisierte Auswertung von Nutzererfahrungen in großen Textdatensätzen konnten wertvolle Einblicke in unerwünschte Arzneimittelwirkungen gewonnen werden, die in klassischen klinischen Studien möglicherweise seltener erfasst werden. Dieser datengetriebene Ansatz unterstreicht das Potenzial von maschinellem Ler

theguardian.com · 16.09. 06:00

KI-Modelle entwickeln surrealen Dialekt aus Poesie und Tech-Jargon

Experten äussern Bedenken über eine neuartige Fachsprache von KI-Modellen, die Elemente literarischer Prosa mit typischem Jargon der Technologiebranche vermischt. Dieser hybride Sprachstil erschwert zunehmend die effektive Überwachung, Analyse und Kontrolle automatisierter Systeme durch menschliche Administratoren. Insbesondere die Undurchsichtigkeit dieser emergenten Kommunikationsmuster stellt Entwickler vor erhebliche Herausforderungen bei der Sicherheitsprüfung.

samuelfitoussi.com · 08.09. 16:04

Die rationale Präferenz für menschlich verfasste Texte gegenüber überlegenen KI-Inhalten

Bei der Bewertung von Texten wird nicht nur auf eine interessante Aneinanderreihung von Wörtern geachtet, sondern es existiert eine fundamentale rationale Präferenz für menschlich verfasste Inhalte. Selbst wenn KI-generierte Texte qualitativ überlegen erscheinen mögen, schätzen Rezipienten den menschlichen Ursprung als inhärent wertvoller ein. Dies verdeutlicht, dass Sprachkommunikation tief mit dem Konzept der Urheberschaft und menschlicher Intentionalität verknüpft ist. Für die Textsynthese bedeutet dies, dass re

painauchoc.com · 02.09. 09:52

Bewertung aller Pariser Bäckereien für Pain au Chocolat mittels Large Language Model

Eine neuartige Analyse bewertet Pariser Bäckereien anhand ihrer Pain-au-Chocolat-Qualität statt oberflächlicher Social-Media-Ästhetik. Dabei kommt ein Large Language Model zum Einsatz, um objektive Kriterien und Vergleiche auszuwerten. Das Verfahren demonstrihtiert einen praxisnahen Anwendungsfall für automatisierte Qualitätsbewertungen im kulinarischen Bereich. Die Methode zeigt, wie unstrukturierte Daten und Bewertungen durch KI-gestützte Systeme konsistent aggregiert werden können.

clarity.addy.ie · 01.09. 15:25

Clarity: KI-Schreibkompetenz und Editor

Ein neuartiges Open-Source-Schreibwerkzeug optimiert die Textgenerierung für autonome Agenten und minimiert gleichzeitig typische Fehler wie erfundene Fakten oder einen monotonen Sprachstil. Ergänzend steht ein datenschutzfreundlicher Browser-Editor zur Verfügung, der gezielt auf eine natürlichere und präzisere Formulierung menschlicher Prosa ausgerichtet ist. Die Technologie verbindet algorithmische Textanalyse mit kontrollierten Generierungsprozessen, um die redaktionelle Qualität im professionellen Umfeld zu ste

github.com · 27.08. 18:44

Vale-Stilpaket zur Erkennung typischer Muster in KI-generierten Texten

Es wurde ein neues Stilpaket für das Linarbeitungstool Vale veröffentlicht, das typische sprachliche Muster und Stilmerkmale von KI-generierten Texten sowie standardisierter Technischer Dokumentation markiert. Das Werkzeug dient dabei als regelbasiertes Fundament für die Textanalyse und bewusst nicht als deterministischer KI-Detektor. Entwickler und Redakteure können das Paket nutzen, um die stilistische Qualität und Natürlichkeit von Texten in ihren CI-Pipelines zu überprüfen. Die Bereitstellung erfolgt als Open-S

idiolect-two.vercel.app · 27.08. 14:24

Idiolekt - Schreibstil analysieren und KI-Entwürfe anpassen

Ein neues Werkzeug analysiert den individuellen Schreibstil und passt automatisch Entwürfe von KI-Modellen an diese persönlichen Merkmale an. Durch den direkten Abgleich mit den eigenen Textmustern lässt sich präzise überprüfen, ob generierte Inhalte den gewünschten Ton treffen. Damit wird die stilistische Konsistenz bei der Verwendung generativer Sprachmodelle im professionellen Arbeitsumfeld deutlich verbessert.

washingtonpost.com · 25.08. 23:02

Den Erkennungsalgorithmus für KI-Generierte Texte austricksen

Es wird untersucht, welche stilistischen und strukturellen Modifikationen erforderlich sind, um maschinell erstellte Textinhalte erfolgreich als menschliche Arbeit zu tarnen. Die Analyse beleuchtet die Funktionsweise aktueller Detektionsmechanismen und zeigt auf, wie durch gezielte Variationen im Schreibstil die automatisierte Erkennung umgangen werden kann. Dies verdeutlicht die anhaltenden Herausforderungen bei der Verifizierung von Texturheberschaften und der Unterscheidung zwischen menschlichem und künstlichem

washingtonpost.com · 18.08. 22:29

KI-Erkennungswerkzeuge breiten sich aus: Warum sie keine Zukunft haben

Die Unterscheidung zwischen von Menschen und Maschinen verfassten Texten wird zunehmend schwieriger, da sich beide Schreibstile stark annähern. Entsprechende Erkennungswerkzeuge verzeichnen zwar ein starkes Marktwachstum, stehen jedoch vor fundamentalen technischen Hürden. Aufgrund der stetigen Weiterentwicklung generativer Modelle und der Konvergenz sprachlicher Muster verlieren klassische Detektionsmethoden langfristig an Wirksamkeit.

news.ycombinator.com · 18.08. 00:59

Erkennbarkeit von KI-generierten Texten in verschiedenen Sprachen

Trotz fortschreitender Sprachmodellierung lassen sich KI-generierte Inhalte in verschiedenen Sprachen oft weiterhin anhand spezifischer Wortwahl und unnatürlicher sprachlicher Nuancen identifizieren. Während englischsprachige Ausgaben zunehmend ausgereift wirken, zeigen sich in anderen Sprachen wie Japanisch weiterhin typische Stilmerkmale und Vokabelhäufungen. Die Qualität und Natürlichkeit der Ergebnisse variieren dabei stark zwischen den verschiedenen Sprachmodellen und dem jeweiligen soziokulturellen Kontext.

unslopai.com · 16.08. 13:28

Schreibwerkzeug zur Beibehaltung der eigenen Stimme bei KI-Bearbeitungen

Ein neu entwickeltes Schreibwerkzeug optimiert KI-generierte oder -überarbeitete Texte gezielt im Hinblick auf den individuellen Schreibstil. Statt lediglich synonyme Begriffe auszutauschen, analysiert und korrigiert die Software Rhythmus, Struktur und lexikalische Dichte. Dadurch wird sichergestellt, dass die persönliche Tonalität des Autors trotz automatisierter Optimierungsprozesse vollständig erhalten bleibt.

github.com · 04.08. 16:48

Vale-LLM-slop – Stilprüfung für Large Language Models

Ein neues Open-Source-Projekt stellt spezialisierte Stilanalysen und Linting-Regeln für durch Sprachmodelle generierte Texte bereit. Inspiriert vom kontrollierten englischen Standard ASD-STE100 zielt das Werkzeug darauf ab, redundante Ausdrücke und typische KI-Floskeln in der Prosa zu minimieren. Durch die Integration in bestehende Entwicklungsworkflows können Textqualität und Präzision automatisiert überprüft und optimiert werden.

news.ycombinator.com · 03.08. 12:32

Ein autonomer KI-Agent in einem spezialisierten Netzwerk für kollaborative Interaktion

Ein neuartiges, netzwerkbasiertes Projekt integriert einen autonomen KI-Agenten, der in der Lage ist, eigenständig Beiträge zu verfassen, Kommentare zu generieren und Moderationsaufgaben zu übernehmen. Die Architektur ermöglicht es menschlichen Nutzern, direkt innerhalb der Diskussionsfäden mit der KI zu kommunizieren. Dadurch wird eine automatisierte Prozesssteuerung und interaktive Inhaltsverwaltung in einer kollaborativen Umgebung realisiert.

zlvox.com · 25.07. 07:52

KI-Anime-Finder: Semantische Suche in natürlicher Sprache für Anime-Datenbanken

Ein neues webbasiertes Suchwerkzeug ermöglicht das Auffinden von Anime-Titeln durch die Beschreibung von Handlung, Stimmung oder spezifischen Szenen in natürlicher Sprache. Mithilfe semantischer Suchverfahren auf Basis umfangreicher Datenbanken werden Nutzeranfragen direkt abgeglichen. Der Dienst ist kostenlos und erfordert keine vorherige Registrierung.

huggingface.co · 17.07. 10:09

Ein strukturiert segmentierter und vor-eingebetteter SQLite-Datensatz zum EU AI Act

Dieser Datensatz stellt den vollständigen Text des EU AI Act in einer strukturierten SQLite-Datenbank zur Verfügung. Die Inhalte wurden in logische Abschnitte unterteilt und bereits in Vektor-Embeddings umgewandelt, um eine direkte Integration in KI-Anwendungen und Retrieval-Augmented-Generation-Systeme zu ermöglichen. Durch die Vorverarbeitung entfällt der Aufwand für das manuelle Parsing und die Vektorisierung der komplexen Gesetzestexte, was Entwicklern eine effiziente Grundlage für die Implementierung von KI-Co

arxiv.org · 17.07. 09:07

Sprachübergreifende Verzerrungen bei der KI-Modellbewertung

Die Bewertung von Sprachmodellen durch automatisierte Systeme oder andere KI-Modelle basiert häufig auf der Annahme, dass eine hohe Genauigkeit bei paarweisen Vergleichen eine sprachunabhängige Zuverlässigkeit impliziert. Aktuelle Untersuchungen widerlegen diese Annahme jedoch, da signifikante Verzerrungen in verschiedenen Sprachen auftreten. Durch den Vergleich semantisch identischer Anweisungen und Antworten in 23 Sprachen wurde nachgewiesen, dass die Evaluierungsergebnisse stark von der jeweiligen Sprache abhäng

Hugging Face Blog 2 Artikel Modelle
huggingface.co · 03.11. 17:35

Palette: Einem kleinen Modell beibringen, Decks in Ihrer Designsprache zu erstellen

IBM Research hat das KI-Modell Palette vorgestellt, das darauf trainiert ist, Präsentationen im spezifischen Designstil von Unternehmen zu generieren. Durch die Anpassung kompakter Sprachmodelle können Nutzer maßgeschneiderte Foliensätze erstellen, die exakt den visuellen Vorgaben und Corporate-Identity-Richtlinien entsprechen. Dieser Ansatz ermöglicht eine effiziente und automatisierte Dokumentenerstellung direkt auf Basis bestehender Designsprachen. Das Verfahren zeigt, wie spezialisierte kleinere Modelle gezielt

huggingface.co · 21.09. 02:00

Tokenizers v1: Enkodieren, Dekodieren und Skalierung im Leistungsvergleich

Die kommende Version 1 von Tokenizers fokussiert sich massiv auf Performance, um zu verhindern, dass die Textaufbereitung Modelle ausbremst. Durch architektonische Optimierungen wie handgeschriebene Splitter statt Regulärer Ausdrücke, effizientes Caching und einen allocator-freien Merge-Loop erreicht die neue Version je nach Modell die drei- bis dreißigfache Geschwindigkeit im Vergleich zum Vorgänger. Dabei bleiben API, Vokabular und ausgegebene Token-IDs vollständig kompatibel zum bisherigen Standard. Die Umsetzun

The Decoder 4 Artikel News
the-decoder.com · 26.10. 18:50

Forscher entdecken sechs Muster, die KI-Texte so anstrengend zu lesen machen

Eine Untersuchung von Forschern der New York University und der University of Texas at Austin zeigt, dass große Sprachmodelle bestimmte sprachliche Muster übermäßig nutzen, die für Menschen schwer verständlich sind. Die Ursache liegt offenbar im Training mit Code und mathematischen Daten, bei dem Korrektheit vor Klarheit belohnt wird. Kleinere Modelle schreiben im Vergleich dazu deutlich natürlicher und menschenähnlicher.

the-decoder.com · 20.08. 19:36

Große Sprachmodelle könnten wie Menschen schreiben, aber Sicherheitsleitlinien machen ihre Texte erkennbar

Der Einsatz von Sicherheitsleitlinien und Nachbereitungsschritten schränkt den Ausdrucksbereich von großen Sprachmodellen drastisch ein. Unmodifizierte Basismodelle zeigen bereits eine deutlich größere stilistische Vielfalt bei der Texterzeugung. Durch diese restriktiven Anpassungen entsteht jedoch ein spezifischer Stil, der maschinell generierte Inhalte leichter identifizierbar macht. Dies verdeutlicht den anhaltenden Zielkonflikt zwischen der Durchsetzung von Sicherheitsvorgaben und einer möglichst menschenähnlic

the-decoder.com · 14.08. 23:29

Anthropic kündigt API zur Erkennung von KI-Wasserzeichen an

Zur Identifizierung von maschinell generierten Texten wird demnächst eine entsprechende Schnittstelle bereitgestellt. Die technische Umsetzung basiert auf einem etablierten Verfahren zur gezielten Beeinflussung der Wortauswahl während des Generierungsprozesses, wodurch die inhaltliche Qualität unbeeinträchtigt bleibt. Allerdings weist dieser Ansatz bei faktendichten Inhalten, Quellcode sowie stark modifizierten Texten gewisse methodische Grenzen auf. Das System soll externen Parteien eine verlässliche Überprüfung e

the-decoder.com · 13.07. 11:41

Deutsches KI-Konsortium veröffentlicht Soofi S, ein offenes 30B-Modell mit Spitzenwerten in Deutsch und Englisch

Ein deutsches Forschungskonsortium hat das Sprachmodell Soofi S 30B-A3B vorgestellt, das vollständig auf Cloud-Infrastruktur in München trainiert wurde. Das Modell nutzt eine effiziente Hybrid-Architektur, bei der pro Token nur ein Bruchteil der insgesamt 31,6 Milliarden Parameter aktiviert wird, was eine hohe Verarbeitungsgeschwindigkeit auch bei langen Kontexten ermöglicht. Durch einen Trainingsdatensatz mit einem gezielten Schwerpunkt auf der deutschen Sprache übertrifft das Modell vergleichbare offene Alternati

The Verge – AI 1 Artikel News
theverge.com · 06.10. 12:53

Amazon Alexa Plus weist irritierenden Fehler mit Endlosschleife auf

Ein schwerwiegender Softwarefehler bei sprachgesteuerten Smart-Home-Assistenten führt derzeit dazu, dass Geräte unvermittelt und über mehrere Minuten hinweg zusammenhanglose Laute wie lalala wiederholen. Die betroffenen Systeme unterbrechen dabei teils laufende Unterhaltungen der Nutzer und zeigen sich bei anschließenden Nachfragen völlig ahnungslos bezüglich ihres vorherigen Verhaltens. Dieses unerwartete Phänomen verdeutlicht einmal mehr die Herausforderungen bei der zuverlässigen Steuerung und Kontextverwaltung

AWS Machine Learning 2 Artikel Anbieter
aws.amazon.com · 30.09. 17:37

Schadenmeldungen in natürlicher Sprache mit Amazon Bedrock Knowledge Bases abfragen

Dieser technische Leitfaden beschreibt die Implementierung eines konversationalen Assistenten für Schadenmeldungen auf Basis von Amazon Bedrock Knowledge Bases. Das System ermöglicht die präzise Beantwortung natürlichsprachlicher Anfragen inklusive Quellennachweisen. Dabei werden Dokumente aus Amazon S3 eingelesen, die AgenticRetrieveStream-API für Abfragen genutzt sowie Mechanismen für mehrstufige Dialoge, Metadatenfilter und kontextbezogene Schutzplanken integriert.

aws.amazon.com · 08.09. 18:11

Wie DiDi mit Amazon Bedrock eine intelligente Qualitätsprüfung für Contact-Center aufbaute

Ein Mobilitätsdienstleister hat ein eigenständiges System zur Qualitätsprüfung im Kundenservice entwickelt und damit eine intransparente Drittanbieterlösung abgelöst. Durch den Einsatz von Foundation Models auf Basis von Amazon Bedrock stieg die Genauigkeit der Intent-Verifikation drastisch an, während Compliance-Bewertungen optimiert wurden. Zudem konnte die Auswertung von Kundenfeedback in spanischer und portugiesischer Sprache von mehreren Stunden auf wenige Minuten verkürzt werden.

TechCrunch – AI 1 Artikel News
techcrunch.com · 23.09. 15:00

Spotify gibt Nutzern in den USA Einblick in den Empfehlungsalgorithmus

Spotify führt für Premium-Nutzer in den USA ein neues Geschmacksprofil ein, das Transparenz über die algorithmische Musikanalyse schafft. Hörer erhalten detaillierte Einblicke in die zugrundeliegenden Daten ihrer Präferenzen. Zudem lassen sich die personalisierten Empfehlungen künftig direkt über natürlichsprachliche Eingaben gezielt anpassen und steuern.

Google – AI 1 Artikel Anbieter
blog.google · 15.09. 18:00

KI für alle in jeder Sprache

Die Entwicklung fortschrittlicher Modelle geht weit über die traditionelle Textübersetzung hinaus, um globale Sprachen in ihrer gesamten Komplexität zu erfassen. Durch innovative Ansätze wird angestrebt, sprachliche Nuan