Samsung startet TRUEBench – KI-Benchmark für den Praxiseinsatz

Samsung hat mit TRUEBench ein eigenes Benchmark-Tool für Künstliche Intelligenz vorgestellt. Damit reagiert das Unternehmen auf die Schwächen bisheriger Tests, die meist auf einfache englischsprachige Fragen-Antwort-Szenarien reduziert sind. Samsung, das als erster Hersteller eine komplette Suite von KI-Funktionen in Smartphones brachte und seither im Halbjahresrhythmus neue Features einführt, will mit TRUEBench eine praxisnahe und umfassende Bewertung ermöglichen.

Ziel ist es, nicht nur theoretische Fähigkeiten zu messen, sondern die Leistungsfähigkeit von KI-Systemen in alltäglichen Anwendungsfällen realistisch abzubilden.

Warum Samsung ein eigenes Benchmark entwickelt

Die gängigen Benchmarks sind oft zu eindimensional. Sie testen in erster Linie Sprachverständnis im Englischen und unterschätzen die Komplexität moderner Anwendungen. In der Realität nutzen Menschen KI längst für mehr: Übersetzungen, Zusammenfassungen langer Texte, Datenanalysen oder Content-Erstellung. Samsung Research entwickelte deshalb TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark – „Verlässliche Bewertung im realen Einsatz“), um genau diese Vielfalt abzubilden und realistische Szenarien einzubeziehen.

Umfang und Struktur von TRUEBench

Das Benchmark-System umfasst 2.485 Testsätze, verteilt auf 10 Hauptkategorien, 46 Unterkategorien und 12 Sprachen. Die Bandbreite reicht von kurzen Aufgaben mit nur wenigen Zeichen bis hin zu komplexen Langtexten von über 20.000 Zeichen. Dadurch werden unterschiedliche Anwendungsszenarien abgedeckt: von schnellen Chats bis hin zur automatischen Aufbereitung von umfangreichen Dokumenten. Besonders wichtig ist dabei der Fokus auf Mehrsprachigkeit – ein Bereich, den viele andere Benchmarks vernachlässigen, der aber für globale Nutzer unverzichtbar ist.

Bewertungssystem und Transparenz

TRUEBench setzt auf ein KI-gestütztes automatisches Bewertungssystem, das gemeinsam mit menschlichen Experten entwickelt wurde. Diese Kombination soll zuverlässige und nachvollziehbare Ergebnisse garantieren. Um Transparenz zu schaffen, stellt Samsung die Datensätze und Ranglisten auf der Open-Source-Plattform Hugging Face bereit. Dort lassen sich bis zu fünf verschiedene Modelle vergleichen – ein Vorteil für Entwickler, Unternehmen und die Forschungsgemeinschaft gleichermaßen.

Die strategische Bedeutung für Samsung

Paul (Kyungwhoon) Cheun, CTO der DX-Sparte von Samsung und Leiter von Samsung Research, erklärte, dass TRUEBench als Standard für die Produktivitätsbewertung von KI etabliert werden soll. Die jahrelange Erfahrung des Unternehmens mit praxisnahen KI-Lösungen sei ein entscheidender Wettbewerbsvorteil, um Bewertungsmaßstäbe zu setzen, die über reinen Marketingwert hinausgehen. Mit TRUEBench will Samsung nicht nur die eigenen Stärken hervorheben, sondern auch die Diskussion um verbindliche Standards in der gesamten Branche vorantreiben.

Da KI inzwischen in Smartphones, Smart-Home-Geräten und Unternehmenslösungen unverzichtbar geworden ist, gewinnt die Frage nach realistischen Vergleichsmaßstäben an Bedeutung. TRUEBench könnte sich als wichtiges Werkzeug etablieren, um zu erkennen, welche Modelle tatsächlich Mehrwert liefern – und welche lediglich mit Versprechen glänzen. Damit zeigt Samsung klar den Anspruch, Transparenz und Vertrauen im KI-Bereich zu fördern.