Wie funktioniert ein Benchmark-Test und was zeigt er an? [Android für Anfänger]
Wenn man sich ein neues Android Smartphone oder Tablet zulegen will, sieht man in vielen Testbeiträgen etwas von einem Benchmark-Ergebnis des ins Auge gefassten Modells. Doch wie aussagekräftig ist so ein Benchmarkwert überhaupt und was sagt er genau aus? Lohnt ein Vergleich dieser Werte bei der Entscheidung zu einem Smartphone Neukauf? Wir wollen uns in diesem Beitrag einmal dem Mythos Benchmark annehmen und erklären.
Kurzum: Ein Benchmark misst im Normalfall die theoretische Leistungsfähigkeit von einem Gerät und bewertet diese nach einem einheitlichen Punkte-System. Vor allem auf den Desktop-Plattformen für Spieler und andere Enthusiasten haben Benchmarks eine große Gewichtigkeit, denn nur die leistungsfähigsten Systeme können die neusten Spiele-Blockbuster flüssig darstellen. Dieser Geschwindigkeitsrausch hat vor einigen Jahren auch die Smartphone-Branche ergriffen, dabei sind solche Bewertungen weitaus weniger aussagekräftig für Smartphones und Tablets als mancher denken mag.
Was misst ein Benchmark eigentlich?
Zunächst stellt sich jedoch die Frage, was bei einem solchen Testlauf denn eigentlich alles überprüft wird. Hier muss man einige Benchmark-Apps unterscheiden: Für Android gibt es etliche solcher Apps, die sich auf bestimmte Bereiche spezialisiert haben. AnTuTu zum Beispiel gilt als Referenz für solche Apps und testet die gesamte Hardware eines Smartphones oder Tablets, während GfxBench sich auf die grafischen Qualitäten für Spieler konzentriert und sich Geekbench insbesondere der Leistung des verbauten Prozessors widmet. Von daher sind die Ergebnisse dieser drei Apps nur innerhalb der jeweiligen App auch wirklich vergleichbar.
Am häufigsten wird für einen aussagekräftigen Benchmark die chinesische App AnTuTu verwendet, welche sich in den letzten Jahren zum De-Facto-Standard für Smartphone-Benchmarks entwickelt hat. Das liegt zum einen an der umfangreichen Datenbank an Modellen und zum anderen an den vielen Teilbereichen, die bei einem Testlauf getestet werden. Neben der reinen Prozessorleistung aufgeteilt in Single- und Multi-Core-Leistung fallen in die Bewertung noch die Grafikleistung geteilt in 2D- und 3D-Leistung mit ein, die Schnelligkeit des internen Speichers sowie RAM und noch anderen Dingen.
Aber auch die Leistung bei der Verarbeitung von Tasks bei der Verwendung einzelner sowie mehrerer Prozessorkerne und verschiedenen mathematischen Operationen ist Bestandteil der Tests. Hier wird vor allem die Berechnung von Gleitkomma- und Festkomma-Zahlen ermittelt. Je schneller diese berechnet werden, umso leistungsfähiger ist die Hardware und das unabhängig von der Hardware-Architektur. Für diese Art von Leistungsmessung ist wie bereits erwähnt Geekbench am besten geeignet.
Aus diesen Teilbewertungen wird schließlich das finale Ergebnis ermittelt, welches in Form einer Punktzahl dargestellt wird. Je größer diese Zahl ist, umso leistungsfähiger ist das Gerät. Jedoch muss ein hohes Ergebnis bei AnTuTu nicht zwangsläufig auch im Alltag zu spüren sein. Schließlich hat die reine Hardware-Leistung nur bedingt etwas damit zu tun, wie gut und flüssig sich ein Android Smartphone zum Beispiel bedienen lässt. Den Unterschied sieht man insbesondere zwischen verschiedenen Prozessor-Herstellern wie Qualcomm, Samsung, Intel oder MediaTek.
Gerade bei unterschiedlichen Prozessor-Herstellern ist die Berechnung von Fließkomma- und Gleitkomma-Zahlen ein hilfreiches Kriterium zur Bewertung der theoretischen Leistung. Dennoch haben Benchmark-Apps zunehmend an Bedeutung und Indikatoren für leistungsfähige Geräte verloren, da viele Aspekte ein Ergebnis verfälschen können.
Manipulation von Ergebnissen
Obwohl ein Benchmark für sich genommen keine schlechte Idee ist, sorgten 2013 einige Hersteller für negative Schlagzeilen fü derartige Apps. Vor allem Samsung wurde dabei ertappt, wie in den Firmwares bekannter Geräte wie dem Samsung Galaxy Note 3 oder Samsung Galaxy S4 Mechanismen implementiert wurden, welche bei erkannten Benchmark-Apps die Leistung der verbauten Prozessoren dauerhaft auf maximaler Leistung hielten (zum Beitrag). Für gewöhnlich wird ein Smartphone-Prozessor nach einiger Zeit automatisch in seiner Maximal-Leistung gedrosselt, wenn diese nicht benötigt wird. Das passiert auch bei Benchmarks nach einigen Sekunden, was man mit entsprechenden Apps in Echtzeit kontrollieren kann. Eine solche App ist zum Beispiel PerfMon von Chainfire, welches die Prozessor-Auslastung in Form eines schwebenden Fensters jederzeit anzeigen kann.
Eine kostenlose Version als manuell zu installierende APK-Datei gibt es bei den XDA Developers.
Genau das hatte Samsung jedoch auf Kernel-Ebene unterbunden, sodass die Top-Modelle dauerhaft auf Maximum liefen und so die Benchmark-Ergebnisse zugunsten der Samsung-Geräte beeinflussen sollten. In den folgenden Wochen und Monaten wurden ähnliche Versuche auch bei anderen namhaften Smartphone-Herstellern entdeckt, die jedoch kurze Zeit darauf eingestellt wurden (zum Beitrag). Auch Samsung beendete diese verwerfliche Praxis und veröffentlichte angepasste Updates der betroffenen Geräte.
Aufgrund diesen Vorfalls hat das Vertrauen in die Bewertung von Benchmark-Apps erheblich gelitten und die Wichtigkeit der Ergebnisse hat stark nachgelassen. Mittlerweile werden neue Rekord-Werte wie das kürzlich aufgetauchte Nexus 5 (2015) von LG misstrauisch zur Kenntnis genommen (zum Beitrag), vor allem wenn es einige Ungereimtheiten bei den Einzelwertungen gibt. Das und noch einiges mehr haben eben dazu geführt, dass eine besonders hohe Punktzahl bei AnTuTu und Co. nicht mehr so wichtig sind.
Bedeutung solcher Apps
Bestes Beispiel ist für die geringe Bedeutung eines hohen AnTuTu-Ergebnis ein Samsung Exynos 5433 im Vergleich zu einem Snapdragon 410. Obwohl der Prozessor von Samsung im Samsung Galaxy Note 4 mit 50.117 Punkten deutlich besser sein müsste als der Snapdragon im Wiko Highway Pure mit seinen 20.890 Punkten (zum Test), ist das Mittelklasse-Smartphone in der Bedienung weitaus flüssiger als das Top-Smartphone von Samsung. Allein daran zeigt sich, wie unwichtig und ungenau Benchmark-Apps sein können. Für den Kauf ist die erlebte Performance bei der alltäglichen Bedienung entscheidend und nicht der möglichst größte Wert bei AnTuTu und Co., sondern vielmehr wie gut der jeweilige Hersteller seine Software auf die verbaute Hardware anpassen und optimieren kann.
Ein weiteres Beispiel lässt sich im grafischen Bereich für Smartphones finden. Rein vom Preis und der CPU-Leistung her ist ein MediaTek MT6752 in der nicht ganz so preiswerten Mittelklasse zu finden, während ein Snapdragon 810 in der Oberklasse zu finden ist. Dennoch kann der im MT6752 verbaute Grafikchip ARM Mali T760 MP2 mit einem Adreno 430 Grafikchip im Snapdragon 810 mithalten.
Bestes Indiz dafür ist ein grafisch erheblich anspruchsvolles Smartphone-Spiel wie GTA San Andreas, welches auf beiden Plattformen auch mit hohen Grafikdetails flüssig zu spielen ist. Im Fall des Qualcomm-Prozessors zwar sichtlich besser, aber das ein 300-Euro-Smartphone mit einem 700-Euro-und-mehr-Smartphone mithalten kann ist trotzdem beeindruckend.
Von daher haben Benchmark-Apps erheblich an Einfluss verloren, nachdem sie zu Beginn wie AnTuTu erheblichen Einfluss auf die Wertung bei Geräte-Tests hatten. Stattdessen gelten die Datenbanken von Benchmark-Apps heutzutage mit bevorzugt als Quelle für noch nicht angekündigte Smartphones und Tablets, die in besagten Datenbanken ihre ersten nachweislichen Spuren hinterlassen. Unter anderem werden auch Informationen über verbaute Hardware gesammelt, was im Fall von GfxBench unter anderem Größe sowie Auflösung des Displays sind, RAM, interner Speicher, Auflösung der Kameras und die verbauten Sensoren der Fall ist.
