1. Benchmarking

1.1 Was ist ein Benchmark?

Ein Benchmark (englisch: Bezugswert, Maßstab) ist ein Verfahren, das verwendet wird, um die Leistung eines Systems beurteilen zu können. Ein Benchmarkprogramm ermittelt Vergleichswerte, mit deren Hilfe verschiedene Systeme auf ihre Geschwindigkeit, Zuverlässigkeit und Stabilität geprüft und untereinander verglichen werden können. Benchmarkprogramme sind im allgemeinen speziell auf bestimmte Hardware bzw. Softwarekomponenten (zB. CPU,Grafikkarte,Webserver) zugeschnitten. Die Ergebnisse sind jedoch immer vom verwendeten Benchmarkprogramm abhängig. Ein Vergleich von Ergebnissen unterschiedlicher Benchmarkprogramme ist daher nur bedingt oder garnicht aussagekräftig. Selbst verschiedene Versionen eines Benchmarkprogrammes können unterschiedliche Ergebnisse liefern.

1.2 Wie funktioniert ein Benchmark?

Ein Benchmarkprogramm simuliert im Allgemeinen eine hohe Beanspruchung der zu testenden Hardware/Software. Diese Beanspruchung geht bis an die Grenzen der Leistungsfähigkeit des Testobjektes. Dabei werden die verschiedenen Funktionen des zu testenden Objektes aufgerufen und die Geschwindigkeit der Reaktionen gemessen und aufgezeichnet. Außerdem kann ein Benchmark über längere Zeittdauer auch Hinweise über die Stabilität bei längerem Einsatz der zu testenden Hard- oder Software geben.

1.3 Auswertung eines Benchmarks

Die Ergebnisse die ein Benchmark geliefert hat, können als Anhaltspunkt für das Verhalten und die Geschwindigkeit der getesteten Hardware oder Software im realen Einsatz geben. Wie nahe diese Ergebnisse jedoch wirklich mit der Realität übereinstimmen, hängt vom verwendeten Benchmarkprogramm, den Testbedingungen und den Bedingungen beim realen Betrieb der getesteten Hard-/Software ab. Bei der Auswertung der Ergebnisse muss deshalb immer beachtet werden, dass die Ergebnisse nur als grobe Annäherung an die tatsächliche Leistung gesehen werden können. Dennoch können Benchmarks Anregungen für Optimierungen liefern und zum Teil Fehler aufzeigen, die sonst nur schwer zu entdecken wären, da sie oftmals auch in der Realität selten genutzte Funktionen und Aufrufe testen.


Autor: Mario Ritz