I benchmark, benché non sempre rappresentativi delle performance che è possibile ottenere nel mondo reale, sono spesso usati come termine di paragone dai produttori di CPU per evidenziare le potenziali prestazioni, permettendo di evidenziare il comportamento dei processori con particolari carichi di lavoro.
Di benchmark tengono conto molti aziende e utenti, portati a scegliere una macchina anziché un’altra, in virtù dei risultati che è possibile ottenere su computer diversi, ed è ovvio che buoni risultati possono essere un vanto per chi sa che le decisioni degli utenti si basano non solo sulle specifiche tecniche, ma anche dati sulle prestazioni durante l’uso.
Recentemente è emerso che Intel non è stata corretta con alcuni benchmark riguardanti determinate CPU Xeon.
La Standard Performance Evaluation Corporation, meglio nota come SPEC, ha invalidato 2600 risultati su processori Xeon, test eseguiti nel 2022 e nel 2023 con la versione di un benchmark noto come SPEC CPU 2017.
In seguito a indagini – riferisce PCWorld – SPEC ha scoperto che Intel ha usato dei compilatori che tenevano conto di specifiche peculiarità per migliorare le performance di alcuni test.
In particolare, i compilatori erano ottimizzati specificamente per tenere conto di 523.xalancbmk_r / 623.xalancbmk_s, sfruttando una conoscenza preventiva del codice SPEC e dei dati.
In parole povere, SPEC punta il dito contro Intel, accusata di avere ottimizzato i suoi compilatori specificamente per questi benchmark, spiegando che i risultati mostrati non sono indicativi delle performance reali.
Il trucco di Intel avrebbe permesso di evidenziare miglioramenti fino al 9%. SPEC ha deciso di lasciare i dati archiviati per ragioni storiche dichiarando ad ogni modo l’invalidità dei risultati per i propri report.
Le più recenti versioni dei compilatori Intel utilizzate nei processori Xeon della serie 5th-gen Emerald Rapids, non dovrebbero includere API in grado di evidenziare prestazioni migliori nei benchmark.
La pratica di barare con le prestazioni dei chip per evidenziare risultati migliori con i benchmark non è una novità, e in passato simili “mosse” sono state fatte Qualcomm, Samsung e MediaTek. A rimetterci alla lunga sono gli sviluppatori di benchmark, che perdono in credibilità nei confronti degli utenti.
