自 2018 年以來，MLCommons 聯盟一直在舉辦一種用于人工智能訓練的奧運會。該競賽名為 MLPerf，由一組任務組成，用于在預定義的數據集上訓練特定的 AI 模型，以達到一定的精度。從本質上講，這些任務稱為基準測試硬件和低級軟件配置以訓練特定 AI 模型的設置情況。

每年兩次，公司都會將他們的提交（通常是 CPU 和 GPU 集群以及針對它們優化的軟件）放在一起，并競爭看看誰的提交可以最快地訓練模型。

毫無疑問，自 MLPerf 成立以來，用于 AI 訓練的尖端硬件已經有了巨大的改進。多年來，Nvidia 發布了四代新一代 GPU，這些 GPU 現已成為行業標準（最新的 Nvidia 的 Blackwell GPU 尚未成為標準，但越來越受歡迎）。參加 MLPerf 競爭的公司也一直在使用更大的 GPU 集群來處理訓練任務。

然而，MLPerf 基準測試也變得更加嚴格。MLPerf 負責人 David Kanter 表示，這種嚴謹性的提高是設計使然——基準測試試圖跟上行業的步伐。他說：“基準測試旨在具有代表性。”

有趣的是，數據顯示，大型語言模型及其前身的規模增長速度比硬件跟上的速度還要快。因此，每次引入新的基準測試時，最快的訓練時間都會變長。然后，硬件的改進逐漸縮短了執行時間，但又被下一個基準測試所阻撓。然后循環重復。