Накратко
MLPerf е набор от тестове за скорост на AI системи, поддържан от инженерния консорциум MLCommons. Първите тестове, за обучение, тръгват през май 2018. MLPerf Inference мери колко бързо една система обработва входни данни и дава резултат с вече обучен модел. В затворената категория всички ползват един и същ еталонен модел, за да се сравнява ябълка с ябълка.
Представи си автомобилно списание, което кара всички коли по една и съща писта, в един и същи ден, с един и същи шофьор. Рекламата на всяка марка казва нещо свое. Пистата показва едно. MLPerf е пистата.
Трите думи, които решават
Затворена или отворена категория. В затворената моделът е фиксиран и сравнението е честно. В отворената можеш да смениш модела или да го доучиш, затова числата не се сравняват пряко с другите.
Наличен, предварителен или изследователски. Наличен значи, че можеш да го купиш или наемеш днес. Предварителен (preview) значи, че системата трябва да може да се подаде като налична в следващия кръг. Изследователски е експериментален или вътрешен хардуер. Преди да повярваш на голямото число в заглавието, виж от коя кутия е.
Пример от септември 2026: в MLPerf Inference v6.1 NVIDIA подаде Vera Rubin NVL72 за първи път, като предварителен резултат. По данни на NVIDIA системата дава до 3,7 пъти по-висока пропускливост от предишното поколение GB300 NVL72. Резултатът е в затворената категория, но е за машина, която тепърва трябва да стане налична.
Рекордът от презентацията и рекордът от таблицата невинаги са един и същ рекорд.
Първоизточници
MLCommons: MLPerf Inference DatacenterMLCommons: за консорциумаNVIDIA: Vera Rubin NVL72 в MLPerf Inference v6.1Визуалът е генериран код-арт, без чужди изображения.