Хиляда двеста двадесет и един души сядат и започват да проверяват чужди статии. Не да ги четат. Да ги пускат наново и да гледат излиза ли същото.
Факт
Фактите: между 15 юли и 2 август 2026 Hugging Face, заедно с alphaXiv, провежда открита проверка на ICML 2026. Участват 1221 души, публикувани са 6816 дневника, възпроизведени са 2226 статии, което е 34% от конференцията, и са оценени 35 908 отделни твърдения. Резултат: 51% от статиите (1103) имат поне едно потвърдено твърдение, 266 са възпроизведени напълно; 23% (496) имат поне едно опровергано твърдение, а при 49 всички твърдения падат. Стартирани са 2962 облачни задачи и са публикувани 274 пълни набора със следи от агентите.
Числото, на което спирам, не е 23 процента. То е 266. Толкова статии са се възпроизвели напълно, от две хиляди двеста двадесет и шест. Останалите не са фалшиви, повечето просто не могат да бъдат повторени от външен човек с наличното.
Точно тук е разковничето. В нашия занаят ние наричаме това документация, а всеки, който е поемал чужд проект, знае колко струва липсата ѝ. В науката около AI цената е същата, само сметката идва по-късно.
Публикувано не значи проверено. Оттук нататък разликата ще се вижда.
Отварят и данните, и следите на агентите. Значи следващия път някой ще провери самата проверка. Така трябва.
Официални първоизточници
Hugging Face - What We Learned by Reproducing 2,200 papers from ICMLВизуалът към статията е генериран код-арт, без чужди изображения.