English version: Grok 4.7 reports 44.4% on CADGenBench, the public list comes out higher.
xAI heeft de modelkaart van Grok 4.7 gepubliceerd, met daarin een CAD-cijfer: 44,4% op CADGenBench. In de tabel van xAI staat Grok daarmee bovenaan, boven de modellen waarmee het zich vergelijkt.
De ranglijst zegt iets anders
Op de openbare lijst met inzendingen bij CADGenBench staat Claude veel hoger. Daar haalt build123d-mcp 0.3.85 met Claude Opus 5.5 86,9% op het generatie-onderdeel, en 82,98% over de hele benchmark. Dat is bijna het dubbele van het cijfer dat xAI voor Grok 4.7 noemt.
Het verschil zit vooral in de opstelling, niet alleen in het model. De top van die ranglijst werkt met een MCP-server als gereedschap: het model stuurt een programma aan dat de geometrie maakt. xAI meet Grok met zijn eigen harness, en zet dat er zelf bij in de modelkaart. De cijfers komen dus niet uit dezelfde meetopstelling.
Wil je toch vergelijken, kijk dan naar de regels die op dezelfde manier zijn opgezet. Grok 4.6 staat op de ranglijst op 41,5% (Mecado Baseline met build123d) en in de tabel van xAI op 40,9%. Die twee liggen dicht bij elkaar.
Mijn oordeel: een tabel van de maker zelf is geen ranglijst. Wie zijn gereedschap zelf wil kunnen draaien, kijkt bovendien niet naar Grok: dat model is gesloten en werkt alleen via de API van xAI of via platformen die xAI toelaat. De kop van de openbare ranglijst is juist een combinatie van een open-source MCP-server met een model dat je per gebruik afneemt.
De cijfers staan in de modelkaart van Grok 4.7 en op de ranglijst van CADGenBench Generation. Wat de benchmark zelf meet, staat bij CADGenBench.