English version: Three CAD benchmarks: what they measure, and what they do not.
Er zijn nu drie benchmarks die meten of een AI-model echt CAD-werk doet: Parametric CAD Bench, CADGenBench en AutoCAD Bench. Ze meten elk iets anders, en daarom kun je de cijfers niet naast elkaar leggen.
Hoe dat gemeten wordt, verschilt per benchmark.
| Benchmark | Wat er gemeten wordt |
|---|---|
| Parametric CAD Bench (gNucleus) | 100 FreeCAD-taken: 30 maken uit tekst, 30 maken en daarna bewerken, 40 maken uit een technische tekening. De code wordt echt uitgevoerd en de geometrie wordt vergeleken met de opdracht en met een voorbeeldmodel. |
| CADGenBench (Hugging Face) | Of een model van een ontwerpopdracht een geldig en geometrisch correct 3D-onderdeel maakt. Ongeldige uitvoer krijgt geen score. Er zijn twee soorten taken: genereren en aanpassen. |
| AutoCAD Bench (Markov Studios) | 50 tekenopdrachten in AutoCAD 2019, 21 in 2D en 29 in 3D. De agent ziet alleen een scherm en mag klikken, typen en slepen: geen automatisering, geen MCP. |
Parametric CAD Bench: 61% met een agent eromheen
Bovenaan de V3-ranglijst staat Claude Opus 5.5 op maximale inspanning met Claude Code als hulpmiddel, met 61,03%. Dezelfde Opus haalt 57,96% met mini-swe-agent, en GPT-6 Astra komt met Codex op 56,87%. Het beeld binnen die scores is het interessantst: van een technische tekening naar CAD gaat met 84,66% veruit het best, en het aanpassen van een bestaand model blijft steken op 39,69%. De hele reeks van 100 taken kostte 573,94 dollar aan tokens bij de modelaanbieder, omgerekend ongeveer 5,74 dollar per opdracht, en een mislukte of onbeoordeelde poging telt als nul. Die kosten gelden voor de hele reeks en hangen af van de combinatie van model en agent: in deze lijst lopen ze van 196,74 tot 1.056,04 dollar.
CADGenBench: die 86,9% is een deelcijfer
In berichten over CADGenBench duikt 86,9% op voor build123d-mcp met Claude Opus 5.5. In de openbare lijst met inzendingen is dat het cijfer op het generatie-onderdeel, niet het totaal: over de hele benchmark komt die inzending op 82,98%, met 77,0% op het aanpassen. Bovenaan de totaalscore staat een inzending onder de naam deeprd-v2 met 84,82%, met de vermelding dat die niet gecontroleerd is; de inzending van build123d-mcp is dat wel.
De benchmark voert elke inzending zelf uit, maar de deelnemer levert zijn eigen combinatie van model en hulpmiddelen aan. De lijst is dus een signaal dat een combinatie werkt, geen rangorde van modellen.
AutoCAD Bench: 46%, en dat is de hoogste
Deze is het strengst in wat hij toestaat: vijftig opdrachten in AutoCAD 2019 waarin de agent alleen muis en toetsenbord heeft, geen MCP en geen automatisering. Bovenaan staat Sol met 46%, dus 23 van de 50 taken, en de verdeling laat zien waar het misgaat: 14 van 21 in 2D tegen 9 van 29 in 3D. Terra haalt 14%, Fable 5 10%, Luna 8%, en Opus 4.8, Kimi K2.5 en Qwen3.7 komen in geen enkele opdracht boven de drempel van 75 punten uit.
De makers zeggen er zelf bij wat hun benchmark niet ziet. De beoordelaar kijkt alleen naar het opgeslagen tekenbestand, niet naar hoe het gemaakt is. In hun eigen voorbeeld houdt Sol de omtrek en alle maten, maar vervangt hij twee radiusgestuurde bogen door één spline; dat kwam er met 86,3 punten nog doorheen. Verder valt op dat 88,8% van alle handelingen getypte commando’s zijn, en dat de modellen vaak meerdere handelingen op één schermafbeelding sturen.
Waarom je de cijfers niet kunt vergelijken
Bij de ene benchmark schrijft een agent FreeCAD-code, bij de andere typt en klikt hij zelf in AutoCAD, en bij de derde telt alleen de geometrie die eruit komt. Een cijfer zegt daarmee net zoveel over de opdracht en de opstelling als over het model, en het hulpmiddel eromheen weegt mee.
Mijn oordeel: de drie lijsten samen laten iets zien dat geen enkel los cijfer zegt. Modellen zijn sterk waar ze code mogen schrijven en zwak waar ze zelf in de interface moeten werken: FreeCAD-code gaat redelijk, AutoCAD met de hand bedienen blijft op 46% steken, en dat is nog met een beoordelaar die alleen naar het eindbestand kijkt. Voor wie wil vibecadden maakt de koppeling daarmee meer uit dan het cijfer: een programma dat een agent van buitenaf kan aansturen geeft hem een route die werkt.
De ranglijsten staan op cadbench.ai, op de CADGenBench-ranglijst van Hugging Face, en op de pagina van AutoCAD Bench van Markov Studios. Wat CADGenBench precies meet, staat in Wat is CADGenBench?
1 reactie