English version: What is CADGenBench?.
In berichten over AI en CAD duiken benchmarkcijfers op, en CADGenBench is er daar een van. Het meet of een model van een ontwerpopdracht een echt CAD-model maakt. Hieronder staat wat er precies gemeten wordt, en waarom je zo’n cijfer met korreltjes zout moet nemen.
Wat het meet
CADGenBench vraagt een model om van een opdracht een CAD-model te maken. Niet een plaatje, en niet een mesh: echte geometrie, een solid die je in een CAD-programma kunt openen en verder bewerken. Daarna wordt gekeken of dat gelukt is.
Het is daarmee een andere vraag dan de meeste AI-tests. Een model dat een overtuigende beschrijving van een onderdeel kan geven komt hier niet ver; het moet iets afleveren dat als model werkt.
Hoe het beoordeelt
De beoordeling is geen mening van een chatbot maar een test. Eerst moet het model een geldig solid zijn: dicht, zonder losse vlakken of gaten in de wand. Dan moet de vorm kloppen ten opzichte van wat gevraagd was. En de opbouw moet kloppen: zit een gat op de juiste plek, klopt de wanddikte, sluiten de vlakken op elkaar aan.
Dat laatste is precies waar modellen struikelen. Een model kan er van buiten goed uitzien en toch zakken, omdat de opbouw eronder niet klopt. Voor een CAD-gebruiker is dat herkenbaar: een onderdeel dat je niet kunt bewerken is in de praktijk weinig waard.
Waar het vandaan komt
CADGenBench komt van Mecado en staat op Hugging Face. Het is een openbare benchmark met een ranglijst waarop resultaten worden ingediend. Er is ook een variant die niet alleen het maken van een model meet, maar ook het aanpassen van een bestaand STEP-bestand.
Waarom één cijfer weinig zegt
Een benchmark is alleen eerlijk te vergelijken als iedereen onder dezelfde omstandigheden meet, en dat is hier niet altijd zo. xAI meette zijn Grok 4.7 met een eigen hulpmiddel, terwijl de modellen waarmee het vergeleek hun eigen hulpmiddel gebruikten. Dan zegt de rangorde iets, maar niet alles.
Daar komt bij dat de ranglijst nog dun is. Er staan op dit moment weinig modellen op, en dat maakt een hoge positie minder betekenisvol dan hij lijkt. Een score laat zien dat een model iets kan, niet dat het het beste is.
Niet hetzelfde als BenchCAD
BenchCAD is een andere benchmark met een andere opzet. De cijfers van de twee zeggen niet hetzelfde, ook al zie je ze vaak in hetzelfde rijtje langskomen. Vergelijk dus geen getallen uit verschillende benchmarks met elkaar.
De benchmark staat op CADGenBench op Hugging Face, met de ranglijst bij Mecado. De cijfers die ik hier noem komen uit de modelkaarten van de aanbieders zelf.
2 reacties