vrijdag 1 februari 2013

Relevantie van testen

Magic Bullet schrijft vandaag op zijn blog een lezenswaardig stuk met als titel:De zin en onzin van testen: Relevantie.

Dat laatste vraag ik me continue af. Is het wel relevant wat ik doe. Het is leuk en je leert veel, maar snijdt het ook hout. Daarom eerst de historie.

Ik ben al jaren bezig om de relevantie van mijn proeven te verbeteren. Eerst reed ik met de Quest van een viaduct. Wind, wegdek, sporing, sturen en temperatuur vertroebelden de resultaten. Vervolgens met het meetplatform en meetwagen buiten. Sporing en sturen speelden hier geen rol. Maar ook hier waren vooral wind en temperatuur boosdoeners. Vervolgens met de meetwagen naar binnen op de tegelvloer. Wind en temperatuur waren geen spelbrekers meer, het niet relevante betegelde wegdek weer wel.
Daarna de pendel. Wind en temperatuur zijn geen nadelige factoren meer. De gladde tegelvloer weer wel.

Tenslotte de pendel op asfaltgoten. Nu zijn wind, temperatuur en wegdek allemaal onder controle.
Het lijkt erop dat de pendel nu relevante uitkomsten oplevert.
Dat zijn ook de fabrikanten met me eens. Ik ga nu in opdracht van een grote (race) fietsbandenfabrikant 28 inch racefiets banden testen. Ook bandenfabrikanten realiseren zich donders goed dat een rollenbank alleen relevante resultaten oplevert als je banden test die qua diameter, breedte, constructie en druk vrijwel gelijk zijn. Maar ook dan is de praktijk buiten een heel ander verhaal.

Significant is dat bij normale temperaturen, met vorst heb ik met andere methoden niet gemeten, de verschillen in pendeltijd procentueel overeenkomen met de verschillen in uitrolafstand.
We moeten het niet ingewikkelder maken dan nodig. Een band die langer pendelt heeft een lagere rolweerstand. En ik meet niet meer dan de onderlinge verschillen tussen banden.

Er zijn voldoende gegevens om bijv. de verschillen tussen een Kojak en een F-lite te vergelijken. Neem nu de gegevens van het meetplatform op de Westdijk van 27-7-2011. De Kojak rolt hier 19,10 meter uit. De F-lite 25,98 meter. We weten dat de Kojak van 2012 7% lichter loopt dan de Kojak van toen. De uitrolafstand is dan 20,44 meter voor de Kojak. De F-lite is dus 27% sneller.
Dan dezelfde banden op de pendel. Eerst op de gladde tegelvloer. De nieuwe Kojak pendelt 52,5 seconden, de F-lite 66,8 seconden. Ook hier weer 27% verschil in het voordeel van de F-lite.
Tenslotte precies dezelfde banden op de pendel op de asfaltgoten. De Kojak en de F-lite lopen beide op de asfaltgoot 10% trager. De Kojak komt tot 47,5 seconden, de F-lite tot 60,2 seconden. Het verschil is wederom 27% in het voordeel van de F-lite.

Hieruit blijkt dat de onderlinge verschillen tussen dezelfde banden getest met de meetwagen en pendel procentueel geen enkel verschil laten zien. In alle testomstandigheden loopt een F-lite 27% lichter dan een Kojak.

Feit is dat wetenschappelijk verantwoord geachte methoden, in casu de rollenbank, in de praktijk niet relevant blijken te zijn.
Op elke methode is wat af te dingen. Als ik bijv. een fijnere asfaltmix had gekozen zouden er ook weer verschillen ontstaan. Hoe fijner het wegdek van structuur is, hoe relatief sneller zijn smalle hard opgepompte banden.

Blijft dat ik geen wetenschapper ben maar een nieuwsgierige fietser met veel vrije tijd. Daarom sta ik open voor kritiek, al mag het wel constructieve kritiek zijn. Hoe beter de methodiek, hoe meer we er met zijn allen aan hebben.