vrijdag 1 februari 2013

Relevantie van testen

Magic Bullet schrijft vandaag op zijn blog een lezenswaardig stuk met als titel:De zin en onzin van testen: Relevantie.

Dat laatste vraag ik me continue af. Is het wel relevant wat ik doe. Het is leuk en je leert veel, maar snijdt het ook hout. Daarom eerst de historie.

Ik ben al jaren bezig om de relevantie van mijn proeven te verbeteren. Eerst reed ik met de Quest van een viaduct. Wind, wegdek, sporing, sturen en temperatuur vertroebelden de resultaten. Vervolgens met het meetplatform en meetwagen buiten. Sporing en sturen speelden hier geen rol. Maar ook hier waren vooral wind en temperatuur boosdoeners. Vervolgens met de meetwagen naar binnen op de tegelvloer. Wind en temperatuur waren geen spelbrekers meer, het niet relevante betegelde wegdek weer wel.
Daarna de pendel. Wind en temperatuur zijn geen nadelige factoren meer. De gladde tegelvloer weer wel.

Tenslotte de pendel op asfaltgoten. Nu zijn wind, temperatuur en wegdek allemaal onder controle.
Het lijkt erop dat de pendel nu relevante uitkomsten oplevert.
Dat zijn ook de fabrikanten met me eens. Ik ga nu in opdracht van een grote (race) fietsbandenfabrikant 28 inch racefiets banden testen. Ook bandenfabrikanten realiseren zich donders goed dat een rollenbank alleen relevante resultaten oplevert als je banden test die qua diameter, breedte, constructie en druk vrijwel gelijk zijn. Maar ook dan is de praktijk buiten een heel ander verhaal.

Significant is dat bij normale temperaturen, met vorst heb ik met andere methoden niet gemeten, de verschillen in pendeltijd procentueel overeenkomen met de verschillen in uitrolafstand.
We moeten het niet ingewikkelder maken dan nodig. Een band die langer pendelt heeft een lagere rolweerstand. En ik meet niet meer dan de onderlinge verschillen tussen banden.

Er zijn voldoende gegevens om bijv. de verschillen tussen een Kojak en een F-lite te vergelijken. Neem nu de gegevens van het meetplatform op de Westdijk van 27-7-2011. De Kojak rolt hier 19,10 meter uit. De F-lite 25,98 meter. We weten dat de Kojak van 2012 7% lichter loopt dan de Kojak van toen. De uitrolafstand is dan 20,44 meter voor de Kojak. De F-lite is dus 27% sneller.
Dan dezelfde banden op de pendel. Eerst op de gladde tegelvloer. De nieuwe Kojak pendelt 52,5 seconden, de F-lite 66,8 seconden. Ook hier weer 27% verschil in het voordeel van de F-lite.
Tenslotte precies dezelfde banden op de pendel op de asfaltgoten. De Kojak en de F-lite lopen beide op de asfaltgoot 10% trager. De Kojak komt tot 47,5 seconden, de F-lite tot 60,2 seconden. Het verschil is wederom 27% in het voordeel van de F-lite.

Hieruit blijkt dat de onderlinge verschillen tussen dezelfde banden getest met de meetwagen en pendel procentueel geen enkel verschil laten zien. In alle testomstandigheden loopt een F-lite 27% lichter dan een Kojak.

Feit is dat wetenschappelijk verantwoord geachte methoden, in casu de rollenbank, in de praktijk niet relevant blijken te zijn.
Op elke methode is wat af te dingen. Als ik bijv. een fijnere asfaltmix had gekozen zouden er ook weer verschillen ontstaan. Hoe fijner het wegdek van structuur is, hoe relatief sneller zijn smalle hard opgepompte banden.

Blijft dat ik geen wetenschapper ben maar een nieuwsgierige fietser met veel vrije tijd. Daarom sta ik open voor kritiek, al mag het wel constructieve kritiek zijn. Hoe beter de methodiek, hoe meer we er met zijn allen aan hebben.

20 opmerkingen:

Quezzzt zei

Zoals ik al zei op de Blog van Magic Bullet, het enige verschil met een praktijksituatie is dat je de luchtweerstand van een band niet test dus de band andere resultaten kan geven op bepaalde typen velomobiel dan je zou verwachten van de rolweerstand gegevens die jij wel heel nauwkeurig meet.

Dan hebben dikke banden ook nog de neiging wielkasten van velomobielen met open wielkasten te vullen en hun nadeel weer deels teniet te doen waar velomobielen met een dichte wielkast wel iets nadeel hebben van een bredere band qua luchteerstand, ook al steekt er maar 1/3 van de banden in de stroomlijn.

Rolweerstand laat zich dus niet 1:1vertalen in praktijksnelheid onder de velomobiel en dat is het stukje relevantie. Wat het wel doet is ondubbezinnig de rolweerstandsverschillen bepalen.

VeMotie zei

Wim,
volgens mij gaat het hier ook om twee verschillende niveau's van relevantie.

Het eerste niveau betreft de proeven aan zich. Deze zijn m.i. zeer relevant (= van grote betekenis) voor de VM/fiets-communitiy die je blog lezen. Zou je immers dezelfde testen doen met (even als voorbeeld) motorfietsbanden dan denk ik dat voor de meesten deze test's niet relevant zouden zijn (in ieder geval niet voor de VM/fiets-community.

Het tweede niveau gaat over de relevantie van de manier
waarop je deze testen doet (van een viaduct rijden; meetplatform, meetwagen, pendel etc.). Ook hier kunnen sommige zaken wel/niet relevant zijn voor een test. Winterbanden in de vrieskou testen (d.w.z. alles laten afkoelen tot onder het vriespunt) is zeer relevant voor de test. Dat je voorafgaand aan deze test midden in de nacht thuis een woordenwisseling had vanwege het vroege tijdstip is - in ieder geval voor de test - niet relevant (maar wél leuk om te lezen natuurlijk ;-).
Zou je de vrieskou testmethode voor de (reeds boven genoemde) motorfietsbanden doen, dan is deze methode nog steeds zeer relevant voor de test, maar omdat het een test is van motorfietsbanden weer niet relevant voor een VM/ligfietser.

Dus dát je al die proeven doet is (daar bestaat volgens mij geen twijfel over) zeer relevant. De manier waarop dit gebeurt, namelijk om zo goed mogelijk de werkelijkheid proberen na te bootsen blijft denk ik steeds een uitdaging om het zo relevant mogelijk te laten zijn.

Rudolf zei

Wim,

Gewoon lekker doorgaan met ontwikkelen, meten en testen!!! Ik vind dat je het best wel wetenschappelijk verantwoord aanpakt.
Ik vind het in elk geval heel leuk om te lezen.

Wil het frezen trouwens een beetje lukken ?

Groet
Rudolf.

Quezzzt zei

Ik vraag me zelfs af wat de rol is van bandprofiel en luchtweerstand gericht tegen het ronddraaien van het wiel.

Misschien is het onmeetbaar klein tov lagerweerstand en massa van het wiel. En misschien ook niet.

Zeker of er verschil is bij 20 inch bandjes die flink snel draaien met een diep profiel of slicks.




Tim zei

Thinking of all these test Wim runs tells me something about his person-hood.Translating this into the VeloTilt Velo,one has to be nothing but excited!We maybe looking at history made when the VeloTilt is finally released.A step up in the Velo evolution.

Thanks Wim!!!

Arnold, Hoorn (West-Friesland) zei

Aan iedere tetsmethode is natuurlijk iets te veranderen of te verbeteren. Echter, ik ben er zeer over te spreken dat deze testmethode welke volgens vaste rituelen wordt uitgevoerd, het geeft een duidelijker beeld dan de vergelijken welke op sommige forums of blogs te lezen zijn. Mijn banden lijken de ene dag lichter te fietsen dan op een andere dag, met andere woorden, mijn lijf reageert soms anders dan ik zelf denk. Wim, pendel verder maar hou de huiselijke vrede in ere ....

Wim Schermer zei

Rudolf,
We gaan lekker door.
Het frezen is begonnen, er is nu één van de vier delen gefreesd. Als er meer gefreesd is en ik heb daar foto's van dan zal ik er wat over schrijven.
Groeten,
Wim

Quesjer zei

Haa Wim,

Goed dat je zo openlijk de vraag betreffende de relevantie neerlegt. Daarmee ben je transparant bezig. Ook correct dat je meldt geen wetenschappelijke achtergrond te hebben.

Het is soms wel te merken, omdat je er nog wel eens de neiging lijkt te hebben al wat te stellen voordat dat gestelde ook wetenschappelijk onderbouwd is. En soms sla je dan de plank net mis. Ik snap het goed, zoiets gaat in het enthousiasme mee.

Maar dat laat onverlet dat je belangrijke zaken in beweging krijgt, en dan doel ik niet alleen maar op dat ding op drie wielen ;-)
Een open mind is daarom heel goed, om uiteindelijk e.e.a. in de juiste context te kunnen plaatsen.
En daar zijn dan ook niet voor niets veel mensen weer blij mee.

Dank dus voor al je inspanningen, (en M. voor haar gebrek aan nachtrust ;-) )

Groet van Quesjer

Anoniem zei

Hoi Wim, ga vooral door, je bent goed bezig vind ik. Mijn vriendin en ik hadden bemerkt dat de M+ eigenlijk niet onder deed voor de (snelheid van)de durano. Allerlei mensen en blogs gaven aan dat onze observatie niet zou kunnen kloppen. Toen echter je uitslag kwam uit jouw test over de M+ bevestigde dat onze observatie, soort van zie-je-wel en motiveerde me om vooral met deze band door te gaan. Dat neemt niet weg dat bij testen van banden, of van bergop fietsen (verschillen df- ligfiets), de gevonden resultaten altijd bekeken moeten worden met "is er een andere verklaring voor deze resultaten mogelijk dan die ik meen te zien". Gelukkig dat jij daar wel voor open staat en verder wil kijken. Ik denk dat oa magic bullet met zn methodologische achtergrond mee kan denken :-)? grmonique

Wim Schermer zei

Dag Monique,
Leuk is dat nu een keer duidelijk wordt waarom er in de winter minder hard gereden kan worden. Dan zie je dat sommige banden het in de vrieskou veel beter doen dan andere. De Marathon en de Marathon Plus zijn de laatste jaren sterk verbeterd. Dat hoor je niet van Schwalbe.
Ik publiceer redelijk onbevangen, mede omdat ik geen wetenschappelijke achtergrond heb.
Doordat ik elke reactie serieus neem en zeker publiceer, verbetert dat de resultaten van de tests.
Groeten,
Wim



Magic Bullet zei

Beste Wim,

Expres deze post niet gelezen voor ik mijn stuk over significantie af had. Allereerst: je bent heel open over je resultaten (daar kunnen veel wetenschappers wat van leren), en, met of zonder wetenschappelijke achtergrond, jouw pendelproeven zijn bijzonder waardevol (relevant en significant)! Bijv de vergelijking die je maakt met uitrollen van Kojaks en F-lites is gewoon een gedeeltelijke validatie van je nieuwe pendeltestmethode.

Beroepsdeformaties dwingen mij wel om kritisch te blijven bij alle observaties die iedereen (dus ook jij) doet en vooral de conclusies die daaruit getrokken worden. Maar bovenal zie ik de enorme voordelen van deze test.

Zelf denk ik dat je door een paar extra tests nog heel veel meer inzichten in de pendel en de fietsband kan krijgen en met veel meer vertrouwen in je eigen metingen conclusies kan trekken. Alle methodes hiervoor heb je al in huis.

In mijn volgende post over validatie wil ik graag op een genuanceerde manier de pendeltest als voorbeeld gebruiken. Ben je daarmee accoord?

Magic Bullet zei

Beste Wim,

Expres deze post niet gelezen voor ik mijn stuk over significantie af had. Allereerst: je bent heel open over je resultaten (daar kunnen veel wetenschappers wat van leren), en, met of zonder wetenschappelijke achtergrond, jouw pendelproeven zijn bijzonder waardevol (relevant en significant)! Bijv de vergelijking die je maakt met uitrollen van Kojaks en F-lites is gewoon een gedeeltelijke validatie van je nieuwe pendeltestmethode.

Beroepsdeformaties dwingen mij kritisch te blijven bij alle observaties die iedereen (dus ook jij) doet. Bovendien ben ik nogal nieuwsgierig en zie ik de enorme voordelen van deze test. Zelf denk ik dat je door een paar extra tests nog heel veel meer inzichten in de pendel en de fietsband kan krijgen en veel meer vertrouwen in je eigen metingen. Alle methodes hiervoor heb je al in huis.

In mijn volgende post over validatie wil ik graag op een genuanceerde manier de pendeltest als voorbeeld gebruiken. Ben je daarmee accoord?

Wim Schermer zei

Magic Bullet,
Elke informatie, tip, hint, kritiek sta ik voor open. Ik voer liever een open discussie dan achteraf te horen dat er, terecht of onterecht, twijfels zijn over de methode met de pendel.
Ergens heb ik het wel beschreven maar mogelijk heb je er iets aan. Iedere set te testen banden wordt na montage om de velg twee bar te hard opgepompt om de band goed te centreren. Dat wordt vrij draaiend gecontroleerd. Dan wordt de band leeggelaten en weer opgepompt tot de te meten druk. De drukmeter is een geijkte professionele meter.
De bedieningsstang wordt éénmalig per set banden met de waterpas horizontaal afgeregeld.
De banden worden eerst een aantal keren gependeld alvorens de metingen beginnen.
Er worden bij iedere druk zes metingen gedaan, drie maal voorover gestart, drie maal achterover gestart. Van de zes metingen wordt de hoogste en laagste meting weggelaten. Van de resulterende vier metingen wordt het gemiddelde bepaald tot één cijfer achter de komma.
Temperaturen waarbij gemeten wordt, worden tot op 0.1℃. bepaald.
De pendel is voorzien van een laser waarbij op een afstand van 10 meter de beweging heel nauwkeurig is waar te nemen.
Elke test wordt vastgelegd op zijn eigen formulier. Bewust kijk ik niet naar eerdere metingen. Dat voorkomt ergens naar toe meten.

Ga gerust je gang.
Groeten,
Wim

Magic Bullet zei

klinkt heel goed. Thanks.

Corn-Dolly zei

Vorig week had ik een vergelijkbare reactie geschreven als die van jou Wim.
Door technische storing is het hele verhaal helaas niet geplaatst. Jammer van mijn tijd.

Ik sta helemaal achter je. De testen worden steeds meer wetenschappelijk verantwoord.
Dat is ook het antwoord op de vraag van Marian denk ik. Het is de wetenschapper in je die het gewoon wilt weten. Tijdstip is dan irrelevant
.
Het is vaak gezegd, de gegevens zijn altijd waardevol. Juist of onjuist. Ieder kan daar zijn eigen conclusies aan verbinden.
Mijn ervaringen in de praktijk voelen heel vaak hetzelfde aan als de getallen uit jou testen. Je zit volgens mij dichter bij de waarheid als alle andere bestaande testen en data laten zien.

Zoals Quesjer zei, je kan soms onwetenschappelijk vroegtijdige conclusies trekken, maar dat zij je vergeven omdat je ook veel gevoel en ervaring hebt opgebouwd. En wij zijn als lezer ook natuurlijk razend benieuwd naar je eerste bevindingen en indrukken. ;-)

Wim Schermer zei

Dag Theo,
Toch zit er een gevaar in metingen door één persoon. Ze mogen niet fout, voor meerdere uitleg of misleidend zijn. Er wordt al gauw aangenomen dat 'metingen van Wim' wel kloppen en men handelt daar naar. Soms met foute conclusies als men banden koopt met verwijzing naar mijn test die helemaal niet getest zijn. Die banden hebben dan wel dezelfde naam, maar niet dezelfde grootte of breedte.

Ik leg zo uitgebreid mogelijk uit hoe ik het doe. Metingen, ook al zijn ze niet 100% logisch, publiceer ik toch. Eigen interpretatie van de gegevens is het belangrijkst. Daarom probeer ik zoveel mogelijk in tabellen te werken voor een goede vergelijking.
Groeten,
Wim


Magic Bullet zei

Ha Wim,
Twee vragen in voorbereiding op mijn post(s) over validatie en verbetering van significantie:
1- statistisch gezien mag je eigenlijk geen waardes weggooien. Heb je daar een andere, liefst technische, reden voor dan alleen 'de hoogste en de laagste'?
2- Ik snap de heel accurate laser, gaaf. Maar hoe besluit je nu dat hij echt niet meer beweegt? Moet de laser dan gedurende x seconden geen verandering meer geven?

Wim Schermer zei

Magic Bullet,
Van de 6 metingen zijn er altijd enkele die buiten het gemiddelde vallen. Ik laat deze weg om van de vier overgebleven waarden het gemiddelde te berekenen.
Zou ik ze ook meerekenen, dan zal het gemiddelde waarschijnlijk nauwelijks veranderen.
Ik laat de laser op een kaartje schijnen met een fijne lijnverdeling. Op het moment dat de laser stil staat, dat is goed waar te nemen, dan .... staat ie stil.
Door een vrij groot aantal metingen te doen, gecombineerd met wat ervaring, kan het voorkomen dat de pendel 3x achtereen tot op de 1/10 seconde gelijk pendelt.
Groeten,
Wim

Maciej Dlugosz zei

Beste Wim!

Hoeveel kost om 28" ook te uitproberen? Volgens mij:
- extra 2 velgen
- extra spaken,
- extra naven
- (een naturlijk 28" buiten en binen banden)

Kunnen wij misschien naar jouw geld sturen om zo iets te doen? Anders zal ik zelf een pendel bouwen!

Wim Schermer zei

Hi Maciej,
Het gebruik van 28" wielen in een velomobiel zal uiterst beperkt blijven. Testen, nog afgezien van kosten, voor slechts een enkeling, lijken mij niet zo zinvol.
Groeten,
Wim