Roads AI - IRI Correlation

Uit ASAsense Documentation
Versie door Wout (overleg | bijdragen) op 15 nov 2024 om 09:37 (pavesense v8 eIRI update documentatie)
eIRI ASAsense vs IRI reference

Geldig vanaf PAVEsense versie 8 (november 2024)

De eIRI-waarden van ASAsense worden berekend op basis van het wegprofiel dat wordt opgemeten aan de hand van de accelerometer in de sensorbox. We combineren hierbij de metingen van de verschillende passages en nemen daarbij het gemiddelde van de eIRI (over de geselecteerde passages) van alle passages die voldoen aan het convergentiecriterium.

Vergelijking met referentie metingen in de haven van Antwerpen

De correlatie werd gedaan met behulp van referentiedata die we van de haven van Antwerpen mochten ontvangen. Met behulp van enkele correcties voor de GPS-drift merken we een correlatie (R² factor) van 70% op. Gezien het feit dat we meten na de demping van de wagen, over verschillende passages heen, terwijl de referentiedata eenmalig wordt opgemaakt en telkens langs één zijde van de wagen, beschouwen we dit als een goede correlatiefactor. Belangrijker nog is echter wat het effect is op de analyse. Er is een zeer goede gelijkenis tussen de referentiedata en de ASAsense data. De slechtere wegen in de referentiedata komen ook in de ASAsense data terug als slecht, de goede als goede.

eIRI ASAsense t.o.v. PoA distributie

Als we de totale distributie van de data bekijken zien we ook een zeer sterke overeenkomst.

We hebben hieronder de “driving quality” indicator ook vergeleken met de referentie metingen, dit analyseren we met een “confusion matrix”, wat een standaard aanpak is voor classificatie problemen. De kwaliteit wordt voornamelijk voorspeld in naburige kwaliteitslabels, wat zichtbaar is in de confusion matrix. Bijvoorbeeld, de wegen die “zeer goed” zijn als echt label, daarvan wordt 96% voorspeld als “goed” of “zeer goed”.

Ontwikkeling

PAVEsense versie 8

Het aligneren van de gemeten data werd verbeterd. Dit heeft als effect dat pieken nu beter samenvallen op de juiste locatie. Hierdoor is het gemiddelde over verschillende passages nemen een effectievere manier om tot het eindresultaat te bekomen. Meer nog, dit is een simpelere manier en werkt ook wanneer er weinig passages over dezelfde locatie zijn. In de volgende tabel is de R^2 afgebeeld voor de nieuwe versie ten opzichte van de vorige. We merken ook dat het voorspellen van rijkwaliteit “Driving Quality”, ook significant verbeterd is ten opzichte van de vorige versie. De tabel is gecreëerd met dezelfde data voor v7 en v8, wat vergelijking mogelijk maakt.

eIRI version R2 (dtw-aligned)
PAVEsense v7 en vroeger 0.61
vanaf PAVEsense v8 0.7
eIRI driving quality confusion matrix genormalizeerd op ware label
PAVEsense versie 7 en vroeger

In PAVEsense v7 en vroeger werd het 85ste percentiel gebruikt om verschillende passages samen te nemen tot een meting. Deze versie onder-rapporteerde de gemeten eIRI, waardoor vele wegen in een betere categorie terechtkwamen dan in werkelijkheid.

PAVEsense v7 (oudere software) driving quality confusion matrix genormalizeerd op ware label