Roads AI - IRI Correlation: verschil tussen versies

Uit ASAsense Documentation
Geen bewerkingssamenvatting
(pavesense v8 eIRI update documentatie)
Regel 1: Regel 1:
[[Bestand:IRI ASAsense vs IRI reference.png|miniatuur|eIRI ASAsense vs IRI reference]]
[[Bestand:Port of Antwerp Groundtruth vs eIRI measurements of ASAsense.jpg|miniatuur|eIRI ASAsense vs IRI reference]]
De eIRI-waarden van ASAsense worden berekend op basis van het wegprofiel dat wordt opgemeten aan de hand van de accelerometer in de sensorbox. We combineren hierbij de metingen van de verschillende passages en nemen daarbij de 85-ste percentiel van IRI (over de geselecteerde passages) van alle passages die voldoen aan het [[Roads AI#Convergentie|convergentiecriterium]]. Uit onderzoek blijkt namelijk dat dit een betere correlatie geeft met referentie data.
''Geldig vanaf PAVEsense versie 8 (november 2024)''


De correlatie werd gedaan met behulp van referentiedata die we van de haven van Antwerpen mochten ontvangen. Met behulp van enkele correcties voor de GPS-drift merken we een correlatie (R² factor) van 67% op. Gezien het feit dat we meten na de demping van de wagen, over verschillende passages heen, terwijl de referentiedata eenmalig wordt opgemaakt en telkens langs één zijde van de wagen, beschouwen we dit als een redelijke goede correlatiefactor. Belangrijker nog is echter wat het effect is op de analyse. Zoals u in de afbeelding hiernaast kan zien worden de hoge pieken afgevlakt, maar is er verder een zeer goede gelijkenis tussen de referentiedata en de ASAsense data. De slechtere wegen in de referentiedata komen ook in de ASAsense data terug als slecht, de goede als goede.
De eIRI-waarden van ASAsense worden berekend op basis van het wegprofiel dat wordt opgemeten aan de hand van de accelerometer in de sensorbox. We combineren hierbij de metingen van de verschillende passages en nemen daarbij het '''gemiddelde''' van de eIRI (over de geselecteerde passages) van alle passages die voldoen aan het [[Roads AI#Convergentie|convergentiecriterium]].
[[Bestand:IRI ASAsense vs PoA distribution.png|miniatuur|eIRI ASAsense t.o.v. PoA distributie]]
 
==== Vergelijking met referentie metingen in de haven van Antwerpen ====
De correlatie werd gedaan met behulp van referentiedata die we van de haven van Antwerpen mochten ontvangen. Met behulp van enkele correcties voor de GPS-drift merken we een correlatie (R² factor) van 70% op. Gezien het feit dat we meten na de demping van de wagen, over verschillende passages heen, terwijl de referentiedata eenmalig wordt opgemaakt en telkens langs één zijde van de wagen, beschouwen we dit als een goede correlatiefactor. Belangrijker nog is echter wat het effect is op de analyse. Er is een zeer goede gelijkenis tussen de referentiedata en de ASAsense data. De slechtere wegen in de referentiedata komen ook in de ASAsense data terug als slecht, de goede als goede.  
[[Bestand:Distributie eIRI vs referentie.png|miniatuur|eIRI ASAsense t.o.v. PoA distributie]]
Als we de totale distributie van de data bekijken zien we ook een zeer sterke overeenkomst.
Als we de totale distributie van de data bekijken zien we ook een zeer sterke overeenkomst.
We hebben hieronder de “driving quality” indicator ook vergeleken met de referentie metingen, dit analyseren we met een “confusion matrix”, wat een standaard aanpak is voor classificatie problemen. De kwaliteit wordt voornamelijk voorspeld in naburige kwaliteitslabels, wat zichtbaar is in de confusion matrix. Bijvoorbeeld, de wegen die “zeer goed” zijn als echt label, daarvan wordt 96% voorspeld als “goed” of “zeer goed”.
==== Ontwikkeling ====
===== PAVEsense versie 8 =====
Het aligneren van de gemeten data werd verbeterd. Dit heeft als effect dat pieken nu beter samenvallen op de juiste locatie. Hierdoor is het gemiddelde over verschillende passages nemen een effectievere manier om tot het eindresultaat te bekomen. Meer nog, dit is een simpelere manier en werkt ook wanneer er weinig passages over dezelfde locatie zijn. In de volgende tabel is de R^2 afgebeeld voor de nieuwe versie ten opzichte van de vorige. We merken ook dat het voorspellen van rijkwaliteit “''Driving Quality”'', ook significant verbeterd is ten opzichte van de vorige versie. De tabel is gecreëerd met dezelfde data voor v7 en v8, wat vergelijking mogelijk maakt.
{| class="wikitable"
|'''eIRI version'''
|'''R2 (dtw-aligned)'''
|-
|PAVEsense v7 en vroeger
|0.61
|-
|vanaf PAVEsense v8
|'''0.7'''
|}
[[Bestand:Driving quality confusion matrix.png|miniatuur|eIRI driving quality confusion matrix genormalizeerd op ware label]]
===== PAVEsense versie 7 en vroeger =====
In PAVEsense v7 en vroeger werd het 85<sup>ste</sup> percentiel gebruikt om verschillende passages samen te nemen tot een meting. Deze versie onder-rapporteerde de gemeten eIRI, waardoor vele wegen in een betere categorie terechtkwamen dan in werkelijkheid.
[[Bestand:PAVEsense v7 driving quality confusion matrix.png|miniatuur|PAVEsense v7 (oudere software) driving quality confusion matrix genormalizeerd op ware label]]

Versie van 15 nov 2024 09:37

eIRI ASAsense vs IRI reference

Geldig vanaf PAVEsense versie 8 (november 2024)

De eIRI-waarden van ASAsense worden berekend op basis van het wegprofiel dat wordt opgemeten aan de hand van de accelerometer in de sensorbox. We combineren hierbij de metingen van de verschillende passages en nemen daarbij het gemiddelde van de eIRI (over de geselecteerde passages) van alle passages die voldoen aan het convergentiecriterium.

Vergelijking met referentie metingen in de haven van Antwerpen

De correlatie werd gedaan met behulp van referentiedata die we van de haven van Antwerpen mochten ontvangen. Met behulp van enkele correcties voor de GPS-drift merken we een correlatie (R² factor) van 70% op. Gezien het feit dat we meten na de demping van de wagen, over verschillende passages heen, terwijl de referentiedata eenmalig wordt opgemaakt en telkens langs één zijde van de wagen, beschouwen we dit als een goede correlatiefactor. Belangrijker nog is echter wat het effect is op de analyse. Er is een zeer goede gelijkenis tussen de referentiedata en de ASAsense data. De slechtere wegen in de referentiedata komen ook in de ASAsense data terug als slecht, de goede als goede.

eIRI ASAsense t.o.v. PoA distributie

Als we de totale distributie van de data bekijken zien we ook een zeer sterke overeenkomst.

We hebben hieronder de “driving quality” indicator ook vergeleken met de referentie metingen, dit analyseren we met een “confusion matrix”, wat een standaard aanpak is voor classificatie problemen. De kwaliteit wordt voornamelijk voorspeld in naburige kwaliteitslabels, wat zichtbaar is in de confusion matrix. Bijvoorbeeld, de wegen die “zeer goed” zijn als echt label, daarvan wordt 96% voorspeld als “goed” of “zeer goed”.

Ontwikkeling

PAVEsense versie 8

Het aligneren van de gemeten data werd verbeterd. Dit heeft als effect dat pieken nu beter samenvallen op de juiste locatie. Hierdoor is het gemiddelde over verschillende passages nemen een effectievere manier om tot het eindresultaat te bekomen. Meer nog, dit is een simpelere manier en werkt ook wanneer er weinig passages over dezelfde locatie zijn. In de volgende tabel is de R^2 afgebeeld voor de nieuwe versie ten opzichte van de vorige. We merken ook dat het voorspellen van rijkwaliteit “Driving Quality”, ook significant verbeterd is ten opzichte van de vorige versie. De tabel is gecreëerd met dezelfde data voor v7 en v8, wat vergelijking mogelijk maakt.

eIRI version R2 (dtw-aligned)
PAVEsense v7 en vroeger 0.61
vanaf PAVEsense v8 0.7
eIRI driving quality confusion matrix genormalizeerd op ware label
PAVEsense versie 7 en vroeger

In PAVEsense v7 en vroeger werd het 85ste percentiel gebruikt om verschillende passages samen te nemen tot een meting. Deze versie onder-rapporteerde de gemeten eIRI, waardoor vele wegen in een betere categorie terechtkwamen dan in werkelijkheid.

PAVEsense v7 (oudere software) driving quality confusion matrix genormalizeerd op ware label
Overgenomen van "https://docs.asasense.com/index.php?title=Roads_AI_-_IRI_Correlation&oldid=105"