Kvalitetsmetrikker for målfølging – en undersøkelse av et utvalg metoder

Abstract

Målfølging (tracking) er nødvendig i situasjoner hvor man mottar målinger av et system eller område og ønsker å beregne tilstanden. I militær sammenheng kan det for eksempel være snakk om å bruke sensorer som kan gi oversikt over et område.

Prosjektet Robust og modulbasert målfølging ved Forsvarets forskningsinstitutt (FFI) har som oppgave å utarbeide et rammeverk for utprøving av forskjellige målfølgingsalgoritmer (trackere). Trackerene bruker ulike assosiasjonsmetoder og/eller ulike estimatorer. I den sammenheng er det nødvendig å kunne sammenligne ytelsen til to eller flere trackere. Metoder for å måle kvaliteten kalles kvalitetsmetrikk, i dette tilfellet kvalitetsmetrikk for tracking.

Denne rapporten presenterer noen forskjellige kvalitetsmetrikker for tracking. Metrikkene kan deles i to hovedtyper som vi har valgt å kalle multimetrikker og enkeltmetrikker. Multimetrikker kjennetegnes ved at vi har mange forskjellige ytelsesmål for en tracker, og beregner alle sammen. Resultatet blir en tabell per tracker som beskriver ytelsen. Hvilke ytelsesmål vi ønsker å inkludere velger vi selv. Enkeltmetrikker gir ett tall for kvaliteten per tidssteg, og kan lett visualiseres som en graf over tidsrommet. I denne rapporten setter vi opp et eksempel på multimetrikk, og ser på tre forskjellige enkeltmetrikker: OSPA-T, GOSPA-T og OSPA-on-OSPA.

I rapporten blir de forskjellige metrikkene anvendt på et eksempelscenario. Eksempelscenarioet består av to mål. Vi har konstruert resultatet fra to fiktive trackere, og beregner kvaliteten til disse resultatene.

I denne rapporten kommer vi ikke med noen anbefaling om hvilke(n) kvalitetsmetrikk(er) man bør benytte seg av. Flere av metrikkene kommer til å bli prøvd ut i FFI-prosjektet, og vi vil forhåpentlig få nok erfaring med de forskjellige metrikkene til å komme med en slik anbefaling på et senere tidspunkt.

Tracking is necessary in many situations where one receives measurements of a system or area and wishes to estimate the state of the system. A military example of this is using sensors (such as radars) to create an overview of an area.

The project Robust and module based tracking at the Norwegian Defence Research Establishment (FFI) is developing a framework with which to test different trackers. The trackers will differ from each other in what estimator they use, what association algorithm they use, or both. In order to be able to compare trackers we need some methods to measure the performance of the trackers. Such methods are called quality metrics for tracking.

This report presents some quality metrics for tracking. The metrics can be separated into two categories, which we call multi-metrics and single-metrics. In multi-metrics one has many performance measures, and calculates each one. The outcome is a table of performance measures per tracker. There is no hard rule for which performance measures to include in such a table. The single-metrics yield one number per time step, and can be visualized as a graph covering the time of interest, which is most likely the entire run of the scenario in question. In this report we detail one set of performance measures that can be used in a multi-metric approach, and three different single-metrics: OSPA-T, GOSPA-T and OSPA-on-OSPA.

The different metrics are applied to a test scenario. The scenario has two targets moving in a scene. We have created the output from two fictitious trackers, and calculate the quality of said output.

We do not make any recommendations regarding which quality metrics to use. In the FFI project we will use several of the metrics as we implement and test various trackers, and will hopefully gain enough experience in the use of quality metrics to be able to make such recommendations at a later time.