SORT Tracker — настройка параметров

У меня возникли проблемы, связанные с трекером SORT (сочетание фильтра Калмана и венгерского алгоритма) в сочетании с YOLO v3 в футбольных видео. Как также упоминалось в основной статье, SORT сильно страдает от переключения идентификаторов (другими словами, идентификатор меняется, даже если отслеживаемый объект тот же), в том числе при отсутствии окклюзии! Мне было интересно, могу ли я (слегка) смягчить эту проблему, откалибровав параметры max_age (время, которое может пройти без присвоения идентификатора) и max_hits. Как эти параметры могут повлиять на финальное отслеживание? А параметр IoU венгерского? Большое спасибо!

class Sort(object):
  def __init__(self,max_age=8,min_hits=3):
    """
    Sets key parameters for SORT
    """
    self.max_age = max_age
    self.min_hits = min_hits
    self.trackers = []
    self.frame_count = 0

  def update(self,dets):
    """
    Params:
      dets - a numpy array of detections in the format [[x,y,w,h,score],[x,y,w,h,score],...]
    Requires: this method must be called once for each frame even with empty detections.
    Returns the a similar array, where the last column is the object ID.

    NOTE: The number of objects returned may differ from the number of detections provided.
    """

    # prevent "too many indices for array" error
    if len(dets)==0:
      return np.empty((0,5))

    self.frame_count += 1
    #get predicted locations from existing trackers.
    trks = np.zeros((len(self.trackers),5))
    to_del = []
    ret = []
    for t,trk in enumerate(trks):
      pos = self.trackers[t].predict()[0]
      trk[:] = [pos[0], pos[1], pos[2], pos[3], 0]
      if(np.any(np.isnan(pos))):
        to_del.append(t)
    trks = np.ma.compress_rows(np.ma.masked_invalid(trks))
    for t in reversed(to_del):
      self.trackers.pop(t)
    matched, unmatched_dets, unmatched_trks = associate_detections_to_trackers(dets,trks)

    #update matched trackers with assigned detections
    for t,trk in enumerate(self.trackers):
      if(t not in unmatched_trks):
        d = matched[np.where(matched[:,1]==t)[0],0]
        trk.update(dets[d,:][0])

    #create and initialise new trackers for unmatched detections
    for i in unmatched_dets:
        trk = KalmanBoxTracker(dets[i,:])
        self.trackers.append(trk)
    i = len(self.trackers)
    for trk in reversed(self.trackers):
        d = trk.get_state()[0]
        if((trk.time_since_update < 1) and (trk.hit_streak >= self.min_hits or self.frame_count <= self.min_hits)):
          ret.append(np.concatenate((d,[trk.id+1])).reshape(1,-1)) # +1 as MOT benchmark requires positive
        i -= 1
        #remove dead tracklet
        if(trk.time_since_update > self.max_age):
          self.trackers.pop(i)
    if(len(ret)>0):

person A. Cervellera    schedule 11.09.2019    source источник


Ответы (1)


Если вы поднимете max_age, вы рискуете перепутать объекты, которые были потеряны/выведены из сцены, и новые объекты, которые попали в последнюю видимую область. Вы должны поиграть с этим параметром (может быть, немного поднять его) и снизить долговую расписку для Калмана. Это привело бы к более длительному и надежному отслеживанию с повышенным риском слияния разных идентификаторов в один трек. Эта настройка необходима для производительности вашего трекера и сильно зависит от данных. Удачи :)

person Amit_JCI    schedule 20.09.2019