Сравнение показателей оценки обнаружения объектов COCO и оценки Kitti

Для моего набора данных проверки (собственные данные) я оцениваю, используя метрики оценки COCO и Kitti.

Я ожидаю аналогичной оценки для значения COCO AP (0,5) и Kitti 2D AP (с iou = 0,5). Но я не уверен, сопоставимы ли они, несмотря на то, что логика, лежащая в их основе, одинакова (2D-окна GT и DET вида спереди проверяются на iou> 0,5 и вычисляются сопоставление и точность / количество отзывов).

Обнаружение объекта COCO AP 0,5 = 0,59 Kitti 2D AP с iou, установленным как 0,5 = 0,33

Правильно ли ожидать, что они будут сопоставимы? В большинстве работ, которые я нахожу, используется только один из них, и никто на самом деле не сравнивал результаты, полученные с помощью обоих показателей оценки.


object-detection deep-learning evaluation kitti mscoco
person Apoorva Suresh    schedule 11.12.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Со своего веб-сайта

Для оценки мы вычисляем кривые точности-отзыва для обнаружения объектов и кривые сходства-ориентации-отзыва для совместного обнаружения объектов и оценки ориентации. В последнем случае необходимо не только правильно расположить двухмерную ограничивающую рамку объекта, но и оценить оценку ориентации с высоты птичьего полета.

(..)

Мы оцениваем эффективность обнаружения объектов с использованием критериев PASCAL и производительность обнаружения и ориентации объектов с помощью меры, описанной в нашей публикации CVPR 2012.

Не зная слишком много о метриках оценки Kitti, читая это, кажется, что они несопоставимы друг с другом и могут не подходить для вашей общей процедуры обнаружения объектов.

Если ваши данные не имеют ничего общего с набором данных Kiti и их целью, настоятельно рекомендуем вам отказаться от их показателей и использовать показатели COCO или PASCAL.

PASCAL - это исходная метрическая система, но в последнее время чаще всего используется COCO, поскольку это более строгая мера.

person Dinis Rodrigues    schedule 12.09.2020