Размер отдельных ограничивающих рамок?

Являются ли ваши ограничивающие рамки CvRect объектами? Предполагая, что «самый большой» означает самую большую площадь, вы можете сделать что-то вроде этого.

std::vector<CvRect*> vBoundingBoxes;    // assume this has all your boxes
int largestArea = 0;
CvRect* pLargestBox = NULL;

for (auto it = vBoundingBoxes.begin(); it != vBoundingBoxes.end(); ++it)
{
    CvRect* pCurrentBox = *it;
    int iArea = pCurrentBox->width * pCurrentBox->length;
    if (iArea > largestArea)
    {
        largestArea = iArea;
        pLargestBox = pCurrentBox;
    }
}