Почему BitConverter.ToInt32 считывает по одному байту за раз, если данные не выровнены по заданному смещению?

Извините за запутанный заголовок, но я не могу придумать лучшего способа объяснить это.

При просмотре исходного кода BitConverter недавно я наткнулся на странный фрагмент кода:

public static unsafe int ToInt32(byte[] value, int startIndex)
{
    fixed (byte* pbyte = &value[startIndex])
    {
        if (startIndex % 4 == 0) // data is aligned 
            return *((int*)pbyte);
        else
        { 
            if (IsLittleEndian)
            {  
                return (*pbyte) | (*(pbyte + 1) << 8)  | (*(pbyte + 2) << 16) | (*(pbyte + 3) << 24); 
            } 
            else
            { 
                return (*pbyte << 24) | (*(pbyte + 1) << 16)  | (*(pbyte + 2) << 8) | (*(pbyte + 3));                         
            } 
        }
    }
}

Как приведение pbyte к int* (строка 6) может нарушить выравнивание данных в этом сценарии? Я оставил это для краткости, но в коде есть надлежащая проверка аргументов, поэтому я почти уверен, что это не может быть нарушением доступа к памяти. Теряет ли он точность при броске?

Другими словами, почему код нельзя упростить до:

public static unsafe int ToInt32(byte[] value, int startIndex)
{
    fixed (byte* pbyte = &value[startIndex])
    {
        return *(int*)pbyte;
    }
}

Изменить: Здесь находится рассматриваемый фрагмент кода.