Насколько большой слишком большой для кучи

К сожалению, я не могу сказать вам четкое «почему», но mmap2, который, как представляется, является тем, что malloc вызывает в вашей системе, просто сообщает, что ему не хватает памяти. В этом случае malloc вернет NULL, что приведет к segfault.

munmap(0xb7706000, 4096)                = 0
mmap2(NULL, 2557403136, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = -1  ENOMEM (Cannot allocate memory)

В качестве контрпримера у меня есть игрушечная программа, которая успешно работает:

mmap(NULL, 283652096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f2d00994000

Я бы проверил память, доступную в системе или которую использует программа. Может быть, это утечка памяти плохо?

Пожалуйста, обратите внимание на вывод Valgrind,

==6380== Предупреждение: глупый аргумент (-1737565464) для malloc()

-1737565464 — это целое число со знаком, а 2557401832 (>2G), если оно взято как целое число без знака. Вы передаете в malloc параметр ›2G вместо 277M.

И из следующей информации мы знаем, что вы пытаетесь записать по адресу 0x4a00, который является недопустимым адресом, в этом сценарии вы ожидаете SEGV. Пожалуйста, проверьте newanalyze.c:85 в своем коде, чтобы увидеть, что там есть.

==6380== Недопустимая запись размера 4

==6380== at 0x8048A49: основной (newanalyze.c:85)

==6380== Адрес 0x4a00 не стек, malloc или (недавно) освобожден

Следуя одному из комментариев, вот как открыть файл с помощью mmap(2). Это при условии, что вы используете Unix.

int fd;
struct stat S;
const char* file_base;

if ((fd = open(filename, O_RDONLY)) < 0) {
    fprintf(stderr, "Can't open file %s to read\n", filename);
    return NULL;
}
if (fstat(fd, &S) != 0) {
    fprintf(stderr, "Can't stat file %s!\n", filename);
    close(fd);
    return NULL;
}
if ((file_base = mmap(NULL, S.st_size, PROT_READ, MAP_FILE|MAP_PRIVATE, fd, 0)) == MAP_FAILED) {
    fprintf(stderr, "Unable to map file %s\n", filename);
    close(fd);
    return NULL;
}

После этого file_base указывает на часть памяти, которая содержит все содержимое файла.

Преимущества этого способа:

• Он практически не занимает памяти (вроде). На самом деле здесь происходит то, что вы делаете файл пространством подкачки для небольшого количества памяти.
• Это не занимает времени (вроде). Бит вновь идентифицированной памяти сначала выгружается, так что при доступе к памяти все, что должно произойти, это подкачка этого бита файла, что происходит так же быстро, как если бы он был динамически выделен с помощью malloc(3).

Этот бит памяти помечен только для чтения; вы также можете проделать этот трюк с файлом для чтения-записи, хотя это означает, что если вы записываете в память, вы одновременно изменяете файл.

Если вы не используете Unix, вам может быть доступна функция mmap. Если нет, то будет какой-то родной для Windows способ сделать то же самое (CreateFileMapping).