ограничение памяти в R

У меня есть большой data.frame (около 11 ГБ) в R, который я хочу разделить на подмножества, а затем экспортировать их в виде файлов Excel. Поскольку ограничение строк в Excel составляет около 1 миллиона строк, я решил иметь подмножества с 900 000 строк. Вот что у меня есть:

 df1 <- df [0:900000,]
write.xlsx(df1, file = 'df_1mil.xlsx')

Теперь, когда я хочу экспортировать подмножества, я получаю эту ошибку

Error: cannot allocate vector of size 164.8 Mb

Я искал, и кажется, что эта ошибка связана с ограничением памяти в R. Моя версия R 64-разрядная, ограничение памяти составляет 16284 МБ, моя операционная система — Windows 10, а ОЗУ моего ноутбука — 16 ГБ.


person woody70    schedule 25.03.2020    source источник
comment
Вам нужно поделиться одним и тем же кодом о том, что вы делаете, чтобы кто-нибудь мог дать какое-либо руководство. Если вы пытаетесь прочитать весь фрейм данных, а затем разделить его на части, вам потребуется значительно больше памяти. Возможен другой подход   -  person Dave2e    schedule 25.03.2020


Ответы (1)


Попробуйте rm(name_of_the_varibale) после того, как вам больше не нужна переменная. Особенно для больших переменных.

person Mehdi Abbassi    schedule 05.10.2020