Вопросы по теме 'large-files'
Количество строк в файле на Java
Я использую огромные файлы данных, иногда мне нужно знать только количество строк в этих файлах, обычно я открываю их и читаю построчно, пока не дойду до конца файла.
Мне было интересно, есть ли способ сделать это поумнее
437703 просмотров
schedule
12.08.2022
C++ 64-битная поддержка std::ostream
Я собираюсь перейти от использования стандартных указателей FILE из некоторого старого кода к использованию потоков C++, но мне нужно, чтобы LARGEFILE искал поддержку (флаги компилятора, которые активируют эту поддержку: -D_FILE_OFFSET_BITS=64 et...
1238 просмотров
schedule
25.03.2022
Работа с большими файлами в Haskell
У меня есть большой файл (4+ гигабайта), скажем так, 4 байта с плавающей запятой. Я хотел бы рассматривать его как список в том смысле, что я хотел бы иметь возможность использовать карту, фильтр, складку и т. д. Однако вместо создания нового списка...
2018 просмотров
schedule
13.12.2022
Чтение из одного большого файла и запись во многие (десятки, сотни или тысячи) файлов в Java?
У меня есть большой файл (сжатый 4-5 ГБ) небольших сообщений, которые я хочу разобрать примерно на 6000 файлов по типу сообщения. Сообщения маленькие; от 5 до 50 байт в зависимости от типа.
Каждое сообщение начинается с поля типа фиксированного...
1626 просмотров
schedule
29.11.2023
Нужен ли O_LARGEFILE только для записи большого файла?
Нужен ли флаг O_LARGEFILE , если все, что я хочу сделать, это записать большой файл ( O_WRONLY ) или добавить в большой файл ( O_APPEND | O_WRONLY )?
Из ветки, которую я прочитал под названием « Невозможно записать >2 ГБ index file " в списке...
11336 просмотров
schedule
27.04.2022
В Windows _fseeki64 неправильно ищет SEEK_END для больших файлов
Я сократил проблему до следующей базовой функции, которая должна просто печатать количество байтов в файле.
Когда я выполняю его для файла размером 83886080 байт (80 МБ), он печатает правильный номер. Однако для файла размером 4815060992 байта...
3668 просмотров
schedule
15.03.2024
Есть ли способ читать и записывать файлы в памяти в R?
Я пытаюсь использовать R для анализа больших файлов последовательности ДНК (файлы fastq, по несколько гигабайт каждый), но стандартный интерфейс R для этих файлов (ShortRead) должен читать весь файл сразу. Это не помещается в памяти, поэтому вызывает...
1300 просмотров
schedule
18.01.2024
Каков самый быстрый способ отправить большой двоичный файл с одного компьютера на другой через Интернет?
Мне нужно отправить большие двоичные (2Gb-10Gb) данные с одного компьютера (клиента) на другой компьютер (сервер) через Интернет. Сначала я попытался использовать службу WCF, размещенную в IIS, используя привязку wsHttpBinding с безопасностью...
3286 просмотров
schedule
27.02.2024
заголовок длины содержимого из php перезаписывается!
Я пытаюсь понять, почему заголовок Content-Length php перезаписывается. Это демо.php
<?php
header("Content-Length: 21474836470");die;
?>
запрос на получение заголовков
curl -I http://someserver.com/demo.php
HTTP/1.1 200 OK
Date:...
1791 просмотров
schedule
26.10.2022
Разобрать xml в С#: объединить xmlreader и linq в xml
Мне нужно разобрать большой файл XML на С#. Я использую LINQ-to-XML. У меня есть структура, как
<root>
<node></node>
<node></node>
</root>
Я хотел бы использовать XmlReader для цикла на...
1572 просмотров
schedule
13.02.2024
Бинарный поиск по огромному файлу с неизвестной длиной строки
Я работаю с огромным CSV-файлом данных. Каждый файл содержит миллионы записей, каждая запись имеет ключ. Записи отсортированы по их ключу. Я не хочу просматривать весь файл при поиске certian данных. Я видел это решение: Чтение огромного файла в...
5305 просмотров
schedule
05.02.2022
Как избежать OutOfMemoryError при загрузке большого файла с помощью клиента Джерси
Я использую клиент Джерси для http-запроса. Это хорошо работает, если файл небольшой, но возникает ошибка, когда я публикую файл размером 700 МБ:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at...
45129 просмотров
schedule
11.04.2024
Удаление дубликатов из огромного файла
У нас есть огромный кусок данных, и мы хотим выполнить с ними несколько операций. Удаление дубликатов — одна из основных операций.
Ex.
a,me,123,2631272164
yrw,wq,1237,123712,126128361
yrw,dsfswq,1323237,12xcvcx3712,1sd26128361
Это три...
2357 просмотров
schedule
15.07.2023
Как я могу предотвратить сбой загрузки больших файлов Apache/PHP?
Недавно я установил портал загрузки PHP на один из наших серверов. Все работает нормально, но пользователи не могут загружать большие файлы (~ 20 МБ).
Я установил следующие настройки на чрезвычайно большие значения или неограниченные:...
4767 просмотров
schedule
14.09.2022
В приложении покупка «пакетов» с большими объемами данных. Оптимизация взаимодействия с пользователем
Я разрабатываю приложение с возможностью покупки аудиопакетов в приложении, вероятно, около 30 МБ на пакет, около 500 файлов. Я хочу начать, скажем, с 10 доступных пакетов и со временем добавлять новые пакеты, может быть, 4-5 в месяц. Ожидается, что...
218 просмотров
schedule
29.11.2022
Открытие большого файла в Java происходит очень медленно
У меня большой (12 ГБ) файл, и мне нужно извлечь из него небольшие фрагменты данных (по несколько килобайт каждый) с помощью Java. Поиск и чтение данных после открытия файла происходит очень быстро, но открытие самого файла занимает долгое время -...
1531 просмотров
schedule
18.03.2024
исчерпана память: для больших файлов с использованием diff
Я пытаюсь создать патч, используя две папки большого размера (~ 7 ГБ).
Вот как я это делаю:
$ diff -Naurbw . ../other-folder > file.patch
Но, возможно, из-за размеров файлов патч не создается и выдает ошибку:
diff: memory exhausted...
12279 просмотров
schedule
24.12.2023
Установка очень больших файлов
У меня есть пакет MSI, который помимо компонентов программы устанавливает большой файл базы данных. Этот файл не входит в пакет, но поставляется вместе с файлом msi. До сих пор не было проблем с этой настройкой. Теперь база данных выросла до...
2582 просмотров
schedule
14.03.2024
Случайная выборка из файла XML во фрейм данных в R
Как получить образец заданного размера из большого файла XML в R?
В отличие от простого чтения случайных строк, здесь необходимо сохранить структуру XML-файла, чтобы R мог прочитать его в соответствующий data.frame.
Возможным решением является...
287 просмотров
schedule
29.02.2024
Обработка больших файлов XML с помощью PHP
У меня есть 2 больших файла XML, которые содержат информацию о продукте интернет-магазина. Первый содержит коды продуктов, названия и информацию о наличии продуктов на складе, второй также содержит коды продуктов, а также названия, цены и другие...
336 просмотров
schedule
24.04.2022
