Я аспирант кафедры ядерной физики, сейчас работаю над программой анализа данных. Данные состоят из миллиардов многомерных точек. В любом случае я использую кривые заполнения пространства для сопоставления нескольких измерений с одним измерением, и...

У меня есть большой файл (сжатый 4-5 ГБ) небольших сообщений, которые я хочу разобрать примерно на 6000 файлов по типу сообщения. Сообщения маленькие; от 5 до 50 байт в зависимости от типа. Каждое сообщение начинается с поля типа фиксированного...

Я только сегодня сделал свой первый шаг в настоящие научные вычисления, когда мне показали набор данных, где самый маленький файл — это 48000 полей на 1600 строк (гаплотипы для нескольких человек, для хромосомы 22). И это считается крошечным. Я...

Рассмотрим следующий код на Python, использующий объект psycopg2 cursor (некоторые имена столбцов были изменены или опущены для ясности): filename='data.csv' file_columns=('id', 'node_id', 'segment_id', 'elevated',...

Я знаю про вариант установки внутренней памяти ini_set("memory_limit","30M"); Но я хотел знать, есть ли лучший подход для запроса данных? У меня есть WHILE LOOP, который проверяет, нужно ли мне запрашивать еще 1000 записей. используя...

Мне нужно написать службу С# (это может быть служба Windows или консольное приложение), которая должна обрабатывать большие объемы данных (100 000 записей), хранящихся в базе данных. Обработка каждой записи также является достаточно сложной...

У меня есть большой набор данных около 200 000 значений, все они являются строками. Какую структуру данных я должен использовать, чтобы процесс поиска и извлечения был быстрым. Вставка выполняется один раз, поэтому даже если вставка будет медленной,...

Подобные вопросы текут вокруг, и я рассмотрел их все. Похоже, никто не решает мою проблему. -- ОБНОВЛЕНИЕ: -- Я пытаюсь загрузить документ (pdf, doc или что-то еще) в базу данных с помощью службы WCF. Звонок в сервис выглядит так:...

У меня есть большая (60+ миллионов записей) таблица. Эта таблица имеет первичный ключ (id, auto_increment, index id) У меня есть отчет, который выбирает записи из этой таблицы. А для просмотра и навигации по этому отчету (написанному на PHP) я...

У меня есть база данных с более чем 60 миллионами записей. Текущая настройка состоит из 1 таблицы с 30+ миллионами и парой небольших таблиц с 5 миллионами в каждой. Структура данных одинакова для каждой таблицы. Человек, который создал наш поиск в...

У меня довольно хлопотная таблица, которая выглядит так: EventTimeLog Id (bigint) | Time (datetime) | LogId (FK to Log tables Id column) В этой таблице указано, сколько раз произошло событие журнала. Таким образом, можно записать только...

Я делаю некоторые необычные манипуляции с данными. У меня есть 36 000 входных файлов. Одновременно в память может быть загружено больше. Я хочу взять первый байт каждого файла и поместить его в один выходной файл, а затем сделать это снова для...