Вопросы по теме 'file-processing'

Как выполнить поиск файла по шаблону и получить новый файл от точки совпадения до конца файла?
Мне нужно взять файл и найти первое вхождение строчного шаблона в виде полной строки файла: Acknowledgments: И затем я хочу создать новый файл от строки соответствия до конца файла. Я ожидаю, что perl - хороший способ сделать это, но я не...
1454 просмотров
schedule 12.05.2022

Node.js: обработка потока без нехватки памяти
Я пытаюсь прочитать гигантский файл журнала (250 000 строк), анализируя каждую строку в объект JSON и вставляя каждый объект JSON в CouchDB для аналитики. Я пытаюсь сделать это, создав буферизованный поток, который будет обрабатывать каждый...
2528 просмотров
schedule 16.01.2023

Обработка файла свойств во время сборки
Мои требования следующие: - у нас есть четыре среды (dev, uat, prod, stag) - в настоящее время у нас есть 5 файлов свойств (например, log4j.properties), по одному для каждой среды, например: log4j_dev.properties, log4j_uat.properties,...
2576 просмотров

Разобрать текстовый файл с разделителями табуляцией
Мне нужно проанализировать текстовый файл с разделителями табуляции, выбрав определенные столбцы, например столбцы 1 и 5, и вывести каждый из этих столбцов в текстовый файл. Пожалуйста, найдите пример файла данных и код: Файл данных: COL1 COL2...
5962 просмотров
schedule 23.09.2022

Эффективный способ группировки данных в большом файле с использованием Java
Рассмотрим файл следующего формата, содержащий n количество записей и i количество столбцов. Если данные необходимо сгруппировать по первому столбцу, как эффективно их обработать с помощью Java? Предположим, что n = 40 миллионов ....
378 просмотров
schedule 22.05.2022

Прочитайте текстовый файл в словарь, чтобы использовать его позже для добавления/изменения/удаления
Позвольте мне в предисловии сказать, что я не уверен на 100%, является ли использование словаря лучшим способом действий для этой задачи, но я считаю, что это то, что мне нужно использовать для выполнения этой задачи. У меня есть файл .txt,...
151 просмотров

Как удалить определенные строки большого файла (›5G) с помощью команд Linux
У меня есть файлы очень большого размера (> 5G), и я хочу удалить некоторые строки по номерам строк без перемещения (копирования и вставки) файлов . Я знаю, что эта команда работает для файла небольшого размера. (моя команда sed не распознает...
2426 просмотров
schedule 16.11.2023

OpenCV: можно ли открыть сжатое видео в Java?
Я сжал видео в формате .avi. Я хочу получить кадры из видео с помощью OpenCV. public static void main(String[] args) { System.loadLibrary(Core.NATIVE_LIBRARY_NAME); String filePath = "C:\\Users\\P6090053.avi"; String output =...
214 просмотров
schedule 04.03.2024

Чтение большого файла (более 60 ГБ) и запись нового файла
Есть один файл размером 60 ГБ и 200 000 000 строк. Полезная нагрузка файла показана ниже. источник.txt 0.0 4.6 6.3 3.8 5.0 0.0 -3.8 -5.9 1.5 14.2 0.0 1.0 6.9 5.8 6.1 0.0 5.4 -7.1 0.9 6.8 0.0 -1.8 2.6 0.0 -11.5 -0.0 0.0 13.4 -1.8 5.2 2.4 0.0...
82 просмотров

Обработать файл .dat как фрейм данных в Python с неравномерным интервалом
У меня есть файл .dat со значениями, разделенными пробелами. Однако пробелы нерегулярны (некоторые столбцы разделены одним пробелом, некоторые — восемью пробелами), а в некоторых столбцах также есть строки с пробелами. Например, первые пять строк...
26 просмотров
schedule 01.08.2022

Есть ли способ обрабатывать данные из текстового файла, содержащего основные заголовки, с помощью регулярного выражения?
Ниже приведен фрагмент структуры формата текстового файла. Historical Sales for: 12th of October 2019, 11:37 am PRODUCT NAME QUANTITY Coke B 5 Historical Sales for: 21st of October 2019, 8:15 pm PRODUCT NAME QUANTITY...
129 просмотров
schedule 10.10.2022

Использование внешней службы или агента для регистрации всех обращений к файлам и обработки, выполненной моим веб-приложением Java?
Я работаю над поддержкой веб-приложения Enterprise Java. Он чрезвычайно настраиваемый, с более чем тысячами файлов конфигурации и определений xml. Фон Иногда некоторые файлы конфигурации повреждаются, что приводит к исключению блокировки. Имя...
14 просмотров

Как объединить несколько файлов после завершения многопроцессорной обработки в Python?
В моем коде многопроцессорный процесс используется для одновременного создания нескольких заданий impdp (импорта), и каждое задание создает файл журнала с динамическим именем: '/DP_IMP_' + DP_PDB_FULL_NAME[i] + ' ' + DP_WORKLOAD + ' ' +...
44 просмотров