Чтение массива строк из набора данных HDF5

Я пытаюсь прочитать набор строковых данных из файла HDF5 на С# в массив строк. Я смог прочитать набор данных, используя следующий код:

//read the no of rows and columns
var datasetID = H5D.open(fileId,"dimensions");
var dataTypeId = H5D.getType(datasetID);
var dataType = H5T.getClass(dataTypeId);
var length = H5T.getSize(dataTypeId);
int[] dDim = new int[length];

H5D.read(datasetID, dataTypeId, new H5Array<int>(dDim));

Я попытался сделать то же самое для набора строковых данных, но все значения были инициализированы нулевым значением. Поэтому я сослался на эту ссылку (https://www.mail-archive.com/[email protected]/msg02980.html). Я смог прочитать их как байты, но я не знаю, до какого размера должен быть инициализирован массив байтов. Код, который у меня есть сейчас для чтения строки, таков:

//read string
datasetID = H5D.open(fileId, "names");
var dataSpaceId = H5D.getSpace(datasetID);
long[] dims = H5S.getSimpleExtentDims(dataSpaceId);
dataTypeId = H5T.copy(H5T.H5Type.C_S1);

//hard coding the no of string to read (213)
byte[] buffer = new byte[dims[0]*213]; 
Console.WriteLine(dims[0]);
H5D.read(datasetID, dataTypeId, new H5Array<byte>(buffer));
Console.WriteLine(System.Text.ASCIIEncoding.ASCII.GetString(buffer)); `.

person gman    schedule 25.04.2014    source источник
comment
Я не совсем понимаю, в чем твоя проблема. Это работает или нет? Если нет, то какие ошибки? Пожалуйста, дополните...   -  person Abbas    schedule 25.04.2014
comment
я не могу найти количество строк в наборе данных.   -  person gman    schedule 25.04.2014
comment
это работает, но мне нужно жестко закодировать отсутствие строк. Есть ли способ узнать размер массива байтов, который мне нужно инициализировать, без их жесткого кодирования?   -  person gman    schedule 25.04.2014
comment
Можно ли показать, как была определена строка? Вывод H5T.getSize() должен работать, как показано в пример?   -  person Timothy Brown    schedule 25.04.2014


Ответы (2)


Если вы заранее не знаете, каким будет ваш тип данных, попробуйте следующий код. Он неполный для типов данных, но его легко модифицировать:

public static Array Read1DArray(this H5FileId fileId, string dataSetName)
    {
        var dataset = H5D.open(fileId, dataSetName);
        var space = H5D.getSpace(dataset);
        var dims = H5S.getSimpleExtentDims(space);
        var dtype = H5D.getType(dataset);

        var size = H5T.getSize(dtype);
        var classID = H5T.getClass(dtype);

        var rank = H5S.getSimpleExtentNDims(space);
        var status = H5S.getSimpleExtentDims(space);

        // Read data into byte array
        var dataArray = new Byte[status[0]*size];
        var wrapArray = new H5Array<Byte>(dataArray);
        H5D.read(dataset, dtype, wrapArray);

        // Convert types
        Array returnArray = null;
        Type dataType = null;

        switch (classID)
        {
            case H5T.H5TClass.STRING:
                dataType = typeof(string);
                break;

            case H5T.H5TClass.FLOAT:
                if (size == 4)
                    dataType = typeof(float);
                else if (size == 8)
                    dataType = typeof(double);
                break;

            case H5T.H5TClass.INTEGER:
                if (size == 2)
                    dataType = typeof(Int16);
                else if (size == 4)
                    dataType = typeof(Int32);
                else if (size == 8)
                    dataType = typeof(Int64);
                break;

        }

        if (dataType == typeof (string))
        {
            var cSet = H5T.get_cset(dtype);

            string[] stringArray = new String[status[0]];

            for (int i = 0; i < status[0]; i++)
            {
                byte[] buffer = new byte[size];
                Array.Copy(dataArray, i*size, buffer, 0, size);

                Encoding enc = null;
                switch (cSet)
                {
                    case H5T.CharSet.ASCII:
                        enc = new ASCIIEncoding();
                        break;
                    case H5T.CharSet.UTF8:
                        enc = new UTF8Encoding();
                        break;
                    case H5T.CharSet.ERROR:
                        break;
                }

                stringArray[i] = enc.GetString(buffer).TrimEnd('\0');
            }

            returnArray = stringArray;
        }
        else
        {
            returnArray = Array.CreateInstance(dataType, status[0]);
            Buffer.BlockCopy(dataArray, 0, returnArray, 0, (int) status[0]*size);
        }

        H5S.close(space);
        H5T.close(dtype);
        H5D.close(dataset);

        return returnArray;
    }
person LiamV    schedule 17.07.2015

ваше начало было исключительно полезным! С его помощью и некоторой помощью из кода примера HDF5 я смог придумать некоторые общие расширения, которые уменьшит ваш код до:

//read string
string[] datasetValue = fileId.Read1DArray<string>("names");

Расширения выглядят примерно так (что является или должно быть точно таким же, как и в указанном вопросе):

public static class HdfExtensions
{
    // thank you https://stackoverflow.com/questions/4133377/splitting-a-string-number-every-nth-character-number
    public static IEnumerable<String> SplitInParts(this String s, Int32 partLength)
    {
        if (s == null)
            throw new ArgumentNullException("s");
        if (partLength <= 0)
            throw new ArgumentException("Part length has to be positive.", "partLength");

        for (var i = 0; i < s.Length; i += partLength)
            yield return s.Substring(i, Math.Min(partLength, s.Length - i));
    }

    public static T[] Read1DArray<T>(this H5FileId fileId, string dataSetName)
    {
        var dataset = H5D.open(fileId, dataSetName);
        var space = H5D.getSpace(dataset);
        var dims = H5S.getSimpleExtentDims(space);
        var dataType = H5D.getType(dataset);
        if (typeof(T) == typeof(string))
        {
            int stringLength = H5T.getSize(dataType);
            byte[] buffer = new byte[dims[0] * stringLength];
            H5D.read(dataset, dataType, new H5Array<byte>(buffer));
            string stuff = System.Text.ASCIIEncoding.ASCII.GetString(buffer);
            return stuff.SplitInParts(stringLength).Select(ss => (T)(object)ss).ToArray();
        }
        T[] dataArray = new T[dims[0]];
        var wrapArray = new H5Array<T>(dataArray);
        H5D.read(dataset, dataType, wrapArray);
        return dataArray;
    }

    public static T[,] Read2DArray<T>(this H5FileId fileId, string dataSetName)
    {
        var dataset = H5D.open(fileId, dataSetName);
        var space = H5D.getSpace(dataset);
        var dims = H5S.getSimpleExtentDims(space);
        var dataType = H5D.getType(dataset);
        if (typeof(T) == typeof(string))
        {
             // this will also need a string hack...
        }
        T[,] dataArray = new T[dims[0], dims[1]];
        var wrapArray = new H5Array<T>(dataArray);
        H5D.read(dataset, dataType, wrapArray);
        return dataArray;
    }
}
person SimplyKnownAsG    schedule 30.04.2015