Класс набора данных Geoviews занимает слишком много времени для сетки xarray среднего размера

Я пытаюсь построить сетку xarray, используя класс Geoviews Dataset. Данные имеют форму: (12,1300,1936) с координатами (месяцы, долгота, широта).

Создание экземпляра занимает слишком много времени (почти 7 часов на компьютере с оперативной памятью i5 32 ГБ). Построение меньшего набора данных работает (занимает несколько секунд).

Это строковое представление xarray (с именем xmam):

<xarray.DataArray (MeanTemp Month:: 12, Latitude: 1300, Longitude: 1936)>
array([[[ nan,  nan, ...,  nan,  nan],
        [ 14.,  14., ...,  nan,  nan],
        ..., 
        [ nan,  nan, ...,  nan,  nan],
        [ nan,  nan, ...,  nan,  nan]],

       [[ nan,  nan, ...,  nan,  nan],
        [ 16.,  16., ...,  nan,  nan],
        ..., 
        [ nan,  nan, ...,  nan,  nan],
        [ nan,  nan, ...,  nan,  nan]],

       ..., 
       [[ nan,  nan, ...,  nan,  nan],
        [ 17.,  17., ...,  nan,  nan],
        ..., 
        [ nan,  nan, ...,  nan,  nan],
        [ nan,  nan, ...,  nan,  nan]],

       [[ nan,  nan, ...,  nan,  nan],
        [ 14.,  14., ...,  nan,  nan],
        ..., 
        [ nan,  nan, ...,  nan,  nan],
        [ nan,  nan, ...,  nan,  nan]]], dtype=float32)
Coordinates:
  * MeanTemp Month:  (MeanTemp Month:) |S9 'January' 'February' ... 'December'
  * Latitude         (Latitude) float64 25.57 25.56 25.55 ... 14.76 14.75 14.74
  * Longitude        (Longitude) float64 -103.6 -103.6 -103.6 ... -87.49 -87.48

Вот как я создаю экземпляр набора данных Geoviews

gvds = gv.Dataset(xmam,kdims=['Latitude', 'Longitude'],vdims=['MeanTemp Month:'],dynamic=True)

Я пробовал с параметром dynamic и без него, давая аналогичные результаты.

Как вы думаете, в чем проблема?

Обратите внимание, что Datashader еще не играет роли, потому что я просто создаю объект, а не рисую его!


python holoviews python-xarray geoviews
person Juan    schedule 14.05.2019    source источник
comment
Ваше объявление набора данных выглядит странно, MeanTemp Month не является измерением значения, это просто еще одно ключевое измерение. Я подозреваю, что это заставляет HoloViews пытаться сгладить ваши данные каким-то странным образом. Я думаю, что это, вероятно, просто ошибка, но то, что вы делаете, определенно неверно. Попробуйте просто объявить набор данных с помощью gv.Dataset(xmam)   -  person philippjfr    schedule 14.05.2019

Ответы (1)


arrow_upward
0
arrow_downward

Проблем было две:

  1. Как был построен xarray (xa). То есть аргумент dims ссылается на имя координат. Параметр coords (если это словарь) должен иметь то же имя, что и dim.

Рассмотрим следующий пример: Предположим, что data - это numpy narray с формой (12,100,100)

coords_months = range(12)
coords_lon = np.linspace(-103,87,100)
coords_lat = np.linspace(14,25,100)
dims = ['months','longitude', 'latitude']
coords = {'months':coords_months,'latitude':coords_lat,'longitude':coords_lon }
xdata = xa.DataArray(data,coords=coords,dims=dims,name='MeanTemperature')
  1. Как упоминалось в philippjfr, объявление конструктора Geoviews (gv) DataSet было неверным.

Вместо этого я использовал это:

gvds = gv.Dataset(xdata)

Построение заняло немного времени (2 минуты). Однако я мог бы использовать метод regrid, определенный в:

from holoviews.operation.datashader import regrid
image = gvds.to(gv.Image,['Longitude','Latitude'],dynamic=True)
regrid(image)

который работал отлично.

Другой связанный вопрос здесь

person Juan    schedule 14.05.2019