Хранилище данных SQL Azure - поддержка JVM SimpleDateFormat

В настоящее время я сталкиваюсь с ограничением в Azure SQL DW при преобразовании временных меток из домен JVM SimpleDateFormat в домен DateFormat SQL DW. < / а>

В моем текущем сценарии мы используем Spark для очистки данных, когда данные записываются как файл CSV, они записываются как отметка времени в следующем формате:

  • "гггг-ММ-дд'Т'ЧЧ: мм: сс.СССХХХ"
  • 2001-07-04 T 12: 08: 56.235-07: 00

Если посмотреть на DateTimeOffset в параметрах DATE_FORMAT, то T, выделенное жирным шрифтом в приведенных выше выходных данных, не поддерживается.

Есть ли способ напрямую интерпретировать входящую строку как тип DateTime?

Моя текущая стратегия - загрузить его как VARCHAR и позже выполнить очистку.


java apache-spark azure-sqldw scala datetime-format
person Kaiwalya Joshi    schedule 06.11.2016    source источник
comment
Пожалуйста, укажите, что у вас есть / что вы пробовали до сих пор.   -  person Oliver Gondža    schedule 06.11.2016
comment
Если я могу спросить, как это связано с apache-spark?   -  person eliasah    schedule 06.11.2016
comment
@eliasah имеет отношение к тому, как Spark форматирует выходные данные для временных меток, его отправку в ISO8601 вместе Формат даты и времени. Что касается Spark, я хотел спросить, есть ли способ заставить Spark сериализовать типы временных меток в форматы, которые могут быть прочитаны SQL DW во внешней таблице.   -  person Kaiwalya Joshi    schedule 07.11.2016
comment
Я думаю, что я задал этот вопрос неправильно. Самая точная версия этого вопроса - как загрузить строку временной метки в формате даты и времени ISO8601 в Azure SQL DW.   -  person Kaiwalya Joshi    schedule 07.11.2016

Ответы (1)


arrow_upward
3
arrow_downward

Похоже, что если вы не трансформируете само datetime до того, как оно попадет в SQL DW, оно не будет интерпретироваться как datetime из-за T. Лучше всего использовать его как varchar, а затем преобразовать его как datetime в SQL DW, как указано здесь: https://msdn.microsoft.com/en-us/library/ms187928.aspx#Examples:%20Azure%20SQL%20Data%20Warehouse%20and%20Parallel%20Data%20Warehouse

Я бы также рекомендовал проголосовать в портал запросов функций для более гибких форматов даты и времени, чтобы вам не пришлось проходить этот процесс.

person hirokibutterfield    schedule 10.11.2016