Вычисление разницы во времени в задании U-SQL Azure Data Lake Analytics

В U-SQL вы можете использовать методы С# для простой арифметики дат. Если ваши данные так же просты, как вы описываете, вы можете просто ранжировать события e1 и e2, а затем соединить их, примерно так:

@data =
    EXTRACT Timestamp DateTime,
            Event string,
            Value int
    FROM "/input/input58.csv"
    USING Extractors.Csv();

//@data = SELECT *
//     FROM (
//        VALUES
//        ( "2017-05-21 11:33", "e1", 17 ),
//        ( "2017-05-21 11:37", "e2", 18 ),
//        ( "2017-05-21 11:38", "e3", 18 ),
//        ( "2017-05-21 11:39", "e1", 19 ),
//        ( "2017-05-21 11:42", "e2", 19 )
//     ) AS T(Timestamp, Event, Value);


@e1 =
    SELECT ROW_NUMBER() OVER(ORDER BY Timestamp) AS rn,
           *
    FROM @data
    WHERE Event == "e1";

@e2 =
    SELECT ROW_NUMBER() OVER(ORDER BY Timestamp) AS rn,
           *
    FROM @data
    WHERE Event == "e2";

@working =
    SELECT
        (e2.Timestamp - e1.Timestamp).TotalSeconds AS diff_sec,
        (e2.Timestamp - e1.Timestamp).ToString() AS diff_hhmmss,
        e1.Timestamp AS ts1,
        e2.Timestamp AS ts2
    FROM @e1 AS e1
            INNER JOIN @e2 AS e2 ON e1.rn == e2.rn;


OUTPUT @working TO "/output/output.csv"
USING Outputters.Csv(quoting:false);

Мои результаты, показывающие 4 и 3 минуты для выборочных данных:

@data =
    SELECT
        LAST_VALUE(Event == "e1" ? Timestamp : (DateTime?)null) OVER (ORDER BY Timestamp) AS E1Time
        // MAX(Event == "e1" ? Timestamp : DateTime.MinValue) OVER (ORDER BY Timestamp) AS E1Time
        , Timestamp AS E2Time
    FROM @events
    HAVING Event == "e2"
    ;

потому что агрегаты/WF игнорируют null (по крайней мере, должны, документация по U-SQL для LAST_VALUE ничего не говорит, поэтому требуется проверка). Это позволяет эмулировать условное поведение, такое как WHEN. Аналогичное поведение можно получить с MAX/MIN и соответствующим значением по умолчанию.

Тем не менее, вы должны подробно указать входные данные и ожидаемый результат, что может изменить решение. А именно, могут ли возникнуть аномальные последовательности данных и какое поведение ожидается (или, по крайней мере, допустимо для простоты), если они происходят:

1. e1, e1, e2 — приведенный выше код игнорирует более ранний e1
2. e1, e2, e2 — приведенный выше код вычисляет 2 значения относительно одного и того же e1.
3. e1, e1, e2, e2 — приведенный выше код не распознает вложенность, как и в случае 2.
4. e2 — приведенный выше код может дать сбой (null) или сбросить результаты при использовании DateTime.MinValue.

и т. д. В какой-то момент сложности вам, вероятно, придется отложить пользовательский редьюсер через REDUCE ALL (это последнее средство!), но это ограничит размер данных, которые могут быть обработаны.