Я пытаюсь выполнить сопоставление шаблонов внутри функции карты Dataframe - сопоставление строки с шаблоном строки, имеющим вложенный класс Case. Этот кадр данных является результатом объединения и имеет схему, показанную ниже. Он имеет несколько столбцов примитивных типов и 2 составных столбца:
case class MyList(values: Seq[Integer])
case class MyItem(key1: String, key2: String, field1: Integer, group1: MyList, group2: MyList, field2: Integer)
val myLine1 = new MyItem ("MyKey01", "MyKey02", 1, new MyList(Seq(1)), new MyList(Seq(2)), 2)
val myLine2 = new MyItem ("YourKey01", "YourKey02", 2, new MyList(Seq(2,3)), new MyList(Seq(4,5)), 20)
val dfRaw = Seq(myLine1, myLine2).toDF
dfRaw.printSchema
dfRaw.show
val df2 = dfRaw.map(r => r match {
case Row(key1: String, key2: String, field1: Integer, group1: MyList, group2: MyList, field2: Integer) => "Matched"
case _ => "Un matched"
})
df2.show
Моя проблема в том, что после этой функции карты все, что я получил, было «Не сопоставлено»:
root
|-- key1: string (nullable = true)
|-- key2: string (nullable = true)
|-- field1: integer (nullable = true)
|-- group1: struct (nullable = true)
| |-- values: array (nullable = true)
| | |-- element: integer (containsNull = true)
|-- group2: struct (nullable = true)
| |-- values: array (nullable = true)
| | |-- element: integer (containsNull = true)
|-- field2: integer (nullable = true)
+---------+---------+------+--------------------+--------------------+------+
| key1| key2|field1| group1| group2|field2|
+---------+---------+------+--------------------+--------------------+------+
| MyKey01| MyKey02| 1| [WrappedArray(1)]| [WrappedArray(2)]| 2|
|YourKey01|YourKey02| 2|[WrappedArray(2, 3)]|[WrappedArray(4, 5)]| 20|
+---------+---------+------+--------------------+--------------------+------+
df2: org.apache.spark.sql.Dataset[String] = [value: string]
+----------+
| value|
+----------+
|Un matched|
|Un matched|
+----------+
Если я проигнорирую эти два столбца структуры в ветви case (заменив group1: MyList, group2: MyList на _, _ strong>, тогда это работает
case Row(key1: String, key2: String, field1: Integer, group1: MyList, group2: MyList, field2: Integer) => "Matched"
Не могли бы вы помочь, как выполнить сопоставление с образцом в этом классе Case? Спасибо!
dfRaw.as[MyItem]
и заменитеRow
наMyItem
, и ваш существующий код также должен работать. - person philantrovert   schedule 19.04.2018