В пандах это можно сделать с помощью column.name.
Но как сделать то же самое, когда его столбец искры фреймворка?
например Вызывающая программа имеет фрейм данных Spark: spark_df
>>> spark_df.columns
['admit', 'gre', 'gpa', 'rank']
Эта программа вызывает мою функцию: my_function (spark_df ['rank']) В my_function мне нужно имя столбца, то есть 'rank'
Если это был фреймворк pandas, мы можем использовать внутри my_function
>>> pandas_df['rank'].name
'rank'
Вы можете получить имена из схемы, выполнив
spark_df.schema.names
Распечатка схемы также может быть полезна для ее визуализации.
spark_df.printSchema()
pyspark.sql.functions.col для доступа к столбцу по имени. Например, df.filter( col(var_name) > 1)
- person shuaiyuancn; 29.09.2016
myfunc(df, name), тогда у вас будет доступ к name в вашей функции. Если вам нужно использовать этот столбец в фрейме данных, выполните df[name]
- person shuaiyuancn; 30.09.2016
if 'col_name' in df.schema.names: # do something. Спасибо за ответ.
- person Pablo Adames; 12.09.2020
Единственный способ - перейти на базовый уровень JVM.
df.col._jc.toString().encode('utf8')
Таким же образом он преобразуется в str в самом коде pyspark.
Из pyspark / sql / column.py:
def __repr__(self):
return 'Column<%s>' % self._jc.toString().encode('utf8')
'some_alias'. Конечно, это не идеально, поскольку мы выполняем некоторый синтаксический анализ регулярных выражений, но я надеюсь, что вряд ли у вас есть какое-то имя столбца с именем AS bad.
- person numeral; 08.02.2018
Если вам нужны имена столбцов вашего фрейма данных, вы можете использовать класс pyspark.sql. Я не уверен, поддерживает ли SDK явную индексацию DF по имени столбца. Я получил эту трассировку:
>>> df.columns['High']
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: list indices must be integers, not str
Однако вызов метода columns в вашем фрейме данных, который вы сделали, вернет список имен столбцов:
df.columns вернет ['Date', 'Open', 'High', 'Low', 'Close', 'Volume', 'Adj Close']
Если вам нужны типы данных столбца, вы можете вызвать метод dtypes:
df.dtypes вернет [('Date', 'timestamp'), ('Open', 'double'), ('High', 'double'), ('Low', 'double'), ('Close', 'double'), ('Volume', 'int'), ('Adj Close', 'double')]
Если вам нужен конкретный столбец, вам нужно будет получить к нему доступ по индексу:
df.columns[2] вернет 'High'
[x[0] for x in df.dtypes]
- person David C.; 12.06.2020
Python
Как правильно сказал @numeral, column._jc.toString() отлично работает в случае столбцов без элайсинга.
В случае столбцов с псевдонимами (т.е. column.alias("whatever")) псевдоним можно извлечь даже без использования регулярных выражений: str(column).split(" AS ")[1].split("`")[1].
Я не знаю синтаксиса Scala, но уверен, что с ним можно сделать то же самое.
Я нашел ответ очень-очень простым ...
// It is in java, but it should be same in pyspark
Column col = ds.col("colName"); //the column object
String theNameOftheCol = col.toString();
Переменная theNameOftheCol - это colName.
