Я разрабатываю код в таблицах чтения искр SQL в Hive (HDFS).
Проблема в том, что когда я загружаю свой код в оболочку spark, рекурсивно появляется следующее сообщение:
«ПРЕДУПРЕЖДЕНИЕ LazyStruct: обнаружены лишние байты в конце строки! Игнорирование подобных проблем».
Я запускаю код, который:
val query_fare_details = sql("""
SELECT *
FROM fare_details
WHERE fardet_cd_carrier = 'LA'
AND fardet_cd_origin_city = 'SCL'
AND fardet_cd_dest_city = 'MIA'
AND fardet_cd_fare_basis = 'NNE0F0O1'
""")
query_fare_details.registerTempTable("query_fare_details")
val matchFAR1 = sql("""
SELECT *
FROM query_fare_details f
JOIN fare_rules r ON f.fardet_cd_carrier = r.farrul_cd_carrier
AND f.fardet_num_rule_tariff = r.farrul_num_rule_tariff
AND f.fardet_cd_fare_rule_bigint = r.farrul_cd_fare_rule_bigint
AND f.fardet_cd_fare_basis = r.farrul_cd_fare_basis
LIMIT 10""")
matchFAR1.show(5)
Любая идея, что идет не так?
