spark conf : 스키마 대문자도 허용하는 법

spark.sql.hive.caseSensitiveInferenceMode

  기본적으로 HIVE는 스키마에 소문자만, 그러나 PARQUET는 대문자 소문자 둘다 허용한다.

그래서 SPARK에서 파케이로 만든 테이블을 SQL질의할 경우 대문자 필드를 가진 열의 경우 제대로 가져와지지 않을 수 있기 떄문에 이 conf를 적용

 

ref : https://hellomuzi.tistory.com/56