틀려도일단 틀려도일단

DE/hive

• PURGE option when drop

  DE/hive 2023. 4. 19. 14:50

  - 삭제할때 원래 옵션없으면 쓰레기통가는 건데 PURGE option 있으면 아예 지워버리는 거 https://stackoverflow.com/questions/51774431/what-is-the-use-of-purge-in-drop-statement-of-hive

  Read More
• MSCK REPAIR TABLE

  DE/hive 2022. 12. 18. 16:50

  https://wikidocs.net/23557 03-파티션 파티션은 데이터를 디렉토리로 분리하여 저장합니다. 하이브 같은 파일 기반 테이블은 기본적으로 테이블의 모든 roww 정보를 읽기 때문에 데이터가 많아지면 속도가 느려집니다. 파티… wikidocs.net https://118k.tistory.com/301 https://spidyweb.tistory.com/235 원래 기존에 있던 파티션이 아니라, 파티션을 추가하고 싶은 경우에는 해당 명령어 실행해주어야 함, 파티션 있게끔 메타스토어 업데이트해주는 거임. 정석은 add partition 명령어이나 msck 명령어로 해도 됨.

  Read More
• hdfs directory 생성

  DE/hive 2022. 11. 1. 13:51

  hdfs dfs -mkdir -p {NEW_DIR} -p 옵션을 주어야 상위 디렉토리까지 생성 ref: https://knight76.tistory.com/entry/hadoop-mkdir-p

  Read More
• create table

  DE/hive 2022. 9. 26. 15:47

  - 테이블 생성쿼리 : https://wikidocs.net/23469 3-테이블 하이브에서 **테이블은 HDFS 상에 저장된 파일과 디렉토리 구조에 대한 메타 정보**라고 할 수 있습니다. 실제 저장된 파일의 구조에 대한 정보와 저장위치, 입력 포맷, ... wikidocs.net - show create table 으로 테이블 생성 쿼리 확인 가능 SHOW CREATE TABLE {YOUR_TABLE};

  Read More