전체 글
-
causal impactML/XAI 2023. 1. 25. 15:08
시계열 데이터 y (일별 판매량)이 (마케팅 시행여부)로 인해 증가한건지, 그냥 다른 티비프로그램이나 원래 상승할 거였는지 알고 싶다고 하자. 그 효과를 측정하는 방법론 중 하나가 Causal Impact 이다. 우리가 갖고 있는건, 1) actual : 마케팅을 시행했을떄의 일별 판매량 밖에 없다. 그럼, 마케팅을 시행하지 않았을때의 일별 판매량은 예측해서 비교해볼 수 밖에 없다. 2) predicted : 마케팅을 시행하지 않았을 때의 일별 판매량 그런데 어떻게 예측할까? 그냥 ARIMA같은 시계열 모델 등을 써서 예측해볼 수 있을 거다. 그런데 궁금한게 다른 영향도 있었는지, 그 영향을 받았으면 어떠했을지 반영해서 예측해보면 더 좋을 것이다. 그래서 예를 들어 티비프로그램을 반영할 수 있는 검색량이..
-
LightGBM missing values NULL 값ML 2023. 1. 5. 10:58
두 가지 방법이 있다. 1. missing 값 그대로 놔두고, 모델이 처리하게 놔두는 방법 아래처럼 디폴트로 missing value 취급 numercial features에서 missing value는 split할 때는 무시하다가, 가장 loss 줄어드는 split의 side에 배정된다. 가장 유력한 가지의 한 쪽에 배정된다는 뜻인듯? categorical features에서는 항상 right side of split에 배정된다? 이것도 한 쪽에 배치된다는건가 https://github.com/microsoft/LightGBM/issues/2921 https://datascience.stackexchange.com/questions/65956/how-do-gbm-algorithms-handle-miss..
-
SHAP 해석ML/XAI 2023. 1. 3. 19:14
+ (빨간막대) 이면, 모델 예측값들을 높게끔 푸시한다는 뜻 샤프 발류는 한 피쳐의 모델 아웃풋 변화에 대한 기여도이다. lightgbm shap example : https://mlflow.org/docs/latest/python_api/mlflow.lightgbm.html#mlflow.lightgbm.load_model mlflow.lightgbm — MLflow 2.1.1 documentation pip_requirements – Either an iterable of pip requirement strings (e.g. ["lightgbm", "-r requirements.txt", "-c constraints.txt"]) or the string path to a pip requirements ..
-
SHAP for imbalanced dataML/XAI 2023. 1. 3. 13:53
ref : https://github.com/slundberg/shap/issues/946
-
SHAP with train vs. test dataML/XAI 2023. 1. 2. 18:12
https://github.com/slundberg/shap/issues/259 Shap value - train/test set · Issue #259 · slundberg/shap First of all,congrats for the amazing shap package @slundberg. I understand that the following code produces the shap values for every feature in every observation of my model: explainer = shap.Tre... github.com 결론 : train 이든 test 로 하던 상관없음. 원하는 걸로 넣어서 하면 된다
-
MSCK REPAIR TABLEDE/hive 2022. 12. 18. 16:50
https://wikidocs.net/23557 03-파티션 파티션은 데이터를 디렉토리로 분리하여 저장합니다. 하이브 같은 파일 기반 테이블은 기본적으로 테이블의 모든 roww 정보를 읽기 때문에 데이터가 많아지면 속도가 느려집니다. 파티… wikidocs.net https://118k.tistory.com/301 https://spidyweb.tistory.com/235 원래 기존에 있던 파티션이 아니라, 파티션을 추가하고 싶은 경우에는 해당 명령어 실행해주어야 함, 파티션 있게끔 메타스토어 업데이트해주는 거임. 정석은 add partition 명령어이나 msck 명령어로 해도 됨.