ML
-
Simplified version of attention 설명ML/DeepLearning 2025. 2. 4. 17:46
출처: Build a large language model from scratch, chapter 3 : coding attention mechanism # 3.0 3장에서 다룰 구조- 아래 메커니즘을 해당 챕터에서 다룸# 3.1 attention의 등장배경- encoder, decoder개념의 등장 배경1) 아래 번역해야할 문장이 있다고 하자. 직독직해하면 문제가 생기므로, 각 언어의 어순을 고려해서 해석해줘야한다. 2) 이를 위해서 encoder, decoder개념이 등장했고 이를 활용한 것이 RNN이다. RNN의 상세 로직을 알필요는 없으며, endoer decoder setup에 대해서만 알면 된다. - encoder, decoder 로직: encoder, decoder내부에서 각 hidden..
-
econml const_marginal_effectML/XAI 2023. 9. 27. 14:50
https://econml.azurewebsites.net/_autosummary/econml._cate_estimator.html#econml._cate_estimator.LinearCateEstimator.const_marginal_effect CATE 값을 말하는 듯. CATE 적합한다음에 X Feature 들어갔을때의 예측값? X: confounder, T : treatment, Y : outcome subgroup with Treatment without Unit Causal eff ect man 10 5 5 woman 5 5 0 man 10 10 0 woman 0 10 -10 ATE = (5+0+0+-10)/4 CATE(man) = (5+0)/2 CATE(woman) = (-10+0)/2 wo..
-
DMLML/XAI 2023. 8. 25. 17:59
ref : https://matheusfacure.github.io/python-causality-handbook/22-Debiased-Orthogonal-Machine-Learning.html# 한국에서 아이스크림 가게 사장이라고 하자. 여름과 겨울에 따라 아이스크림을 찾는 손님이 많이 차이날 것이다. 그런데, 해외진출을 하게 되서 일년 내내 여름인 나라와 일년 내내 겨울인 나라 등등 여러 환경에서 아이스크림을 팔 수 있게 되었다. 그러면 온도에 관계 없이 순수한 가격에 의한 판매량을 알아서 가격을 잘 책정하고 싶다. 그런데, 왜 순수한 관계를 알고 싶은거냐? 하면.. 그니까 예를 들어 지금 있는 데이터로 넣어서 온도와 가격으로 못봐? 하면.. 예를 들어 온도가 높으면 여름에 사람들이 많이 찾아서 가격..
-
uplift modelingML/XAI 2023. 4. 25. 14:21
필요하게된 목적 : 마케팅 비용 절감. 마케팅에서 conversin을 촉진하기 위해 인센티브를 여러 방법으로 사용할 수 있는데, 최적의 인센티브를 줌으로써 마케팅 비용 절감을 시도. 예를 들면 인센티브를 주지 않아도 살 유저에게는 굳이 주지 않아도 됨. 인센티브의 케이스가 아래와 같이 세가지 있다고 가정하자. ₩0 ₩10 ₩100 1) 랜덤으로 뿌려보면 되잖아? 그럼 어떤 유저한테는 줘야하고 안줘야하고를 알고 싶으면, 이상적으로 아래 표처럼 하나의 유저에게 아래와 같이 여러 인센티브를 시도해보고 예를 들어 A유저는 인센티브를 주던 안주던 conversion B유저는 인센티브를 주었을 때만 반응 한다고 하면 A유저는 다음부터 인센티브를 아예 안주고, B유저는 ₩100을 준다고 한다면. 전체 비용 최대 2*..
-
Causal ImpactML/XAI 2023. 4. 18. 14:41
- 목표 : 마케팅 캠페인 A를 시행했을때, 정말 효과 있었어? 이걸 유저의 결제금액 B로 보고 싶다고 가정하자 - 기존 방법 단순하게 생각하면 (DiD 방법론) B'는 마케팅 시행이전, B''를 마케팅 시행 이후 결제금액이라고 하자 유저그룹 B' B'' 실험군 100 1000 대조군 100 500 실험군은 10배, 대조군은 5배 올랐으니까 마케팅 효과가 있었다고 볼 수도 있겠다 - 그런데 의문점 : 정말 순수하게 마케팅 효과인거 맞아? 왜 대조군은 5배 오른거야? 다른 뭔가 때문에 우연히 오른거 아니야? A가 B에 미친 영향을 순수하게 보고 싶어! 예를 들어 여름이라서 갑자기 B가 늘었다던가, 방송출연해서 B가 늘었다고 볼 수 있을 것이다. 그런 시계열적 요소 또한 고려하고 싶을때 causal impa..
-
target : multi-class vs. multi-labelML 2023. 4. 11. 18:14
클래스가 여러개 인 경우 아래와 같이 선택하여 예측할 수 있음 목적이 다름 - multi-class : 클래스가 exclusive// binary를 여러개 한 것과 유사. 각 class 별 스코어가 생성. 그렇기 때문에 class1, class2 별 스코어는 나오지만 이를 비교하기 어려움 - multi-label: 다중 클래스에 속할 수 있음// output이 서로 related됨. 다중비교 가능 lightgbm은 지원하지 않고 xgboost는 그래도 지원함