Statistics
-
Linear Regression vs. Logistic Regression의 계수 찾는 법 - OLS vs. MLE vs. gradient descentStatistics 2022. 6. 7. 18:59
보통 ML에서는 gradient descent를 통해 cost function을 최소화하게 되는데, logistic regression 처럼 MLE를 이용하여 구할 수 있는 경우도 있다. 위 내용이 맞다고 순간 생각했는데 logistic regression이 아니라 linear regression 에 해당하는 이야기였음. logistic regression은 MLE는 있는데.. analytically 불가능. numerical 로 찾아야함. --> 왜? 에 대한 질문을 https://towardsdatascience.com/linear-regression-vs-logistic-regression-ols-maximum-likelihood-estimation-gradient-descent-bcfac2c7b8..
-
Bayesian vs. FrequentistStatistics/베이지안 2022. 6. 6. 17:30
프리퀀티스트는 모평균이 뭔지는 몰라도 모평균이 고정이라고 생각함. 어쨌든 모평균을 추정하는 값을 구하고 싶은데, p(y|theta)를 통해 데이터가 주어졌을때 모평균의 가능도(likelihood)를 구해서, 이를 maximize하는 값을 모평균을 추청하는 estimator로 삼음. 베이즈는 모평균이 뭔지 모르지만 모평균의 분포를 prior (p(theta)) + p(y|theta) 를 통해 구할 수 있다고 봄. 모평균의 분포가 posterior 분포다. 모수에 대한 사전지식과 데이터가 주어졌을 때 모평균의 분포를 직접 구하겠다는 거다.
-
확률변수, 샘플, 샘플사이즈Statistics/기본개념 2022. 6. 6. 17:26
* 오류가 있을수도 있으니 의견 있으실시 댓글로 부탁드립니다. scalar, vector 형태인지 헷갈려서 정리(이해를 위한 개념상으로만 참고) 확률변수 X scalar? ㅇㅇ 맞음. https://math.stackexchange.com/questions/2103385/difference-between-random-variable-and-scalar-random-variable called as random variable $$ X_1, X_2, ... X_n $$ 각각의 random variable을 조합한 것을 estimator라 칭한다. (예 : \(\bar{X})\) one sample sample size = 1일때 scalar $$ x_1 $$ sample size > 1일때는 vector ..