728x90
AutoEncoder를 공부하기 전 필요한 내용
Basic
베이지안 통계
parameter: 두 변수 간을 연결짓는 매개변수
베이즈 규칙
어떤 사건에 대한 단순히 신뢰율을 사전 할당하는 것과 데이터에 기반하여 사건에 대한 신뢰율을 사후 할당하는 것의 관계
- 변수 = θ
- 사전 확률, prior (p(θ)): 관측된 데이터의 값에 대한 관계 없이 파라미터 값이 가지는 신뢰율
- 어떤 사람이 비만인지 아닌지에 대한 확률값을 구하고자 할 때, 어떤 사람에 대한 정보값(데이터)를 제외하고 비만일지 아닐지에 대한 믿음이 p(θ)를 결정
- 사후 확률, posterior (p(θ|D)): 데이터를 고려한 상태에서 파라미터 값이 가지는 신뢰율
- 어떤 사람에 대한 다양한 관측 데이터 값(키, 몸무게, 지방 등)의 정보를 고려한 상태에서 그 사람이 비만인지 아닌지 판단하는 확률
- 가능도, 우도, likelihood(P(D|θ)): 특정 파라미터의 값이 관측된 데이터를 만들 확률, 데이터의 특성에 따라 가능도 함수의 분포 특성이 정해짐.
- evidence, P(D): 모형에 대한 데이터 전체의 확률
- 파라미터값의 확신의 세기로 가중된 모든 가능한 파라미터 값을 따라 평균을 취해 결정
- Likelihood(우도): 가지고 있는 관측 데이터에 맞춰진 분포. 데이터가 이 분포로부터 나왔을 가능도
- 모델과 추정치의 우도가 높으면 좋다
- 모델과 추정치가 데이터와 잘 맞는 정도를 확률로 표현한 것
확률(probability) vs 우도(likelihood)
- 확률은 P(Data|Distribution) 분포가 주어졌을 때 데이터의 확률(분포는 고정)
- 우도는 L(Distribution|Data) 데이터가 주어졌을 때 분포의 likelihood (데이터는 고정)
- 확률: 원인이 모델과 추정치, 결과가 확률 ex. 평균이 4이고 표준편차가 0.5 일때 5일 확률?
- 우도: 원인이 데이터, 결과가 모델, 추정치 ex. 동전을 3번 던져 모두 앞면이 나올 확률?
MLE(Maximum Likelihood Estimation) 최대 우도법
데이터의 밀도를 추정하는 한 방법으로 parameter로 구성된 어떤 확률 밀도 함수(x|θ)에서 관측된 표본 데이터 집합이 있고, 이 표본에서 parameter(θ)를 추정하는 방법
- 표본 데이터(sample)를 모두 평균값으로 지정해 likelihood 값을 계산하고 likelihood가 가장 큰 지점을 찾는다. 이렇게 찾게 된 지점은 데이터와 가장 잘 맞는 모델과 추정치를 계산할 수 있게 된다.
- 모델 parameter를 관측 값에만 의존하여 예측하는 방법으로, 주어진 parameter를 기반으로 likelihood를 최대화 한다.
- likelihood function
- log-likelihood function
- likelihood function의 최대값을 찾는 방법을 MLE라고 한다.
- 계산의 편의를 위해 log-likelihood function의 최대값을 찾으며 최대값을 찾을 때 ’미분 계수’를 이용한다.
- log-likelihood function의 편미분
728x90
반응형
'Study' 카테고리의 다른 글
[Study] 선형대수 용어 정리 (0) | 2024.04.20 |
---|---|
AutoEncoder의 모든 것 #3 (0) | 2023.06.06 |
[Study] AutoEncoder의 모든 것 #2 (4) | 2023.06.06 |
[Study] AutoEncoder의 모든 것 #1 (1) | 2023.06.06 |