[면접준비] 컴퓨터비전 면접 준비 - 선형 대수 & 확률 통계

컴퓨터 비전 면접 준비 - 선형 대수  &  확률 통계 

 

1. Entropy, Cross Entropy loss란?

Entropy는 확률 변수와 관련된 불확실성, 각 사건의 평균 정보량을 측정합니다. Entropy가 높다는 것은 불확실성이 높다는 뜻입니다. Cross Entropy는 데이터의 확률 분포를 $ P(x) $, 모델이 추정하는 확률 분포를 $Q(x)$라 할 때, 두 확률 분포 $P$와 $Q$의 차이를 측정하는 지표입니다.

2. KL-divergence란?

두 확률 분포 $P$, $Q$ 가 있을 때, $P$에 근사하기 위한 $Q$ 분포를 통해 샘플링할 때 발생하는 정보량의 손실을 의미합니다.

3. Gaussian Distribution이란?

정규분포라고도 하며 평균을 중심으로 대칭인 확률 분포입니다. 대부분의 값이 평균 주변에 집중된 분포로 평균과 표준편차를 통해 분포가 만들어집니다. 자연 현상에서 나타나는 숫자를 확률 모형으로 나타낼 때 사용합니다.

4. Rank of matrix란?

행렬의 rank는 행 또는 열 벡터 중 선형 독립인 최대 개수입니다. 이는 행렬의 행 또는 열이 구성하는 벡터 공간의 차원을 나타냅니다.

5. Null space란?

행렬의 null space(영공간)은 행렬을 곱했을 때 영벡터로 결과가 나오는 모든 벡터의 집합입니다. 이는 행렬 방정식 $Ax = 0$의 해를 나타냅니다. 

6. Vector의 내적, 외적이란?

내적은 두 벡터의 해당 구성 요소를 곱한 후 결과를 합산하여 얻은 스칼ㄹ라 양입니다. 두 벡터가 얼마나 잘 일치하는지 측정합니다. 외적은 3차원 공간에서 두 벡터의 곱으로 얻은 벡터의 양입니다. 외적은 두 입력 벡터를 포함하는 평면에 수직인 벡터를 생성합니다. 

7. 두 벡터의 내각을 구하는 방법?

두 벡터 간 각도를 구하는 방법중 하나는 내적을 사용하는 것입니다. $ \theta = arccos \frac{A \cdot B}{||A||||B||} $

8. 벡터 공간(Vector spaces)과 부분 공간(Subspaces)이란?

 기저(basis)는 벡터 공간을 생성하는 선형 독립인 벡터들입니다. 벡터공간은 기저 벡터로 생성 가능한 공간이라고 할 수 있습니다. 부분 공간은 전체 공간의 일부를 의미합니다. 어떤 벡터 집합의 일부분으로 만든 공간을 전체 공간의 부분 공간이라고 합니다. 

9. 차원(Dimension)이란?

차원은 주어진 공간에서 점을 고유하게 지정하는데 필요한 독립적 매개변수 또는 좌표의 수를 나타냅니다. 차원이란 수학에서 공간 내에 있는 점 등의 위치를 나타내기 위한 필요한 축의 개수입니다. 

10. Eigen value와 Eigen vector란?

정방행렬 A에 대하여 $Ax = \lambda x $가 성립하는 0이 아닌 벡터 $x$가 존재할 때 상수 $ \lambda $를 행렬 $A$의 고유값 (eigen value), $x$를 이에 대응하는 고유벡터 (eigen vector)라고 합니다. 

11. 확률분포의 정의 

확률분포는 확률변수가 특정한 값을 가질 확률을 나타내는 함수를 의미합니다. 각 가능한 결과에 확률을 할당하여 총 확률이 1이 됩니다. 확률 분포는 확률 변수의 종류에 따라 이산, 연속으로 나눌 수 있습니다. 

12. 중심극한정리란?

중심 극한 정리는 많은 독립적이고 동일하게 분포된 확률 변수의 표본 평균의 분포가 정규 분포에 수렴한다는 것을 의미합니다. 표본의 크기가 충분히 크면 해당 분포는 정규분포에 가까워집니다.

13. 베이즈 정리란?

 베이즈 정리는 사건에 대한 사전 지식을 바탕으로 해당 사건의 확률입니다. 수학적으로는 $ P(A|B) = P(B)P(B|A) \cdot P(A) $로 표현되며, 여기서 $ P(A|B) $는 사건 B가 발생한 상황에서 사건 A가 발생할 확률을 의미합니다.