전체 글

이 글은 이활석님의 'AutoEncoder의 모든 것'에 대한 강의 자료를 바탕으로 학습을 하며 정리한 문서입니다. https://youtu.be/o_peo6U7IRM [Steve-Lee's Deep Insight:티스토리] https://deepinsight.tistory.com/126 내용을 참고하였습니다. AutoEncoder란 Keywords Unsupervised learning Representation learning Dimensionality reduction Generative learning Revisit Deep Neural Networks Deep Neural Network의 학습방법 Deep Neural Network가 학습할 때 Loss function을 해석하는 두 가지 관점의..

이 글은 이활석님의 'AutoEncoder의 모든 것'에 대한 강의 자료를 바탕으로 학습을 하며 정리한 문서입니다. https://youtu.be/o_peo6U7IRM [Steve-Lee's Deep Insight:티스토리] https://deepinsight.tistory.com/126 내용을 참고하였습니다. AutoEncoder란? Manifold Learning Manifold란 고차원 데이터를 데이터 공간에 뿌리면 sample들을 잘 아우르는 subspace가 있을 것이라는 가정에서 학습을 진행하는 방법 데이터의 차원을 축소시킬 수 있다. Manifold Learning 은 언제 사용? Data Compression Data Visualization Curse of dimensionality Di..

AutoEncoder를 공부하기 전 필요한 내용 Basic 베이지안 통계 parameter: 두 변수 간을 연결짓는 매개변수 베이즈 규칙 어떤 사건에 대한 단순히 신뢰율을 사전 할당하는 것과 데이터에 기반하여 사건에 대한 신뢰율을 사후 할당하는 것의 관계 변수 = θ 사전 확률, prior (p(θ)): 관측된 데이터의 값에 대한 관계 없이 파라미터 값이 가지는 신뢰율 어떤 사람이 비만인지 아닌지에 대한 확률값을 구하고자 할 때, 어떤 사람에 대한 정보값(데이터)를 제외하고 비만일지 아닐지에 대한 믿음이 p(θ)를 결정 사후 확률, posterior (p(θ|D)): 데이터를 고려한 상태에서 파라미터 값이 가지는 신뢰율 어떤 사람에 대한 다양한 관측 데이터 값(키, 몸무게, 지방 등)의 정보를 고려한 상..

[Paper] [Github] SinDiffusion: Learning a Diffusion Model from a Single Natural Image We present SinDiffusion, leveraging denoising diffusion models to capture internal distribution of patches from a single natural image. SinDiffusion significantly improves the quality and diversity of generated samples compared with existing GAN-based appr arxiv.org 1. Introduction SinGAN: Multiple models at pr..

Diffusion 꼭 알아야하는 방법론 Generic Framework 1. Denoising Diffusion Probabilistic Models (DDPMs) Forward process DDPM은 Gaussian noise를 통해 데이터를 망가뜨린다. $p(x_0)$ 가 data density라면 ($x_0$은 original data). 원본 $x_0$와 노이즈가 추가된 $x_1, x_2, ..., x_T$는 Markovian process를 거친다. $$ p(x_t|x_{t-1}) = \mathcal{N}({x_t};\sqrt{1-\beta_t}\cdot x_{t-1}, \beta_t \cdot \mathbf{I}) $$ $T$는 diffusion steps를 의미하며, $\beta_1, be..