논문리뷰

One-step Diffusion with Distribution Matching Distillation[Arxiv] One-step Diffusion with Distribution Matching DistillationDiffusion models generate high-quality images but require dozens of forward passes. We introduce Distribution Matching Distillation (DMD), a procedure to transform a diffusion model into a one-step image generator with minimal impact on image quality. We earxiv.org 요약이미지 품질..

Mamba: Linear-Time Sequence Modeling with Selective State Spaces[Arxiv] Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolutionarxiv...

Jun 2014 Paper: Arxiv Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio 이미지 생성 GAN의 기본 논뭉 Generator와 Discriminator가 어떤 방식으로 학습하는지 이해하면 될듯 KL-divergence와 JSD에 대해서 이해하고 수식을 이해하면 논문을 이해하는데 도움이 될 것 같다. 1. Introduction 기존의 딥러닝은 다양한 parameter와 계층구조가 잘 설계된 모델을 사용해, 다양한 타입의 데이터의 분포를 표현하는데 의의가 있었다. 그 중에서도 classification, discrim..