Study

요약기존의 personalization 방법은 test 시점에서의 finetuning, multiple input images의 요구, 낮은 identity preservation, 생성된 결과물의 제한된 다양성 문제가 있다. 이런 문제를 해결하기 위해 단일 face image에서 personalized image generation을 위한 diversity와 identity preservation을 향상시키는 tuning-free 접근 방식인 IDAdapter를 제안한다. IDAdapter는 text와 visual 주입 및 face identity loss의 결합을 통해 generation 과정에 personalized concept을 통합한다. 학습 단계에서는 특정 identity의 multiple ..

One-step Diffusion with Distribution Matching Distillation[Arxiv] One-step Diffusion with Distribution Matching DistillationDiffusion models generate high-quality images but require dozens of forward passes. We introduce Distribution Matching Distillation (DMD), a procedure to transform a diffusion model into a one-step image generator with minimal impact on image quality. We earxiv.org 요약이미지 품질..

Mamba: Linear-Time Sequence Modeling with Selective State Spaces[Arxiv] Mamba: Linear-Time Sequence Modeling with Selective State SpacesFoundation models, now powering most of the exciting applications in deep learning, are almost universally based on the Transformer architecture and its core attention module. Many subquadratic-time architectures such as linear attention, gated convolutionarxiv...

일차결합: 각 벡터에 스칼라를 곱해서 그 결과들을 합한 것 $c_1​v_1​+c_2​v_2​+…+c_k​v_k​$ 일차독립: 벡터들의 일차결합이 영벡터가 될 때 모든 스칼라가 0 이어야만 하는 경우 $c_1​v_1​+c_2​v_2​+…+c_k​v_k​=0$ $c_1​=c_2​=…=c_k​=0$ 일차종속: 벡터들중 적어도 하나가 다른 벡터로 표현될 수 있는 경우 $c_1​v_1​+c_2​v_2​+…+c_k​v_k​=0$ 적어도 하나의 $c_i \not = 0$ Rank rank는 행렬이나 선형 변환에서 선형 독립인 행(or 열)의 최대 개수. 행렬의 rank는 그 행렬이 이미지(결과 벡터 공간)에 생성할 수 있는 차원을 나타냄. rank는 행렬의 독립인 행(or 열)의 수와 같으며, 이는 행렬의 열공간과 ..

Global Minima: 기울기가 0인 극소값 Local Minima: Global minima에 다다르지 않고, 기울기가 0 이 되는 지점 Learning rate: Local Minimum에 효율적으로 도달할 수 있도록, 너무 크지도 작지도 않은 적절한 학습률을 셋팅 해야함. 1. Optimization Optimizer는 loss를 줄이기 위해 weight과 learning rate와 같은 neural network 속성을 변경하는데 사용하는 알고리즘이다. Gradient Descent 가장 기본적인 최적화 알고리즘이다. backpropagation을 통해 weight을 변경하여 함수가 최소값에 도달할 수 있도록 한다. 쉽고 간단한 방법이지만 데이터셋이 큰 경우 모든 데이터를 계산한 뒤 step을..