👾 [Paper-3] ToonCrafter: Generative Cartoon Interpolation

[lynnminn]

🔍 Abstract

• ToonCrafter는 기존의 주로 움직임이 단순하다고 가정하는 linear interpolation을 넘어서, generative interpolation을 도입한 새로운 접근법
• 기존 방법은 움직임이 크거나 dis-occlusion 같은 만화 특유의 복잡한 움직임을 처리하는 데 한계가 있었음
• 이를 해결하기 위해 ToonCrafter는 live-action video prior를 cartoon에 맞춰서 fine tuning하고, 더 자연스러운 움직임과 세밀한 디테일을 보존하는 결과를 제공

🤔 Method

💡 핵심 기술

• Toon rectification learning : cartoon domain 으로 fine tuning 진행
• dual reference-based 3D decoder를 이용해 디테일을 보완
• sketch encoder를 통한 control 진행

🌐 Background

Video Frame Interpolation

• linear interpolation 기반의 기존 방법론들
  • phase-based methods (위상 기반) : 이미지의 픽셀 정보를 주파수 영역에서 분석하여 움직임을 보간하는 방식
    (참고)
  • kernel-based methods (커널 기반) : 각 픽셀 주변의 정보를 바탕으로 커널(즉, 필터)을 사용해 보간을 수행하는 방식
  • optical/feature flow-based methods : 가장 많이 사용되는 방법으로 두 frames 간의 correspondence를 flow를 사용해서 식별한 후, warping과 fusion을 수행

Image-conditioned Video Diffusion Models

• DynamiCrafter, SparseCtrl, PixelDance 등이 있음
• 그러나 Cartoon interpolaction에서는 아직 좋은 성능은 아님

🎯 Contributions

1. ToonCrafter는 generative cartoon interpolation 개념을 제시하며, live-action video prior를 효과적으로 활용한 새로운 솔루션을 도입
2. Domain gap과 content leakage 문제를 해결하기 위해, toon rectification learning strategy를 개발
3. Compressed latent spaces에서 손실된 details를 보완하기 위해 dual-reference-based 3D decoder를 제안
4. 사용자가 보간 결과를 interactive control할 수 있도록 sketch encoder 기능을 제공

🔧 Details

[fxnnxc]

수식에서 inner features ${F^K_i }$ 는 스케치로부터 나온 값인가요? 이걸 집어넣는 건지 혼동되서 질문합니다!

[lynnminn]

we firstly extract the inner features F at each residual block of E (where i represents the i-th residual block from the end in the encoder and K indicates the K-th frame), and then inject them into the decoding process

수식에서의 inner feature는 encoder 에서 가져온 값입니다!

• F_s는 encoder 의 shallow layers에서 first, last frame 에 대한 vector 를 가져왔고,
• F_d는 encoder 의 deep layers에서 first, last frame에 대한 vector를 가져왔습니다.

[howsmyanimeprofilepicture]

이 구조가 엄청 신기하네요.

[howsmyanimeprofilepicture]

기본적인 구조는 VideoCraft에 기반하는데, 여기에 image prompt를 첫프레임과 마지막 프레임으로 주고, Decoder도 Conditional하게 구성한 느낌으로 정리할 수 있을 거 같습니다.

[lynnminn]

오 맞습니다!! 딱 그런 느낌입니다 :)