Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Implement InstantID #1433

Open
wants to merge 38 commits into
base: master
Choose a base branch
from
Open

Implement InstantID #1433

wants to merge 38 commits into from

Conversation

Akasan
Copy link
Contributor

@Akasan Akasan commented Mar 27, 2024

#1377 のPRです

@Akasan Akasan requested a review from kyakuno March 27, 2024 10:35
@Akasan Akasan changed the title Implement InstnantID Implement InstantID Mar 27, 2024
@Akasan
Copy link
Contributor Author

Akasan commented Mar 27, 2024

@kyakuno
ailiaおよびonnxruntimeどちらで推論を動かしても出力は得られるのですが、推論結果の数値が少し異なるようです(大きくは異なりませんが、微妙に違っているようです)

ailiaおよびonnxruntimeどちらでも動くようにはしておりますので、動作等ご確認いただければと思います。
なお、READMEの画像はailiaを利用して作成したものになります

@kyakuno
Copy link
Collaborator

kyakuno commented Mar 29, 2024

@Akasan PR、ありがとうございます。重めのリクエストなのですが、Pytorchを使用しているControlNetとIpAdapterの部分もONNXに変換することは可能でしょうか?
(参考: #1124

@Akasan
Copy link
Contributor Author

Akasan commented Mar 29, 2024

@Akasan PR、ありがとうございます。重めのリクエストなのですが、Pytorchを使用しているControlNetとIpAdapterの部分もONNXに変換することは可能でしょうか? (参考: #1124

@kyakuno
ご確認ありがとうございます。
両モデルのONNX対応について本日以降作業進めさせていただきます!

@Akasan
Copy link
Contributor Author

Akasan commented Apr 21, 2024

@kyakuno
引き続きControlNetおよびIP-AdapterのONNX化をできるか延焼中ですが、作業途中のメモはこちらにて記載しています。

一番厄介なのはdiffusersライブラリの内部コードを確認して移植するところでして、まだどのようにすれば上手くできるか悩んでいる最中です。
diffusersを利用して作るパイプラインの中で文字列の埋め込みから逆拡散過程の処理までしているので、エクスポートして処理するのがシンプルにまだできるイメージがないのが現状です。
引き続き検討を進めさせていただきます

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants