ツールの説明
活用の仕方
用意されたモデルと画像限定で、ドラッグするだけで構図を変えられ出力できます。
自分で持ち込んだ画像に対してはできませんので、オープンソースとしての価値の意味合いの方が大きいのでしょう。
動かしたい点に赤いマークを先につけてその次に動かしたい先の場所に青いマークをつけてstartボタンを押すと赤い点を青い点まで移動させポーズを変更させることが出来ます。マークは複数個つけることが出来ます(メモリーをたくさん必要とするかもしれません😂)。
そして一度つけたマークを削除するにはReset Pointのボタンを押します。
しかしこれだけだとまだサンプルプログラムを動かしているに過ぎず、自分で持ち込んだ画像に対して操作できるわけではありません。自分で画像を持ち込むためにはまだ何か改良する必要がありそうです。
ライセンス
DragGANアルゴリズムに関するライセンスはCC-BY-NCにあります。
このアプリはStyleGAN3を元にして開発されており、StyleGAN-Humanのコードを利用しているそうです。
そしてStyleGAN3のライセンスはNvidia Source Code Licenseになるので利用する場合は注意書きをよく読む必要があります。
インストールと起動の仕方
インストールの仕方
入手先URL: https://github.com/XingangPan/DragGAN.git
あらかじめminicondaをインストールしておく必要はありますが、それ以外は仮想環境をpython3.9で自動作成して一括python3.9含めインストールまでしてくれます。またAppleシリコン使用も自動で設定されます。
(ちなみにpython3.8以上しかcondaでは対応してないようです。)
minicondaをインストールしていない場合は以下のページを参考に先にインストールしておきましょう。
その後ターミナルを出して以下のように入力します。
%git clone https://github.com/XingangPan/DragGAN.git
%cd DragGAN
%cat environment.yml | \
grep -v -E 'nvidia|cuda' > environment-no-nvidia.yml && \
conda env create -f environment-no-nvidia.yml
%conda activate stylegan3
%export PYTORCH_ENABLE_MPS_FALLBACK=1
%zsh scripts/download_model.sh
なおpyplでは2023年6月時点ではpython3.11まで対応しています。
インストール時間は意外と長いのとインターネット通信を利用するため、気長に待つ必要があります。
起動の仕方
以下の仮想環境をアクティベートした状態で以下のコマンドで起動させることが出来ます。
%python visualizer_drag_gradio.py
ブラウザを立ち上げURL入力欄にhttp://127.0.0.1:7860と入れるとアプリが立ち上がっているのを確認することが出来ます。