最先端AI技術で浮世絵を現代に再現する――Ukiyolator開発ストーリー Vol.1

はじめまして。調和技研新卒入社第一号の秋元です。調和技研では「画像系AI」「数値系AI」「言語AI」と幅広い分野でAIの開発・導入支援を手掛けていますが、私はその中で「画像系AI」を担当しています。

調和技研の研究開発部門では、業務の一環として自身の興味のある分野の研究を自由に行える”リサーチタイム”という制度があり、私はそのリサーチタイムを活用して、AIを用いて入力画像を浮世絵風の画像に変換して出力する”浮世絵変換技術”の研究開発に取り組んでいます。

その名も「Ukiyolator（ウキヨレイター）」です。

これから複数回の連載という形で、現在の浮世絵変換の可能性を追求する本プロジェクトの紆余曲折をご紹介していきます。足かけ6年に及ぶ本プロジェクトを通して、AIを用いた画像変換技術の変遷もご理解いただけると思います。

なお、Ukiyolatorはこちらで実際にお試しいただけます。ぜひご自身の顔写真を浮世絵風に変換してみてください！
https://ukiyolator.web.app/

Ukiyolatorへかける想い

「Ukiyolator」は、「Ukiyo-e（浮世絵）」と「Image-to-Image Translation（画像から画像に変換）」から名付けました。私が学生時代（2017年〜）から続けているプロジェクトで、現在も継続的に研究を行っています。

浮世絵は平安から続く大和絵の流れを汲んだ芸術であり、江戸で大成し庶民にも根付いた日本の伝統芸術です。今も続くクールジャパンの源流にある、ジャポニズムのきっかけとして世界に認められた芸術でもあります。

しかし現在、浮世絵版画制作を行える彫師と塗師は僅かしか存在せず、江戸時代に台頭していた浮世絵師自体も既に存在しないため、その貴重な文化は途絶えてしまいました。

そこで、Deep Learningの力を利用してこの現代社会で浮世絵を甦らせたい、現代の日本人にも浮世絵の魅力を再発見して親しんでほしい、という想いから、AI技術を用いて人物写真を浮世絵風に変換できる技術の開発を目指すことにしました。

AIが浮世絵に挑む：4つのステップ

「Ukiyolator」では、以下の4つの主要なステップを経て浮世絵変換技術の開発を進めてきました。思い返せば早6年…。

2017年：CNNモデルを使ったアプローチ・・・失敗
2017〜2019年：CycleGAN（生成系モデル）を使ったアプローチ・・・方向性はOK
2020〜2023年：MANGA GAN（生成系モデル＋ランドマーク検出など）を参考にしたアプローチ・・・実現できそうなことは確認
2023年〜：画像生成系モデル（最新画像生成系モデル）を利用したアプローチ・・・課題はあれど画像の生成まで成功

初期の変換結果の一例が下の画像です。2019年当時に話題になり、北海道テレビや日本経済新聞などでもご紹介いただきました。

そして、最先端の画像生成系モデルを活用した現段階では下の図のレベルまで進化しています。人物の特徴を残しつつ絵柄を浮世絵風に変換できています。元は同じ画像ですが、上の画像と比べると理想にだいぶ近づいてきたと感じています。

生成系AIモデルの可能性と課題

現在の「Ukiyolator」では、2つの画像生成系AIモデル、具体的には「Style Transfer」と「Image-to-Image Translation」を活用しています。これらの技術は、画像を変換し新たな画像を生成することに重点を置いており、本プロジェクトの核となっています。

技術の進歩に伴い、現在ではかなり高精度に人の顔を浮世絵風に変換できるようになりました。

しかし、完全に浮世絵風に変換するにはまだ課題があります。特に、浮世絵的な顔の配置や特徴の変換が不十分で、江戸の浮世絵師が書いたようにまだ見えないという問題が残っています。この点に関する私のこだわりについては別の機会に書きたいと思います。

なお、浮世絵変換はかなり強いデフォルメをかける必要がある変換技術ですが、デフォルメが強いほど元人物の要素がなくなってしまうという難点があります。「Ukiyolator」では元人物の特徴を残しながら浮世絵風に変換することを目指しており、この難関をクリアできれば、浮世絵だけでなく、その人らしさを維持しながら何かのキャラクター風などに変換したいといったケースにも応用できると考えています。

次回は「Ukiyolator」開発のスタート地点まで遡って、CNNを使ったアプローチ（失敗）の顛末をご紹介します。お楽しみに。