特定作家に合わせたマンガ背景の作風変換

迎山研究室 西谷秀市

マンガは日本の大衆文化として広く親しまれており,マンガに関する研究も盛んに行われている.そのため,マンガやイラストの分野における線画の描画技術に関しては自動化を図った様々なアプローチが数多く提案されてきた.
マンガ制作の流れは基本的にプロット,ネーム,下描き,ペン入れの順で行われる.プロットとは物語の内容を文章にしたものであり,どこまで詳細に描くかは作者によってまちまちであるが,これは物語の基礎となる部分である.このプロットをもとにコマ割り,フキダシ,キャラの位置が分かるように大雑把に描かれたものがネームである.さらに,ネームをもとに人物や背景の下描きを描き,最終的にペン入れを行いマンガは完成する.
線画を描く「ペン入れ」と呼ばれる工程は非常に手間と時間がかかるものである.中でも,背景のペン入れはマンガ制作の中でも特に時間のかかるところである.現場ではアシスタントに作画を任せたり,デジタルが主流になっている今では3Dモデルを線画に変換して使用する例も増えている.
しかしながら,作者が背景を書かないことにより,画面内の「人物」と「背景」の作風に違いが生まれ,違和感が発生することがある.線画というのはラフや下描きと呼ばれる荒い線をペンなどでなぞったくっきりとした線のことだが,この線画には作家の絵柄がはっきりと表れ,その「作風」というものは読み手が直接目にするものである.そのため,3Dモデルを機械的に変換して出来上がる線画は,作家の描く線画との作風の違いから読み手に違和感を与えてしまうというわけである.
そこで本研究では,特定作家に合わせて背景の線画を作風変換することを目的とする.これにより,3Dモデルをレンダリングしたリアリスティックな背景線画を特定の作家に合わせて作風変換することで背景と人物の作風が違うことによる違和感を解消する.

実験の流れとして大きくは追試,データセット作成,機械学習モデルの訓練,背景画像生成,評価である.
提案手法の制作にあたり,シモセラらによるPythonプログラムを追試し,本研究の目的に合わせて変更を加える形で利用した.シモセラらの研究は全層畳み込みニューラルネットワークを用いて下描きから主線へ画像変換を行うものである.
データセットはrawと教師データであるtracedを1ペアとして,これを100ペア用意したものを用いる.両データともに1024×1024ピクセルのjpgファイルであり,ClipStudioPaintにより作成したものである.
プログラムの実行はPyCharmを用い,学習はデータセット数100,バッチサイズ8,エポック数2000で行った.学習に要した時間はGPUを使用しておよそ12時間であった.
変換結果として,rawにおける不必要な描写は変換後のtransferredでは部分的に解消されており,一目で画像全体がすっきりしたことがわかる.rawは3Dモデルをレンダリングした画像であるため,手描き時には無視するような細かい描写や,機械的な変換により生じる不必要な描写が含まれるものである.しかし,本手法によってそれらが部分的に解消され,線描も作者特有のあっさりとした作風に変換された.

研究一覧に戻る