物語を執筆・構想する際にテキストだけではなく視覚的表現を複合して創造性を促進する「ビジュアルストーリーライティング」 – GIGAZINE

カナダのモントリオール大学の研究者らが、物語の視覚的表現をコントロールしながら執筆する「ビジュアルストーリーライティング」というアプローチについて論文を公開しました。論文では、ビジュアルストーリーライティングの理論的枠組みと、実際に物語の執筆を支援するための基盤となるツールを提案しています。

Visual Story-Writing: Writing by Manipulating Visual Representations of Stories
https://arxiv.org/html/2410.07486v2

物語のパターンを視覚的に捉えることは、物語をよりよくするために重要です。物語の「形」について分析する起点となった「良質な物語は折れ線グラフに起こすことができる」というアイデアや、小説の感情変化を示す「エモーショナルアーク」についての研究など、「物語の形」に着目する分析は数多くあります。

そのほか、物語を執筆する際には、登場人物の相関図やストーリーの時系列、場面の転換など、さまざまな稼働要素を管理する必要があります。ビジュアルストーリーライティングは、そのようなストーリーの確認と管理に役立てるため、アイデアやプロットを視覚化するアプローチです。

研究者らは、物語を視覚化するための演算子メカニズムとして、キャラクターのいる場所などの要素を空間的に配置する「Position」、新しい要素を追加して既存の要素と関連付けを行う「Association」、要素と要素の間に行為や関係などを追加する「Connect」、要素を複製して詳細化したり整理したりする「Unfold」に分類しています。その上で、このフレームワークを用いることで、既存のストーリー構成を解析して視覚化するほか、解析結果をAIが解釈してテキスト編集案を生成する補助的な仕組みといった、双方向編集型のシステムを設計しました。

作成されたビジュアルストーリーライティングのプロトタイプツールは、ウェブベースのエディタとして実装されています。詳細はGitHubで公開されており、コードをダウンロースすることができます。

GitHub – m-damien/VisualStoryWriting: Writing by manipulating visual representations of stories
https://github.com/m-damien/VisualStoryWriting

ビジュアルストーリーライティングの主要な使い方は以下の通り。

・イベントタイムライン
物語の中で発生する出来事、シーンを時系列カードとして表示します。「物語で語られる順番」と「実際の時系列」の2種類の順序を扱えるように設計されており、自動的に認識されたタイムラインから、イベントを並べ替えたりシーンを選択して詳細を編集したりできます。

・相互作用ビュー
登場人物の特性を編集したり、登場人物同士の相互作用をノードリンク図で表示します。エッジをドラッグすることで、「新たな行為や関係が発生した」として情報を付け加えることができます。

・空間ビュー
物語のロケーションを並べた空間的なビューを、そのロケーションで何が発生したか、移動ルートは何があったかなどの説明を加えながら視覚化しています。移動により矛盾する文表現があった場合、矛盾を回収するようなテキスト変更案を提示してくれます。

研究者らはビジュアルストーリーライティングの効果を検証するために、8名のクリエイティブライターを募集した上で、各参加者に既存の短い物語を提供し、「ある登場人物の目的を変える」など「改訂課題」を与えました。改訂にビジュアルストーリーライティングのプロトタイプツールを用いた結果、視覚化したビューにより「どこを改訂すれば良いか」を見つける助けになったり、関連する参照箇所を発見しやすくなったり、ストーリーパターンや因果の欠陥が見えやすくなって全体の再構成につながったりと、高レベルの改訂を可能にしたと結論付けられています。

また、2つ目の実験では、1つ目の実験に参加していない別のグループに、ビジュアルストーリーライティングのツールを用いて実際に「新規の執筆」を行わせました。結果として、アイデア探索を促進できたほか、空間や関係性の操作において「テキストのみで構想しているより管理するのが楽になった」と参加者は回答しました。一方で、AIが生成したアイデアは、文体の一貫性や細部の妥当性などの面で、手直しが必要になったケースもあったとのこと。

ビジュアルストーリーライティングのアイデアは、ツールを使うことで初心者やアマチュアのライターでも物語の創作に生かすことを目的としています。注意点として、実験に参加したのは数年の経験があるライターのため、初心者がツールを扱ってスムーズに創作をすることができるかどうかは検証されていません。また、ビジュアルストーリーライティングは登場人物や場所といった具体的な要素を含む物語の創作を対象としており、小説だけではなく映画やゲーム、演劇の執筆にも当てはまる一方で、展開が少ないタイプの作品や物語以外の執筆にはどのように機能するか論文では明らかにされていません。

研究者らは、今後の研究としてビジュアルストーリーライティングのフレームワークを拡張した上で、より多様な物語に適用できる視覚的操作を探求することを目指しています。また、プロトタイプは短中編向けの評価が中心のため、長編への対応も今後の課題として挙げられています。