意味的類似度に基づいた漫画コマ検索システムの提案

好みの漫画作品を探すことが困難になっている読者や、作画などの参考資料を求める作者を支援するため、文章入力によって特定の「漫画のコマ」を探索できるシステムを提案します。漫画データセットManga109 から切り出したコマ画像と入力検索文に対し、画像と検索文の特徴量を抽出、類似度計算を行い、類似度の高い画像を可視化します。探索を行った結果、具体的な動作や物体については意図に近い画像が提示されることが確認できたが、抽象的な表現では誤った検索結果も生じるなどの課題があることが明らかになりました。

Python, Plotly, Dash, Manga109