査読者1

[メタ] 総合的な採録理由

キャラクタの位置関係に着目した深層学習ベースの映像検索システムによって過去の事例を参照させることで対戦格闘ゲームのプレイスキル上達を支援する新規の手法を提案しており、有用性は荒削りであるものの、WISSコミュニティにおいて共有する価値のある研究であると考えられる。以上の結果から、ショート採録と判断された。

[メタ] 査読時のレビューサマリ

条件付き採録(ショート)といたします。 全査読者を通じて、研究のアプローチ自体はポジティブに受け入れられています。 一方で、「採否理由」、および「この研究を良くするためのコメント」として、概ね、主なものとして (1)使っているデータセットに制限があり、できていることにも制約があること (2)評価実験の妥当性 (3)そもそも位置関係をクエリにシーンを検索することが、達成したいことにどれだけ合致しているのか についての指摘が出ており、それらはいずれも妥当なもののように感じました。これらのうち、採録条件として絶対的に必要なものだけを提示しましたが、それ以外のコメントについても再考し、反映できるものは反映し、またそれ以外のものも今後の研究に活かしていただければと思います。 特に、(2)については採録条件にはなっていないものの、現在の実験のリミテーションとそれの解決方法の議論を加筆修正することを強くおすすめします。 なお、本論文及びデモ映像の出版にあたっては、著者の責任において市販ゲームに関する図や映像についての知的財産権の適正化に留意してください。 また、発表時については放送NGの箇所を適切に設定し、中継チームと連携してください。 以下が採録条件です: 査読者が指摘した以下の点の修正を条件にショート採録としたいと思います。 [review 47] 2. 「強い人」のシーンを発見することに対する効果が不明 本文中では「強いプレイヤーの挙動」に着目していますが,論文を読む限り,YouTube上の映像コンテンツが「強いプレイヤー」のものであるかどうかをどうやって検証するのかがわかりませんでした.強い人のシーンでなくてもよいならその理由が必要ですが,それも読み取れませんでした. また,強さには方向性がある(例えば先手必勝タイプなのか防御優先タイプなのか)と考えられるのですが,その観点で自分の望む強さの方向性(プレイスタイル)に合わないコンテンツを提示してしまう可能性があり,そのような場合に,本手法の効果がどうなるのかがよくわかりませんでした. ☆→この点( 「強い人」のシーンを発見することに対する効果)について論文内で明確化してください。 [review 69] 一方で、大きな制約として検索対象となるキャラクタに関する拡張性があると考えられる。スマブラなどのゲームでは操作可能キャラクタやそのカラー、スキンなどが多種に及ぶため、そのカバー率をあげる方法に関しての議論が足りていない。4.1で説明されている学習データの生成手法では背景の多様性を増やすことはできるが、操作キャラクターの多様性を増やすことはできないと理解している。直感的な拡張方法としては、実際に対戦している動画に限らず、様々なキャラクタの様々な姿勢を切り抜いて、背景を変えつつ様々な位置関係に配置した学習データを生成することで、キャラクタへの多様性を増やすことが考えられる。一方で、このような方法では検索精度の低下することや、動画(時系列画像)をクエリとした検索に拡張しにくいといった懸念もある。ぜひ最終版や今後では、このリミテーションに対してどのような解決をするかといった議論を行ってほしい。 ☆→この点(現状の学習セットに起因するリミテーション)について論文内で明確化してください。

[メタ] その他コメント

特に無し。

この研究をよくするためのコメント

・他のキャラクターの組み合わせのデータセットを構築して、一般性を高めること。 ・スマッシュブラザーズはゲームにおけるカメラのズームレベルが一定ではない。すなわち、画像上のキャラクタのサイズは可変である。そのことが検索性能に与える影響に言及すること。 ・使用したデータセットは2000フレームを用いたとあるが、その中に、マリオの取りうる動きやアニメーションのすべてが等確率で含まれていたのだろうか。ランダムサンプリングすると、データセット内部のマリオのポーズは大変偏ることが想像される。それに対する言及がほしい。 ・学習データセット構築にあたって、背景がほぼ皆無な「75m」のあるスマブラに特有の好条件を活用しているが、他の格闘ゲームに応用できるかどうかの議論。 ・「現状に類似のシーンを検索してスキル向上に役立てる」というのは、将棋に例えると、ある盤面について、過去のデータベースから同一の盤面を検索して、その後の戦術を網羅的に調べ、有効な戦略を学習する、という行為に似ている。プロ棋士が将棋AIツールを用いてどのようなUIでそのような学習を行っているかを参考にするとよいとおもわれれる。 ・このような支援システムは「この局面からどのように行動すればよいのだろう?」という瞬間を決定するイニシアチブ/意思決定が学習者側にあるので、使用についてある程度のリテラシーが求められているUIである言える。一方で、過去のデータを提案技術等により自動的に分類することにより、「統計的にこれらの局面はとても重要です。そこでは、このように行動してください。」のように教科書的に「勝利のための行動フローチャート」を準備したほうが、インタラクティブではなくなるものの、スキル向上、学習支援としてはむしろ効果的である可能性もある。比較検討されると良いだろう。


査読者2

総合点

4: どちらかと言えば採録

確信度

3: 自身の専門分野とマッチしている

採否理由

本システムはeSportsの技術向上を目的としたシーン検索技術及びそのUIという新しい観点の研究であるといえる。また、目的に対して一定の妥当性のある技術を利用しており、実際に評価実験により有用性を議論していることも評価できる。そのため「どちらかと言えば採録」とした。 一方で、大きな制約として検索対象となるキャラクタに関する拡張性があると考えられる。スマブラなどのゲームでは操作可能キャラクタやそのカラー、スキンなどが多種に及ぶため、そのカバー率をあげる方法に関しての議論が足りていない。4.1で説明されている学習データの生成手法では背景の多様性を増やすことはできるが、操作キャラクターの多様性を増やすことはできないと理解している。直感的な拡張方法としては、実際に対戦している動画に限らず、様々なキャラクタの様々な姿勢を切り抜いて、背景を変えつつ様々な位置関係に配置した学習データを生成することで、キャラクタへの多様性を増やすことが考えられる。一方で、このような方法では検索精度の低下することや、動画(時系列画像)をクエリとした検索に拡張しにくいといった懸念もある。ぜひ最終版や今後では、このリミテーションに対してどのような解決をするかといった議論を行ってほしい。 またもう一つの懸念として、本システムを利用した効果の評価において、実験参加者の元々のバックグラウンドによって大きく結果が変化するため、公平な評価ができているか判断しにくい点がある。本システムはwebベースでの閲覧とも相性が良いと考えられ、スマブラという人気コンテンツを対象としているため、より広範なユーザを対象に実験を行ってほしい。

この研究をよくするためのコメント

採否理由を参照ください。


査読者3

総合点

5: 採録

確信度

3: 自身の専門分野とマッチしている

採否理由

対戦格闘ゲームの上達の仕方、そのための情報伝達の問題点についてよく整理と考察がされており、動画の数が十分にあり、検索精度が高ければ有用であると確信できます。

この研究をよくするためのコメント

対戦ゲームにおいて強くなったという感覚はモチベーションとなりますが、多くのプレイヤーはどうすると強くなるのか、なぜ負けたのかという考察を深める習慣がありません。問題意識を持ってこういったツールを使うプレイヤーはすでに一定以上のスキルを持っている場合が多く、これはある程度強いプレイヤーがさらに考察を深めるためのツールになると考えられます。それはそれでもちろん良いのですが、よりライトな層に対して考察を深める機会を与え、強くなったと実感できる機会を作ると強いプレイヤーの裾野が広がり、結果として全体を底上げすることができます。システム単体のみでなく、サービスとして機能するような仕組みが展望に書かれているとより良いかと思います。

査読者4

総合点

3: どちらかと言えば不採録

確信度

2: やや専門からは外れる

採否理由

提案手法の目的は理解できました.そのうえで,以下の4点について記述不足を感じます.論文の前のほうから順になりますが: 1. 背景削除技術の新規性が低い キャラに着目するために,(ゲームプレイ状況の)背景を削って類似度を判定する方法は適切だと思いますが,背景を除いた類似検索自体はそれほど新規性のある技術ではないかと思います.著者もここで新規性を主張する気はないと考えています. 2. 「強い人」のシーンを発見することに対する効果が不明 本文中では「強いプレイヤーの挙動」に着目していますが,論文を読ん限り,YouTube上の映像コンテンツが「強いプレイヤー」のものであるかどうかをどうやって検証するのかがわかりませんでした.強い人のシーンでなくてもよいならその理由が必要ですが,それも読み取れませんでした. また,強さには方向性がある(例えば先手必勝タイプなのか防御優先タイプなのか)と考えられるのですが,その観点で自分の望む強さの方向性(プレイスタイル)に合わないコンテンツを提示してしまう可能性があり,そのような場合に,本手法の効果がどうなるのかがよくわかりませんでした. 3. キャラの移動方向を考慮していない 探索は静止画で行われていますが,同じ配置であっても「敵キャラが上昇中(飛ばされているところ)」と「敵キャラが下降中(近づいているところ)」では意味合いが全く異なるように思います.これらの差は考慮しなくてよいのでしょうか. 4. 評価実験のデータ分析 評価実験で,2グループにわけて分析していますが,以下の観点でこの結果の信頼性が低くなっています. ・被験者の背景知識(このゲームのプレイ経験,ゲーム一般のプレイ経験,コントローラへの習熟,YouTubeなどの映像視聴経験,など)が不明です.そのため,被験者が偏った可能性があります. ・評価尺度としての「レベル上昇度合い」.1レベルの差は,例えばレベル3とレベル4の間とレベル8とレベル9の間は同じ差なのでしょうか.その部分の評価なく数値を独り歩きさせるのは危険です. ・数値の比較において統計処理が入っていません.2グループの平均の差であれば単純な検定手法でもある程度説得力のある分析が可能であると考えます. 致命的な項目はないのですが,それぞれ微妙に論文の主張点に対して言いすぎていたり記述不足だったりが否めないところですので,ぜひ記述を見直していただければよい論文になるのではないかと考えます.

この研究をよくするためのコメント

採否理由に書いた通りです.煮詰めればよい研究になることが期待されますので,ぜひ継続的な研究を進めていただければと思います.