査読者1

(Primary)レビューサマリ

総合点は5,5,5,3でしたが,3のレビュワーもBCIがゲーム操作に適しているのかという疑問によるもので,議論を活発化させるための採録に反対するものではないとのことでしたので,条件付き採録と判断されました.論文の書きぶりについてコメントが集まっていましたので,以下の【論文の問題点】に記載しています.こちらの修正を前提に採録とさせていただきます.また,採録の可否には影響しないものの,各レビュワーから修正した方が良いポイントや,改善コメントが指摘されていますので,確認していただき,参考にしてください.

第二著者が昨年のWISSでデモ発表したアイデアをベースに,ゲームとして実装し,ユーザー評価をして論文化したものです.
オノマトペを頭の中で念じて魔法を打ち出すという新しい操作体系の提案と,それをBCIデバイスを使って実装し,実験したことが新規性です.

有用性に関しては,実験結果であるところの,2クラス分類で60%の精度という結果はオノマトペの有用性を強く主張できるものではありませんが,一方で,5段階のアンケートにて「このゲームは,魔法を使うという新しい体験を提供していると感じた」と「このゲームシステムをまた遊んでみたいと思う」で平均4.71(N=7)という高いスコアを出しているのが印象的で,本論文の主張である「本手法が BCI 制御のビデオゲーム体験を向上させる」ことについては,オノマトペの効果かどうかはともかく,BCIを使って魔法を発動させるビデオゲーム体験が良好であったことを示していると考えています.
また,3回の試行の中で,各実験参加者が精度を上げていっているのですが,「上達するのが面白い」というインタビューが取れていることが興味深く,また,単純に試行回数に応じて精度が上がるのではなく,2回目の試行で一度精度が落ちたのちに3回目で上がる傾向が見えており,そうした上達の過程という観点での議論もできると考えています.

正確性に関しては,概ね問題ないと判断しています.

一方で,論文の記述に関しては,やや言いすぎな言い回しが散見されますので,それらは修正をお願いします.レビュワーからの具体的な指摘事項を,以下にマージし,まとめました.

【論文の問題点】

1. 「その結果,本手法は60%以上の参加者が意図した通りに魔法を使用できたことから,安定した制御性能を実現できることを示唆した.」
→2クラス分類で60%以上というのが安定した制御と呼べるかは怪しいと思うのですが,BCIとしては十分高い値なのでしょうか?「安定した制御」という表現を下方調整するか,「BCIとしては」のような限定を足すか,あるいは,安定した制御と呼べる根拠を付記するべきだと思います.

1. WISS2023のデモ発表にて,第2著者がBCIを使用して炎や雷の魔法を発動する訓練をオノマトペで行うというアイデアを発表していますので,言及するようにお願いします.

4.1 「トレーニングにより精度を上げることが可能である」とありますが,この主張を言い切る場合は,検定などにより有意差を示す必要があると思われますので,
適切な表現に変更してください.

4.2 (操作性の評価では)4 項目すべてにおいて,平均値は4前後を記録したが...
→2項目では平均3.14であり,これを4前後に含めるのは無理があります.4の項目と3の項目は分けて議論すべきです.(例えば直感性は4だが応答性は3というのは,査読者がシステムに感じたイメージにも合致していると思いました.結果を盛らずに正確に議論してください.)

4.2(没入感の評価では)3 項目の平均値は3.5 以上を記録し,オノマトペを用いた脳波制御訓練手法による操作がゲームの没入感を向上させるのに有効である可能性を示唆した.
→5段階で3.6の評価は5より3(ニュートラル)に近いので,ここまでポジティブにとらえるのは強引ではないかと思います.インタビューと併せてこのような解釈をするならまだ許容できますが,結果単体としてはやや控え目な記述に調整したほうが良いです.

4.2 本実験の成果は,BCI を用いた新しいゲームデザインの可能性を示すものであり,今後のゲーム開研究の重要な知見となり得る.
→この記述も著者の主観が強く入っており,言い過ぎだと思います.実験単体でとらえると2クラスで60%という検出精度はあまり高いとは思えませんし,体験の楽しさのアンケート結果は良好なもののユーザ数も少ないため,この文章は削除するか,表現を弱めたほうが良いと思います.

- 表記ミス
図1 脳波脳波制御... > 脳波制御...
4.2 ゲーム開研究 > ゲーム開発 or ゲーム研究
6. おわりに 脳波制御訓練制御手法 >脳波制御訓練手法

(Primary)採録時コメント

本論文は,BCIを使用して魔法を発動する訓練をオノマトペで行うという前年のWISSのデモ発表のアイデアを元に,ゲームとして整えた上で,実験を行ったものである.
実験の結果,多くの参加者は「魔法を使うという新しい体験を提供している」と感じており,特に,上手くなる過程が娯楽として面白いという反応をインタビューで得られていることが興味深い.
BCIをゲームの入力に使う利点や,操作の上達を楽しめる条件など,幅広い議論を期待し,条件付き採録と判断された.

(Primary)論文誌として必要な改善点

ありません。

総合点   (1: 強く不採録~6: 強く採録)

5: 採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

2: やや専門からは外れる

採否理由

本論文は,BCIを使用して炎や雷の魔法を発動する訓練をオノマトペで行うというアイデアについて,ゲームとしての体裁を整えた上で,実験を行ったものです.
ゲームという用途に適したインターフェイスであることの主張として,体験の楽しさという観点でアンケートを取り,その結果として,「魔法を使うという新しい体験を提供していると感じた」という項目に対して5段階評価で平均4.71を獲得していることがたいへん興味深い結果となっています.
実験結果として示されているのは,参加者がオノマトペを使用することで2択の操作において60%以上の精度で操作に成功したという事実のみで,比較対象が存在しないため,この結果のみでオノマトペを使用して訓練することが従来手法に比べて優れているという主張することは困難ですが,呪文を唱えながらBCIで魔法を発動させるという体験について,広く議論できる論文です.
また,今回の論文でいちばん興味深いのは,インタビューの評価で触れられているように,上手くなる過程がエンタメとして面白いという反応のように感じました.操作が上達すること自体が楽しいという状況はどのようなときに発生するのかという観点での議論も興味深いものになりそうです.

なお,2択において60%の精度は一般的には高いとは言い難いものと考えられます.「安定した制御性能」「意図通りに魔法を制御できる」という表現は過大なものと感じられますので,表現を弱めるか、60%という精度が高いとみなせる根拠を追記するなど、適切な表現への修正をお願いします.
また,WISS2023のデモ発表にて,第2著者がBCIを使用して炎や雷の魔法を発動する訓練をオノマトペで行うというアイデアを発表していますので,言及するようにお願いします.

改善コメント

ゲームとして遊べるものを作って,また遊びたいという感想を引き出すことはたいへん難しいことですので,そうしたエンタメを作れているという時点で,とても素晴らしいことです.
もしも,オノマトペを用いるという点が本研究の主要な構成要素であるのであれば,例えば,「ファイヤ」や「サンダー」といった,オノマトペではないが,炎や雷を発動するコマンドワードとして一般的な言葉と比較して,オノマトペが優れているという実験結果が必要かと思います.
また,実験参加者数が少ない中ですが,今回の実験データの中で,3回のテストの中で2回目に一度精度が落ちてから3回目にグッと精度があがるという興味深い傾向が見られており,この理由も深堀りしてみたいと感じました。

査読者2

総合点   (1: 強く不採録~6: 強く採録)

5: 採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

3: 自身の専門分野とマッチしている

採否理由

・アンケートからは操作性とそこに紐づく没入感では課題はあるものの,楽しさという点では評価が高いことが示唆されており,エンタテインメントの新しい切り口として期待できる.
・EEGの処理プロセスは先行研究を参考に丁寧になされており,正確性や信頼性は確保されている
採録条件
・実験結果として「参加者が意図通りの魔法を使えた割合は60%以上であった(図6).このことは,プレイヤーが意図通りに魔法を制御できることを示唆している」とあるが,うまくできたかできないかに対して,60%はそれほど高い数値とは一般的には考えにくい.この数値をもって魔法を制御できるとするに値する根拠になるような先行研究や事例を示すか,表現を改めていただければと思います.60%が高いというよりも3回の施行で徐々に上昇している点などで十分に本研究の効果は感じられると思います.

改善コメント

・4.1「これは,トレーニングにより精度を上げることが可能であることを示している.」とあるが,グラフを見ると6名中4名が2回目の施行で精度を下げている点が興味深い.ゲームプレイなどの分析の中である程度良い成績が出ているときにさらに良くするために,新しい方法を試し工夫することが散見されることがある.1回目の制度がある程度高い実験参加者ほど,2回目が低くなっている点は議論に値するのではと思います.
・また「視覚観察タスクと,視覚刺激を想起する視覚イメージタスク」の両方を行いそれぞれ学習させるという議論は大変興味深いです.これで精度ががると大変興味深いと思いました.

査読者3

総合点   (1: 強く不採録~6: 強く採録)

3: どちらかと言えば不採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

2: やや専門からは外れる

採否理由

本論文では, BCIで制御するゲームを提案し,BCI制御の性能とゲーム体験を評価しています.オノマトペを用いたBCIにより,ゲーム体験の楽しみを増加させることが確認できている点に新規性があると考えられます.
一方で,以下に示すような疑問点がありました.
- BCIによりゲーム操作をする動機がわかりませんでした.ゲーム体験の向上という点では,例えば,メラメラなどのオノマトペを音声認識する方が認識率も高く,没入感の向上にもつながるように感じました.BCIを用いることの妥当性を明示いただけると良いかと思います.
- 1章で「60%以上の参加者が意図した通りに,...」とありますが,4.1節にある通り,参加者が意図通りの魔法を使えた割合が60%以上ではないでしょうか.
- 4.1節「トレーニングにより精度を上げることが可能である」とありますが,検定などにより有意差を示す必要があるのではないでしょうか.
以上を総合的に考慮し,総合点を3とさせていただきました.

改善コメント

特にありません.

査読者4

総合点   (1: 強く不採録~6: 強く採録)

5: 採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

2: やや専門からは外れる

採否理由

概要:
BCIを用いて,魔法の視覚イメージとオノマトペを用いた発話イメージを同時に想起することで,魔法を操作できるゲームを実装し,基礎的な実験を通して性能検証を行った.

総合点の根拠:
オノマトペを頭の中で念じて魔法を打ち出すという新しい操作体系を提案しており,BCIを用いて現実的な形でそれを実現している点は高く評価できます.オノマトペの繰り返しがどことなく魔法の詠唱を想起させ,相性のよい面白い操作手法になる可能性を感じました.
論文も大筋としては問題なく,システムの実装/実験結果共に分かりやすくまとめられています.

一方,性能としては2クラス分類で60%しか出ておらず,一回の操作にも10秒程度時間がかかるため,まだまだ発展途上な部分はあると思います.その他細かい問題はありますが,不安定な脳波入力を現実的にインタラクション手法として使う工夫が行われており,WISSで採択して議論する意義のある内容だと思いました.

ただし,いくつかオーバークレームな記述があるため,以下の論文の問題点に示した点は,できるだけカメラレディまでに修正して頂きたいです.

論文の問題点

1. 「その結果,本手法は60%以上の参加者が意図した通りに魔法を使用できたことから,安定した制御性能を実現できることを示唆した.」
→2クラス分類で60%以上というのが安定した制御と呼べるかは怪しいと思うのですが,BCIとしては十分高い値なのでしょうか?「安定した制御」という表現を下方調整するか,「BCIとしては」のような限定を足すべきだと思います.

4.2 (操作性の評価では)4 項目すべてにおいて,平均値は4前後を記録したが...
→2項目では平均3.14であり,これを4前後に含めるのは無理があります.4の項目と3の項目は分けて議論すべきです.(例えば直感性は4だが応答性は3というのは,査読者がシステムに感じたイメージにも合致していると思いました.結果を盛らずに正確に議論してください.)

4.2(没入感の評価では)3 項目の平均値は3.5 以上を記録し,オノマトペを用いた脳波制御訓練手法による操作がゲームの没入感を向上させるのに有効である可能性を示唆した.
→5段階で3.6の評価は5より3(ニュートラル)に近いので,ここまでポジティブにとらえるのは強引ではないかと思います.インタビューと併せてこのような解釈をするならまだ許容できますが,結果単体としてはやや控え目な記述に調整したほうが良いです.

4.2 本実験の成果は,BCI を用いた新しいゲームデザインの可能性を示すものであり,今後のゲーム開研究の重要な知見となり得る.
→この記述も著者の主観が強く入っており,言い過ぎだと思います.実験単体でとらえると2クラスで60%という検出精度はあまり高いとは思えませんし,ユーザ数も少ないため,この文章は削除したほうが良いと思います.

4.3インタビューの後半の議論「フラストレーションを与える」ことは,議論としては面白いと思いますが,まず60%という検出精度の制約を先に議論するべきだと思います.もし熟練者であれば100%近い精度でできるなら,そこまでの道のりとして「フラストレーションを与える」ことも面白いと思いますが,誰がやっても60%までしか行かないとすると,ポジティブにとらえてよいのかやや疑問が残ります.そのうえで,こういう議論することは有意義だと思いますが,インタビューの章では制約として書いて,議論の章でこうした活用もできる,として書く方が論文の構成としてはよいのではないかと思います.

5.1このことから,イメージによる制御体験と親和性の高いゲームを選択することは,プレイヤー体験を最大化させる可能性がある.
→ゲームの選択というよりは,操作体系の選択(またはUXの設計)という方が正しいのではないでしょうか?ゲームと一意に対応するものではないようにも感じました.

改善コメント

細かい論文の改善点を記載します.今後の参考にしてください.

- 「オノマトペを用いた脳波制御訓練手法」という表現が分かりにくい点が気になりました.オノマトペはあくまで練習(導入)に使うもので,最終的な理想形としては,オノマトペは使わないようにも見えてしまいますが,この理解で正しいのでしょうか?発表時などには整理されるとよいと思います.

- 1章「運動イメージによる制御」「視覚イメージによる制御」について,BCIに詳しくない人に向けてもう少し補足されるとよいと思います.

- 「メラメラ=炎」「バチバチ=雷」以外に検討されていた魔法と,その選考過程も簡単に説明されるとよいと思います.

-2.2.1 前処理「1~40Hzの範囲でバンドパスフィルタ」とありますが,この帯域に絞る意味を簡潔に説明してもらえるとよいです.また,確認ですがこれは40Hz以下のローパスフィルタではなく,1Hz未満も切り落としたいという意味でバンドパスフィルタということでしょうか?(もしそういう意図でないなら,ローパスの方がよいと思います)

-2.3「ゲームシステム」はBCIの応答速度などに応じた現実的な設定がされていると思いましたが,ゲーム性がどこにあるのかは少し気になりました.敵は攻撃してこないのでしょうか?敵の攻撃に動じずに念じ続けられるか,等も今後ゲーム性に含められるとよいと思います.

- 5.2 「アンサンブル分離器」 >意味を補足したほうが良いと思います.

- 表2は中央値より(平均と)標準偏差を出した方が分かりやすいと思います.

- 表記ミス
図1 脳波脳波制御... > 脳波制御...
6. おわりに 脳波制御訓練制御手法 >脳波制御訓練手法