パススルー表示対応のMRゴーグルに搭載された、両眼カメラセンサの片目を手で塞ぐジェスチャを用いて、VR / MRコンテンツとパススルー表示や、コンテンツ自体の表現をシームレスに切り替える手法を提案している。既存のMRゴーグル上にて提案手法の提案、実装、評価を行っており、その認識精度は高い。いくつかの応用例も述べられており、WISSで議論すべき論文であると判断し、採択に至った。
論文誌への推薦はしない
4: どちらかと言えば採録
2: やや専門からは外れる
概要:
パススルー表示が可能なMRゴーグルを用いて、左右対称に配置されるMRゴーグルのカメラセンサの片側を片手で塞ぐ動作(片目を隠す動作)を用いて、
VRコンテンツとパススルー表示をシームレスに切り替えるジェスチャを提案している。
既存のMRゴーグル上にて片目を隠すジェスチャの認識手法の提案、実装、評価を行っており、その認識精度は高い。
また、応用例をいくつか提案している。
新規性:
MRゴーグルにおいて,片目を隠すというジェスチャをインタラクションに用いる点で新規性が認められる.
有用性:
VRコンテンツ等を楽しんでいる際に,小休止する際の切り替えるためのジェスチャ設計としては,よく根拠が述べられており納得がいくものになっている.
また,既存のMRゴーグルのSDKを用いた片目を隠すジェスチャ認識アルゴリズムも実用性があるように思われる.
正確性:
十分に正確である.
記述の質:
特に問題を感じない.
4.2の手でMRゴーグルの一部を覆うジェスチャ認識アルゴリズムにおいて、おそらく生のRGBカメラ値を用いれず、生のハンド座標を用いた理由があるのかと思いますが、その理由が気になりました。
(SDKとして提供されていない?)
図7の事例が興味深く感じました。目を覆うことによって、隠されたものが見れる感じが、
アニメ演出でよくある「目に頼るんじゃない、心の目で見るんだ」感があります。
もしかしたら全部手で覆ってしまうのも、何かのインタラクションに応用できるのかもしれません(パッとした感じただけです)。
人間には両眼視野闘争という機能があるので、片目だけで見たものは脳の処理によって透けて見えるというのもあります。
そのメタファなどもつかえるかもしれません。
*その他:
6.1にて「利用できるがが」となっている箇所があります。
7章にて、
次に,「片目を隠す動作の共通認識」について述べる.性能評価では,「左右どちらかの手で片目を隠す」という指示だけを与えたが,全ての被験者は右手で右目,左手で左目の位置を覆うことが確認できた.このことから,片目を隠す動作には,一定の共通認識があり,理解しやすい動作であると考える.
とありますが、目と同じ側の手で覆うことは共通認識かもしれませんが、片目を隠す動作自体が理解しやすい動作である根拠ではない気がします。
片目を隠す動作は本研究のために作られたニッチなジェスチャではなく、ごくごく一般的で自然なジェスチャであるというニュアンスを伝えたい感じはなんとなく分かるのですが。
5: 採録
3: 自身の専門分野とマッチしている
この研究では,パススルー機能をもつHMDを用いて,片目を隠す動作をトリガとして,VR空間のみ/その他のコンテンツ(パススルー機能でVR空間に現実世界を重畳表示)を切り替えて提示する手法を提案しています.
VR空間のみ/VR空間に現実世界を重畳表示の切り替えをパススルー機能をもつHMDの機能のみで行うアイデアは面白いと思いました.また,このようなコンテンツ切り替え機能があれば有用でありそうな応用例も論文中で複数挙げられています.
一方で,どうしてその片目をつぶるジェスチャが直観的でその他のジェスチャよりもよいのかについての検討や説明が記述不足で根拠に乏しく感じました.その点をもう少し明確にするように,ジェスチャの設計を記述し,どういうジェスチャが適切かの検討をするようなシステムの設計部分や,どのような提示方法(重畳の度合いなど)がよいのかといった検討を増やした方がよいのではないかと思いました.このコンテンツ切り替え手法にあったジェスチャは何であるかを検討する部分については,実際には今つかっているMeta Quest3で認識可能なジェスチャの中で,自然なものを選んだような流れなのではないかと想像しましたが,他にもそのようなジェスチャがないのかが気になりました.いくつかの認識可能なジェスチャのなかで片目を隠す動作がなぜ適しているのか,といったことが記載されるとよりよいのではないかと思いました.
論文の記述の質には,問題はないと思います.
以上のように,ジェスチャの設計部分や提示方法に論文上気になる点はありますが,手法自体のアイデアが面白くWISSで紹介する価値があると考え,採録と判断しました.
動作として日常生活で行う自然な動きであっても,目を隠すことで情報が切り替わることを人が自然と感じるのかは別ではないかと考えます.そのため採用する動作の説明を査読理由に書いた部分も踏まえて改善したほうがよいのではないかと思います.
4: どちらかと言えば採録
3: 自身の専門分野とマッチしている
比較的簡易な方法で,片目を隠す動作を高精度で検出できている点は面白いと思いました.実際に,応用例として挙げられている,飲み物を取るなどの短時間での現実・VR間の行き来には有用であるように思いました.論文の記述の質も,採録の水準に達していると考えられます.
ただし,他のハンドジェスチャではなく,目を隠すというインタラクションを用いることの必然性や有用性がやや弱いように感じました.特に,インタラクション中は手を覆い続けるために,手が塞がり行動が制限されてしまう,または疲れてしまう点は大きなデメリットに思いました.
また,検出方法がHMDの種類に依存している点も本手法の制約として挙げられると考えられます.
片目を隠す動作を,ジェスチャ(入力した行為がコンピュータの出力へ間接的にマッピングされている)ことだけでなく,より直接的なマッピング(手で目や顔を隠す・触るような行為,例えば,手で覆うと実際にVRでの視界が制限される,ゲームでダメージを受けている際に手で覆うと血が付く)等も検討されてはどうかと思いました.
また,Quest3以外のインサイドアウト方式のHMDでも本手法が適用できるかどうかについて,検証や議論があると良いと思いました.
4: どちらかと言えば採録
2: やや専門からは外れる
■提案されている内容の新規性(先行研究との差分が十分にあるか)
HMD上で手で片目を覆う動作を仮想空間と現実空間のコンテンツを切り替えるための操作として使うというアイディアには新規性があります。
ただし、論文では提案手法を「片目を隠す動作でVRコンテンツとパススルー機能を重畳表示することで,仮想空間と現実空間のコンテンツを手軽に切り替え可能なインタラクション手法」と説明していますが、「5 応用例」に示されている応用例1〜4のうち応用例3〜4はパススルーを使っていないように見えますし、仮想空間と現実空間のコンテンツを切り替えてもいないように見えます。提案手法の説明を変えれば整合性は取れるようになりますが、ただ応用例3〜4は提案手法の良さである『「手で片目を覆う」動作は,直感的なHand-to-Face Gestureの一つであり,物理的/心理的に視界を変化させる行為であることから,仮想空間と現実空間の視野変更を行う際の入力手段として適切であると考える.』を活かしたものではない(モード切替操作として提案手法使っているように感じられます)ので説得力を欠きます。
■有用性(実際に役に立つか),正確性(技術的に正しいか)
『「手で片目を覆う」動作は,直感的なHand-to-Face Gestureの一つであり,物理的/心理的に視界を変化させる行為であることから,仮想空間と現実空間の視野変更を行う際の入力手段として適切であると考える.』にも説得力があるので有用であると感じられます。また、既存のHMDをそのまま使って実装できる点もポジティブです。さらに実装方法も技術的に正しいと思われます。
■論文自体の記述の質(分かりやすく明確に書かれているか)
記述は分かりやすいです。
■サマリー
応用例に説得力を欠くというネガティブ要素はありますが、提案手法にはそれを上回る新規性があると考え、総合評価はポジティブよりです。
1. 「次に,(2)片手のハンドトラッキングが消失した時,直前のフレームのdR/dLの値を参照する.」とありますが、この記述に使われているスラッシュ記号がどうしても割り算に見えるので、スラッシュ記号の替わりに日本語で書き下した方が良さそうです。
2. 「応用例 2:MRタスク中に好みの景色を見て小休憩.」とありますが、図でもビデオでもタスクがMRタスクっぽくないので何かしらデジタルデータを重畳表示してはいかがでしょう?
査読の結果は,4,4,4,5(平均4.25)であり採録と判定いたしました。
採録の条件はありませんが,
査読者らから,下記のようにジェスチャ設計の必然性の説明に対し,不足している点が指摘されておりますので,議論の追加などにより修正してください.
・3章にて「「手で片目を覆う」動作は,直感的な Hand-to-Face Gestureの一つであり,物理的/心理的に視界を変化させる行為であることから,仮想空間と現実空間の視野変
更を行う際の入力手段として適切であると考える.」とありますが,5章にて設計されている応用例は仮想空間とパススルー空間を切り替えたもの(応用例1と2)以外に,MR空間内での視野変更をともなうもの(応用例3と4)になっております.応用例3と4に関しても,提案手法が適していると思われる理由を追記ください.
・提案するジェスチャは手が塞がるため行動が制限され,手が疲れる問題があります.さらに,MRゴーグルの形状やセンサ位置などに依存したジェスチャ設計になっているように思われます.つきまして,これらのリミテーションについて議論を追記してください.
・MRゴーグルの一部を覆うジェスチャを認識するために,RGBカメラを用いた肌色や視界が覆われる際の影の検出があり得そうですが,なぜ本アルゴリズムを採用したのか理由を記述してください.