-----------------------------
review comment 1
-----------------------------
■ 総合点
4
■ 確信度
1
■ 査読コメント
遠隔作業支援において従来の音声とジェスチャに加えて、指示者の視線を伝達することを試みています。実装方式としてカメラとプロジェクタを部屋に固定した場合と装着型カメラと光学シースルー型HMDを用いたものを提案・実装・評価しいずれについても統計的優位な結果を得ています。完成度が高く採択すべきだと考えます。
専門分野が異なるので、技術的な新規性は評価できませんでした。
以下に細かいコメントをしますので、今後の研究に役立てば幸いです。
図 5: (B) において指示された物体は左方にあることが示唆されていますが、(D) ではそうではなく画面中央の黄色の物体であったことになっています。おそらく B から D への遷移のあいだに支持が変化したものと想像されますが、この UI における方向の指示について説明するという文脈においてはわかりにくい例となっています。写真をより適切なシーケンスに変更なさった方がよいと思います。
Wilcoxon符号付順位和検定：（理論的な枠組みは同一ですが）より正確には、マン・ヒイットニーのU検定ではありませんか。
以下の発言から、被験者たちが実験中途でも、この方式についての学習を続けていることがわかります。実験の安定性を確保するために、事前の練習にもっと時間をかけるべきではないでしょうか。学習曲線については別途コメントします。
- p. 4右: 最初は自分の視線が伝わっているかわからなかった
- p.4 最後: 取るブロックを探しているのかわかって安心して作業できた
図9: 「ジェスチャ提示のみ」の場合のペアごとの差の大きさが興味深いです。特に P3 は P1 の視線提示のみ条件以上に、P2 と同程度に効率よく作業しています。このことは、この条件での作業実施の困難を表しているとはいえますが、同時に訓練によってかなり効率を改善できることをも意味していると思います。研究の方向とはずれるが、P3のジェスチャと他の組のジェスチャの差を分析すると面白いのではないでしょうか。また、P3のジェスチャが楕円状に積み木が配置されたこの実験に特化した「言語」であったか否かという点はよく分析すべきだと思う。「言語」獲得の問題については別途コメントします。
学習について：ペアによる遠隔作業を行っているという点で、おもしろい状況を実験なさっていると思います。ビデオを拝見すると、ペアによって、会話の面で不便な状況を克服するために二人で工夫をしているように思います。これは、音声、ジェスチャ、視線の３チャンネルの組み合わせから構成され、作業に特化したある種の「言語」を作り上げているのだと思います。ビデオでは女性はほとんど音声に依らずに、視線と補助的にジェスチャを用いて意思の伝達を試みています。一方、確認のために色を伝える指示者もいるようです。おそらく、二人のあいだで試行錯誤を経て、作業についての学習においては、作業効率を最適化する「言語」を作りあげなくてはいけないのですが、５分では「言語」の構築作業が不十分ではないかと思われます。また、「言語」構築の得意不得意が作業効率に影響を及ぼしていることもうかがわれます（図7の実験で青と赤に明らかに正の相関が認められます）。一方、図9では視線提示のみの場合の誤り率に被験者ごとの大きな差はありません。これは、この実験の練習セッションの長さのおかげで、視線提示の「言語」を十分に成熟できたためではないかと思われます。ペアによる「言語」の構築という視点から、実験結果を見直すと面白い発見があるのではないでしょうか。
■ レビューサマリー
一定の新規性が認められる一方、評価方式にはいくつかの疑問が残るようです。査読報告書を参考に、内容を改善して最終稿をまとめていただければ幸いです。
-----------------------------
review comment 2
-----------------------------
■ 総合点
4
■ 確信度
3
■ 査読コメント
【提案手法の新規性について】
従来の遠隔指示システムの研究では、ポインタ、描画、手振りの重畳をおこなう提案がほとんどです。これに対して、視線もグラフィカルに提示するという提案は、他の研究では見たことがありません。また、見逃しを補完するための視線の可視化手法と方向インジケーターなど、技術的な工夫も見られます。ただし、遠隔協調作業における視線の重要性やその支援方法については、石井らのClearBoard (CACM 37, 8)やKiyokawa (ISMAR 2002)らの研究でも主張されていて、それらからある程度類推可能です。視覚化手法についても、山下らのremote lag (CSCW 2011)、笠原らのJackin (AH 2014)、Ching-Tzun ChangのWithYou2 (IPSJ Journal, 22, 1)、Four Eyes LabのAugmented Reality-based Remote Collaboration (VRST 2014) などがあり、これらの応用であると考えられます。従って、この論文の提案手法には、一定の新規性は見られますが、breathtakingではありません。
【評価実験について】
本論文の実験には、問題点が多く見られます。まず、「はじめに」では、「提案する枠組みがポインティングを高速化・あるいはポインティングミスを低減できることを示す．」と書かれているのに、実験1では作業時間、実験2では間違えた回数でしか評価をしていません。これは、都合の良い結果しか示していない可能性も否定できません。どちらの実験も、両方の評価結果を示し、その結果についてきちんと議論すべきです。
実験1の評価手法では、同じペアで指示者と作業者を交代した場合を独立した2つのデータとして扱っていますが、こうしたコミュニケーションはそのペアごとの特性が反映されます。実際、図7を見ると、指示者と作業者を交代しても、同じような特性が見られています。従って、実験結果を6つの独立したデータとして扱うことには疑問があります。おそらく、P1-P2, P3-P4, P5-P6の平均値を使って、3つのデータとして検定するべきではないでしょうか。しかしその場合、検定するにはデータが少なすぎます。
実験1の観察的な議論は、この論文で最も興味が持てます。特に、視線と手振りを使って2つ以上の物を同時に指示する方法を被験者が自発的に使用したという点、視線から指示者の意図が推定できたという点は重要であると思います。しかしながら、いずれもインタビュー結果しか示されておらず、具体的にどのような事象が見られたかが不明確である点が残念です。
これは判定には関係ありませんが、実験1に関するビデオを拝見すると、被験者が視線にこだわりすぎているように見受けられます。被験者が思い込みで、コミュニケーションの手段を勝手に制約してしまうことはよく見られることです。従って、視線と手振りを自由に使用しても良いことがどの程度明確に説明されていたか、事前の練習が十分であったのかという点が、やや懸念されます。ビデオからは、被験者とテレビ画面の距離が離れており、指さしが比較的しづらい設定になっているように見受けられ、この点も懸念されます。さらに、実験のビデオでは、指示者の手振りとは異なる方向に作業者がブロックを回転させている様子が見られます。この実験において、どの程度正確にブロックを配置すれば、完成であると判断していたのかという点に、疑問が残ります。
実験2は、実験計画に問題があります。この実験は、広い作業空間に対応できることを目的としたウェアラブルなシステムの評価をおこなうことを目的としているはずなのに、おそらく作業者が真ん中の赤いブロックを見ている状態では、指示者にすべてのブロックが見えていると考えられます（この論文からはそのことすら不明確です）。これでは、一人称視点シナリオにおける有効性を示す実験になっていません。また、指示者は自分の意思でランダムに指示を出すことになっていますが、これでは条件間、被験者間で等価な難易度になっていることが保証できません。また、ジェスチャ提示条件の場合に、ジェスチャが最もし易いように、被験者とディスプレイの距離は配置が設定されていたかどうかにも疑問があります。仮に、タブレット端末などを手元に設置するような設定にすれば、異なる結果になった可能性が考えられます。それぞれの条件の場合に、ディスプレイがどのように設置されていたかと言うことについて、明確に記述すべきです。これらの問題から、実験の検定結果の信頼性は限定的であると考えます。
【その他】
誤植が多数見られます。良く見直して修正をお願いします。
【総合評価】
提案手法には一定の新規性が見られます。また、WISSでは評価実験の問題はあまり重視しない方針となっています。これらを考慮して、4と判定いたします。もし、採録となった場合には、可能な範囲で評価を見直したり、実験の問題点を明記するなどして、読者に誤解を与えない努力をしていただきたいと思います。
-----------------------------
review comment 3
-----------------------------
■ 総合点
3
■ 確信度
3
■ 査読コメント
遠隔作業支援において手振りと視線を共有するという手法を提案し，2種類のシナリオ（卓上，1人称）それぞれの場合において，評価実験を通して妥当性を確認しています．
その結果，指示者による作業空間への 指示がより高速，あるいは少ない失敗回数で行えることを示しています．論文としては比較的まとまりの良いものになっていると思います．
以下の点について確認してください．
・一人称視点シナリオについて，図1より特定の本を本棚から選ぶことや，図8より，ある程度離して配置したブロックを選択できることがわかりましたが，恐らく，より小さい作業対象が近接して配置されていた場合は，どちらを指しているのかが伝わりづらくなると思われます．具体的にどの位の精度で作業者が指示者の意図をくみ取れるのかの議論があるとよりよいと感じました．
・実験の再現性という観点から，ブロックの初期位置について具体的な数値による記述（各ブロックを赤いブロックから何センチ離して配置したのか，楕円上に置いたとのことなので長径と短径を記述するなど）が必要かと思います．
・図7のグラフにおいて，P3, P4のペアは手法によらず結果にあまり差が出なかったようですが，こちらの考察はしていますでしょうか．
・図7，図9ともにグラフに分散を記入して下さい
・なぜ両実験で調査したパラメータが異なるのでしょうか（片方は「作業時間」，他方は「間違えた回数」）．また，実験1において「視線提示のみ」や「音声のみ」，実験2において，「視線提示＋ジェスチャ提示」や「音声のみ」を実施していない理由について述べてください．
・動画の1:17，赤いブロックを横に倒す，という指示の時に，右手で持っている作業者に対し，指示者も右手で指示をした方がわかりやすそうなのに，左手で指示をしているのが気になりました．このシステムは両手のジェスチャは送信できないのでしょうか？これについて考察を述べてください．
■軽微な問題
不自然な文章が散見されます．投稿前に十分読み直しを行ってください．
・p4 提示方法仕様の順番は→提示方法使用の順番は
・p5 カメラの映像中の指示対象がが移動→カメラの映像中の指示対象が移動
・p6 山下らは→山中らは
・同 補正技術の必要である→補正技術の必要である
-----------------------------
review comment 4
-----------------------------
■ 総合点
2
■ 確信度
1
■ 査読コメント
本論文は遠隔共同作業を支援するシステムに関するものであり，特に遠隔地にいる作業者に対して，指示者の視線を伝達することを旨とするシステムである．
著者らは，固定視点カメラ・プロジェクタベースのシステム(1)と，移動を伴う作業を想定した頭部搭載カメラ・ディスプレイベースのシステム(2)を構築，注視位置の可視化がもたらす効果について検証を行っている．
本文中，著者は視線のもたらす効果として
(a) 動的環境で高速なポインティング機能の実現
(b) 指示者の非明示的意図の伝達
があるという仮説を立てている．
まず(a)の観点に関して，実験1でジェスチャのみと，ジェスチャ+視線条件での比較を行っている．ジェスチャ指示に関する条件が明示されていないため，これはビデオからの判断となるが，ビデオを見る限りにおいて，ジェスチャ側が操作指示に関して不利な条件にあるように見える．
第一に，ジェスチャ撮影用のカメラの撮影領域が不明瞭という問題がある．ビデオで40秒付近をみると，指示者はジェスチャを提示しようとして，相手に表示されていないことに気づき，腕の位置を修正しているように見受けられる．ある程度繰り返せば学習は可能であると考えられるものの，ジェスチャ側にとって不利な条件である．
第二に，ジェスチャのワーキングエリアが指示者からやや遠い点がある．指示者は腕をほぼ伸展させた空中でのジェスチャとなっており，200秒近い時間空中でジェスチャを続けることは，指示者にとって大きな負荷である．
第三に，作業者空間と指示空間の関係性が不明瞭であると推定される点が挙げられる．明文化されていないため，ジェスチャのみの条件下でどのように指示を行っているかは不明であるが，ビデオを見る限り，空中で腕を動かしながら，画面上に投影された腕の位置を確認しつつ，ブロックを指示するという流れになるのではないかと推定される．この推定が正しいかどうかは定かではないが，もし正しいとするならば，ジェスチャ側に余計な負荷が課せられていることになる．
これは実験2についても同様であり，そもそもジェスチャのみでは不利な条件であり，それを視線情報が補っているという可能性が排除しきれない．そしてジェスチャ以外にも，例えば指示者側にはタブレットを与え，画面タッチで目的のものを指示する方法も考えられ，その場合そもそも視線指示が不要となる可能性も充分に考えられる．
(1)の固定系システムの場合はとくに，過去の研究で多用されている，レーザポインタによる指示装置を利用するという手法も充分に妥当と言える．
一方で，視線があることによって安心して作業できた/予想して作業できたといったコメントは有益であると考えられる．視線にはコマンドとしての役割だけでなく，相手の意図を推し量る手がかりともなり，視線情報が提示されることが，両者の円滑なコミュニケーション・ストレス軽減に貢献している様子がうかがわれる．この点は興味深い結果であると考えられ，さらなる検証が望まれる．
以上より，本論文からは必ずしも注視点可視化の効果を適切に検証しているとは言い難いことから，上記の評価とした．