査読者 1

総合点

確信度

コメント

ヘッドマウントディスプレイ（HMD）を装着した際に、装着者の顔が隠れてしまい、表情などを読み取ることができない問題があります。本研究は、HMDに装着された赤外線カメラおよび赤外線反射ミラーを用いて顔映像を取得、予め撮影された顔モデルと合成することによってHMD装着者の顔映像を再現するものだと理解しました。

本手法を適用する際に問題となる、画像の変形の問題やグレイスケールの赤外線映像をカラー着色する手法については、それぞれ、Feature based Image metamorphosisの適用やCNNによる機械学習によって違和感を低減した上でカラー化することを提案しています。いくつかの問題はあるもののおよそ目的は達成できているようにみえました。

アプローチは新奇かつ、有用性も高そうでワークショップで議論する価値があるものと判断しました。一方で、著者も引用していますが、表情筋電位や顔の変形そのものをセンサを用いて計測し、それをもとにアバターへ表情の付与する研究や視線計測装置をHMDに内蔵する研究などが行われています。これら及びこれらの組み合わせに対しての利点をもう少し議論いただければと思いました。

著者は、顔映像そのものを再現することが目的であると述べていますが、一方で、顔表情は目、眉付近と口元の変形によって大きく変化するがそれ以外の部分はあまり変化しないという前提を導入しています。これはすなわち目、眉、口元の動きが再現できればよいというふうにも読めてしまいます。顔映像そのものを使うことによって微細な感情の表現が可能になるのだと思います。もたらされる利点について述べていただけると読者の誤解が低減され、また議論も深まるのではないかと思います。

採録判定時のコメント

レビューサマリ

その他コメント

査読者 2

総合点

確信度

コメント

本論文は、HMD装着中のユーザの顔面表情を取得し、バーチャル空間に存在するアバタに投射する研究です。近年同様の問題意識を持った研究は多く存在し、様々なセンサを用いての解決の試みがある中、本研究は顔のテクスチャのみに着目して、単純なシステム構成によって顔画像の抽出と再現を試みており、高く評価をしたいと思います。赤外線反射ミラーを用いてコンテンツの視聴と同時に顔映像を取得する方法は、HMD組み込み可能なEye Trackerで一般的に使われている手法であるため、これについての言及がないのは、少し不自然と感じます。ただ本研究の目的はEye Trackingをすることではなく、眉などを含めた眼周辺の画像を取得するためであって、そのための光学的な工夫については有用性が高いと感じます。リミテーションとしては、皮膚とHMDまでの距離が近いユーザや、眼鏡を装着しているユーザに対する配慮ですが、この部分に関して論文中に言及があると良いと思いました。

査読者 3

総合点

確信度

コメント

本論文はHMD着用時の，着用者の顔表情取得のための技術について述べられています．赤外カメラ・ミラーを利用して，着用者目周囲の映像を取得，別途HMD設置したカメラにより口周辺の画像を取得し，予め用意した着用者3Dモデルに貼り付けることで，HMDにより隠された着用者の表情再現を試みています．


評点の根拠:
提案手法に関する記述も詳細であり，新規性・有用性・正確性ともに申し分ないと評価します．

論文改善のためのコメント、疑問:
表記上の細かい点ではあるが，文章中の”「”や”(”が現れる一部の箇所において，不自然な空白が見られます．この点については修正をお勧めします．
以下に列挙する箇所で，そのような不自然な空白が見られました．
○1ページ目左カラム下から3行目，”「”と”誰”の間に不自然なスペース
○1ページ目右カラム下から11行目左端，”(”と”ス”の間に不自然なスペース
○1ページ目右カラム下から９行目右端、”(”と”視”の間に不自然なスペース
○3ページ目右カラム2.4節2段落目上から3行目，”（”と”も”の間に不自然なスペース