査読者1

(Primary)レビューサマリ

3Dモデルのセグメンテーションを複数視点からのテクスチャ上2Dセグメンテーションを利用しつつインタラクティブにおこなう手法を提案している. テクスチャ上で自動解析とユーザ操作をマージしていく手法は新規性があり, またデモされている内容も十分に納得感のある結果となっていており高く評価できる. しかし, 文章記述のクオリティに問題があるためカメラレディでは以下の点についてわかりやすく修正していただくことを条件に採録とする.

1. 査読で示されている文章の誤謬を修正すること.
2. インタラクティブな3Dセグメンテーションをおこなう既存手法からの新規性を明記すること.

(Primary)採録時コメント

3Dモデルのセグメンテーションを複数視点からのテクスチャ上2Dセグメンテーションを利用しつつインタラクティブにおこなう手法を提案している. テクスチャ上で自動解析とユーザ操作をマージしていく手法は新規性があり, またデモされている内容も十分に納得感のある結果となっていており高く評価できる. 一方で, 論文の記述の質に問題があり, また, インタラクティブな3Dのセグメンテーションに関する従来手法からの新規性がわかりにくい, という問題もあるため著者らにはカメラレディの前に修正を依頼し, 条件付き採録とする.

(Primary)論文誌として必要な改善点

無し

総合点   (1: 強く不採録~6: 強く採録)

5: 採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

2: やや専門からは外れる

採否理由

この研究では, スキャンされた3Dモデルのパーツセグメンテーションをユーザの意図通りにおこなうためにテクスチャ上の2dセグメンテーションを利用したインタラクティブな手法を提案している. 3Dモデルを回転させながら複数視点からのSAMをおこないテクスチャUV上で統合することで初期セグメンテーションを作成, それらを3Dモデル上のユーザ操作によって再統合していくことで効率的に所望のセグメンテーションを実現しているところが新しい. 新規性も有用性もはっきりしており, 論文もよく記述されているため採択してもよいと判断する.

論文にはサブセグメントの統合にしか書かれていませんが, サブセグメントを初期状態より詳細に分割したいときはどのようにするのでしょうか?あるパーツを分割したい場合, 他のパーツにくっつけることはできるが, そのパーツだけ切り離すのはこの手法だけでは難しいようにみえます.

イタレーション終盤では, ユーザはあるパーツを分割したいがそこを分割させると他がくっついてしまう, などあちらを立てればこちらが立たずの問題が起こりうるとおもうのですが, それに対する解決策はなにかあるのでしょうか?

4章, 3D上での距離と色情報からサブセグメント間の距離行列を生成する, とありますがこの距離というのはサブセグメントの接続グラフ上での最短経路で経由する辺の数ということでしょうか?色の類似度との重みづけ和ということでしょうか?はっきり記述したほうが読者がわかりやすいです.

SAMをはじめとする2Dセグメンテーションではレンダリングのシェーディング方法を変えると結果も変化します. 視点だけでなくシェーディングも変えて初期条件を作成すると有用なのではないでしょうか.

テクスチャUVは通常の3Dモデルでは使い回しなどがあるためメッシュ頂点と一意に対応しないが, スキャンモデルのテクスチャであれば問題が無い, というのがスキャンモデルに限定している理由かとおもいます.

改善コメント

4章, 3D上での距離と色情報からサブセグメント間の距離行列を生成する, とありますがこの距離というのはサブセグメントの接続グラフ上での最短経路で経由する辺の数ということでしょうか?色の類似度との重みづけ和ということでしょうか?はっきり記述したほうが読者がわかりやすいです.

SAMをはじめとする2Dセグメンテーションではレンダリングのシェーディング方法を変えると結果も変化します. 視点だけでなくシェーディングも変えて初期条件を作成すると有用なのではないでしょうか。

査読者2

総合点   (1: 強く不採録~6: 強く採録)

4: どちらかと言えば採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

1: 専門外である

採否理由

3Dスキャンしたオブジェクトに対するセグメンテーションは3Dスキャンの普及に従って重要な技術になると考えられます.提案手法は,自動セグメンテーションと手動セグメンテーションの融合的なアプローチにより,セグメンテーションプロセスを高速化・高精度化しようとしており,手法の内容,実験結果ともに納得感があります.

一方で,査読者はこの分野の専門ではないので不明瞭なのですが,インタラクティブにセグメンテーションをしようという取組みはすでに色々と存在しているように思います.例えば https://doi.org/10.1109/ICRA48891.2023.10160904 や https://doi.org/10.1097/00004728-199203000-00019 など.関連研究に,インタラクティブにセグメンテーションする手法を引用して違いを述べていただく必要があるのではないでしょうか.

改善コメント

上にも書いていますが,インタラクティブにセグメンテーションを行う手法との比較と,それによる提案手法の新規性の主張があるとよいと思います.

査読者3

総合点   (1: 強く不採録~6: 強く採録)

5: 採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

2: やや専門からは外れる

採否理由

本論文は3Dスキャンにおけるインタラクティブセグメンテーションツールを提案している.筆者らの提案では,自動セグメンテーションに加えて,ユーザによる最低限の手動操作を組み合わせることで,効率的で正確性の高い3Dセグメンテーションを可能としている.
本提案は,3Dセグメンテーションにおいてユーザの手動操作と自動セグメンテーション技術を組み合わせた点において新規性がある.
ユーザ実験による評価から有用性も示されている.
以上より,本論文の評価は5とする.

改善コメント

5.2章の結果について,主観評価と完了時間についてもグラフや表などで結果を強調するとより有効性を主張できると思います.

また,細かい点ですが,[]や()前のスペースの有無が区々なので,統一が必要です.

査読者4

総合点   (1: 強く不採録~6: 強く採録)

3: どちらかと言えば不採録

確信度   (1: 専門外である~3: 自身の専門分野とマッチしている)

1: 専門外である

採否理由

本論文には、HQ-SAMに基づく自動セグメンテーションの結果を手書きストロークで編集して貰うことにより、狙ったセグメンテーションを速くかつ狙い通りに作れるインタラクティブセグメンテーション手法が示されています。ビデオや図を拝見する限り、提案手法には新規性があり、また有用であると考えられます。使い勝手も良さそうです(とても使ってみたいと思います)。目的の実現のために使われている技術も妥当そうです。

一方、概要より下の文章には不明瞭な記述、日本語として不自然な記述が多い(自動翻訳を多用していることにも原因がありそうです)ため、論文全体の信頼性も低いです。そのため、総合点を下げてあります。

以下に気になった点の一部を挙げます。

■懸念点
1. ユーザとユーザーとの揺れが生じています。これ以外にも表記揺れが膨大にあります(ストロークとスクリブル、セグメント分割とセグメンテーション、UV TextureとUVテクスチャ、ユーザ実験とユーザ調査、など)。
2. 「1 はじめに」にある「3D形状とテクスチャ情報の両方に基づいた意味のあるセグメントの正確な識別が難しい.」とはどのようなことでしょうか。
3. 「1 はじめに」にある「まず,3D スキャンモデル上でのテクスチャ画像を小さく意味情報を持つサブセグメントに分割する.」の「意味情報を持つ」はどのようなことでしょうか。また正しいでしょうか。
4. 「1 はじめに」にある「自動セグメンテーションの前処理(A)と手動セグメンテーションの後処理(B)の有効性を明らかにした.」は誤っています(本研究は、AとBとの組み合わせが良いことをしたのだと思われます)。
5. 図1のキャプションにある「事前処理ステップでテクスチャをセマンティックかつ十分に小さいサブセグメントに分割する.」のセマンティックという記述は正しいでしょうか(今回の研究では、ピクセルやサブセグメントに何かしらの意味的なラベル付けを行っているのでしょうか)。
6. 図1のキャプションにある「サブセグメントIDは,ユーザが書いた最も近いストロークのIDが割り振られる.」が(記述が不明瞭なので不確かなのですが)本文と説明が異なっているように見えます。
7. 2.1節にある「Dセグメンテーション」とは何でしょうか(セグメンテーションのタイポ?)。
8. 2.2節にある「3D ペイントソフトウェアであるBlenderやZBrushは,多くの便利ツールをプレセットとして用意する事で…」を修整してください。
9. 2.2節にある「ユーザのスクリブルのみで希望するインタラクティブセグメンテーション技術を提案する.」を修整してください。
10. 3.1節にある「そこで本研究では,UVテクスチャを異なるサイズのサブセグメントに自動で分解し,ユーザが…」の「異なるサイズの」を修整する必要があります(サブセグメントの大きさは均一ではないことを表現したいのですよね)。
11. 3.2節にある「提案システムではユーザがセグメントID(色)を選択し,」を論文中で説明してください。また、ユーザはセグメントIDを選択する、という説明は正しいでしょうか(「ユーザは,セグメントID を表すブラシの色を選択し,」という記述も後方にあります)。セグメントの数は多数なのに動画で示されている例ではメニュー項目数が8です。セグメントIDという名称が妥当でないのかもしれません。
12. 3.2節にある「これにより,ユーザのスクリブルから得られる自動セグメンテーション結果を推定する.」とはどのようなことでしょうか。
13. 3.2節にある「プロセスは,3D スキャンモデルとセクション4 のアルゴリズムに基づいて生成されたサブセグメントから始まる.」を修整してください。
14. 図3のキャプションにある「このシステムには,…が含まれています.」を修整してください。
15. 図3のキャプションにある「テクスチャビューに描画された複数色の線に応じて,」を修整してください。
16. 4節に「初めに提案手法では,…レンダリング画像からSAM[3]を用いて2Dセグメンテーション結果を得る.」とありますが、[3]はHQ-SAMを示した文献なので、この記述はやや精密さを欠くように思います。
17. 4節に「特にレンダリング画像からのセグメンテーションでは,3Dモデルの周囲を包含するようにカメラの位置を最適化することで,3Dモデル全体のセグメンテーション結果を得ることができる.」とありますが、文脈からは提案手法がカメラの位置を最適化するように書かれているので、修整が必要です。
18. 4節にある「上記2つのセグメンテーション結果の境界線を一つのUV テクスチャ上にまとめて連結成分解析を行うことで,サブセグメントを獲得する.」とはどのようなことでしょうか。
19. 図4のキャプションにある「前処理のステップは,主に2 つのフェーズで構成されている.サブセグメント生成とサブセグメントの距離行列生成である.」を修整してください。
20. 5節に記述されている「Ground Truth」、「事前に定義されたターゲットセグメンテーション」、「Blender で精密に作成された正解セグメンテーションマップ」、「正解データ」は同じものでしょうか。同じものなら表記を統一してください。
21. 5.1.3節にある「花蕾と茎の境界はさまざまな視点からはっきりと識別できない.」とはどのようなことでしょうか?
22. 5.1.3節にある「茎の裏側にブラシを入れることは作業コストが大きい.」とはどのようなことでしょうか?
23. 5.1.4節にある「順序効果を減少させるために,インターフェースの順序は参加者ごとに体系的に変えた.」の「体系的に」を具体化してください。
24. 図6の縦軸を0から開始してください。
25. 図6に平均値を追加してください(*印や×印を使ってプロットすると良いと思います)。というのも本文での議論は平均値を使ってなされているのに、この図はボックスプロットのため平均値に関する情報が示されていないからです。
26. 5.1.4節にある「UVテクスチャの一致率IoUを計算することで,最終精度を計算した.」に関して、IoUの計算方法を説明してください。既存手法を採用している場合にはそれが説明されている文献を引用すれば良さそうです。
27. 5.2節にある「提案手法の自動的なセグメント補間」は、ここが初出のようですが、どのようなことでしょうか。
28. 5.2節にある「完了時間 Broccoli 3Dモデルの場合,ユーザは両方のインターフェースを使用してセグメンテーションタスクに与えられた5分間を要した.Watergun 3Dモデルでは,ユーザは提案インターフェースを使用して平均247秒で完了し,ベースラインでは5分間を要した.」を修整してください。特に、今回の実験では制限時間を5分としたのに対して「5分間を要した」という表現は、制限時間内で完了できなかったのか、丁度5分で完了できたのかが不明瞭です。

■その他
1. 第2著者の所属をPreffered Networksのみとして良いのかは不確かです。

改善コメント

(無し)