2次元空間を使った画像のラベリング支援システムを提案しています． 殆どの査読者が論文の記述の明確さや研究の質を評価しています． 一方，WISSの投稿論文には記載されておらず，新規性や信頼性に疑問が残るという指摘が上がりました．
採択のための条件ではありませんが，査読者からのコメントにできる限り対応してください． 査読者間の議論では特に以下について対応を求めるとコメントがあがっています． -論文中では「オープンスペース」が具体的にどの箇所を指すものかが分かりづらい - 複数のターゲット画像を並べラベル付けできる機能ことが動画中からは分かるのですが，論文中からは読み取ることが困難．(論文中の図も小さく見づらい) -3節(a)に「より類似した画像がグループ化され、候補となるラベルが近くに表示される。」と記載がありますが，メタ査読者はユーザ自身が見てわかるグループとなるようにレイアウトを作成することを指しているだと認識しています．システム的に自動でグループ化される機能があるようにも読み取れるので，読者に誤解を招く可能性があります．
5: 採録
2: やや専門からは外れる
本論文は，機械学習データセットのための画像注釈のラベル品質を向上させるため，空間的なレイアウトを活用したラベリング作業環境を提案している． ラベリングの作業者は，オープンスペース上に対象となる画像や暫定的なラベルを自由に配置することができ，非専門家であってもより正確なラベリングが可能となる． シンプルなシステム設計ながらも綿密な評価実験を行い，その有用性を示している． CHI2021の Fullpaperに採択されていることもあり論文としての質は高く，WISSでの登壇発表に値する内容であると判断する．
コンテンツ自体は 4.5ページ程度とかなりコンパクトに圧縮されており，本論文中では実験結果についての考察・議論があまりなされていない． また関連研究との比較について，本研究では画像の分類やラベリングに対していることを主張しているが，他研究との違いとしてはやや弱く新規性が分かりづらくなっている． 例えば，CHIの原稿で主張している，既存手法は第三者によるラベル付の品質向上を目的としていたが，本研究では非専門家の作業者自身の作業を支援し品質の改善を試みている点や， その結果，専門家のラベリング作業の負担を軽減できるといった点を記載することで，本論文の新規性や貢献がより明確になるかと思います． >その他，細かい指摘 ・奇数ページのヘッダーが設定されていないようです． ・関連研究[3] RSP -> ESPでしょうか？ ・句読点が統一されていないようです． ・図表のキャプションがセンタリングされていない箇所があります．
4: どちらかと言えば採録
3: 自身の専門分野とマッチしている
ラベリングの効率化，高精度化やゲーミフィケーションは，パターン認識の重要性がますます高まる現状ではとても大事なテーマであると査読者は思います．提案手法はよく説明されており，論文の構成もわかりやすいです．一方で，下記の点で本論文の効果に対しての疑問があります． ・評価において，ベースライン条件ではクラス情報をスクロールしなければ見ることができず，一覧性がとても悪い状態になっています．一方で，提案手法は画面の左右に情報が提示されており，一覧性が高い状態になっています．なぜ，ベースライン手法でも画面の左右を使って一覧性を高くしないのでしょうか？また，ベースラインでは，「あ，前のラベリング間違えていたな」と思っても，1つずつしか戻れないインタフェースになっており，これも一覧性の高い提案手法に比べてとても悪い条件になっています．つまり，本研究の精度の違いは，手法自体のよさにあるのではなく，一覧性の違いによって生じたのではないか，という疑念が生じます．「XY平面に距離が近いと思うデータを配置すること」が提案手法であるならば，例えば動かせないけど対象の画像群は一覧させておいて，修正もいつでもできるようにしておくなど，手法以外の条件を揃える必要があると査読者は感じます． ・同様に評価に関してですが，ラベリングにおいて，1枚のサンプル画像があって，それのみを参照しながらラベリングを行う，というシチュエーションはどういうものなのでしょうか．これはかなり難度の高い条件で，実際そもそものラベリング精度がとても低いです．半分間違えるようなラベリングタスクを課すようなシチュエーションはいったいどういうものなのかを説明する必要があるのでは無いでしょうか． ・被験者の確信度について述べられており，確信度が高まったことを述べられていますが，「確信度が高い状態で間違える」ことがよりやっかい(続いてどんどん間違える)である可能性があるのではないかと思います．実際，教育支援システム(黄瀬らのものが有名)などでは「自信がなくて間違う」よりも「自信があって間違う」方が問題であることが述べられています．確信度を高く答えた人が後のタスクで誤答が多くなるなどしていないかを確認しておく必要があると思います． ・Limitationが不明瞭だなと思いました．今回のタスクは犬種，のように特徴がある程度連続的もしくは共通点があるような画像の分類タスクに限られる話だと思います．どのようなタスクに適用可能な手法なのかをクリアにしてもらえるとよいと思いました．
1: 絶対不採録
2: やや専門からは外れる
文章中に未定義の語や表記ゆれなのか異なるものなのかわからない表現，主語がない文書のため何がその作業・処理を行うのか不明な箇所など，論文全体の記述の質に問題があると思います． そのため，3章の記述において，図２，３，４をもってしても，作業をユーザが行うのか，システムが行うのか，具体的に何をするのかがわからず，提案手法の内容を理解できませんでした．加えて，システムが行うであろう処理もあると思いますが，その技術的内容が一切記述されていないように思います．（例えば3節の（a)の「より類似した画像がグループ化され」はシステムが行うように思いますがそのアルゴリズムが不明です） 今回，犬で実験をしていますが，非専門家によるラベリングに焦点を当てているのならば，一般の人が見たことも聞いたこともないジャンルや極めて似た外見をしていて本当に専門家でないと見分けることが困難な生物のカテゴリのラベリングを行うべきだと思います．犬の場合，色や耳の形など犬種によって違うであろう箇所は想像できるので，著者らがやりたいことを検証できているのか不明です．
図2でラベルが両側に一覧表示されるとあるが，何百種類もある場合，どうなるのでしょう．全部表示されるのでしょうか？ オープンスペースが何を指しているのかわからないです．インタフェースの特定の部分を指しているのであれば，各部分の説明が最初必要です． 採否理由にも書きましたが，図3で，「オープンスペースに画像とラベルを空間的に配置する」とありますが，具体的に何をするのか不明です．ラベル同士で似ているものでクラスタを作るのか，ターゲット画像似ているラベルのサンプル画像をターゲット画像の近くに持っていくのか，わかりません． レイアウトインタフェースとは何ですか？ラベリングインタフェースとは別ですか？ 4節の第2パラグラフにでデータセットAとBは互いに素であるという説明があり，AとBの集合に重複がないと理解したのですが，その5行下に，改めて重複がないと記載されており，両者は意味が違うのかなと思いましたが，それ以上わかりませんでした．また，「同等の難易度」という表現もわかりませんでした．難易度とはなんでしょう？何をもって同等といっているのかもわかりませんでした．
5: 採録
1: 専門外である
本論文では、画像アノテーション作業を支援する、空間レイアウトという概念を用いたインターフェースの検討と提案手法を検証している。 アノテーション対象画像とラベルの参考画像を空間的にレイアウトすることで、候補となるラベルを見つけやすくするインターフェースを提案している。 16人のユーザ実験により、提案手法ではエラー率が有意に低下したことと、作業者の主観的な自信をもってラベリングすることに寄与していることを明らかにしている。 論文自体は、ACM CHIへの投稿論文を基にしており、クリアに記述されている。
CHIの採択論文であることもあり，記述も明確で研究としても重要なテーマであると評価されています． しかしフルペーパーを6ページに圧縮された内容となっており，今回の投稿論文から読み取れる情報からはいくつか疑問点が指摘されていることから，ショート採録が妥当であると判定しました． しかし，機械翻訳をしたような分かりづらい記述が含まれているとの指摘もあり，最低限読者に誤解を与えないよう記述の修正が必要です．