査読方針

概要

WISS2024の登壇発表の基本的な査読方針を説明します．

• 採録時は，ここ数年は，「ロング発表」「ショート発表」「議論枠発表」の3種類の発表形式としておりましたが，WISS2024では登壇発表として統一します．

  • 採録件数にもよりますが，発表時間は従来のショート発表（10分+質疑5分）を予定しています．
  • プログラム委員長の補足: できるだけ多くの論文を採択しようという長年の試行錯誤の結果，発表枠が複雑化されてしまい，プログラム委員会でも混乱する場面が見られました．このため，未来を切り拓くアイデア・技術に注目するWISSの特性にふさわしい「ショート発表」を想定して，発表形式を統一します． なお，これまで「議論枠発表」とされていたような論文（多少査読スコアが低くても，活発な議論を呼ぶと考えられる論文）も採録します．

• 論文によってはプログラム委員による「シェパーディング（Shepherding）」が実施されることがあります．ワークショップとして採録・議論したい興味深い内容でありながら，論文として重大な問題を含む場合に，短期的にこれを解決するための措置としてお考えください．

  • シェパーディングの内容に同意できない場合には，速やかに委員にお知らせください．この場合には論文は「不採録」となります．

• 査読者から著者に返るコメント欄を「採否理由」と「研究をよくするためのコメント」に分離しています．

  • 「採否理由」: 査読者が論文を採択・不採択と判断した根拠が，「新規性（先行研究との差分が十分にあるか）」「 有用性（実際に役に立つか）」「正確性（技術的に正しいか）」「記述の質（分かりやすく明確に書かれているか）」等の観点から記述されます．
  • 「研究をよくするためのコメント」: 採否判断とは直接関係しないものの，当該研究の将来性を伸ばすためのコメントや，よりよい発表を行うためのアドバイスが記述されます．

• 全ての登壇発表採録論文について「採録判定時のコメント」を含む，一部の査読コメントを公開します．プログラム委員会がどのような観点で論文を評価したかを端的に説明するものです．

  • プログラム委員長の補足: WISS2024では採択時の発表形式を前述のように統一しますが，採択論文に対する委員会の捉え方はこのコメントから概ね理解頂けると考えます．

• 完璧な査読というのは困難ですが，WISSでは例年充実した査読やプログラム委員会での議論が行われており，査読プロセスにおいてもできるだけ有益なフィードバックを返せるように努めています．採択・不採択に関わらず，研究の進捗に有用だと思いますので，粗削りであっても多くの登壇発表論文の投稿を期待しています．

査読方針の詳細

本節は，主にWISSのプログラム委員にむけてまとめており，査読プロセスの詳細に興味がある方のために公開します．全ての投稿者が熟読する必要はありません．

• 登壇発表は，査読により採否を決定します．1つの論文につき，最低3名のプログラム委員に査読を割り当てます．ただし，必要に応じて委員外の専門家に査読を依頼する場合があります．
• 登壇発表は，シングルブラインド査読です．すなわち，論文中の著者名や所属は明示されており，著者の参考文献も匿名化されません．査読者の情報は著者からは秘匿されます．
• 採録の判定は，査読結果として得られる評価値を前提とした上で，プログラム委員会における議論をもって決定します．また，プログラム委員会での論文採録判定の際には，当該論文の利害関係者は席を外します．
• 採択された論文の査読コメントの一部は，論文と共に Web上で公開される可能性があります ．これは，査読コメントという重要なリソースを，プログラム委員内だけでなくコミュニティ全体で共有することにより，論文や査読を書く際の参考にしてもらうためです．また，公開を前提とすることで，より建設的な査読が行われることも期待しています．
  • 不採択となった論文の査読コメントは公開されません．
  • プログラム委員長の補足: 査読コメントの公開範囲や公開方法については，今年度改めて委員会で議論します．
• ワークショップの本質は「議論」であり，仮に荒削りであっても未来を切り拓くような研究，議論を呼ぶような研究であれば，研究の完成度が低くても積極的に採択する方向で議論してください．

• 論文で提案されるインタラクティブシステム（ソフトウェア・ハードウェア）が，既に 実装済みであることを投稿の必須条件 としています． 仮に優れたアイデアであっても，実装されていることが論文やデモビデオから判断できない場合は評価は低くなります．

• WISSでは「評価実験が行われていない」ことを理由として減点とはしません ．

  • ただし，有意義な評価がなされている場合には，同じ内容で評価が無い場合よりも加点されます．
  • 一方，評価手法に明らかな問題があり，読者に誤った情報を与えると判断された場合，減点対象となります．

• 論文の記述の質が著しく低い場合（説明が理解できない，本質的に重要な情報が書かれていない，既存研究との差分が説明されていない等）は評価は低くなります．

• 著者は論文本体とは別に，「この研究はどんな未来を切り拓くのか」について，「未来ビジョン」節を設けて自由に議論することができます．ただし，「未来ビジョン」は査読の対象外とします．

• 採択された論文の中から，雑誌論文としてふさわしいと判断されるものを，ソフトウェア科学会会誌「コンピュータソフトウェア」へ推薦論文として推薦します．

  • そのままでは雑誌論文としては問題があるが，適切な内容の拡充（評価実験の追加など）があれば採択できると思われるものも推薦に含めるものとします．
  • 推薦論文として投稿された論文は，論文誌編集委員会で独立した査読を行い採否を決定しますが，できるだけWISSの査読者と同じ査読者に割り当てます．

• 優秀な発表については表彰します．プログラム委員会が選定に関与する賞は以下の3つを予定しています． これ以外にも，参加者投票による賞や，スポンサーによる企業賞等を予定しています．

  • 最優秀論文賞: 登壇発表の採択論文に対するプログラム委員の事前投票で決定．
  • 最優秀発表賞（プログラム委員）: WISS当日の登壇発表に対するプログラム委員の投票で決定．
  • 対話発表賞（プログラム委員）: WISS当日のデモ発表に対するプログラム委員の投票で決定．