査読コメント (Paper ID: 15)

査読者 1

総合点

確信度

既存のゲームシステムを踏襲し、チャットシステムを改良するという試みは挑戦的な試みであると言える。例えばスプラトゥーンなどのメジャータイトルについても、チームへの貢献度がどのようにプレイヤに対して影響を及ぼしているかという点は公開情報がなく不明であるが、WISSのような場で試す価値はあると考える。

採録判定時のコメント

WISSのチャットのような場面において、いかにして初心者の発言を引き出すか、という問題提起及び解決方法については妥当性があると思われます。十分に思考を重ねた結果デザインされたシステムという印象ではありますが、最も重要な点である「効果」について予想は難しく、現状実施前でデータがないことも考慮して、ショート採録となりました。ぜひWISSの場で実施検証をお願いしたい。

レビューサマリ

全体の構成： WISSのチャットのような集団コミュニケーションにおいて、常連が増えると初心者が入りにくいなどの問題が発生する。例えばポイントをつけるようなゲーミフィケーション的な手法を導入した場合、通常のランキングボードのような形式を取ると上位者のみで争いが過熱してしまうことを指摘し、チーム制を採用することですべての参加者が貢献出来る手法を提案している。改良のためのコメント等：システムを実装した場合にどのような効果があるのかについては、深く考察がされている。一方で、実施前の段階であり、本システムの「有用性」の判断は難しい。また、システムの詳細部分についても不明な点がいくつか指摘されている（査読コメントを参照されたい）。いずれにせよ、集団での運用には予測不能な部分が多いため、WISS本会議などでの実施運用に基づくデータ分析と考察が強く望まれる。

その他コメント

WISS Challengeでの実施を強く希望します。そのうえで質疑を行うととても盛り上がる内容となるはずです。

査読者 2

総合点

確信度

評点の根拠:
活発なコミュニティであっても新陳代謝は必要であり、特に新しい、
もしくは若手の参加者が議論に参加しやすくなる仕組みを模索する
試みは共感できる。著者は学会におけるチャットシステムの運用経験が
豊富であり、実験計画の章で順序効果に言及するなど、説得力がある
説明で分かりやすい。
一方で、利用者が提案システムのスコア向上だけを目指すチート行為に
及ぶかや、貢献度の大小についてコミュニティがどう扱うかについては
非常に興味深いが、実験的に確かめるしかなく、同一コミュニティで
あっても開催ごとに異なる傾向となることも考えられる。
現時点ではゲーミフィケーションの導入による最初の実験であり、
システムの紹介や設計の根拠を現地の参加者と共有することが主眼と
考えられるため、ショート発表が相当と判断した。

論文改善のためのコメント、疑問:
第2章の「ブレスト」は、初出時は短縮しない表現をすべきである。

第4.3章で提案されているバッジが、第2章で述べた「発言を吟味
し過ぎる傾向を緩和」することに寄与するか、理解できなかった。

第4.3章の「チーンム」はチームのtypoと見られる。

査読者 3

総合点

確信度

【評点の根拠】
・総合評価：
　新規性，正確性の点で高く評価しますが，運用結果の見通しが立たない点を重視し，ショート発表が良いのではと判断します．

・提案されている内容の新規性：
　大人数の集団コミュニケーションにおいて参加者の貢献度を提示するという点に新規性があると判断します．さらに，新規性の点からはずれますが，大人数集団における参加者の貢献度提示の結果自体も非常に資料価値の高いものになると考えます．
・有用性と正確性：
　前述の結果の資料価値の高さの点は有用であると考えます．しかし，システムは構築済みですが，運用した結果の見通しが現状の論文からは見えない点で，有用性の評価は不能であると考えます．
　運用予定のチャットシステムの完成度の高さから，正確性について高く評価します．
・論文の記述の質：
　一部，研究の目的に関わる点で内容のゆれが見られる点や，システムや評価実験について説明の不足が見られますので，論文の確認，修正が必要と思います（具体的な内容はコメントに記載します）．


【論文改善のためのコメント，疑問】
・（論文の確認をお願いしたい点）：
　研究の目的について，1章に「人数が多い状況でも積極的な人と消極的な人の双方に対して高い効果を発揮する貢献度提示手法を検討する余地がある．」とあり，概要，2章中では，「消極的な人の参加を促す手法を提案し」，「もともとあまり熱心ではない参加者の意欲を引き出すことを目的とする」といったように目的が統一されていない部分がありますので，確認が必要かと思います．
・（論文の確認をお願いしたい点）：
　システム説明内に「マルチルームチャット」とありましたが，これは運用時にチームごとにルームが別々になるということなのでしょうか？その点の説明が内容に思いましたので，確認をお願いします．
・（論文の確認をお願いしたい点）：　
　運用時に参加者は匿名で参加するのか，個人が特定可能な名前で参加するのか．本名で参加するのかいずれなのか気になりました．論文で記載がないようでしたら説明を追加した方が良いのではと思いました．
・（論文の確認をお願いしたい点）：
　運用について1日目は個人の貢献度のみ表示とあったと思いますが，1日目はチーム分けなし，2,3日目はチーム分けありと考えて良いでしょうか？
・（論文への追加の検討，及び研究を進める上で検討していただきたい点）
　消極的な参加者がなぜなかなか発言できないのかについてもう少し考察しても良いのではと思いました．さらに，個人貢献度の提示として実装するバッジについても消極的な参加者の発言の障壁になっている要素をバッジと対応させても良いのではと思いました．例えば，消極的参加者にとっては，他人に直接発言を投げかけることはハードルが高いように思いました．また，あまりにも身分が上の先生に発言することがかなり難しいといったように上下関係のような人間関係？の点も実装に活かすかは別として検討しても良いのではと思いました．
・（個人的に気になった点）
　おそらくこの論文の先の論文で論ずべき内容かもしれませんが，今回の提案によって発言の質がどう変わるのかは気になりました．WISSチャットは参加者が気軽に議論できる場というのもあると思いますが，それ以外にも，発表者にとって自分の研究に対する率直なフィードバックが返ってくるというメリットもあると思います．その発表者にとっての有用性がどのように変化するのかは気にしても良いのではと思いますし，個人的に非常に興味があります．