本研究は主催者と参加者が協力してアンケートを実施するために,言葉遊びを例題としてシステム実装したものである.実際に新入社員研修で使用した結果を報告している.アンケート(特定のテーマに関する情報収集)を実施することに対して,本手法がどのくらい有効であるのかについては今後も検証が必要であると思うが,総じてWISSコミュニティという実践の場で試しながら育てていくのが良いと考え,採録と判定する.
論文誌論文としては調査の結果は不十分であると考えます.現状の論文ではアンケートシステムとして一般的な問題を解決しているというように読めますが,一方でアンケートの機能が何であるのか,その機能に対してどのような改善ができたのかについては十分な検証がされていないと考えます.
特に本研究が「イベントを実施した際の,イベントの評価のためのアンケートシステム」であることが,実際のシステムではあまり考慮されていないように思います.論文全体を通して,どのような場面での,どのような意見徴収を目指したアンケートであって,他のものは含まないような一貫した主張が必要であると思います.
4: どちらかと言えば採録
3: 自身の専門分野とマッチしている
まず,参加者との「協同」を実現するとありますが,これは「協働」を意図していましたでしょうか.「協同」でも良いとは思うのですが,同じ目標を目指して作業するのであれば協働が良いのかなと思いました.
さて,本研究は主催者と参加者が協力してアンケートを実施するために,言葉遊びを例題としてシステム実装したものです.実際に新入社員研修で使用した結果を報告しています.
総じて,これまでのアンケートの概念を覆す大変興味深い提案であると思うのですが,一方で,これまでのアンケートの役割(特定のテーマに関する情報収集)を考えると,本研究での提案手法が何を目指しているのかが明確に理解できませんでした.つまり,たしかに言葉遊びを取り入れることで気軽に回答ができるようになり,回答することが面倒という意識が薄まったと言える一方で,結果からはアンケートとしての特定のテーマに関する具体的な情報収集という機能が失われてしまったとも考えられます.また,今回は新入社員研修という参加者のアンケートに参加するという強制力が働く場面での実験では,例えばあるイベントやワークショップへの参加した際のアンケートや,ウェブアプリのシステム改修に向けたアンケート,新製品開発に向けたアンケートなどには応用が難しいようにも思います.
つまり,本研究は面白い試みであると思いますが,使用用途が限定されるのではないかということです.また,実際に何ができるのか,何がわかるのかという観点でさらなる大規模な調査が必要な研究であるとも言えます.
このため,現時点での研究発表が妥当であるかどうかは判断が難しいところではありますが,やってみないと分からないこともあると思いますので,WISSでの運用を通して有用性を検証することも可能かなと思いました.
想定される利用場面や活用場面について,より具体的に設定する必要があると思います.現在の論文の書き方では,アンケートを実施する場面全般で使用することができるように思えますが,それは実際には異なると思います.一般性は重要な考え方ではありますが,この研究においては一般性よりは具体性が高まることで有用性が明らかになると思います.採択された際には,より具体的な利用場面と,提案手法の適応範囲についても明確に論述していただきたいと思います.
また、論文のタイトルが紛らわしいと思います。現状のタイトルである「参加者との協同を実現する言葉遊びアンケートシステム」からは、アンケートを行う場面全般を対象としているように読めますが、実際にはイベントのような場面に限定されるものであり、少し混乱します。タイトルの変更を含めた修正が期待されます。
4: どちらかと言えば採録
1: 専門外である
本論文では,アンケートの回答率と回答品質の向上を目的として,回答者が質問項目を作成する出題者にもなれる役割転換を組み込んだアンケートシステムを提案しています.この仕組みによって,回答者が出題者への忖度なしにアンケートに回答できる,としています.また,アンケート項目は,特定のひらがなから書き出す「あいうえお作文」の制約で作られており,この制約が回答へのモチベーションを向上させ率直な意見を書かせるためにはたらきます.
アンケート回答者に出題もさせるアプローチには一定の新規性があり,提案システムも非常に洗練されたインタフェースで実装されています.実際に約100名を対象として試用した結果も報告されており,提案手法のメリット・デメリットについてもフェアに報告されています.非常に面白い試みで,WISSで発表するにふさわしい研究テーマであると感じました.
一方で,本研究の有用性について,以下の点に疑問があります.
・提案手法が想定する回答者数の規模,回答時間・タイミングなどをより明確にする必要があります.提案システムは,一定の回答時間をとって,相当数の参加者が同時に回答しなければならない仕組みになっていると思います.回答タイミングによっては,質問数や他者の回答数も変化するはずです.最後の「あいうえお作文」作成は,十分な数の回答が集まっていないと多様な作例を作ることが難しいですし,このタイミングに全参加者がいないと結果を見ることができないように思います.
・言葉遊びとして,特定のひらがなで書き始める制約が適切であったかどうか疑問です.こうした制約を与えることで,創造性が刺激されたり率直な意見が書かれたりするといった期待はあると思いますが,書き出しを調整したために本来伝えたかった内容とは異なる回答になってしまうことはないのでしょうか.また,より直接的に「 『悪い』という単語を必ず含めてください」や「金額(xx円)を含めてください」のような制約を与える出題ではいけないでしょうか.実験結果で報告された「具体的な改善点を抽出するための情報が不足している」ような回答は有用ではないように思えます.
・重複する質問事項が出題された場合や悪質なユーザが出現した場合,提案システムは対応できるでしょうか.まったく同じ質問で,書き出しのひらがなが異なる場合などは異なる質問として解釈されるのでしょうか.
・提案手法で得られたアンケートの結果はどのように分析・活用されるのでしょうか.従来の自由記述アンケートと同様に,コード化を行って分類したり,特定の単語の使用回数を分析したりするのでしょうか.
論文の内の記述について,以下の点を修正していただくとより読みやすくなると思います.
・図1の提案手法の図は誤解を招く可能性があります.「言葉遊び」は回答の方法ですので,参加者の出題・回答先に置くのは不自然です.また出題の矢印は,参加者のほうに自己ループするように伸びているべきです.
・提案システムの簡単な説明を1章の「はじめに」に加えていただくとより読みやすくなると思います.たとえば,「言葉遊び」がどういったものか,複数人が同時に答える形式のアンケートを想定していること,新たに出題されたお題は回答者同士で答えるなどです.
・比較対象である従来のアンケートがどのようなものであったか,設問文や回答例などの情報があると理解しやすいように思います.
アンケートシステムと銘打たれていますが,どちらかというとコミュニケーションのためのシステムなのではないかという印象を受けました.WISS Challengeで運用もされるとのことですので,会議中の使用され方やその分析結果の報告を期待いたします.
5: 採録
3: 自身の専門分野とマッチしている
提案されているアンケートは新規性があり、論文として十分の質があると考える。プロトタイプとしての試用評価も今後のアンケート調査分野で大変価値のある結果である。
まとめで著者も述べている通り、試用時の回答を行う強制力は確かに影響があったのではと考えるが、アンケートは様々な環境で行われるため、ひとつの試用場面として十分に価値があると考える。
論文に記載されている通り、ぜひWISS Challengeで使用し、研究が今後発展されていくことを期待している。
5: 採録
3: 自身の専門分野とマッチしている
大変興味深い取り組みで,試用評価からもシステムが完動していることがわかる.また試用評価の声もリアリティがあり興味深い.WISSとして議論にふさわしいと感じた.
条件ではないが,双方向になることで,システム自体が通常のアンケートシステムより複雑で所要時間も必要になると考えられる.それによって従来のアンケートより面倒であると感じることや,それがアンケート自体に影響してしまう可能性の議論もほしい.そういう点では,どういうアンケートやもしくはイベントに向いているのかの考察もあったほうがよい.
確信度1の方もおりますが,総じて総合点は5,5,5,4ということで採録寄りの判定結果であった.荒削りだとは思う一方で,そういう意味でもWISSで議論するのが良い研究であると考える.提案手法自体はアンケートを置き換えるために回答者を巻き込んだ構成となっており,新たな試みであると思いつつも,有用性の観点での疑問点はあり,総じてWISSで運用してもらいつつ,コミュニティで判断できれば良い研究であると考える.