視覚デザイン探索のためのクラウドソーシングを活用したパラメタ空間解析
-----------------------------
review comment 1
-----------------------------
■ 総合点
4
■ 確信度
2
■ 査読コメント
クラウドソーシングを用いたモデルにより、それなりの結果を提示したあとの
ヒートマップを用いたパラメータ調整、対話的最適化の機能に強い新規性があると理解しています。
多くの応用アプリケーション例示に提案手法の汎用性の高さを感じました。
提示しているアプリケーションにおいて、特に最初の３つのアプリケーション例での
結果はかなり分かりやすく良い結果になっており、手法の有用性を感じます。
気になる点としては、
同じ、色補正でも目的ごと、例えば食べ物と建物では全然違った補正になると思われ、、
少なくともおおよその画像種別（目的）ごとに、クラウドソーシングを用いてモデルを求める
必要があるように感じられます。
現状では、色補正なら色補正というデザイン空間で一つのモデルを生成しているように見えますが、
それで本当にうまくいくのかが疑問です。
画像ごとに求めるのだと細かすぎるでしょうし、
そのあたりの粒度をどのように考えているのか、そもそも考える必要があるのか、
議論が必要なところだとおもいます。
特に、表情モデリングの例は、どのような表情（笑っているとか怒っているとか）を
生成したいのかを明らかにせずに自然な表情を選んでもらうというのに疑問を感じました。
（明らかなノイズは除けているという意味では意味がありますが）
-４．２ 冒頭 「VisOpt Slider (図1 (左)) 」 ＝＞ （右）の間違い
■ レビューサマリー
全てのレビュアーがポジティブに論文を判定しており、採択と判定させていただきました。
ただし、
goodness functionが多峰性関数になるような複雑な分布
に関する指摘内容については、特に、カメラレディで出来るだけ詳細を記述するよう、
ように追記をお願いいたします。
-----------------------------
review comment 2
-----------------------------
■ 総合点
3
■ 確信度
2
■ 査読コメント
■ 評点の根拠
本研究では，視覚的デザインという定量化が難しい問題に対し，クラウドソーシングを活用してgoodness functionを推定し，さらに，Query by Example と Dynamic queryおよびQuery Preview のアイデアを取り入れたユーザインタフェースにより多数のパラメタ入力を容易にしています．デモシステムの完成度は高く，実用性も高いと考えます．
しかし気になるのが，今回取り上げた例題の問題なのか，クラウドソーシングへの質問設計の問題なのか，goodness functionの求め方の問題なのかわかりませんが，goodness function が単純な単峰性関数となっている点です．デザインのような局所解が多数あって試行錯誤が重要なタスクのgoodness functionは多峰性関数になるのではないでしょうか？たまたま例題がそうであったのであれば問題ありませんが，それ以外の理由であれば，提案アプローチの有効性に影響を与える問題点と考えます．
また，goodness functionが多峰性関数の場合，提案するアプローチでは問題が生じると考えられます．Smart Suggestionでは高速化のためランダムサンプリングした中でgoodness functionの値が高いものを提示しますが，これでは特定の局所解の近傍解ばかりが出てしまう可能性があり，ユーザの創造的なパラメタ調整を阻害するかもしれません．これはデザイン支援という点では致命的な問題と考えます．VisOpt Sliderではパラメタが変更された際に他のパラメタを最急降下法により自動最適化しますが，局所解がある場合には十分に機能しない可能性があります．
以上の理由により，３点と評価しました．
■ 論文改善のためのコメント、疑問
・初期値をQuery by Exampleにより自動入力するためのExample候補の選択については，対話的遺伝的アルゴリズムによるデザイン支援研究が参考になると思われます．
伊藤ら: "対話型遺伝的アルゴリズムにおける嗜好の多峰性に対応可能な個体生成方法", 人工知能学会論文誌, Vol. 24, No. 1, pp. 127-135, (2009).
・真実のgoodness functionは多峰性関数かもしれないが，Smart SuggestionやVisOpt Sliderによる最適化のための評価関数としては単峰性関数の方が都合がよいので，真実のgoodness functionを近似した単峰性関数が得られたという結果は妥当である，とも解釈できます．その場合，最適化処理のために裏側で利用する分には問題ありませんが，パラメタ調整のgoodness functionが単峰性関数であるかのような情報をユーザに直接的に提示（VisOpt Slide）するのは，デザイン支援として適切だろうか，という疑問が残ります．こういった点についての議論もあると良いとおもいました．
-----------------------------
review comment 3
-----------------------------
■ 総合点
4
■ 確信度
3
■ 査読コメント
コンテンツデザインのパラメータ最適化のためにクラウドソーシングを活用する、というシステムフレームワーク自体に斬新性があり、とても興味深い話題であるように思います。最近では例えばPerfumeのコンテンツにクラウドコーディングが導入されたなどの例から、群衆的にコンテンツを生成することの面白みは知られており、このような取り組みは今後の発展に期待させるものがあると思います。個人的にはWISSで議論するにふさわしい発展性のある話題であるように思います。
論文自体は処理手順とアプリケーションに優先的に紙面を割いており、システム設計指針や動作検証については詳しく議論されていないように感じました。個人的には以下の2点が気になりました。もし検証されている点がありましたら、採録された際には発表内容に含めてもいいかと思います。
・画像処理やCGのパラメータ設定の主観評価結果は、場合によってはとても複雑な数値分布をなす可能性が想定されます。単なるコスト最小化問題としての評価推定と連続関数へのフィッティングが、本当にうまくいっているのでしょうか。どの程度の誤差を有しているか検証されたことはありますでしょうか。
・1次元情報としてのスライダおよびカラーバーの組み合わせによるパラメータ空間探索は、本当にこのデザインでいいのでしょうか。私の感覚から言って、もしパラメータ空間が図1左端のように2次元空間で表現できるものだとしたら、そのまま2次元で可視化してしまったほうが、1次元でのカラーバーの組み合わせよりも理解しやすいのではないかという気がするのですが、その点はいかがでしょうか。
それと素朴な質問として、本研究の用途を「視覚的」デザイン探索に限定しなくてもいいかもしれません。例えば声色のデザインには使えませんでしょうか。