本論文が提案する，機械学習のパラメータチューニングにペインティング手法を応用することの新規性については，査読者全員が認めている．一方で，完全自動探索がどのようなアルゴリズムで実行されたのかに関する記述が必要であるとの意見がある．また，本アイデアは専門家なら比較的容易に思いつきそうだが類似研究が本当にないのかを明確にしてほしいとの意見もあった． 有用性についても，専門家7名によるユーザスタディで示している点が評価された．一方，本論文で示されていないより複雑な問題における有用性，1エポックでの計算に数時間以上かかる場合の利用法，本論文が対象とする専門家の知識や経験値の定量化，などについてコメントがあった． 論文の記述に関しては，いくつかのマイナーな修正依頼があるので，査読を参照して頂きたい．
4: どちらかと言えば採録
3: 自身の専門分野とマッチしている
普段の研究から生まれた実用的なツールであり，研究者が学習時間を短縮するのには有効であると考える．一方で，パラメータの収束値が事前わかっている必要があり，逆に言うと時間が解決する単純な問題を解く場合に有効であると言うことはないだろうか．より複雑な機械学習問題においてこれがどのように役立つのか，役立たないのか，こうした展望も述べてほしい． 以下，誤字と思われる部分． p1, 左コラム: 「パラメータ選定や探索はいい」 p6, 右コラム：「有効で示したものではない」
5: 採録
2: やや専門からは外れる
本研究では、自動最適化の限界を解決するために、対話型のハイパーパラメータ最適化を提案している。 機械学習の専門家へのインタビューをもとに、提案する手法のプロトタイプを開発し、また7名の専門家に対してシステムを用いたユーザスタディを行っている。 本稿はよく書かれており、新規性および目的ともに明確である。 過去の最適化結果を観察しながら、パラメータ探索範囲を制御するためにペインティングを使用するという点で親戚性がある。 システムの流れについてもわかりやすく書かれており、技術の正確性も確認できる。 またユーザスタディから、限定された条件下ではあるものの、従来条件と比べて有意な差があり、システムの有用性が認められる。 以上より、WISSで議論する有意義な内容を含んでいると判断し、採録としました。
以下、コメントです。 ここで述べられている固有ドメインの知識とは、具体的にどのようなものを指しているのかいまいちよくわかりませんでした。具体例の紹介があるとより理解しやすくなるかと思いました。 今回のユーザスタディの条件下では、１エポックあたりの計算速度が比較的早そうに伺えますが、実際は1エポックの計算に数時間以上かかることがあると思います。そのような場合に、どのような利用を推奨するのか少し気になりました。 また、中間層のユニット数や学習率、ドロップアウト率などのパラメータもこの手法が適用可能なのか気になりました。 以下、誤字かと思われます。 ・p.6: interactive条件にとした
5: 採録
2: やや専門からは外れる
本システムでチューニングをヴィジュアル化されることで、これまでのマニュアルチューニングでは気がつかなかった点に気がつけ、精度が上がることに期待している。 提案システムは、エキスパートにしか使用できず、知識や経験によって結果が変化する。そのためプロフェッショナルに求められる知識や経験値の定量化を行うことで、有用性が増すと考えられる。
4: どちらかと言えば採録
2: やや専門からは外れる
本論文では，ユーザの知識を活用し，インタラクティブにハイパーパラメータの最適化を行っていくためのシステムを提案しています．また，評価実験では専門家が実際に提案システムを用いて最適化を行う条件と自動探索により最適化を行う条件の比較を行い，提案システムの有効性を示しています． 提案システムの概要や評価実験の内容等はおおむね分かりやすく記述されており，本研究の新規性・有効性が示されていると考えます．一方で，以下の項目については修正が必要であると感じました． ・「5.2 実験条件」中の完全自動探索条件について，この完全自動探索がどのようなアルゴリズムで実行されたかの説明が結果の信頼性を担保する上で必要かと思います． ・文章中で用いられている用語にブレがあり分かりにくいため統一をお願いします． - スケジュールパネル/スケジュールビュー(p.2) - パラメータパネル/パラメータ・パネル(p.2) - ペイント可能なタイムライン/ペインティング可能なタイムライン(p.3) - ベースライン条件/auto条件/自動条件(p.6) - interactive条件/インタラクティブ条件/対話条件(p.6) - 介入時間/タスク完了時間(p.6) ・その他，文法上の誤りや不明瞭な表現，口語的表現が多く見受けられますので修正をお願いします． - 最適化対象のパラメータ選定や探索はいいなど探索空間が大きくなる(p.1) - 対象となる問題の問題に関する知識があれば(p.1) - ペインティング可能なタイムラインは，パラメータ探索範囲を可視化するだけでなく，ユーザがペイントによって範囲を変更できることである．(p.3) - 学習率が大きいときは、バッチサイズも大きくする必要があります(p.4) - 社内(p.5)※著者の所属する，等の補足が必要 - この 3 つのタイプは，例示的な例のセクションで示した例から取られている．(p.5)※4章のことでしょうか？ - interactive 条件にとした．(p.6) - 7人の実験参加者が，1つの問題タイプに5つのバリエーションがあるため， 3種類のタイプそれぞれに35のスコア結果が得られた．(p.6) - すべての機能タイプで条件の有意性が明らかになった．(p.6)※条件間に有意な差が見られた？もしくは対話条件の優位性が示された？ - 実際の素のスコアをグリッドサーチで探した(p.6) - 完全な自動最適化には難しかった．(p.6)※「探索が」難しかった, ということでしょうか？ - 今回の結果は，多くの問題においてインタラクティブ最適化が有効で示したものではないため，(p.6) - 本研究では，対話型のハイパーパラメータ最適化の提案し，(p.6)
今回の評価では5.1節で示された2つの仮定を前提としていますが，実務上これが適合する状況が発生するのかが気になりました．実際にこのような状況が発生するということが専門家へのインタビュー等から示されれば，提案システムの有用性がより明確になるかと思います．
機械学習のパラメータチューニングにペインティング手法を応用したシステムの提案で，シンプルなアイデアであるが他の新規性があり，また機械学習専門家による評価実験により有効性を示している．アルゴリズムに関する説明不足や，論文での不十分な記述を修正することを条件として，ショート採録と判定した．