日時
2017年12月5日(火) 10:00–
場所
大阪大学サイバーメディアセンター 6F セミナー室
題目
一般化線形モデルにおける近似的交差検証法
発表者
小渕 智之 氏 (東工大情報理工)
要旨

交差検証法(Cross validation, CV)は、統計/学習モデルにおけるハイパーパラメータ選択のための一般的枠組みである。与えられたデータをトレーニングセットとテストセットに分け、トレーニングセットでモデルを鍛え、テストセットに対して予測をし、その予測の良し悪しを吟味するのがCVである。この方法は汎用的だが、データを分割した分だけモデルのトレーニングを繰り返す必要があるので計算量的なボトルネックが有る。

CVはスピングラス理論におけるCavity法と相性が良い。系から1つ相互作用を抜いたときの磁化(Cavity磁化)と全相互作用が有る時の磁化(フル磁化)の関係性を線形応答的に結びつけるとTAP方程式が出てくる。TAPではCavity磁化からフル磁化を導出するが、逆に使うとフル磁化からCavity磁化を計算することも出来る。実は、Cavity磁化はテストセットが単一データ点の場合のCV(Leave-one-out CV) における最適解に相当するので、これによりトレーニングの繰り返しをすることなく、フル系の情報だけでCVを(近似的に)実行することが出来る。

最近このアイデアの元、L1正則化付き多項ロジスティックモデルにおける近似的交差検証法の公式を導出したのでこれを紹介する[1]。多項ロジスティックモデルとは、主に多クラス分類に用いられる回帰モデルで、インプットデータの線形和を入力とするある種の一般化線形モデルである。講演ではCavity法を用いた導出も含めてお話する予定である。

[1] Tomoyuki Obuchi and Yoshiyuki Kabashima: arxiv:1711.05420