機械学習においてまず採用を考えたい「LightGBM」。 そしてハイパーパラメータのチューニングツールとして使う「optuna」の話。
チューニング項目としてよく出る項目のメモ。 ■feature_fraction・・デフォルト「1.0」。過学習対策として学習する列の割合。0.95とかだと列を少し間引くことで過学習を抑える。 ■bagging_fraction・・デフォルト「1.0」。過学習対策として学習する行の割合。0.95とかだと行を少し間引くことで過学習を抑える。
対象が「列」か「行」かの違い。 decision tree系のライブラリはすぐ過学習してしまうので、「lambda_l1」「lambda_l2」「min_gain_to_split」と一緒にチューニング項目に入れてみたい。 ただ折角の特徴量なのに feature_fraction で列を間引いてしまうのはもったいないと思う場合はデフォルト値のままで様子を見る。