はじめに
統計モデリングにおいて、複数のモデルがある場合、どのモデルが最もデータに適合しているかを判断するために利用される指標が「AIC（Akaike Information Criterion）」と「BIC（Bayesian Information Criterion）」です。これらの指標は、モデルの当てはまりと複雑さをバランスよく評価するために使用されます。
「AIC」、「BIC」など、モデルを評価する指標は多く存在します。その際にどの数値を見ればいいかわかっていなければビジネス適用は難しいです。これらについて、経験豊富な方とマンツーマンで学習していくのもオススメです。
AICとBICに用いられる尤度について
尤度はパラメータの推定に用いられる指標となります。こちらの記事にて記載しているので、参考にしてください。
AICとは
AICは、1974年に提唱された情報量規準です。モデルの適合度とパラメータの数を考慮し、よりシンプルで当てはまりの良いモデルを選択するための基準となります。具体的には、次のように定義されます。
ここで、\( \hat{L} \)はモデルの尤度、\( k \)はモデルのパラメータの数を表します。AICが小さいほど、モデルの当てはまりが良く、かつ過剰適合（overfitting）を避けたシンプルなモデルであると判断されます。
もしいくつかのモデルがデータを同程度に説明し、より多くのパラメータを持っている場合は、少ないパラメータのシンプルモデルを採用するよう定義されます。
BICとは
BIC（Bayesian Information Criterion）は、モデルの適合度とパラメータ数を考慮しますが、より厳しいペナルティを課すことで複雑なモデルに対して慎重になります。BICは以下のように定義されます。
ここで、\( n \)はサンプルサイズを表します。AICと比較すると、BICはサンプルサイズが大きくなるほどパラメータの数に対するペナルティが大きくなり、よりシンプルなモデルを選びやすくなります。
AICとBICの違い
AICとBICの主な違いは、ペナルティ項にあります。AICはパラメータの数に応じて一定のペナルティを課すのに対し、BICはさらにサンプルサイズに依存したペナルティを課します。このため、BICは大規模なデータセットにおいて、よりシンプルなモデルを選びやすく、過剰適合を避ける傾向があります。
まとめ
AICとBICは、モデル選択において重要な役割を果たします。AICとBICの違いを理解し、適切な場面で使い分けることで、より良いモデル選択が可能となります。
コメント