はじめに
分類問題において、モデルの性能を評価するためには、適合率（Precision）、再現率（Recall）、そしてF値（F1-Score）といった指標が重要です。これらの指標は、モデルがどの程度正確に予測を行っているかを評価するのに役立ちます。この記事では、これらの指標の意味と計算方法、そしてそれらを用いたモデル評価の方法について解説します。
「適合率」「再現率」「F値」など、様々なモデルの評価方法は非常に多く複雑であるため、分かりにくいと感じる場合は様々な講師と相談しながら進める等もオススメです。
適合率、再現率、F値を学ぶ前に
ここでは、「病気の検査結果」を例に、これらの指標に用いられる語句を説明します。例えば、ある病気の検査結果を陽性（1）と陰性（0）に分類する問題を考えます。
次のテーブルは、モデルの予測結果を整理したものです。予測と実際が同じかどうかという点において、それぞれの区域で名前が付けられています。
| 予測結果/実際 | 予測: 陽性 | 予測: 陰性 |
| 実際: 陽性 (Positive) | True Positive (TP): 30 | False Negative (FN): 5 |
| 実際: 陰性 (Negative) | False Positive (FP): 20 | True Negative (TN): 45 |
- True Positive (TP): モデルが「陽性」と予測し、実際にも病気があった人数。これは、正しく分類された陽性結果の数を意味します。
- False Positive (FP): モデルが「陽性」と予測したが、実際には病気がなかった人数。これは、陽性と誤分類された陰性結果の数を意味します。
- False Negative (FN): モデルが「陰性」と予測したが、実際には病気があった人数。これは、陰性と誤分類された陽性結果の数を意味します。
- True Negative (TN): モデルが「陰性」と予測し、実際にも病気がなかった人数。これは、正しく分類された陰性結果の数を意味します。
適合率（Precision）
適合率は、モデルが正クラスと予測したうち、実際に正クラスであった割合を示します。モデルが「陽性」と予測した結果のうち、実際に病気を持っている人の割合が適合率です。
適合率は次のように計算されます。
再現率（Recall）
再現率は、実際に正クラス（陽性）であるサンプルのうち、モデルが正しく正クラスと予測した割合を示します。再現率が高いモデルは、病気を持っている人を見逃す（False Negative）が少ないことを意味します。
再現率は次のように計算されます。
F値（F1-Score）
F値は、適合率と再現率のバランスを取るために使われる指標で、これらの調和平均として計算されます。適合率と再現率のバランスが重要な場合に特に有用です。
F値は次のように計算されます。
適合率、再現率、F値の使い方：具体例
こでは、「病気の検査結果」を例に、再度これらの指標の使い方を確認します。
| 予測結果/実際 | 予測: 陽性 | 予測: 陰性 |
| 実際: 陽性 (Positive) | True Positive (TP): 30 | False Negative (FN): 5 |
| 実際: 陰性 (Negative) | False Positive (FP): 20 | True Negative (TN): 45 |
適合率（Precision）
再現率（Recall）
F値（F1-Score）
適合率、再現率とF値の選択
適合率、再現率とF値は、モデルの使用目的によってどちらを重視するかが異なります。
- 適合率が重要な場合: 誤認識による影響が大きい場合に適合率が重要です。例えば、病気でない人を誤って病気と診断することで、不要な治療や不安がもたらされることがあります。このようなシナリオでは、適合率を高めることが重要です。
- 再現率が重要な場合: 病気を見逃すことが重大なリスクを伴う場合に再現率が重要です。例えば、深刻な病気の検査では、病気を見逃さないことが最優先されるため、再現率が重視されます。
- F値の活用: 適合率と再現率の両方が重要で、バランスを取りたい場合にF値が有用です。片方に偏らず、全体的なモデルの性能を評価するためにF値が使われます。
まとめ
適合率、再現率、F値は、分類モデルの精度を評価するために不可欠な指標です。特に、クラスの不均衡がある場合や、誤分類を避けたいケースでは、これらの指標を組み合わせてモデルの性能を総合的に評価することが重要です。これらの指標を正しく理解し、適切に使用することで、より精度の高いモデルの開発が可能になります。
また、Log LossやAUCも分類モデルの評価指標として使われているので、それらも学習することをおススメします。
「適合率」「再現率」「F値」を学ぶのにおすすめの方法
書籍：評価指標入門
こちらの書籍は様々な評価指標がまとめられています。
「適合率」、「再現率」、「F値」など評価指標は様々ありますが、ビジネスに適用するには評価指標をできるだけ多く理解し、適切なものを適用するのがオススメです。下記の書籍にまとめられているので読んでみるのも良いと思います。
コメント