統計

はじめに データ分析では、異なるカテゴリ間の有意性を確認するために、「フィッシャーの正確確率検定」や「カイ二乗検定」がよく使われます。 しかし、特に小さなサンプル数に対して有効なフィッシャーの正確確率検定は、医療分野や小規模な...

はじめに カルバック・ライブラー情報量（Kullback–Leibler divergence、KLダイバージェンス）は、確率分布間の差異を定量的に評価するための指標です。 特に、ある確率分布から別の確率分布への変換がどれだけ...

はじめに 現代のデジタル社会では、個人に最適化された情報や商品を提供する「レコメンドシステム」が不可欠です。その中でも、特に重要な技術が「協調フィルタリング（Collaborative Filtering）」です。 本記事では...

はじめに 分類問題において、モデルの性能を評価するためには、適合率（Precision）、再現率（Recall）、そしてF値（F1-Score）といった指標が重要です。これらの指標は、モデルがどの程度正確に予測を行っているかを評価す...

はじめに 統計モデリングにおいて、複数のモデルがある場合、どのモデルが最もデータに適合しているかを判断するために利用される指標が「AIC（Akaike Information Criterion）」と「BIC（Bayesian In...

はじめに データ分析を行う際に、変数間の関係を理解することは重要です。相関係数は、その関係を数値で表すための手法です。 この記事では、最もよく使われる2つの相関係数である「ピアソンの積率相関係数」と「スピアマンの順位相関係数」...

はじめに 確率論や統計学では、日常のさまざまな現象をモデル化し、予測するための多くの手法が存在します。その中でも、「二項分布」は、試行が独立して行われる場合に重要な役割を果たします。例えば、コインを投げたときの表と裏のように、結果が...

はじめに 統計学はデータを理解し、分析するための強力なツールです。ビジネス、科学研究、マーケティングなど、多くの分野で統計学の知識が求められています。私は10年近くAIや統計の学習をしてきましたが、独学で勉強することも多かったため、...

はじめに 統計的検定は、データから有意な知見を引き出すための強力なツールです。しかし、この検定を行う際に注意しなければならない問題の一つに「p-hacking」があります。p-hackingは研究結果の信頼性を損なうだけでなく、科学...