何となくで使ってきたロジスティック回帰モデルを勉強しなおした。
ロジスティック回帰モデルの作成の流れはざっとこんな感じだろう。
- 入力変数$x$にロジット関数を適用してロジット値を計算する。このとき、ロジット関数は多項式で、この多項式の係数$w$と切片$b$がパラメータ$\theta$になる。
- ロジット値にシグモイド関数を適用して確率値を計算する。この確率値は合格確率に対応し、テストの点数が高いほど1に近づき、低いほど0に近づく。
- 確率値と実際の合否値との誤差をコスト関数で評価する。クロスエントロピー誤差がコスト関数になり、予測確率と真の値の対数の積の和が誤差関数になる。
- 勾配降下法でパラメータを更新して、コスト関数を最小化する。勾配降下法では、コスト関数の偏微分係数（勾配）に学習率をかけたものをパラメータから引いて、コスト関数が減少する方向にパラメータを移動させる。
ここにいくつか専門用語が出てきたので用語を整理した。
パラメータ推定
入力変数と出力変数の関係を定量化するために用いる。
ロジスティック回帰モデルでは、最尤推定法と勾配降下法が一般的らしい。
| 手法 | 年代 | 特徴 | メリット | デメリット | 採用基準 |
|---|---|---|---|---|---|
| ニュートン・ラフソン法 | 1690年代 | 対数尤度関数の二階微分を用いてパラメータを更新 | - 収束が速い - 最適パラメータを見つけやすい |
ヘッセ行列の計算がコスト高 | 小規模データ、低次元パラメータに適している |
| 最尤推定法 | 1770年代 | 観測データの尤度を最大化 | - 直感的 - 一般的なパラメータ推定法 |
解が求まらない場合がある | ロジスティック回帰などの確率モデルのパラメータ推定で一般的 |
| フィッシャー情報行列 | 1920年代 | 情報行列を使ってパラメータの推定精度を評価 | - 推定パラメータの共分散行列を推定できる | 多いパラメータに不向き | 推定パラメータの信頼性や精度を評価したい場合 |
| 勾配降下法 | 1950年代 | 目的関数の勾配を利用してパラメータを更新 | - 実装が比較的簡単 - 大規模データ向け |
- 収束回数が不確定 - 局所最適解に収束しやすい |
収束速度よりも実装しやすさが重要な場合 |
| 正則化法 | 1960年代 | 正則化項を用いて過剰適合を抑制 | - 過学習を防ぎ、汎化性能が上がる | - 正則化パラメータの調整が必要 - 適切な設定が難しい |
パラメータ数が多く、過学習を防ぎたい場合 |
| 共役勾配法 | 1950年代 | 共役勾配を用いて勾配の方向を効率的に探索 | - 省メモリ - 大規模データや高次元パラメータ向け |
- 収束回数が不確定 - 解が求まらない場合がある |
大規模データ、高次元パラメータに適している |
| モーメンタム法 | 1980年代 | 過去の勾配情報を利用して、収束速度を上げる | - 局所的な最小値に陥りにくい - 収束が安定 |
- ハイパーパラメータの調整が必要 - 適切な設定が難しい |
収束速度、局所最小値の回避を重視 |
| L-BFGS法 | 1980年代 | 勾配情報と近似ヘッセ行列を用いてパラメータを更新 | - 省メモリ - 収束が高速 |
- 近似ヘッセ行列の更新方法の選択が難しい - 適切な設定が難しい |
誤差計算
パラメータ推定の際にモデルの性能を評価するため行う。
ロジスティック回帰モデルではクロスエントロピー誤差を使うことが多いらしい。
| 種類 | 特徴 | 適用 |
|---|---|---|
| 平均二乗誤差 | 実測値と予測値の差の平均の二乗を計算 回帰モデルの予測精度を測る |
数値予測や連続値の予測（回帰）に用いる |
| 対数尤度 | パラメータ付きの確率モデルの尤度関数を対数変換して計算 パラメータを与えたときの観測値の尤度を評価 |
確率モデルや分布推定に用いる |
| クロスエントロピー誤差 | 確率分布の真値と予測値の間の情報理論的な距離を計算 分類モデルの性能を測定する |
確率予測やクラス分類に用いる |
予測モデルの評価指標
分類モデルの性能を総合的に評価する方法で、問題の性質や目標に応じて適切な評価指標を選ぶ。
| 評価指標 | 計算対象 | 評価対象 |
|---|---|---|
| 正解率 (accuracy) | - 正しく予測したサンプルの割合 - データの偏りに影響されやすい - 正解率が高くても適合率や再現率が低い場合がある |
全体的な予測の正確さ |
| 適合率 (precision) | - 陽性と予測されたサンプルのうち、 実際に陽性であるサンプルの割合 - 陽性予測の信頼性やコスト効率を高める |
陽性に対する予測精度 |
| 再現率 (recall) | - 実際に陽性であるサンプルのうち、 正しく陽性と予測されたサンプルの割合 - 陽性事象の漏れやリスク回避を重視する |
陽性に対する予測の網羅性 |
| F1スコア (F1 score) | - 適合率と再現率の調和平均 - 適合率と再現率のトレードオフに対応できる |
適合率と再現率のバランスを考慮した総合的な性能 |
