機械学習モデルの「閾値最適化」実践ガイド──ビジネス現場で利益を最大化する方法

import numpy as np
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import make_scorer, confusion_matrix
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = 'sans-serif'
plt.rcParams['font.sans-serif'] = ['Hiragino Sans', 'Yu Gothic', 'Meiryo', 'Takao', 'IPAexGothic', 'IPAPGothic']

# 1. データ準備（実案件では営業リードの特徴量・受注ラベルに置き換える）
X, y = make_classification(n_samples=10000, n_features=10, weights=[0.8, 0.2], random_state=0)
X_train, X_test, y_train, y_test = train_test_split(X, y, stratify=y, test_size=0.2, random_state=0)

# 2. ベースモデルの学習
untuned_model = LogisticRegression(random_state=0)
untuned_model.fit(X_train, y_train)

# 3. 利益・コストの設計（営業活動に合わせて調整）
# 期待利益行列： [TN, FP, FN, TP]
cost_matrix = np.array([0, -55000, -295000, 295000])

# 3. スコア関数の定義（損益をスコアとして使う）
def profit_score(y_true, y_pred):
    # >confusion_matrix(np.array([0,0,1,1,1]), np.array([0,0,1,1,1]))
    # >array([[2, 0],
    # >      [0, 3]])
    # >confusion_matrix(np.array([0,0,1,1,1]), np.array([0,0,1,1,1])).ravel()
    # >array([[2, 0, 0, 3]])

    cm = confusion_matrix(y_true, y_pred).ravel()
    return np.dot(cost_matrix, cm)

scorer = make_scorer(profit_score, greater_is_better=True)

def optimize_and_visualize_threshold(
    untuned_model,
    X_train, 
    y_train,
    X_test,
    y_test,
    scorer,
    cost_matrix=None,
    random_state=0
):
    """
    閾値最適化を行い、結果を可視化する関数
    
    Parameters:
    -----------
    untuned_model : 学習済みの分類器
        ベースとなる分類器（閾値を最適化する前のモデル）
    X_train : array-like
        学習データの特徴量
    y_train : array-like
        学習データのラベル
    X_test : array-like
        テストデータの特徴量
    y_test : array-like
        テストデータのラベル
    scorer : callable
        スコア関数（利益などの評価指標を計算する関数）
    cost_matrix : array-like, optional
        コスト行列（利益計算に使用するコスト情報）
    random_state : int, default=0
        乱数シード
        
    Returns:
    --------
    tuned_model : TunedThresholdClassifierCV
        閾値最適化後のモデル
    thresholds : array
        評価した閾値の配列
    profits : array
        各閾値に対応する利益の配列
    """
    import matplotlib.gridspec as gridspec
    from sklearn.metrics import ConfusionMatrixDisplay
    from sklearn.model_selection import StratifiedKFold
    from sklearn.model_selection import FixedThresholdClassifier, TunedThresholdClassifierCV

    # 異なる閾値での利益をシミュレーション
    thresholds = np.linspace(0, 1, 100)
    profits = []
    
    # 異なる閾値での利益計算
    for threshold in thresholds:
        fixed_threshold_model=FixedThresholdClassifier(
            estimator=untuned_model,
            threshold=threshold
        )
        profits.append(scorer(fixed_threshold_model, X_test, y_test))
    
    # TunedThresholdClassifierCVの定義と学習
    tuned_model = TunedThresholdClassifierCV(
        estimator=untuned_model,
        cv=StratifiedKFold(n_splits=5, shuffle=True, random_state=random_state),
        scoring=scorer
    )
    tuned_model.fit(X_train, y_train)
    
    # 可視化のためのレイアウト設定
    fig = plt.figure(figsize=(15, 12))
    # gridspecを使って明示的にサブプロット領域を定義
    gs = gridspec.GridSpec(2, 2, height_ratios=[1, 1], width_ratios=[1, 1])
    gs.update(hspace=0.2, wspace=0.4)  # hspaceを小さくすると上下の間隔調整が可能
    
    # 上段: 閾値と利益のプロット（両列を結合）
    ax_top = plt.subplot(gs[0, :])
    # 閾値と利益のプロット
    ax_top.plot(thresholds, profits)
    ax_top.axvline(x=tuned_model.best_threshold_, color='r', linestyle='--', 
                  label=f'tuned threshold: {tuned_model.best_threshold_:.2f}')
    ax_top.axvline(x=0.5, color='g', linestyle='--', 
                  label=f'default threshold: 0.5')
    ax_top.set_xlabel('Decision Threshold')
    ax_top.set_ylabel('Expected Profit')
    ax_top.set_title('Optimization of Decision Threshold for Maximum Expected Profit')
    ax_top.grid(True)
    ax_top.legend()
    
    # 下段左: 最適化済みモデルの混同行列
    ax_bottom_left = plt.subplot(gs[1, 0])
    disp1 = ConfusionMatrixDisplay.from_estimator(tuned_model, X_test, y_test, ax=ax_bottom_left)
    ax_bottom_left.set_title(f'最適化済み閾値({tuned_model.best_threshold_:.2f})モデル')
    
    # 下段右: 未最適化モデルの混同行列
    ax_bottom_right = plt.subplot(gs[1, 1])
    disp2 = ConfusionMatrixDisplay.from_estimator(untuned_model, X_test, y_test, ax=ax_bottom_right)
    ax_bottom_right.set_title('デフォルト閾値(0.5)モデル')
    
    # レイアウト調整
    plt.subplots_adjust(top=0.95, bottom=0.05, left=0.1, right=0.9)
    plt.show()
    
    # 最適化されたモデルと評価結果を返す
    return tuned_model, thresholds, profits


# 閾値最適化と可視化の実行
tuned_model, thresholds, profits = optimize_and_visualize_threshold(
    untuned_model=untuned_model,
    X_train=X_train, 
    y_train=y_train,
    X_test=X_test, 
    y_test=y_test,
    scorer=scorer,
    cost_matrix=cost_matrix
)

# 最適な閾値を確認
print(f"最適な閾値: {tuned_model.best_threshold_:.4f}")
print(f"最適な閾値での利益: {max(profits):.2f}")

# 異なるコスト設定
cost_matrix = np.array([0, -55000*10, -295000, 295000])

# 閾値最適化と可視化
tuned_model, thresholds, profits = optimize_and_visualize_threshold(
    untuned_model=untuned_model,
    X_train=X_train, 
    y_train=y_train,
    X_test=X_test, 
    y_test=y_test,
    scorer=scorer,
    cost_matrix=cost_matrix
)

# 最適な閾値を確認
print(f"最適な閾値: {tuned_model.best_threshold_:.4f}")
print(f"最適な閾値での利益: {max(profits):.2f}")