auto系（Ex. AutoKeras, etc.）はモデル開発のベースラインになりますよね。特に初学者や非専門家による開発の場合、常にバグが付き纏うので比較対象があるのはとても役立ちます(A/BテストやRCTもベースラインをもつという意味では同じですね)。ちなみにモデル開発計画時は以下観点から計画を確認しておくと良いです。

1. Population：解析対象を運用を意識して明確にすること
2. New Model：独自開発モデル（図ではIndex Test）
3. Reference Model：比較対象モデル←ここにAutoは役立つ
4. Accuracy：精度をどう定義しどう測るか
5. Threshold：分類モデルの場合、出力時の閾値設定も大切です（図ではTest cut off point）
6. Model Use：置換、トリアージ、アドオン。モデルの用途のことです。ㅤ

Populationについては、運用を想定した理想のデータ母集団と現在収集可能な標本集団に乖離が生じます。そういう点をプロジェクト関係者と早期から共有しておく事がリスクマネジメントになります。合わせてデータ収集とアノテーション計画とコストの把握が必要です。

評価指標が教科書にあるような指標の範囲の大小比較で済むのは（独自指標含め評価法に関しても検討が重ねられそれで十分と結論された）成熟したプロジェクトにだけ許されます。通常はどのような評価をしたらよいかアレコレ考える必要に迫られます。この時もベースラインがあると、評価指標自体の意義や解釈性について考察がしやすくなり助かります。今回はベースラインがあることの意義の指摘までとし、次回投稿でその具体例について取り上げたいと思います。