現在並行し取り組み中の「Algorithmic Bias」プロジェクト。そこで参照のTobias Bare著「AIの心理学」の23章掲載、モデル開発の十戒から以下を紹介したい。

 

モデルは常に新たなる未使用のデータにて徹底検証せよ。新たなる未使用のデータにてモデルを検証せざる者、データサイエンティストにあらず、悪魔がカップに配した茶葉を読む占い師にすぎぬなり

時間的検証でデータドリフトとモデル性能を監視し、モデル用途が一般化を伴う場合は必ず外部検証を行え。そんな風に読み替えられそうですね。データサイエンスをやって苦々しい経験を積むほど、モデル評価への心構えはこんな感じに収束するのだと思いました。

---