Blog

(最終更新日:2021年1月23日)

指標の大小比較だけに留まらない

感度と特異度はジレンマ関係にあり、診断(バイナリの分類タスク)のためのモデルをチューニングする際、どちらを優先すべきかといった説明は誰もが一度は聞いたことがあるのではないでしょうか。例えば、病気の診断や異常予知は漏れがあると大変だから感度を重視し、広告などのプロモーション施策ではROIが大事だから特異度(または特異度とは異なる指標ですが適合率)を重視すべきといったような説明です。そしてどちらを優先すべきか定量的に設定するのが難しければ、再現率と適合率の調和平均であるF1スコアが総合指標として使うといったような指標の基本的な役割は広く理解されていると思います。

参考:感度はTrue PositiveとFalse Negativeに占めるTrue Positiveの割合、特異度はTrue NegativeとFalse Positiveに占めるTrue Negativeの割合、適合率はFalse PositiveとTrue Positiveに占めるTrue Positiveの割合。

ただもう少し考えを進めてみれば、感度に振り切ったモデルはそれはそれで許容し、特異度(または適合率)は別のモデルに委ねるという発想が可能であることに気付くでしょう。タイトルの「一つのモデルで考えない」というのはそういう意味です。

評価指標とディシジョン類型

感度が高いモデルは異常原因の除外診断に役立ちます(除外診断という言葉に馴染みのない方は「臨床推論」と「除外診断」で検索ください)。例えば、異常に階層構造があるとします。ある異常A、異常B、異常Cが原因となって、より大きな異常Xが起きると仮定します。この時、異常A判定の高感度モデルが陰性だとすると、異常Bか異常Cによって異常Xが起きたと推論しやすくなるという意味です。このように一つのモデルで両方高いモデルを構築しようとする他に、異常階層をドメイン知識から明らかにし、サブ異常検知を目的としたモデル開発という方向性を打ち出せば、感度に振り切ったモデルはとても役立つのです。

ちなみに、このような思考スタイル(ディシジョン類型)は仮説演繹法(hypothetico-deductive reasoning)と呼ばれます。その過程は、1)異常AではシグナルBが認められる。2)シグナルBが認められない。3)全体異常要因は異常Aではない、という流れです。この種の判断では原因を除外するのに役立ちますが、それは消去法によるものなので決定的な判断ではない点には留意する必要があるでしょう。

データの真のポテンシャルとは?

数理モデルやデータの「真のポテンシャル」を引き出したいと私たちが言うときは、この程度のモデル開発上の工夫もせず、モデルは不発だったとかデータ不足だったなどと結論する「そんな人間こそボトルネック」ということを防ぎたいという意味でもあります。ドメイン知識を活用した異常原因の構造階層化(ネットワーク化やグラフ化という表現でも良いと思います)と、それによる指標特化型モデル(ここでは感度特化型)の追求可能性を通し、皆さんのデータから真のポテンシャルが引き出されるようになれば嬉しいです。

本投稿のポイントは、感度が高いモデル(情報)は除外診断に有用であるということですが、臨床推論やその教育方法論について体系的かつ有用な資料が多数見つけられると思います。以下にその一つを紹介させていただき、本投稿を終えたいと思います。

参考:臨床推論の認知心理学的背景とコーチングの方策

コメントは利用できません。