外部評価の実施に当たっては実証したい一般化可能性の目的に照らし、訓練データとは独立し異なる特性のデータを別途準備すれば良い。言葉にするとシンプルだがその実施は難しそうだ（臨床系論文で2019年時点7%）。まず「目的に照らし」の部分。ここは分析視点に主体性がないと全く見当が付かないだろう。また独立していたはずのデータに合わせモデルをチューニングしてしまった時点で、それはもはや外部検証とは言えず実施体制にも気を使う。何より「とにかく”精度”が良いこと」や「実績作り」に傾倒したプロジェクトの場合、敢えて厳しい科学的評価を時間とお金をかけて実施できるだろうか。絶望的だ。そんなことを考えながら、それでも30人くらいの分析官を組織化できれば、このような評価も各企業内で自然と進むだろうから、まずは規模を目指し質については規模というパワーを持ってから推進すれば良いのだと自己説得に至った。

---