転移学習は外部検証に相当するのだろうかと考える。ファインチューニング実施の際、一般化可能性を検証しようとするマインドを持ったことがあっただろうか。それよりも目標ドメインに合わせ事前学習済みモデルをチューニングし、当該ドメインで時間的検証して問題なければ満足していなかっただろうか。この場合、目標ドメインへ一般化したというよりも目標ドメインに特化させたと言うべきだろう。

一方、GPT-3のzero-shot学習を想像すると、事前学習済みモデルへの一般化要求が厳しくなっていて、これは外部検証相当と言えるのではないかと感じてくる。人工知能やデータ科学がもつモデリング思想がモデル評価の在り方にも影響していると考えると少し腹落ちした。そこで理論(因果仮説)を中心とした伝統的科学的モデリング観と学習やデータを軸としたモデリング観の違いについて取り上げたいと思った。

---