分析マネジメント論・前編:エビデンスの質の観点から

データ分析が組織に浸透するにつれ、小規模だった分析チームも拡大し、分析部門を適切にマネジメントする必要が生じます。ここで重要になるのが、分析マネージャーの役割です。本稿では、現場の分析者が分析マネージャーに期待することについて解説します

はじめに

ドラマや映画でスパイが登場するシーンを見ていると、信頼してはいけない相手の情報に踊らされるキャラクターにハラハラさせられることがあります。視聴者は「自分なら情報の真贋を見極められる」と思いがちですが、そう簡単なことではありません。

この「正常性バイアス」の中にいると、意図的に広められる虚偽の情報(偽情報:ディスインフォメーション)に踊らされるだけでなく、誤解や勘違いなどで生まれる誤った情報(誤情報:ミスインフォメーション)の訂正の機会を逸します。

注意を要する低信頼・情報の3類型

  1. 誤情報:勘違いや誤解、技量不足などよって作られた誤った情報
  2. 偽情報:人を混乱させるなどの目的の下、意図的に作られた虚偽の情報
  3. 戦略的誤情報:他者を動かすという目的の下、意識的・無意識的に使われる誤情報

情報の真偽を見極めるには、データや情報の分析者に限らず、科学的なエビデンスの質に関する正しい知識を身につけることが大切です。特に分析マネージャーは、質の低い情報を自分たちが組織に広めないように、自部門をしっかりとマネジメントしなければなりません。

エビデンスの質の高低

人の発する言葉に信頼性の高低があるように、データ分析の結果(エビデンス)にも質の高低があります。昔、エビデンスピラミッドという概念図がありましたが、これはエビデンスの質を研究デザイン(研究実施前の設計=遺伝子のようなもの)によって序列化するものでした。ただ、このピラミッドは設計至上主義的な理解を助長するということで、最近ではあまり使わなくなっています(図1左上A:古典的ピラミッド)。

1:エビデンスピラミッドの新形態(一例)

私たち人間のパフォーマンスも、生まれの才能に加え、育った環境や努力に影響されるように、エビデンスの質も設計だけで決まるのではなく、分析工程のマネジメントに影響を受けます。近年では、このマネジメントが疎かになることによる、設計時点の「質の等級」の毀損が強調されるようになっています。

先のMuradらによるピラミッドが波形になっているのはこのためです。また『医療文献ユーザーズガイド第3版』のエビデンスの質の等級付けに関する解説ページ(P14P592などを参照)では、もはやエビデンスピラミッドは描かれておらず、エビデンスレベルの初期等級とその等級の上げ・下げの基準が記されています[3]。

図2:GRADEワーキンググループによるエビデンスレベルの要約(等級付け)

分析マネジメントとエビデンスの質の関係

分析マネジメントを怠ると、初期等級の高い設計から得たエビデンスも、初期等級の低い設計から得らたものより劣るようになります。通常、質の高い研究デザインの実施には高いコスト(人件費やA/Bテストのインフラ構築と維持コスト)を伴いますが、分析マネジメント力の弱い組織では、高価な分析のリターン品質が低くなる、つまりaROIAnalytics ROI)の低い状態になってしまいます

図3:分析マネジメント力とエビデンスの質の関係性

裏返して言えば、観察研究デザインしか採用できない状況でも、現場の分析力によってエビデンスの信頼性の初期値を高め(たとえば疫学領域では、観察データを用いてランダム化比較試験を再現しようとする手法Target Trial Emulationが近年注目されています)、分析マネージャーのマネジメント力によって質の下がり勾配を減らすことが可能となります。

aROIは計測できるのか?分析者にとって厄介な真実は、aROIの測定が実質的に不可能なことではないでしょうか。仕事柄、他者には定量化を提言する一方、自身の活動のROIは満足に測れない。この点に負い目を感じる人もいるはずです。ただ、社会に実存する価値で、定量化できるものは限られています[4]。測定至上主義とエビデンス不要論の二つの極端な思考(二分法の誤謬)に陥ることなく、分析の価値を伝えることが大切です

分析マネジメントの効用

分析チームは、信頼できる情報の作成と発信に努めていますが、発信情報の全てが信頼に足る水準に達する訳ではありません。低い信頼性の分析結果が生まれる背景には、分析者の技量不足から分析依頼者の非科学的な圧力などの様々な背景要因がありますが、分析マネジメント強化によって、大きく以下の二つの効果が期待されます。

分析マネジメントの効果❶:誤情報の予防効果

誤情報と偽情報の違いはその目的性で、分析チームが偽情報を作成することはまずありませんが、誤情報を作ってしまう恐れは常にあります。分析マネジメントが、まず着手できることはチームの専門性の底上げと誤情報を作りにくい分析ガイドラインの整備です。

低信頼情報の発生要因と対処:誤情報のケース✔️ 要因:分析者技量不足、分析工程の属人化に伴う信頼性の低下
✔️ 対処:身の丈にあった分析ガイドラインの作成と更新

この取り組みの中で、たとえば、疫学領域で整備されている研究ガイドライン(CONSORT声明STROBE声明)を輪読し、自分たちの身の丈にあった形にダウンサイズするといった取り組みが役立つでしょう

POINT:ベテランの参画分析に慣れてくるとガイドラインに従うのが面倒になってきます。特に組織に長く居て発言力のある分析者がこの状態になるとガイドラインは形骸化します。この形骸化を防止するために、ベテランほどガイドラインの作成と改訂に関与させましょう。

分析マネジメントの効用❷:戦略的誤情報の予防

武蔵大学の笠松ら[1]は、ゲーム理論を応用し、「能力の低い政治家が、選挙に当選するために誤情報を利用する動機の発生条件」を明らかにしました。このように戦略的に利用される誤情報のことを戦略的誤情報と呼びます

例えば、分析依頼者が科学的に信頼できる分析より、自分が正しいと信じるストーリーの裏付けを要求する行為は、この戦略的誤情報の温床になります。一度この種の情報が組織の上層部に伝わると、認知的一貫性の働きによって、組織全体が戦略的誤情報を維持するようになるでしょう。

低信頼情報の背景と対処②:戦略的誤情報のケース✔️ 要因:他者を動かすという目的の下、意識的・無意識的に使われる誤情報
✔️ 対処:分析関係者に対し、認知バイアスや集団浅慮の弊害を教育する

分析マネージャーは戦略的誤情報の危険性を周知し、分析現場が依頼者の信じるストーリーよりも、質の高いエビデンスを生産することこそが、組織の利益に資することを忍耐強く訴えましょう。

NOTE:エビデンスの「良さ」は多面的質的研究アプローチの再検討[5]では、良いエビデンス要件として、①エビデンスピラミッドで説明される方法論的厳密性に加え、②総体的一貫性(複数知見の整合性)、③文脈的近接性(分析で推定された因果効果と実際施策文脈における効果の近さ)、④社会的適切性、⑤手続的正当性を挙げています。良いエビデンスとは何かを論じるとき、方法論的厳密性以外の質的側面もとても重要です。

分析マネジメント論・後編に向けて

最後に、本稿続編について簡単に触れます。後編の主なメッセージは、分析工程のマネジメント強化はエビデンスの質向上に繋がるが、「分析の価値向上のためには、分析の後工程に意識を向けなければならない」というものです

次回予定している「分析マネジメント論(後編)」では、以下の図を使ってこの点を解説したいと考えています。

4:エビデンスの信頼性向上と分析の価値向上の工程の違い

まとめ

  1. データ分析の結果(エビデンス)の質は、研究デザインだけでなく、分析工程のマネジメントに大きく依存する。
  2. 初期等級の高いデザインを採用しても、適切な分析マネジメントがなければエビデンスの質は低下する。
  3. 分析マネジメントの強化は、誤情報の予防に有効であり、専門性の向上と分析ガイドラインの整備が求められる。
  4. 戦略的誤情報の予防には、認知バイアスや集団浅慮の教育が有効である。
  5. aROIの測定は難しいが、分析の価値を他者に訴求することが必要である。
  6. 良いエビデンスの要件には、方法論的厳密性だけでなく、総体的一貫性や文脈的近接性なども含まれる。
  7. 分析マネジメント強化によるエビデンスの質向上は重要な取り組みだが、それだけでは分析価値を高められないことを次回続編で解説する。

    Appendix

    誤情報、偽情報、戦略的誤情報の特性を比較すると、以下のようになります。

    1. 誤情報
      • 目的性:特定の目的を持って作られるわけではないので低い
      • 虚偽性:間違った情報を含むので中~高
      • 意図:無意識的に作られる
    2. 偽情報
      • 目的性:特定の目的(混乱を引き起こすなど)があるので高い
      • 虚偽性:意図的な虚偽の情報を含むので高い
      • 意図:意識的に作られる
    3. 戦略的誤情報:
      • 目的性:他者を動かすという明確な目的で使われるので高い
      • 虚偽性:完全な虚偽から部分的な真実まで幅があるため中~高
      • 意図:無意識的または意識的
        • 無意識的に作られ意識的に使われる、または無意識的に作られ使われる

              Reference

              1. Misinformation in Representative Democracy: The Role of Heterogeneous Confirmation Bias(with Daiki Kishishita) SSRN 2022.R&R at American Economic Journal: Microeconomics.
              2. M Hassan Murad, Noor Asi, Mouaz Alsawas, Fares Alahdab, New evidence pyramid, Evid Based Med, 21(4):125-127, 2016.
              3. 医学文献ユーザーガイド第3版(中外医学社)
              4. 現場で役立つ!教育データ活用術(日本評論社)
              5. 質的研究アプローチの再検討(勁草書房)

              Comment

              There are no trackback yet.

              Related post

              書評:やってみよう アンケートデータ分析:選択式回答のテキストマイニング流分析(朝倉書店)

              情報提供者から意思決定関与者へ:ディシジョンサイエンティストというキャリア

              調整分析と感度分析:より確かな意思決定に向けて

              PAGE TOP