分析マネジメント論・前編：エビデンスの質の観点から

エビデンスの質の高低

人の発する言葉に信頼性の高低があるように、データ分析の結果（エビデンス）にも質の高低があります。昔、エビデンスピラミッドという概念図がありましたが、これはエビデンスの質を研究デザイン（研究実施前の設計＝遺伝子のようなもの）によって序列化するものでした。ただ、このピラミッドは設計至上主義的な理解を助長するということで、最近ではあまり使わなくなっています（図1左上A：古典的ピラミッド）。

図1：エビデンスピラミッドの新形態（一例）

私たち人間のパフォーマンスも、生まれの才能に加え、育った環境や努力に影響されるように、エビデンスの質も設計だけで決まるのではなく、分析工程のマネジメントに影響を受けます。近年では、このマネジメントが疎かになることによる、設計時点の「質の等級」の毀損が強調されるようになっています。

先のMuradらによるピラミッドが波形になっているのはこのためです。また『医療文献ユーザーズガイド第3版』のエビデンスの質の等級付けに関する解説ページ（P14やP592などを参照）では、もはやエビデンスピラミッドは描かれておらず、エビデンスレベルの初期等級とその等級の上げ・下げの基準が記されています[3]。

図2：GRADEワーキンググループによるエビデンスレベルの要約（等級付け）

分析マネジメントとエビデンスの質の関係

分析マネジメントを怠ると、初期等級の高い設計から得たエビデンスも、初期等級の低い設計から得らたものより劣るようになります。通常、質の高い研究デザインの実施には高いコスト（人件費やA/Bテストのインフラ構築と維持コスト）を伴いますが、分析マネジメント力の弱い組織では、高価な分析のリターン品質が低くなる、つまりaROI（Analytics ROI）の低い状態になってしまいます。

図3：分析マネジメント力とエビデンスの質の関係性

裏返して言えば、観察研究デザインしか採用できない状況でも、現場の分析力によってエビデンスの信頼性の初期値を高め（たとえば疫学領域では、観察データを用いてランダム化比較試験を再現しようとする手法Target Trial Emulationが近年注目されています）、分析マネージャーのマネジメント力によって質の下がり勾配を減らすことが可能となります。

分析マネジメントの効用

分析チームは、信頼できる情報の作成と発信に努めていますが、発信情報の全てが信頼に足る水準に達する訳ではありません。低い信頼性の分析結果が生まれる背景には、分析者の技量不足から分析依頼者の非科学的な圧力などの様々な背景要因がありますが、分析マネジメント強化によって、大きく以下の二つの効果が期待されます。

分析マネジメントの効果❶：誤情報の予防効果

誤情報と偽情報の違いはその目的性で、分析チームが偽情報を作成することはまずありませんが、誤情報を作ってしまう恐れは常にあります。分析マネジメントが、まず着手できることはチームの専門性の底上げと誤情報を作りにくい分析ガイドラインの整備です。

この取り組みの中で、たとえば、疫学領域で整備されている研究ガイドライン（CONSORT声明やSTROBE声明）を輪読し、自分たちの身の丈にあった形にダウンサイズするといった取り組みが役立つでしょう。