研究の批判的吟味の仕方 ニコラス・P・ポリゾス医学博士

目的を知る この発表の最後に、いかなる記事の結論も疑 問を持たずに受け入れるべきではないことを 理解してください。 この発表では、どのように記事に対して疑問を 持つべきかについてガイダンスを行います。

研究結果は、以下の場合、正しくないことが多 い： エッセイ：なぜ大半の研究結果は間違っているのか - John P.A. Ioannidis 研究結果は、以下の場合、正しくないことが多 い： 小規模フィールドで行われた研究 効果の範囲が小さい デザイン、定義、アウトカムおよび分析モードに大きな柔軟 性がある 大きな経済的およびその他の利益や偏見がある Ioannidis JP, Plos Med 2005

なぜすべての記事の結果に対して疑問を持たなければならないのか どのように結果に対して疑問を持つべきか

よく引用される記事が常に真実を語っているとは限らない なぜすべての記事の結果に対して疑問を持たなければならないのか よく引用される記事が常に真実を語っているとは限らない

よく引用される記事が常に真実を語っているとは限らない 最初の発見…は、将来誤りと証明されることがあ る 効果に関する主張とともにかなりよく引用される研 究（1000回以上） 16％は、続く研究により否定される 16％は、最初に効果がより強調されていたことが判明する 44％は、続く研究においてより大きなサンプルサイズで繰り返され、オ リジナルのよく引用される研究と比較される 24％は、広く検証されないままとなる Ioannidis JP, JAMA 2005

高く評価されている雑誌であっても、データのねつ造がありうる なぜすべての記事の結果に対して疑問を持たなければならないのか 高く評価されている雑誌であっても、データのねつ造がありうる

高く評価されている雑誌であっても、データのねつ造がありうる Sudbø の場合(Lancet) 研究に参加した908例の患者のうち、250例が同じ誕生日であった。

質の低いランダム化試験では、高い治療効果を示すことがある なぜすべての記事の結果に対して疑問を持たなければならないのか 質の低いランダム化試験では、高い治療効果を示すことがある

質の低いランダム化試験は、疑似的に高い治療効果を示すことがある コクラン妊娠および出産データベース 330のメタ分析より250の比較対象試験 質の悪い研究において、見せかけの治療効果がより大きい ランダム化の問題 オッズ比は、最大41％誇張されていた 不適切な盲検化 オッズ比は、17％誇張されていた Schulz. JAMA 1995; 273 (5): 408–412

妊娠37週未満で出生した未熟児のメタ分析のプロット 質の低い試験は、質の高い試験では確認できない治療効果を示した 妊娠37週未満で出生した未熟児のメタ分析のプロット 研究またはサブグループ 治療 未治療 体重 オッズ比 イベント／総計 (%) (M-H, 固定) (95% CI) 質の低い試験 サブトータル(95% CI) 114/996 147/725 35.2 0.52 (0.38 to 0.72) 不均質の検定： χ2 = 4.95, df = 5, P = 0.42, I2 = 0% 全体の効果の検定： z = 4.01, P<0.001 質の高い試験 250/2303 219/2290 64.8 1.15 (0.95 to 1.40) 不均質の検定： χ2 = 4.02, df = 4, P = 0.40, I2 = 1% 全体の効果の検定： z = 1.45, P = 0.15 総計(95% CI) 364/3299 366/3015 100 0.93 (0.79 to 1.10) 不均質の検定 χ2 = 25.94, df = 10, P = 0.004, I2 = 61% 全体の効果の検定 z = 0.86, P = 0.39 M-H=Mantel-Haenszel 固定効果モデル オズ比 (M-H, 固定) (95% CI) 0.1 0.2 0.5 1 2 5 10 治療側 未治療側 Polyzos NP et al., BMJ 2010

否定的結果の試験は出版されないか、のちに出版される なぜすべての記事の結果に対して疑問を持たなければならないのか 否定的結果の試験は出版されないか、のちに出版される

Polyzos NP et al., Hum Reprod 2011 否定的結果の試験は出版されないか、のちに出版される 実験群に有利なアウトカム 1.0 非陽性 陽性 陽性が検出されず 陽性が検出される 0.8 0.6 前文で掲載された概要の数 0.4 生殖医療における出版バイアス：欧州生殖医学会年次会議から出版 0.2 0.0 0 20 40 60 80 100 出版の磁器（月） 主要な科学会議において発表された研究の中で、肯定的な結果の試験が否定的な試験と比べてより出版される傾向にある。 Polyzos NP et al., Hum Reprod 2011

メタ分析は、エビデンスがないか矛盾したエビデンスに依存している場合が多い なぜすべての記事の結果に対して疑問を持たなければならないのか メタ分析は、エビデンスがないか矛盾したエビデンスに依存している場合が多い

Humaidan & Polyzos Nat Med 2012 メタ分析は、エビデンスがないか矛盾したエビデンスに依存している場合が多い 2012年7月中にコクランでは61の系統的レビューが出版された 15％には、1または0件の試験が含まれた 半数には、1000例以下のランダム化された患者が含まれた 31件は更新されたレビューであった これらの31件の更新されたレビューのうち、11件は現代に合わせようとした前回のレビュー時と同様の試験数および参加者であった。 これを（メタ）分析：系統的レビューは信頼性を失う可能性がある Humaidan & Polyzos Nat Med 2012

産業界が出資した研究では、より大きな治療効果が示されることがある。 なぜすべての記事の結果に対して疑問を持たなければならないのか 産業界が出資した研究では、より大きな治療効果が示されることがある。

産業界が出資した研究では、より大きな治療効果が示されることがある 製薬会社が出資した研究では、アウトカムが出資者の製品に有利なアウトカムとなる傾向が、他の出資者による研究より4倍多かった。 研究(第1著者） オッズ比 Azimi12 Cho14 Clifford15 Davidson16 Dieppe18 Djulbegovic19 Djulbegovic20 Friedberg23* Friedberg23┼ Kamal-Bahl26╪ Kamal-Bahl26§ Koep30 Mandelkern32 Sacristan36¶ Sacristan36** Thomas38 Vandenbroucke39 Yaphe41 0.1 0.2 0.5 1 2 5 10 100 1000 10000 OR 4.05; 95% CI 2.98-5.51 Lexchin J et al., BMJ. 2003.

Valachis et al., J Clin Oncol 2012 産業界が出資した研究では、より大きな治療効果が示されることがある 腫瘍学における標的治療の経済的分析との財政的関係 産業界が依頼したコスト効率性分析の82％が、その薬剤はコスト効率的だと示した。 Valachis et al., J Clin Oncol 2012

製造者と友好関係または出資関係にあるまたは利益の相反がある著者 産業界が出資した研究では、より大きな治療効果が示されることがある 「ストローマン」コンパレーター 製造者と友好関係または出資関係にあるまたは利益の相反がある著者 100 90 80 70 60 50 40 30 20 10 0 10 20 30 40 50 60 70 80 90 100 Sensitivity 1 - Specificity 著者が製造者と友好関係、出資関係、または利益相反のないCEAの推定 最低1人の著者が製造者と友好関係、または出資関係、利益の相反があるCEAの推定 産業界が関与するコスト効率性分析は、パップ検定の感受性のベースラインでの推定を低くしていた。 Polyzos NP et al., CMAJ 2011

産業界が出資する試験や政府が出資する試験であっても、過去に遅れて出版されている。 なぜすべての記事の結果に対して疑問を持たなければならないのか 産業界が出資する試験や政府が出資する試験であっても、過去に遅れて出版されている。

出版の時期 2年以内に出版される率 産業界が出資した試験は、出資を受けていない試験より、後に出版されることがある 試験終了後、産業界（24カ月）対非産業界（20カ月） p＜0.001 Ross JS et al., JAMA 2013 2年以内に出版される率 産業界（40％）対非政府／非産業界（56％） RR = 0.73, 95% CI 0.61–0.87; p<0.001 産業界（40％）対政府の試験（47％）；p＝0.22 Ross JS et al., Plos Med 2009

政府が出資した試験であっても、すぐに出版されない 終了後、出版されなかったNIH試験 30 カ月- 半数が出版されず 51 カ月- 1/3 が出版されず 80 60 40 20 0 20 40 60 80 100 試験完了からの時間（月） 出版された試験の割合 リスクなし 635 635 635 635 493 330 220 153 95 54 44 80 60 40 20 0 5 10 15 20 25 30 試験完了からの時間（月） 出版された試験の割合 P<.001 2007年以前に試験終了 2007～08年に試験終了 2007年以前に完了した試験で出版されなかった試験 269 264 259 235 221 197 175 試験終了が2007～08年 366 356 324 282 244 215 176 Ross JS et al., BMJ 2011

なぜすべての記事の結果に対して疑問を持たなければならないのか 結果に対してどのように疑問を持つべきか

臨床試験のガバナンスおよび報告は、時間とともに改善しているため、そのステータスに基づいて正面から拒絶してはいけない 結果に対してどのように疑問を持つべきか 臨床試験のガバナンスおよび報告は、時間とともに改善しているため、そのステータスに基づいて正面から拒絶してはいけない

産業界が関与する出版は、医師にとって価値が減少する そのステータスに基づいて、正面から否定しない 産業界が関与する出版は、医師にとって価値が減少する 医師が喜んで処方する薬剤 1.25 1.00 0.75 0.50 産業対なし 産業対HIM 出資 オッズ比 0.68 (95% CI, 0.49-0.94) P = .02 0.52 (95% CI, 0.37-0.71) P<.001 記事全文を読まないことが多い！ 産業界の出資： 方法論の質の受け止め方について、医師に否定的な影響を与える 試験の質にかかわらず、信じるまたは試験での所見に基づいて行動しようとする傾向が減少する。 Kesselheim NEJM 2012

現在そのステータスに基づいて、正面から否定しないのはなぜか 医薬品の臨床試験の実施の基準に関する省令(欧州議会2005年4月省令2005/28/EC) EudraCT 対 9 (欧州臨床試験レジストリ)   2004年5月1日以降より欧州連合で開始されたすべての介入臨床試験に関して結果を提供しなければならない。 報告および公への開示には以下が含まれる。 早期に終了した試験 肯定的だけでなく、否定的結果の得られた試験 コミュニティ内で販売者承認がある、またはない製品の試験 https://eudract.ema.europa.eu/index.html

そのステータスに基づいて、正面から否定しない 状況は、時間とともに改善したか。 製薬会社が新薬を導入する際、その薬剤は第II相試験に合格し、用量およ び安全性を確立し、その後、第III相試験にて有効性と外部にモニターされ たさらなる安全性を示し、高度な方法論の試験に従わなければならない。 新しい開発プロジェクトの第II相試験の成功率は、28％（2006～2007年） から18％（2008～2009年）に下落した。 第III相試験と申請の両方の成功率は、2007～2010年の間に50％下落し た。 Arrowsmith. Nature Reviews Drug Discovery 2011 Arrowsmith. Nature Reviews Drug Discovery 2011

科学的記事を評価する場合、標準的批判的アプローチを用いる 結果に対してどのように疑問を持つべきか 科学的記事を評価する場合、標準的批判的アプローチを用いる

科学的記事を評価する場合、標準的批判的アプローチを用いる 試験の目的を批判的に評価する 試験を実施する根拠は何か。 研究する疑問は、明確に定義されているか、そうでなければ、どうあるべきか。 調査研究の読み方と批判の仕方の枠組み 米国看護師協会 http://www.nursingworld.org

科学的記事を評価する場合、標準的批判的アプローチを用いる 試験デザインを批判的に評価する デザインは試験に適しているか サンプルは研究デザインに適しているか、サイズは十分か データはどのように収集されたか 分析のアプローチは、研究の疑問および研究デザインと矛盾しないか 調査研究の読み方と批判の仕方の枠組み 米国看護師協会 http://www.nursingworld.org

科学的記事を評価する場合、標準的批判的アプローチを用いる 試験が公的レジストリに登録されているかを検証する この試験は、試験開始前に登録されているか 主要エンドポイントは、試験の登録されているものと同一か

科学的記事を評価する場合、標準的批判的アプローチを用いる 既存の文献を常にレビューする その文献レビューは試験と関連し、包括的かつ最近の調査を含んでいるか その文献レビューは、試験の必要性を支持するか 所見は、既存の文献と矛盾しないか 調査研究の読み方と批判の仕方の枠組み 米国看護師協会 http://www.nursingworld.org

科学的記事を評価する場合、標準的批判的アプローチを用いる 結果と結論を批判的に評価する 結果は、テキスト、表および図の中に明確に示されているか 統計は明確に説明されているか 結果は、理論的枠組みおよび調査の疑問との関連で説明されているか 制約が示され、その含意するところが議論されているか 臨床実践に対して、推奨することはあるか 調査研究の読み方と批判の仕方の枠組み 米国看護師協会 http://www.nursingworld.org

結論 制限のない試験はなく、結果は偶然に生じる 結果が誤解を招くリスクさえある より堅固な試験ほど、より真実である 常にすべての文献をレビューし、報告された内容に一貫性と 矛盾を探す 出版された雑誌、研究グループまたは産業界の関与のみに 基づいて、正面から受容または拒否してはならない

ありがとうございました。