IOTA Çalışmasının Olgu Sunumu

Bu metin, EMCrit’te yayınlanan The hidden fragility of meta-analyses: case study of the IOTA trial yazısından, yazarının yazılı izni ile tercüme edilmiştir.

Giriş: IOTA Çalışması

Muhtemelen şimdiye kadar IOTA çalışmasını duymuşsunuzdur.¹ Lancet Dergisi’nde yayınlanan bu meta-analizde kritik hastalarda konservatif oksijen tedavisi ile liberal oksijen tedavisinin sağ kalım üzerindeki etkisi karşılaştırıldı (Detaylar burada). Sonuçları net ve heyecan vericiydi:

Çalışma üzerine yapılan değerlendirmeler tamamen olumluydu. Yardımcı editoryal yazı, çalışmanın hemen uygulama değişikliğine gidilmesi gerektiğini gösterdiğini ifade ediyordu:²

Çalışmanın sonuçlarına katılıyorum (Hiperoksi fizyolojik değildir ve muhtemelen zararlıdır). Ancak, bunun çok kırılgan bir analiz olduğunun farkına varmalıyız. Meta-analizler konusundaki endemik problemlere gözlerimizi açmamız gerekiyor.

Hasta Düzeyinde Kırılganlık: Kırılganlık İndeksi

Kırılganlık İndeksi (Fragility Index), bir çalışmanın istatistiksel önemini yitirmesi (p değerinin <0,05’in üzerine çıkması) için değiştirilmesi gereken çıktı sayısını ifade eder. Düşük bir kırılganlık indeksi, sağlamlığın az olduğunu gösterir. Mesela, NINDS çalışmasının kırılganlık indeksi 3’tü. Eğer 3 çıktı farklı olsaydı, sonuçlar istatistiksel önemlerini yitireceklerdi ve çalışma “negatif ” bir çalışma olarak kabul edilecekti.

İkili sonlanımlı çalışmalarda kırılganlık indeksinin hesaplanması kolaydır (Örn. şuradaki kırılganlık indeksi hesap makinesini kullanarak).  Ancak meta-analizler için kırılganlık indeksinin hesaplanması biraz bulanık bir konudur. Ama evet, bu yazıda o konuya gireceğiz.

Bir meta-analizin kırılganlığını test etmek için atılması gereken ilk adım, içerdiği hesaplamaların tekrarını yapmaktır. IOTA çalışması, Cochrane Topluluğu tarafından üretilen ve ücretsiz dağıtılan bir program olan RevMan 5.3’ü kullanmıştır. Yayında tariflenen metodları kullanarak, hesaplamalarını kendi bilgisayarımda yeniden yaptım (ekran görüntüsü aşağıda). Lancet’taki bir yazım hatası dışında, her sayı yayınlanan dökümandaki ile aynı.

Eğlence şimdi başlıyor. Hadi Young, 2014 çalışmasındaki 3 hastanın daha ölmüş olduğunu varsayalım. Bu durum, bütün meta-analizin negatif sonuçlanmasına yol açacaktı:

Kırılganlık, çalışmalar arasında değişkenlik gösteriyor. Her bir çalışma için, konservatif oksijen grubunun ölen vaka sayısını, p değeri <0,05 olmayana kadar artırdım:

Yani genel olarak, meta-analizin negatif sonuçlanması için, ek olarak 5-9 hastanın farklı bir sonlanımla sonuçlanması yeterli olacaktı. Bu farklı sonlanımlı vakalar, tek bir çalışmada olabileceği gibi, birden fazla çalışmaya yayılmış da olabilir. Mesela ilk 9 çalışmanın konservatif oksijen gruplarına birer kötü sonlanım eklediğimizde, meta-analizin sonuçları hükümsüz hale geliyor:

Liberal oksijen grubundaki hastaların farklı şekilde sonlanması da sonucu etkileyebilirdi. Mesela, liberal oksijen grubundaki 3 ölümlü vaka olmasaydı ve konservatif oksijen grubuna 4 ölümlü vaka eklenseydi, meta-analizin sonuçları hükümsüz hale gelecekti:

Kırılganlık indeksi için net bir sayı vermek zor olsa da, açıkça görüldüğü üzere 10’dan küçük.  Çalışmanın sonuçlarını hükümsüz kılmak için sonuçları değiştirilebilecek hastalar; hem hayatta kalan konservatif oksijen grubu (toplam 7857 hasta) hastaları, hem de ölen liberal oksijen grubu hastaları (toplamda 283 hasta). Protokol ihlalleri gibi teknik problemlerin, 8140 hasta içinde <10 hastalık bir hataya sebep olmuş olabileceğini düşünmek zor değil.

Binlerce hastadan oluşan bir meta-analizi okuduğumuzda, doğal olarak hasta sayısının artmasının analizin gücünü artırdığını varsayıyoruz. Ne yazık ki, sıklıkla bu doğru değil. Eğer pozitif ve negatif çalışmalar genellikle birbirini götürüyorsa, meta-analizin kırılganlık indeksi düşük kalır. Daha fazla çalışma eklemek, “sinyali” artırmaya değil, “gürültü”yü artırmaya yarar; ki sonuçta nispeten düşük kırılganlık indeksi olan devasa bir meta-analiz ortaya çıkar (Düşük sinyal/gürültü oranı).

Çalışma Düzeyinde Kırılganlık: Metakırılganlık İndeksi

Kırılganlığı ölçmenin bir diğer yolu da, meta-analizi oluşturan çalışmalar düzeyinde değerlendirme yapmaktır. Bir meta-analiz, temelde bir tedavi ile ilgili çok sayıda çalışmanın bir araya getirilmiş kanıtlarının ölçümü yöntemidir:

Güçlü pozitif meta-analizler, çok sayıda güçlü pozitif çalışma içermelidirler. Böyle olursa, herhangi bir çalışmayı çıkardığımız zaman, meta-analize ait genel sonuçlar etkilenmez:

Alternatif olarak, aşağıda görüldüğü gibi çok zayıf pozitif bir meta-analizi ele alalım. 5 pozitif çalışmanın sonuçları, müdahaleyi sadece zayıf olarak destekliyor. Bir araya geldiklerinde, bu 5 zayıf çalışma, dengeyi müdahale lehine bozmayı başarabiliyor. Ancak, bu çalışmalardan herhangi birini kaldırmamız durumunda, meta-analiz artık pozitif kalamıyor! Bir meta-analizin geçerliliği, her bir çalışmanın geçerliliğine bağlıdır. Bu da meta-analizleri ileri derecede kırılgan yapar.

Bu durum, bizi metakırılganlık indeksi (metafragility index) olarak tanımlayacağım mefhuma getiriyor:

• Bir meta-analizin p<0,05 kalması için içerdiği bir çalışmaya muhtaç olup olmadığının anlaşılabilmesi için, her bir çalışmanın ayrı ayrı yokluğunda, meta-analizin sonuçlarının yeniden hesaplanması gerekiyor.
• Metakırılganlık indeksi, tek başına meta-analizden çıkarıldığında, meta-analizin negatif (p>0,05) olarak sonuçlanabildiği çalışma sayısına eşittir. Mesela, yukarıda gösterilen güçlü meta-analizde, metakırılganlık indeksi sıfırdır (Herhangi bir çalışmanın çıkarılması ile meta-analizin sonuçları değişmez). Alternatif olarak, yukarıda gösterilen kırılgan meta-analizde, metakırılganlık indeksi beştir (Beş çalışmadan herhangi biri çıkarıldığında, p değeri >0,05 olur).

Sıfırdan büyük bir metakırılganlık indeksi, meta-analizin gizli zayıflığını ortaya koyar. Bir meta-analizi okuduğumuzda, genellikle “bütün, kendini oluşturan parçaların toplamından daha büyüktür” diye düşünürüz. Çünkü meta-analizler, bütün çalışmaların verilerinin bir potada eritilmesi anlamını taşırlar. Bu yüzden, meta-analizin, kendini oluşturan herhangi bir çalışmadan daha güçlü olmasını bekleriz. Eğer metakırılganlık indeksi o’dan büyükse, bu meta-analizin, kendini oluşturan herhangi bir çalışmadan daha güçlü olduğu varsayımını çürütür.

“Bir veya iki çalışmanın çıkarılması bir meta-analizin sonuçları üzerinde kayda değer bir etkiye sahip ise, bu sonuçlar bir miktar ihtiyatla belirtilmelidir.” – Viechtbauer W & Cheung MWL⁵

Eğer metakırılganlık indeksi 0’dan büyükse, bir sonraki soru, meta-analizin hangi çalışmalara bağımlı olduğudur. Bir zincir, ancak en zayıf halkası kadar güçlüdür. Aynı şekilde, bir meta-analiz de ancak bağımlı olduğu en zayıf çalışma kadar güçlüdür. Mesela, eğer bir meta-analiz; büyük, güçlü ve çok merkezli bir Randomize Kontrollü Çalışma’ya bağımlı ise, bu kabul edilebilir olarak görülebilir. Alternatif olarak, eğer meta-analiz küçük ve zayıf bir çalışmaya bağımlı ise, bu ciddi olarak problemli kabul edilmelidir.

IOTA’nın metakırılganlık indeksi 2’dir. NCT00414726 ve Giradis 2016⁶ çalışmalarına bağımlıdır. Mesela, Giradis çalışmasını çıkarırsak, bütün meta-analizin sonucu negatif olur (p=0.14):

Bu veriyi görselleştirmenin güzel bir yolu, metakırılganlık diyagramı oluşturmaktır (aşağıda). Mavi çizgiler, klasik Orman Diyagramı’nı (Forrest plot) temsil etmektedir (Her biri, o bir çalışmanın verilerine dayanan rölatif riskin %95 güven aralığını temsil eder). Her çalışmanın altında yer alan siyah çizgiler ise, meta-analizde yer alan bu çalışma haricindeki çalışmalar kullanılarak gerçekleştirilen meta-analizin sonuçlarını temsil etmektedir:

Metakırılganlık diyagramı, her bir çalışmanın meta-analizin tamamı üzerindeki etkisinin daha rahat anlaşılmasına yardımcı oluyor. Herhangi bir çalışmanın çıkarılması, meta-analizin aksi yöne kaymasına sebep oluyor. Mesela, Stub, 2012 kısmen sola yatkın bir çalışma (resim aşağıda). Bu çalışmanın çıkarılması, meta-analizin sağa kaymasına yol açıyor. Bu çalışma çıkarıldığında ortaya çıkan sağa kayma, bütün meta-analiz üzerindeki etkisini gösteriyor.⁷

Diyagram aynı zamanda metakırılganlık indeksinin grafiksel bir görünümünü de veriyor. Eğer meta-analizin pozitif olması için bir çalışma şartsa, meta-analiz o çalışma olmadan tekrarlandığında onu geçen bir %95 güven aralığına sahip olacaktır (siyah çizgi). Metakırılganlık indeksi 2 olan IOTA için, bu iki defa gerçekleşiyor:

Bir çalışmanın meta-analiz üzerinde yüksek oranda etkisi olmasının iki nedeni olabilir: Çok büyük bir çalışma olması (güçlü sonuçlar ve büyük bir ağırlık) veya dışadüşen (outlier) olması. IOTA, NCT000414726 çalışmasına bağımlı ki, bu çalışma küçük, dışadüşen bir çalışma. NCT000414726 güçlü bir çalışma değil, ama dışadüşen bir çalışma olduğu için, meta-analiz sonuçları üzerinde güçlü bir çekim etkisine yol açıyor. Bu çalışma henüz yayınlanmadı bile, bu da sistemik taraflılık veya diğer kusurlar açısından soru işaretlerine neden oluyor. Esasen, yayınlanan IOTA dökümanı bile bu çalışmayı yüksek taraflılık riski ile yargılıyor (alıntılanan not aşağıda). IOTA meta-analizi; bu küçük, dışadüşen, yayınlanmamış ve potansiyel olarak taraflı çalışmaya dayandığı için oldukça kırılgan.

Peki Ya Uzun Dönem Mortalite?

Bu yazı hastane içi mortaliteye odaklanıyor, çünkü yayının yazarları bu analize odaklanıyorlar. Yine çalışmanın en etkileyici sonucu da bu. Zaman geçtikçe, mortalite yararı hızla yok oluyor:

Zaman geçtikçe, etki boyutu daralıyor ve kırılganlık hızla artıyor. En uzun takip süresinde, mortalite üzerindeki farklılığın hasta düzeyinde kırılganlık indeksi sadece 1 hastaya düşüyor:

Metakırılganlık indeksi 10, bu da temelde pozitif yöndeki çalışma sayısı ile aynı. Yine, meta-analizden neredeyse herhangi bir pozitif verinin çıkarılması, istatistiksel önemin yitirilmesine yol açıyor. Bu açıkça kırılganlığı açığa çıkarıyor: Hasta düzeyinde kırılganlık indeksinin 1 olması ile tutarlı. Bütüne bakıldığında, bu sonuç “istatistiksel olarak muhtemel” düzeyinde kırılgan (daha zayıf olsaydı, açıkça negatif sonuçlanmış olacaktı).

Bir Adım Geri: p<0,05 Aslında Düşük Bir Bariyer

Yukarıdaki analiz, bir meta-analizin <0,05 p değerine ulaşıp ulaşamamasına odaklanıyordu. Ancak, bunun güçlü bir p değeri limit noktası olmadığını unutmamalıyız. ~0,02-0,05’lik p değeri ~3 olabilirlik oranının kabaca eşdeğeri sayılabilir ve zayıf seviyede kanıt anlamı taşır. Bu durum pek çok istatistikçinin p değeri limit noktasının <0,005’e çekilmesini önermesine yol açmıştır. p<0,05 halen “istatistiksel olarak anlamlı” sayılmak için limit noktası olarak genel kabul görse de, bu kriterin sağlanıyor oluşu, çalışma sonuçlarının geçerli olduğunun garantisi değildir.

Büyük Resim: Meta-Analizleri Dev Aynasında Görüyoruz

Kanıta dayalı tıp, geleneksel olarak meta-analizin en yüksek kanıt formu olduğunu, kanıt piramidinin en üzerinde yer aldığını öğretir. Ancak, birbirleri ile çelişen meta-analizlere rastlamak çok kolaydır (Mesela bu ikili^8,9 PE konusunda farklı sonuçlar verirken, yakın tarihli bu meta-analizler^10,11 sepsiste steroid konusunda farklı sonuçlar veriyorlar). Çatışan iki ikili de neredeyse aynı zamanda yayınlandılar, ancak tam tersi sonuçlara vardılar! Bu örnekler meta-analizlerin yinelenebilirliklerini çürütüyor: Eğer meta-analizler güvenilir araçlar olsalar, farklı gruplar daima aynı sonuçları elde ederler. Yine elbette, yinelenebilir olmayan bir şey, bilimsel değildir.

Uygunsuz gerçek şu ki, meta-analizler pek de farkında olunmayan bir takım problemlerden muzdaripler (mesela kırılganlık, heterojenite, eski çalışmalar, yetersiz güç analizi). Meta-analizler istatistiksel olarak o kadar kompleksler ki, analizin yüzeyini kırıp içine nüfuz edebilecek araçlardan yoksun olduğumuz için, teslim olmaktan başka çare bırakmıyorlar.

Meta-analizleri en yüksek kanıt düzeyi olarak düşünmeyi bırakma zamanı geldi. En yüksek kanıt düzeyi basitçe Randomize Kontrollü Çalışma’dır. RKÇ’leri detaylıca okumalı ve RKÇ’leri değerlendirerek bunları dikkatlice bir araya getirmek suretiyle bir üst sonuca varmalıyız (Her çalışma için zayıflıklar, güçlülükler, metodolojiler, sonuçlar ve hasta popülasyonları). Çalışmaları kendi kendimize bir araya getirmek, bu işi bir meta-analize bırakmaktan daha zor olsa da, gerçeğe daha fazla yaklaşmamıza yol açacaktır.

Özet

• Meta-analizler, genelde kırılganlıklarını test etme denemesinde bulunulmadan, çok güçlü olarak kabul görmektedirler.
• Bu yazı, bir meta-analizin kırılganlığının değerlendirilmesi için iki tekniği tarif etmektedir. Bu teknikler için bir meta-analiz yazılımı kullanılması gereklidir ve Cochrane Topluluğu aracılığıyla ücretsiz olarak edinilebilir.
• Kırılganlık İndeksi, p değeri <0,05 olana kadar her bir çalışmanın kaç hasta sonucu değişikliğine ihtiyaç duyduğunun belirlenmesi ile hesaplanabilir. Bu numara çalışmalar arasında değişkendir, ancak meta-analizlerin kırılganlığı konusunda genel bir fikir verebilir.
• Metakırılganlık indeksi, tek başına meta-analizden çıkarıldığında, meta-analizin negatif (p>0,05) olarak sonuçlanabildiği çalışma sayısına eşittir. İdeal olarak, güçlü bir meta-analizin metakırılganlık indeksi 0 olmalıdır (Herhangi bir çalışma analizden çıkarılabilir ve kalan çalışmalar yine de pozitif sonuç verirler). Alternatif olarak, eğer metakırılganlık indeksi o’ın üzerinde ise, bütün meta-analizin bir veya daha fazla çalışmaya bağımlı olduğu anlaşılabilir. Bu nedenle sonuçları dikkatle analiz edilmelidir.
• Bu testler, yakın zamanda Lancet’ta yayınlanan ve geniş kabul gören IOTA meta-analizine uygulanmıştır. IOTA’nın şaşırtıcı düzeyde kırılganlığı vardır. En güçlü sonuç çıktısı bile (hastane içi mortalite), <10 hastalık kırılganlık indeksine ve 2’lik metakırılganlık indeksine sahiptir. IOTA’nın bağımlı olduğu çalışmalardan biri, küçük, dışadüşen ve yayınlanmamış bir çalışmadır.
• Meta-analizlerin en güvenilir kanıt düzeyi oldukları dogması sorgulanmalıdır.

Bağlantılar

• IOTA Konusunda FOAMed Kaynakları
  • TheBottomLine (Celia Bradford)
  • Rebel EM (Salim Rezai & Anand Swaminathan)
  • St Emlyns (Simon Carley)
• Metodoloji konusunda ilgili yazılar
  •  NINDS & ECASS-III kırılganlık indeksi
  • .05 iyi bir p değeri limit noktası değil
  • Bütün PulmCrit metodoloji yazıları
• RevMan5 İndirme Bağlantısı – Cochrane Topluluğu’na bu uygulamayı ürettikleri ve ücretsiz sundukları için teşekkürler.

Kaynaklar

1. Chu D, Kim L, Young P, et al. Mortality and morbidity in acutely ill adults treated with liberal versus conservative oxygen therapy (IOTA): a systematic review and meta-analysis. Lancet. 2018;391(10131):1693-1705.
2. McEvoy J. Excess oxygen in acute illness: adding fuel to the fire. Lancet. 2018;391(10131):1640-1642.
3. Ridgeon E, Young P, Bellomo R, Mucchetti M, Lembo R, Landoni G. The Fragility Index in Multicenter Randomized Controlled Critical Care Trials. Crit Care Med. 2016;44(7):1278-1284.
4. Fragility index & methodology. What is the fragility index of the NINDS trial? https://emcrit.org/pulmcrit/fragility-index-ninds/.
5. Viechtbauer W, Cheung M. Outlier and influence diagnostics for meta-analysis. Res Synth Methods. 2010;1(2):112-125.
6. Girardis M, Busani S, Damiani E, et al. Effect of Conservative vs Conventional Oxygen Therapy on Mortality Among Patients in an Intensive Care Unit: The Oxygen-ICU Randomized Clinical Trial. JAMA. 2016;316(15):1583-1589.
7. Bir çalışmanın bütün meta-analiz üzerindeki etkisinin miktarının bu çalışmanın ağırlığı ile yansıtıldığını varsayma eğiliminde olsak da, bu yanlıştır. Bir çalışmanın meta-analiz üzerindeki etkisi, hem çalışmanın ağırlığını, hem de sonuçlarının aykırılığını yansıtır. Mesela, düşük ağırlıklı bir dışadüşen çalışma; yine de bütün meta-analiz üzerinde anlamlı bir sonuca sahip olabilir.
8. Chatterjee S, Chakraborty A, Weinberg I, et al. Thrombolysis for pulmonary embolism and risk of all-cause mortality, major bleeding, and intracranial hemorrhage: a meta-analysis. JAMA. 2014;311(23):2414-2421.
9. Nakamura S, Takano H, Kubota Y, Asai K, Shimizu W. Impact of the efficacy of thrombolytic therapy on the mortality of patients with acute submassive pulmonary embolism: a meta-analysis. J Thromb Haemost. 2014;12(7):1086-1095.
10. Rochwerg B, Oczkowski S, Siemieniuk R, et al. Corticosteroids in Sepsis: An Updated Systematic Review and Meta-Analysis. Crit Care Med. 2018;46(9):1411-1420.
11. Rygård S, Butler E, Granholm A, et al. Low-dose corticosteroids for adult patients with septic shock: a systematic review with meta-analysis and trial sequential analysis. Intensive Care Med. 2018;44(7):1003-1016.