2000’lerin başından beri akademik yayın ile bir şekilde ilgiliyim. Öğrencilik yıllarında ek gelir sağlamak için tez ya da makale yazan asistan “abi” ve “ablalara” makale çevirerek başlayan bu serüven, asistanlıkla beraber bu sefer kendi kliniğimizdeki “abi” ve “ablalarımıza” özenerek “yayın” heyacanına bulaşmaya dönüştü. Bir makale yazım ve yayınına dair ilk akademik görevim yurtdışına makale postalamaktı. Postalamak dediysem yanlış anlaşılma olmasın! E-posta değil kastım. Gerçek bir mektup zarfına koymak, yeterli sayıda (ve bayağı da fazla) pul yapıştırmak, postaneye götürmek, 5×4 cm boyunda, kalemle yazarken yırtıldığı için yuvarlak uçlu mavi tükenmez kalem gerektiren, sarı iadeli taahhütlü gönderi emrini doldurmak ve Dünya’nın bilmediğim bir köşesine 1 aylık yolculuğuna uğurlamaktan bahsediyorum.

Yayın nedir? Yazı kimdir? Makale nasıl yazılır? İstatistik bir italyan yemeği midir? derken başka bir makale yazma görevinin içinde buldum kendimi. Bu sefer yerli bir dergi söz konusuydu ve postaneye bile gitmek zorunda kalmadan editöre e-posta göndermek suretiyle makale gönderimi yapılabiliyordu. Windows 2000 ve Ofis 97’nin yardımlarıyla dosyaları toparladım ve gönderdim. Birkaç hafta keyifle bu ilk görevin altından kalktığımı düşünürken akademik hayatın 2. en sevimsiz e-postasını aldım: bu posta tokat gibi etki yapan soğuk bir dil ve net ifadelerle, bir kemik çıkıntısının anatomik adına benzeyen “Majör Revizyon” isteğinde bulunuyordu. Altta da “bu sonuca ulaşmalarına neden olan hakem değerlendirmeleri” vardı. Muhtemelen bu yazıyı okuma zahmetinde bulunmuş ve bundan hiç memnun kalmamış olan hakem denilen bazı kişiler, ingilizceyi benim anladığımdan fersah fersah daha iyi kullanarak büyük bir incelikle yazıyla ilgili görüşlerini sunuyorlardı. Bambaşka şeyler yazmak istediklerini o incelikli, sözlüğe bakınca hoşgören olduğu anlaşılan ifadelerde hissedebiliyordunuz. Gururumun nasıl kırıldığını bu yoldan geçenler az çok hissediyorlardır. E-postanın çıktısı alındı, hocalara gidildi, dosyalar gösterildi, çeşitli düzeltmeler, haklı fırçalar, toplu saydırmalar sonunda iki tık alttan alan saygılı bir uslupta yanıt mektubu yazıldı ve gönderildi. Akademik hayatın aslında ilk savaşına şahit olmuştum: mektup savaşları! Ama o zamanlar akademik şövalyelik döneminin son mektuplarını okuduğumdan da habersizdim…

Akademik akran denetimi ya da hakemlik nedir?

Akademik akran denetimi (ya da hakemlik) bir yazarın akademik çalışma, araştırma, fikir ya da bulgularının aynı alanda uzman başkaları tarafından bir dergide yayınlanmadan, konferansta sunulmadan ya da kitap olarak basılmadan önce değerlendirilerek eleştirilmesidir.

Akranlar genellikle o alanda uzman ve akademisyenler arasından editörler tarafından belirlenir. Daha önce dergiye yazı yazmış, ülke ya da dünyada bilinen, akademik olarak saygın kabul edilen, belli sayıda yayın yapmış kişilere hakem olarak davet gönderilir. En az 2 olmak üzere ihtiyaca göre istenilen sayıda hakem atanabilir. Bazen de yazarlara önerdikleri ve önermedikleri hakemlerin bilgileri sorularak bu kişiler de değerlendirilmek üzere havuza dahil edilir. Genellikle bilinen 2-3 hakemin yanına 1-2 tane de denenmek isteyen genç ya da bilinmeyen hakem atanarak editörler bu kişilerin performansını da değerlendirir. Müsait olmayıp görevireddedenler, zamanında raporunu teslim edemeyenler derken bir makalede görev daveti yapılan hakem sayısı 10’a yaklaşabilir. Bazı hakemlerin kendi tecrübelerine göre genel bilimsel içerik yönünden, bazılarının ise metodoloji, istatistik ya da dil yönünden değerlendirmeleri talep edilir. Hepsine raporlarını yazmak için bir süre verilir. Toplanan raporları en sonunda editör değerlendirir ve makale hakkında yorumuna karar verir. Bu süreçte hakemlere herhangi bir ücret ödenmez, herhangi bir yaptırım da söz konusu değildir.

İnsanların hiçbir karşılık almadan, zaman baskısı altında ve yüksek kalitede başkalarının çalışmalarını değerlendirmelerini bekleyen ve bunu sürekli yapmalarını isteyen sisteme biz akademik akran denetimi diyoruz. Eğer bu işin karşılığında bir gelir ya da taltif alınıyor olsa belki ama şu haliyle anonim şekilde emek yoğun çalışan bir akademisyen topluluğundan bahsetmekteyiz. Üstelik bu emekleri akademik yükselme ya da teşvik içerisinde de karşılık bulmuyor. Tüm gün hastanede ya da üniversitede ameliyat, muayene, idari işler, dersler ve araştırmalar peşinde koştuktan sonra belki de evlerinde çocuklarına ayıracakları vakti bu işe ayırmaktalar. Aslında bahsettiğimiz hiç de az buz bir iş değil. Akademik yükselme giderek yayın yapmaya bağlanıp akademik kalite de yayın sayısıyla ölçülür olmaya başlayınca, yayınlanan dergi ve makale sayıları son 10 yılda korkunç bir hızla arttı. Sadece Acil Tıp alanında Türkiye’de derneklerimiz 6 dergi yayınlıyorlar. Bu dergiler yılda toplam 300 civarında makale yayınlıyor. Her makalede en az 2 olmak üzere ortalama 3 hakem raporu alınıyor. En az bu kadar makaleyi de reddettiklerini düşünürseniz Acil Tıp alanında ülkemizde yılda 2000’den fazla hakem raporu yazılıyor diyebiliriz. Bir raporun hakkının yaklaşık 1 hafta olduğunu kabul edersek ülkemizde 40’dan fazla akademisyenin bütün bir yıl boyunca tek işi makale değerlendirme raporu yazmak diyebiliriz.

Raporun içeriğinde ne var?

Kabaca bir akran değerlendirmesi okunan makalenin özetlenmesi ile başlar. Amaç, hakemin makaleyi okuyup doğru anladığını göstermesidir aslında. Ardından hakemden istenen raporun içeriğine göre bilimsel, yapısal, şekilsel, dilsel, metodolojik ya da istatistik değerlendirme yapılır. Klinik bilimlerde esas olan çalışma metodolojisine göre hazırlanmış yazım kılavuzları (araştırmacının temel kaynakları kısmında bulabilirsiniz) ve eleştirel makale okuma (critical appraisal) kılavuzları eşliğinde ve bunlara uygun bir makale yazımı yapılmasıdır. Dolayısıyla hakemler için de ilk başvuru kaynakları bunlardır. Makalenin başından sonuna kadar satır satır o metodolojiye göre olması ve olmaması gerekenlerin listelendiği bir kontrol listesi olarak da kabul edebilirsiniz bunu. Elbette dil, istatistiksel analiz ve grafiklerle ilgili ek talepler ya da uygunluklarının ikna ediciliğinin sağlanması için ek bilgi verilmesi talepleri de bu raporlarda yer alır. Bir de konunun kendisiyle ilgili bilgi edinme, ayrıntılara ve diğer yayınlara hakim olmaya çalışma, bilimsel içeriğin süzgeçten geçirilmesi kısımları vardır ki aslında en emek yoğun kısım da burasıdır. En sonunda akran ya da hakem denilen bu uzman, yayıncı, başeditör ya da editöryal kurula yardımcı olarak çalışmayla ilgili kabaca 3 kanaatten birini bildirir: kabul, düzeltmelerden sonra yeniden değerlendirme (ya da kabul), ya da red.

Akran denetimi olmazsa olmaz mı?

Akran denetimi kredibilite isteyen tüm akademik dergiler için bir kalite göstergesi olarak kabul ediliyor. Uluslararası kabul gören tüm indekslere dahil olmak için de bir zorunluluk.

Ancak akran değerlendirmesinin kendine göre açmazları da yok değil. Sosyologlara göre editör ve hakemlerin yazarlarla okurlar arasında konumlanması onlara sosyolojik açıdan bir kontrolör gücü veriyor. Bilim sosyologları, akran denetiminin, bir makaleyi yayınlama yetisini kişisel kıskançlıklardan etkilenebilen elitler kontrolünde bir işe dönüştürdüğünü söylüyorlar.

Akran denetimi ana akım teorilere karşı görüşleri susturup yeniliklere karşı yanlı da davranabiliyor. Dilbilimciler, kontrolör pozisyonundaki akranların hep makale ve fikirdeki zayıf noktaları aramaya odaklandıklarını, riskli ve bu sebeple de faydalı olan sarsıcı fikirleri kabullenmekte zorlandığını belirtiyorlar. Akranların kendi fikir ve çalışmalarına ters sonuçlara ulaşan yayınlara da son derece sert, benzer sonuca ulaşanlara son derece nazik davrandığı da belirlenmiş.

Hakemlik için seçilen akranlar genellikle yaşını başını almış belli kıdemin üstünde akademisyenler. Dolayısıyla da yeni fikirler ve radikal çalışmaların ana akım dergilerde yer bulması ve bu hakem kontrolünü geçmesi kolay olmuyor. Aşağıda da bahsi geçecek olan geleneksel anonim akran denetimi sorumlu tutulma riski taşımadığından yanlı, tutarsız ve hakem tacizine de açık olabiliyor.

Şövalyeliğin ölümü

20.yy’da henüz dergilerin sayısı ve zaman baskısı bu kadar fazla değilken hakemlik sisteminin yükü akademisyenler tarafından taşınabiliyordu (ya da en azından öyle görünüyordu). Ama teknoloji sayesinde bu iş hızlanıp dergi ve makale sayısı logaritmik şekilde arttıkça hakemlik görevinin çoğu akademisyene fazla geldiğini görüyoruz. Hakemlik davetleri giderek daha fazla reddediliyor, değerlendirmeler giderek daha geç geliyor, gelen değerlendirmeler de daha kısa ve editörlere katkı sağlamaktan uzak hale dönüşüyor. Aslında, değişen dünyada bütün bunları anlamak, sempati duymak ve hakemleri motive etmek için yollar bulmak editörlerin görevi. Ama bahsettiğimiz bu anlaşılır sebeplerle açıklanamayacak bir dönüşüm, bir değişim, bir farklılık var: ben buna şövalyeliğin ölümü demek istiyorum.

Klavye kabadayılığı, zorbalık ve trol kültürü, metacılık yani kısaca 21. yüzyıl, akademik akran değerlendirmesi sistemini de enfekte etmeye başladı gibi görünüyor. Elbette bu tek taraflı bir yozlaşma değil. Yazar, teknoloji, yayıncı, hakem, editör beraberce bu gemiyi kayalıklara doğru sürüyoruz.

Katil kim? Teknoloji mi?

Teknoloji ile beraber gelişen yayıncılık elbette hakemlik sistemini de etkiledi. Eskiden basılı kağıtların mektupla gönderildiği, ilk yanıtın 2-3 ay sonra mektupla alındığı yıllarda zarfa kağıtlar konulmadan 20 kere okunur, 30 kere “Yazarlara Bilgi” kısmı kontrol edilirdi. Şimdi bir makaleyi “Submit” etmek en fazla 10 dk’nızı alıyor. Bu da özensiz, kontrolsüz, kurallara uymayan makale gönderim sayısını çok arttırdı. Eskiden tek bir sekreter gelen yazıları editörlere yönlendirebilirken şimdilerde 3-4 kişiden oluşan bir editörler kurulu gelen her makaleye bakıp ön teknik ve bilimsel değerlendirme yapmak durumunda kalıyor. Teknik eksikleri bildirip makaleyi geri gönderiyorsunuz 15 dk sonra yarısı düzeltilmiş yarısı hala düzeltilmemiş bir şekilde yeniden önünüze düşüyor.

Katil kim? Hakemler mi?

Davet gönderilen hakemlerin yarısı davete icabet edemeyeceklerini belirtiyor. Kabul eden hakemlerden biri kendi makalesine atıf yapılmasını isterken, bir diğeri oldukça nahoş bir dille etik ve kurum onayları projeye göre alınıp tamamlanmış ve kapatılmış çalışmada olmayan hastaların olmayan kanlarından yeni bir analiz talep edebiliyor. Bir hakem dopdolu ve derinlemesine satır satır bir değerlendirme yapıp majör revizyon isterken, bir diğeri sadece elinize sağlık deyip kabul edebiliyor.

Daveti kabul eden hakemlerin yarısı teslim tarihini geçiriyor, bunların yarısı da hiç rapor hazırlamıyor. Editörler bu karmaşa içinden faydalı bir akran değerlendirmesi raporu çıkarmaya, makaleye dair kapsamlı ve tarafsız bir bakış oluşturmaya çalışıyor. Yazarlar ise yaklaşan tanımlamayan cismi tanımlamak için e-postalar arasında debelenip duruyor.

Ne yazık ki son 15 yılda akran değerlendirmeleri bazı ortak özellikler geliştirmeye başladı. Öncelikle, incelikli ve hassas dil kullanımı kesinlikle öldü. Daha negatif bir üslup kullanımı yaygınlaşıyor. İğneleyici ve aşağılayıcı bir ton kullanımını da daha sık görüyoruz. Konuya tam vakıf olmadan mesnetsiz yorumlar, biraz da anonim olmaya güvenerek daha sık yapılıyor. Ama internet çağında yazılan şeyin doğru ya da yanlış olduğunu anlamanın 5 saniye sürdüğü unutuluyor. Kişisel yanlılıklar da giderek daha sık karşımıza çıkıyor. Müphem ifadeler, diğer hakemlerin tespitleri ile uyumsuz taraflı yarı-bilimsel yaklaşımlar da görür olduk.

Katil kim? Yazarlar mı?

Öte taraftan, yazarlar da değişmeye başladı. O özenli dosyalar, kapak mektupları, revizyon notları gelmiyor artık. Hakemin öneri ve yorumlarına yanıt verirken aynı negatif üslup ve inceliksiz dili yöne görüyoruz. Hakem yorumları ve yazar yanıtlarını okurken bazen bir sabah programı izler gibi şaşkınlıkla olan biteni izlemekten kendimi alamıyorum.

Katil kim? Editörler mi?

Her yıl okuduğum ve yazdığım hakem raporu sayısı toplamda yaklaşık 500. Toplam sayı binlerle ifade edilir hale geldikçe ilk başlarda “redakte” etmeden bu süreci yönetme şeklindeki eğilimim, “çok sert olmuş şunun şurasını biraz ben kırpayım”a doğru evrildi. Galiba mutsuzuz hepimiz. Ben yazılan yorumlarda da, onlara verilen yanıtlarda da başka tartışmaların alevlerini görüyorum. 10 yıl önce yapılmış, yapılan hastane binası bile yıkılmış, yazıda yazılan dışında ne bir verisi ne bir sonucu olan, kurgusu baştan hatalı çalışmasını sırf daha iyi bir yere atanma kriteri olarak kullanma baskısı altında kabul ettirme derdindeki yazarı da, olanaksızlıklar içinde dörtbaşı mamur bir çalışmayı bitirme başarısı göstermiş araştırmacıları da, sebepsiz yere üstten ve “giderli” yazan hakemi de, red vermesine rağmen 4 sayfa hakem değerlendirmesi yapıp yazıyı daha iyi hale getirmeye çalışanı da, tek satır ile “kabul” ya da “red” yazarak hakemlik yaptığını zannedeni de görüyor bu gözler.

Hakemlik sistemindeki körlük mü problem?

Çift kör sisteminin anonim yapısı suçlu olabilir mi?

Benim şahsi kanaatim, yukarıda bahsettiğim negatif dilin en önemli sebebinin iki taraflı körlük dediğimiz anonimlik sistemi olduğu yönünde. Yazar hakemi bilmiyor, hakem de yazarı. Bu anonimlik sosyal medyadaki trol kültürüne benzer haliyle iki tarafı da kötü etkiliyor. Yaptıklarından ve yazdıklarından sorumlu tutulmuyor olma hali hem yapılan işin kalitesini düşürüyor hem de iletişim dilini bozuyor. Tek kelime “kabul” yazan hakem bu raporunun kendi adıyla görüleceğini bilse bunu yapamaz. Ya da yazar, ismiyle cismiyle yanıt verdiği hakemi bilse, onu bir insan olarak tanımlasa, söylemlerine ve üslubuna daha dikkat edebilir. Hakemler, özellikle basılan makalelerde tespit edilebilecek çalakalem yapılmış tutarsız ve mesnetsiz yorumları yapmaktan, negatif ve ayrıştırıcı ifadeleri kullanmaktan kendilerini geri tutarlar. Acaba?

Buna körleme (unblinded) olmaksızın hakem değerlendirmesi deniliyor. Genelde kullanılan şekli hakemlerin yazarı bilmesi ama yazarın hakemi bilmemesi. Elbette bu mantıklı ve işe yarar bir yöntem değil.

Yazarın da hakemi bilmesi yani tam körlemesiz sistem aslında hakeme çok bağlı. Çoğu sistemde teknik olarak buna bir engel yok ve hakem yorumunun altına imzasını atmak isterse çoğu editör ses çıkarmıyor. Ben şahsen gelişine reddedilen bir yazımda 1. hakemin altında “Peter Rosen” imzasını gördüğümde gurur duymuştum. Hala bu red mektubunu madalya gibi saklarım. “Peter Rosen okumuş yaw” duygusu içeriğin çok ötesine geçiyor, hakem yorumu ete kemiğe bürünüyor.

Ancak yapılan denemeler göstermiş ki, iki yönlü körlük kaldırıldığında hakemliğin kalitesi ve dili iyileşiyor ama hakemlik yapmak isteyenlerin sayısı da düşüyor.

Açık akran değerlendirmesi (open peer-review)

Bunun bir tık daha ilerisi ile açık akran değerlendirmesi (open peer-review). Burada yayınla beraber tüm hakem yorumları ve yazarın onlara verdiği yanıtlar da basılıyor. Hakemliğin kalitesi ve dili daha da iyileşiyor ama hakemlik yapmak isteyenlerin sayısı ciddi miktarda düşüyor. Negatif dili şiar edinenler dillerini yumuşatmak, mesnetsiz yorum yapanlar daha kapsamlı uğraşmak yerine hakemlik taleplerini yanıtlamıyor. Dahası özellikle daha genç akademisyenler hatalı bir yorum yapma ve bunun yayınlanması endişesiyle hakemlik görevlerinden imtina ediyor. Böyle olunca da yazıyı yayınlamadan önce davet ile yeterli hakem bulmak çok daha zorlaşıyor.

Yayın sonrası akran değerlendirmesi

Açık akran değerlendirmesinin sosyal medya versiyonu gibi düşünülebilir. Yazı yayınlandıktan sonra sistemde akran yorumu ekleme, yazarın da yanıt verme kısımları açık. Yazıyı gelen yorumlara göre yazar düzenleyip güncelliyor. Bu versiyonlar da online olarak yayınlanıyor. Herşey şeffaf bir şekilde başından sonunda kadar herkesin ismiyle yayınlanıyor.

Ön kabul sonrası akran değerlendirmesi

Bu özel hakemlik sisteminde yazı editörler tarafından yayınlanabilir olarak değerlendirildiği anda (normalde hakeme gönderildiği fazda) şak diye yayınlanıyor ve halka açılıyor. Hem atanan hakemler hem de dışarıdan isteyenler yazıları değerlendirip yorum yapıyor. Yazı yorumlarla gelişiyor, değişiyor ve artık ek yorum gelmeyip yazar son halini verdiğinde editörler elektronik olarak yazıyı bir sayıya atıyorlar. Tüm basamaklar ve yorumlar elektronik yazının ön kabulünden itibaren sistemde yer alıyor.

Ya hakemlik sistemi kökten hatalıysa?

Belki de hata ne 21.yy’da, ne değişen kültürde. Dinazorlaşan akademik yayıncılık yapısı ve hakemlik sisteminin kendisi hatalı olamaz mı?

Hakemliğin açık-kapalı, önce-sonra yapılması denemeleri, aslında hakemlik sisteminin işe yarar olduğu tezinden köken alıyor. Ancak hakemlik sisteminin kendisinden kaynaklanan ve aç-kapa, ileri al-geri sar yaparak çözülemeyecek dertleri de var.

Mesela, akran denetimi uygunsuz araştırmaların yayınlanmasını engelleyemiyor (Yoshihiro Sato’nun akademiye gölge düşüren fantastik boyuttaki dolandırıcılığı hala çok taze). Yazarlar ham verilerini paylaşmadığı sürece hakemlerin veriden kaynaklı bir üçkağıtçılığı yakalaması mümkün değil. Yakalayabildikleri en önemli suç intihal. O da artık iyi dergilerin hepsi tarafından rutin yapılıyor.

Akran denetimi yazıdaki temel hataları atladığı zaman ne yapılacağı konusunda da bir sistem yok. Şimdiki düzen sadece Editör Mektubu ile bu eksiğin belirtilmesini sağlamak. Çok daha ağır ve etik bir ihlal varsa o zaman makalenin geri çekilmesi günceme geliyor ama elektronik olarak internete düşen bir içeriğin geri alınması artık teknik olarak pek de mümkün değil. Basılmışsa basılmış versiyonu biryerlerde o derginin imzası ile daima kalıyor.

Sistem yüksek kalitedeki yenilikleri kabullenmede de sorun yaratıyor. 1796’da Edward Jenner’in ilk çiçek aşısına dair vaka raporunun 2 hakem önerisi sonrasında kredibilitesi yüksek bulunmayarak Philosophical Transaction‘s tarafından reddedilmesi bu sorunun pek de yeni olmadığının göstergesi.^​1​

Sonuç olarak, hepimiz aynı gemide kayalıklara doğru sürükleniyoruz. Belki de gelecek geleneksel hakem, dergi, editör, yayıncı gibi bileşenlerin olmadığı Arxiv gibi sistemlerle serbest bireysel yayıncılıkta, belki blockchain teknolojisi ile akademik yayıncılık ve hakemliğin birleştirilmesinde, belki de akademik sosyal ağ oluşturulmasında.

Kimbilir? Hep beraber göreceğiz…