Dr. Zehra Taşkın(*) - ÇÖP MAKALELER BAŞARIYI ÖLÇMEMELİ! (Herkese Bilim Teknoloji)

Bilimi sayılarla ölçmek mümkünse, neden ölçemiyoruz? Yayın sayısı, atıf sayısı, h-indeks, etki faktörü, derginin çeyreklik dilimi, eigenfactor... Bilimsel çıktıları ölçmek için yönetici ve karar vericiler her dönemde başka bir göstergeye tutunuyor, ancak her yeni gösterge daha önce karşılaşmadığımız yeni kavramları literatürümüze kazandırıyor. Bu kavramlar ise Türkiye’de üretilen tüm bilimsel iletişim çıktılarının temeline dinamit bağlıyor. Yayın yapmak için yağmacı ve hatta sahte dergiler tercih ediliyor, atıf çeteleri kuruluyor, parayla doktora tezi yazdırılıyor... Akademisyenler günü kurtarmak, beş kuruş daha fazla teşvik almak veya unvan/kadro sahibi olabilmek için hayatları boyunca özgeçmişlerinde taşımak zorunda kalacakları faaliyetlerde bulunuyorlar. 

En korkuncu ise bunu yaparken yaptıklarının ortaya çıkmasından, imajlarını zedelemekten korkmuyorlar. Bu korkusuzluk da üretilen tüm ürünlerin kalitesini her geçen gün daha fazla düşürüyor. Kimsenin kalite ile ilgilenmediğinin bilincinde olduklarından ellerinde abaküs sürekli sayıyorlar. Abaküse ekledikleri her yeni boncuğun kendilerine ve çalıştıkları alana bir katkısı olup olmadığı ile ilgilenmiyorlar. Çünkü sistem onlardan sadece bunu bekliyor: Üret, daha çok üret, en çok sen üret... 

DÜZEN ÇÖKME EĞİLİMİNDE

Ünlü ekonomist Charles Goodhart, gözlemlenen herhangi bir istatistiksel düzenlilik üzerinde kontrol amaçlı olarak baskı uygulandığında, o düzenin çökme eğilimine girdiğini vurgular (Goodhart, 1984, s. 96). Ona göre “bir ölçev hedef haline geldiğinde iyi bir ölçev olmaktan çıkar” (Strathern, 1997, s. 308). Bir görüşe göre de ölçevler hedef haline getirildiklerinde, sahip olduklarından daha fazlasını elde etmek isteyen insanlar sistemlerle oyun oynamaya yüreklendiriliyor(Walton, 2016, s. 71). Türkiye’den bu oyunlara örnekler bulmak zor değil. Daha önceki hiçbir dönemde üretmediğimiz kadar yayın üretiyor, bu yayınların bir yaraya derman olup olmadığı ile ilgilenmiyoruz. Daha kolay yayın yapmak için Afrika dergilerini tercih ediyor (Balcı, 2011), kimsenin okumadığı bu yayınlar için yüzlerce dolar ödüyor (Ulus, 2013, s. 47), şişme dergiler çıkarıyor, şişme atıflar yapıyor (Al ve Soydal, 2012; Öztürk, 2012, 23 Haziran), uluslararası görünümlü ulusal konferanslar düzenliyor ve hedef haline getirilen ölçevlerle yeni yeni oyunlar yaratıyoruz.

Sayılara bu denli önem atfedilip bu sayıların performans değerlendirmelerinde kullanılması konunun uzmanlarınca “ölümcül günah” olarak nitelendiriliyor, ancak Türkiye gibi bazı ülkeler hala sayılara dayalı yöntemlerin ölümcül cazibesine kapılmaya devam ediyorlar (Tonta, 2014, s. 16-17; Van Raan, 2005 ). 

YENİ YÖNTEMLER GEREKİR

Yine de umudu kesmenin zamanı değil. Dünyada ve Türkiye’de çeşitli girişim ve çalışmalarla alternatif değerlendirme yöntemleri öneriliyor (Doğan, 2017; Gaind, 2018; Hicks, Wouters, Waltman, de Rijcke ve Rafols, 2015; San Francisco Decleration..., 2018; Taşkın, 2017; Tonta, 2017). Tüm bu ulusal ve uluslararası farkındalık çalışmalarının temel amacı “kolay kandırılabilen” ve “üzerinde oyun oynanabilen” sayılara odaklanmak yerine, yeni nesil değerlendirme yöntemlerinin geliştirilmesini sağlamak... Peki, bu sayıları daha az önemli hale getirmek için ne yapmalı? Öncelikle sayıları anlamsız hale getiren araştırmacıları gruplara ayırmakla başlamalıyız. 

Daha önce bu araştırmacılar üç temel gruba ayrılmıştı; bilinçsizler, yapılanların etik bir sorun olduğunu kavrayamayanlar ve bilinçliler (Şencan, 2018). 

Bilinçsizler için yapılması gerekenler çok açık: Farkındalık yaratmak, öğretmek, konuşmak ve ikna etmek. Araştırma kültürünün ne olduğunu, nasıl birikimli bir şekilde ilerlediğini detaylı olarak anlatmadan bilinçsizleri kurtarmamız hayli zor. Onlara kaliteye ulaşmanın ancak pes etmemekle sağlandığını, sistemleri kandırmak veya arka kapılar aramak için harcanan sürelerde çok daha verimli işler yapılabileceğini, her bir yenilginin daha büyük başarılar için basamak oluşturduğunu uzun uzun anlatmak gerekiyor. 

Sistemlerle oyun oynuyor olmanın etik bir problem olduğunu kavrayamayan grup için ise iki süreç var. Birincisi bilimsel etiğin ne demek olduğunu doğru şekilde öğretmek. Herkesin kendi doğrularını yaratmasını değil, herkesçe kabul edilmiş geçerliliği olan doğruların sahiplenilmesini sağlamak. Diğer tarafta ise performans değerlendirme modellerini değiştirmek şart. Yani kaliteye ve değere odaklanmalıyız... Örneğin, araştırmacıya “akademik hayatın boyunca ürettiğin her şeyi bir dosyaya koy getir, dosyanın kalınlığına bakıp seni değerlendireceğim” demektense “bana en güvendiğin yayınlarını getir” diyebilmeliyiz... Bunu diyemedikçe yayın çöplüğüne yeni çöpler eklemekten başka hiçbir şey yapamıyoruz. 

Gelelim bilinçli oyunculara. Onları alt etmek en zor görünen ama aslında en kolay olan iş. İfşa edeceğiz, ödüllendirmeyeceğiz, takdir etmeyeceğiz, susmayacağız ve korkmayacağız. İyi bilimin kötü bilimi kovmasına yardımcı olacak, freni patlayıp son sürat duvara doğru giden akademik sistemi çarpışmadan hemen önce durduracağız.

Kaynakça

• Al, U. ve Soydal, İ. (2012). Dergi kendine atıfının etkisi: Energy Education Science and Technology örneği. Türk Kütüphaneciliği, 26(4), 699-714.
• Balcı, M. (2011). Yüksek sayıda makalenin sırrı. Matematik Dünyası, 4, 9-13.
• Doğan, G. (2017). Akademik performans odaklı uluslararası üniversite sıralama sistemlerinin genel sıralamalarına ve ölçütlerine göre değerlendirilmesi. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Bilgi ve Belge Yönetimi Anabilim Dalı, Ankara.
• San Francisco Declaration on Research Assessment.(2018). Erişim adresi: https://sfdora.org/read/
• Gaind, N. (2018). Few UK universities have adopted rules against impact-factor abuse. Nature News. Erişim adresi: https://www.nature.com/articles/d41586-018-01874-w?utm_source=twt_nnc&utm_medium=social&utm_campaign=naturenews&sf182025922=1
• Goodhart, C.A.E. (1984). Monetary theory and practice: The UK experience. Londra: Mac Millan Press.
• Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. ve Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429-431.
• Öztürk, K. (2012, 23 Haziran). Şişme dergiler ve etik ihlalleri[Blog yazısı]. https://mkoz.wordpress.com/2012/06/23/sisme-dergiler-ve-etik-ihlalleri/
• Strathern, M. (1997). ‘Improving ratings’: audit in the British University system. European Review, 5(3), 305-321.
• Şencan, İ. (2018). Akademik sahtelikler. Bilimsel İletişimde Sahtelikler ve Ötesi Çalıştayı, 31 Ocak 2018, Akademik Bilişim 2018 Konferansı, 31 Ocak - 2 Şubat 2018, Karabük Üniversitesi, Karabük. https://goo.gl/HV9JFn
• Taşkın, Z. (2017). İçerik tabanlı atıf analizi modeli tasarımı: Türkçe atıflar için metin kategorizasyonuna dayalı bir uygulama. Yayımlanmamış doktora tezi. Hacettepe Üniversitesi, Bilgi ve Belge Yönetimi Anabilim Dalı, Ankara.
• Tonta, Y. (2014). Akademik performans, öğretim üyeliğine yükseltme ve yayın destekleme ölçütleriyle ilgili bir değerlendirme. http://yunus.hacettepe.edu.tr/~tonta/yayinlar/tonta-yukseltme-kriterleri-hakkinda-degerlendirme-11-Temmuz-2014.pdf
• Tonta Y. (2017). TÜBİTAK Türkiye Adresli Uluslararası Bilimsel Yayınları Teşvik (UBYT) programının değerlendirilmesi. Ankara: TÜBİTAK ULAKBİM.
• Ulus, A.T. (2013). Bilimsel yayıncılığın diğer yüzü. Sağlık Bilimlerinde Süreli Yayıncılık içinde (ss. 47-49). Ankara: TÜBİTAK.
• Van Raan, A.F.J. (2005). Fatal attraction: Conceptual and methodological problems in the ranking of universities by bibliometric methods. Scientometrics, 62(1), 133-43.
• Walton, D.W.H. (2016). Misleading metrics. Antarctic Science, 28(2), 7

(*) Hacettepe Üniversitesi, Bilgi ve Belge Yönetimi Bölümü, 06800, Beytepe Ankara
http://www.bby.hacettepe.edu.tr/akademik/zehrataskin @zehrataskin