Üniversitelerin Alan Bazlı Yetkinlik Analizi

Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) tarafından oluşturulan ve ilki 2016 yılında yayınlanan “Üniversitelerin Alan Bazlı Yetkinlik Analizi” çalışması yeni dönem verileri ile güncellenerek yayınlanmıştır.

“Üniversitelerin Alan Bazlı Yetkinlik Analizi” çalışmasının amacı, üniversitelerin araştırma alanları bazında performanslarının birbirlerine karşılaştırmalı olarak değerlendirilebilmesini sağlamaktır. Ayrıca, bir üniversitenin kendi bünyesinde araştırma faaliyeti yürüttüğü tüm araştırma alanlarından hangilerinde; görece daha yetkin olduğunun analiz edilebilmesine imkan tanımaktadır. Bu bağlamda  ulusal politikaların, bölgesel planların, kurumsal stratejilerin belirlenmesi gibi çeşitli kritik süreçlerde veriye dayalı karar alma mekanizmalarının desteklenmesine yönelik gerçekleştirilmiştir.

Çalışmada 132 alt araştırma alanı temelinde hesaplamalar yapılmış ve grafik çizilmesi için yeterli minimum veri sayısına sahip 130 alt araştırma alanına ait grafikler hazırlanmıştır. Analize tabi tutulacak araştırma alanları, önceki çalışmada kullanılan alan sınıflaması üzerinden TÜBİTAK danışma ve grup yürütme kurulu ile araştırma merkez ve enstitülerinden yetkin uzmanların değerlendirmeleri; “All Science Journal Classification”(ASJC) sınıflandırması; ülkemizin çeşitli politika belgelerinde yer bulan güncel ülke ihtiyaçları ve güvenliği açısından kritik alanlar ile üniversitelerin eğitim alanları dikkate alınarak oluşturulmuştur.

Üniversite yetkinlik analizi, hacim ve kalite göstergeleri temelinde gerçekleştirilmiş olup; 2021 yılında yayınlanan çalışmayla aynı olacak şekilde kalite göstergeleri %60, hacim göstergeleri ise %40 ağırlığa sahiptir. Mevcut analizde kullanılan göstergeler bir önceki çalışmada kullanılan göstergeler ile hem ağırlık hem nitelik olarak aynıdır. Böylece mevcut çalışma bir önceki ile kıyaslanabilir olmuştur. Çalışmada toplamda % 60 ağırlığa sahip olan 7 kalite göstergesine yer verilmiştir. Dünyaya görece bağıl atıf etkisi; üniversitenin dünya çapında en fazla atıf alan ilk %10’luk dilime girmiş yayın sayısı; akademisyenlerin araştırma verimliliği; Ar-Ge ve yenilik projelerinin niteliği; patentler tarafından atıflanmış yayın sayısı; ve uluslararası işbirlikleri ile ülkemizin/üniversitenin uluslararasılaşmasına katkısı hususlarına yönelik göstergeler kalite göstergelerini oluşturmuştur. Hacim boyutunda ise 4 göstergeye yer verilmiştir. Bunlar dünyadaki bilgi birikimine katkı, Türkiye’de o alanda akademik değer yaratan kritik kitlenin ilgili üniversitede yer alma payı, Ar-Ge ve yenilik proje hacmi, üniversitenin ilgili alandaki Türkiye’ye görece bağıl odaklanma endeksidir.

Güncel yetkinlik analizi çalışması kapsamında, yayın ve atıflarla ilişkili veriler için 2019-2021; projelere ilişkin veriler için 2019-2022 dönemi  baz alınarak; 2018 yılı ve öncesinde kurulmuş olan 200 üniversitelerimiz değerlendirmeye alınmıştır. Göstergelere ilişkin veriler, Türkiye ve dünya için ayrı ayrı Scopus veri tabanı ve SciVal programı vasıtasıyla temin edilmiştir. Proje verileri için TÜBİTAK veri tabanı kullanılmış; üniversitelerin gerek ulusal gerekse uluslararası proje verileri hesaplamalara dâhil edilmiştir. Belirlenen alanlarda verilerin çekilmesi için eşleşme sağlanan durumlarda Scopus tarafından kullanılan “All Science Journal Classification”(ASJC); diğer durumda ise anahtar kelimelerden faydalanılmıştır.

Yapılan hesaplamalar neticesinde araştırma alanları ve üniversiteler için yetkinlik seviyelerini görsel olarak sunan grafiklere raporda yer verilmiştir. Alan ve üniversiteler bazında en az 6 veriye sahip olanlar için hacim ve kalite eksenlerine sahip yetkinlik grafikleri çizilmiştir.

Yapılan hesaplamalar ve çizilen grafikler üniversitelerin yetkin oldukları alanlar hakkında objektif veriye dayalı bilgi vermekte olup çeşitli politika yapma ve karar alma süreçlerine yardımcı olması temenni edilmektedir.

Üniversitelerin alan bazında yetkinlik analizi kapsamında gerçekleştirilen çalışmalar “Yöntemin ve yetkinlik göstergelerinin belirlenmesi”, “Araştırma alanlarının ve anahtar kelimelerin belirlenmesi”, “Gösterge verilerinin çekilmesi”, “Veri analizi” ve “Yetkinlik grafik ve tablolarının çizilmesi” olarak beş ana başlıkta gruplanmaktadır. Çalışma kapsamında izlenen yöntem Şekil-1’de özetlenmekte olup yönteme ilişkin detaylar her bir başlık altında paylaşılmaktadır:

Çizilen grafiklerde yatay eksen (x ekseni) kalite göstergelerinden alınan puanı 0-60 arası değer alarak; dikey eksen (y ekseni) hacim göstergelerinden alınan puanı 0-40 arası değer alarak göstermektedir. Eksenler birbirlerini ortanca değerlerden kesmektedir. Yani yatay eksenin üzerinde yer alan veriler ortanca değerden daha yüksek hacim puanı; dikey eksenin sağında kalan veriler de ortanca değerden daha yüksek kalite puanı elde etmiştir.

Alan yetkinlik grafiklerinin okunması ve yorumlanması:

Araştırma alanları bazında üniversitelerin yetkinlik puanlarını gösteren grafiklerde her bir nokta bir üniversiteyi temsil etmektedir. Alan grafiklerinde ülkemiz üniversiteleri 11 gösterge bazında birbiriyle kıyaslanmış; her göstergede bulunan değerler en yüksek veri 100 olacak şekilde normalize edilmiştir. Hacim ve kalite göstergeleri ilgili ağırlıklarla çarpılarak hacim için 0-40 arası; kalite için ise 0-60 arası olacak şekilde kalite ve hacim puanları bulunmuş ve eksenlere aktarılmıştır. Eksenlerin kesişim noktası ilgili alt alanda yer alan üniversitelerin toplam kalite ve toplam hacim yetkinlik puanlarının ortanca değerleridir.
Eksenler birbirlerini ortaca veriden kesmekte olup yatay eksenin üzerinde yer alan veriler ortanca değerden daha yüksek hacim puanına; dikey eksenin sağında kalan veriler de ortanca değerden daha yüksek kalite puanına sahiptir. Ortanca değerler alanlar arasında farklılık göstereceği için eksenlerin kesim noktaları her grafikte farklı olmaktadır.

Örnek Alan Grafiği incelendiğinde 1. bölgede kalan D, E, F ve J üniversitelerinin hem kalite hem hacim puanlarının ortanca değerin üstünde yer aldığı görülmektedir. Özellikle F üniversitesinin hacim ve kalite puanları ile diğer üniversitelerin önüne geçtiği gözlemlenmektedir.

2. bölgede yer alan L ve C üniversiteleri hacim puanları açısından ortanca değerin üzerinde puan almıştır. Bununla birlikte L ve C üniversitelerinin kalite göstergelerinden aldığı puan ortanca değerin altında kalmaktadır.

3. bölgede bulunan A, B, G, ve H üniversiteleri hem hacim hem kalite göstergelerinde ortanca değerin altında puan almış ve diğer üniversitelerin görece gerisinde kalmışlardır. Ancak burada unutulmaması gereken nokta bu dört üniversitenin grafikte yer alan diğer üniversitelere görece performansının ortaya konulduğudur. 

4. bölgede I ve K üniversiteleri ise kalite göstergeleri açısından ortanca değerin üstüne çıkmış özellikle K üniversitesi görece yüksek değerlere ulaşmıştır. Bununla birlikte bu iki üniversite hacim göstergeleri açısından ortanca değerin altında kalmaktadır.

Üniversite yetkinlik grafiklerinin okunması ve yorumlanması:

Üniversite grafikleri üniversitelerin minimum kriterleri sağlayan alanlarının 11 gösterge bazında birbiriyle kıyaslanması yoluyla bulunan kalite ve hacim göstergeleri kullanılarak hazırlanmıştır. Alan grafiklerinde olduğu gibi üniversite grafiklerinde de her göstergede bulunan değerler en yüksek veri 100 alacak şekilde normalize edilmiştir. Hacim ve kalite göstergeleri ilgili ağırlıklarla çarpılarak hacim için 0-40 arası; kalite için ise 0-60 arası olacak şekilde kalite ve hacim puanları bulunmuş ve eksenlere aktarılmıştır.

Eksenler birbirlerini her üniversitenin kendi veri sepeti içindeki ortanca veriden kesmekte olup yatay eksenin üzerinde yer alan veriler ortanca değerden daha yüksek hacim puanına; dikey eksenin sağında kalan veriler de ortanca değerden daha yüksek kalite puanına sahiptir. Ortanca değerler üniversiteden üniversiteye farklılık göstereceği için eksenlerin kesim noktaları her grafikte farklı olmaktadır.

Örnek Üniversite Grafiği incelendiğinde 1. bölgede kalan 4, 5, 6 ve 10 no’lu alanların hem kalite hem hacim puanlarının ortanca değerin üstünde yer aldığı görülmektedir. Üniversitenin özellikle 6 no’lu alanda aldığı hacim ve kalite puanları diğer alanlarının önünde yer almaktadır. Bu üniversitenin başta 6 no’lu alan olmak üzere 4, 5, 6 ve 10 no’lu alanlarda diğer alanlara görece hem kalite hem hacim açısından daha başarılı olduğu söylenebilir.

Üniversite 2. bölgede yer alan 3 ve 12 no’lu alanlarda hacim puanları açısından ortanca değerin üzerinde puan almıştır. Bununla birlikte 3 ve 12 no’lu alanlarda kalite göstergelerinden aldığı puanlar ortanca değerin altında kalmaktadır.

Üniversite 3. bölgede bulunan 1, 2, 7 ve 8 no’lu alanlarda hem kalite hem hacim açısından ortanca değerin altında puanlar almıştır. Üniversite bu alanlarda grafikte yer alan diğer alanlara kıyasla daha düşük performans göstermiştir. 

4. bölgede yer alan 9 ve 11 no’lu alanlarda üniversitenin yaptığı yayınlar kalite açısından ortanca değerin üzerinde bir puan almakla beraber hacim puanları ortanca değerin altında kalmıştır.

Bu grafikte bölgeler bazında alanları gruplamak mümkün olmakla birlikte; alanların detaylı incelenmesinde hacim ve kalite puanları açısından da ayrı ayrı birbirlerini geçebileceği de unutulmamalıdır.  

Üniversite grafiklerinin yorumlanması esnasında dikkat edilmesi gereken bir diğer husus bu grafiklerin üniversitenin alanlarının birbiriyle kıyaslanması sonucu ortaya çıktığıdır. Örnek grafikte üniversitenin 6 no’lu alanda diğer alanlara görece kendi içinde daha yetkin görünmesi, üniversitenin o alanda Türkiye çapında da önde olacağı anlamına gelmemektedir. Üniversite grafiklerinde alanların konumu; üniversite içinde birbirleriyle kıyaslanarak oluşmaktadır. Üniversitenin belli bir alanda Türkiye çapındaki yetkinliğini görmek için alan grafiklerine bakmak ve grafikleri birlikte değerlendirmek doğru olacaktır.

Yapılan analiz çalışmasının neticesinde her bir alt alan için üniversitelerin birbirlerine görece yetkinlik sıralamaları ve her üniversite için faaliyet gösterdikleri tüm alt alanları içeren yetkinlik haritaları elde edilmiştir. Çalışma sonucu elde edilen çıktılar aşağıdaki gibi listelenebilir:

• Araştırma alanı bazında yetkinlik grafikleri: İlgili araştırma alanında faaliyet gösteren üniversitelerin alan bazında aldıkları yetkinlik puanlarının hacim ve kalite alt boyutları açısından incelenmesi ve grafik düzleminde gösterimi 
• Üniversite bazında yetkinlik grafikleri: Bir üniversitenin faaliyet gösterdiği tüm alt araştırma alanlarının; üniversitenin kendi alan sepeti içinde birbirlerine görece kıyaslanarak hacim ve kalite alt boyutları açısından incelenmesi ve grafik düzleminde gösterimi 

Grafiklerin anlamlı olması için 6 ve üzeri veriye sahip alanların ve üniversitelerin grafikleri hazırlanmıştır

Yöntemin ve Yetkinlik Göstergelerinin Belirlenmesi

Üniversite yetkinlik analizi, hacim ve kalite göstergeleri temelinde gerçekleştirilmiş olup; kalite göstergeleri %60, hacim göstergeleri ise %40 ağırlığa sahiptir. Bu kapsamda, yayınların dünyaya görece bağıl atıf etkisi; üniversitenin dünya çapında en fazla atıf alan ilk %10’luk dilime girmiş yayın sayısı; akademisyenlerin araştırma verimliliği; Ar-Ge ve yenilik projelerinin niteliği; patentler tarafından atıflanmış yayın sayısı; ve uluslararası işbirlikleri ile ülkemizin/üniversitenin uluslararasılaşmasına katkısı hususlarına yönelik göstergeler kalite göstergeleri olarak çalışmada yer almıştır.  Hacim boyutunda ise 4 göstergeye yer verilmiştir. Bunlar dünyadaki bilgi birikimine katkı, Türkiye’de o alanda akademik değer yaratan kritik kitlenin ilgili üniversitede yer alma payı, Ar-Ge ve yenilik proje hacmi, üniversitenin ilgili alandaki Türkiye’ye görece bağıl odaklanma endeksidir. 
Kullanılan göstergeler aşağıdaki tabloda açıklanmaktadır.

Gösterge Verilerinin Çekilmesi

Analizde kullanılmak üzere 132 alt araştırma alanı için ayrı ayrı olacak şekilde ve 200 üniversite için alt araştırma alanı bazında
•    dünya yayın sayıları,
•    dünya yayınlarına ait atıf sayıları, 
•    Türkiye yayın sayıları, 
•    Türkiye yayınlarına ait atıf sayıları, 
•    üniversite yayın sayıları, 
•    üniversite yayınlarına ait atıf sayıları,
•    üniversitelerde yayın yapmış olan akademisyen sayıları, 
•    üniversitelerin atıf açısından dünyada en fazla atıf alan ilk %10’luk dilime girmiş yayın sayıları, 
•    Türkiye ve üniversitelerin uluslararası işbirlikli yayın sayısı
•    üniversitelerin patentler tarafından atıf yapılmış yayın sayıları 
•    üniversite bazında TÜBİTAK projelerinin bütçe ve sayılarına
 

ilişkin ham veriler yayın ve atıf tabanlı veriler için 2019-2021; proje tabanlı göstergeler için 2019-2022 yıllarını kapsayacak şekilde her yıl için ayrı ayrı elde edilmiştir. TÜBİTAK proje verileri için kurum içi veritabanından faydalanılmış olup diğer veriler için Scopus ve SciVal programları kullanılmıştır.

2023 yılı Üniversitelerin Alan Bazlı Yetkinlik Analizi çalışmasında analiz edilecek alanlar tespit edilirken çalışmanın devamlılığı açısından 2020 yılı çalışmasında kullanılan alan sınıflaması değerlendirilmiş; daha sonra dünyadaki güncel eğilimler, ülkemiz politika ve stratejileri, TÜBİTAK danışma ve grup yürütme kurulu ile araştırma merkez ve enstitülerinden yetkin uzmanların değerlendirmeleri, “All Science Journal Classification”(ASJC) sınıflandırması ve üniversitelerimizin eğitim alanları dikkate alınmıştır. Bu bakış açısıyla 21 ana araştırma alanı ve bunların altında 132 alt araştırma alanı belirlenmiştir.

Çalışma kapsamında analiz edilen ana ve alt alan listesi aşağıdaki tabloda verilmektedir:

Bu alana ilişkin veriler çalışma kapsamında yer almış ancak alan özelinde hesaplanan veri sayısı altıdan az olduğu için alan grafiği çizilmemiştir. Ekran Teknolojileri alanında hesaplamaya dâhil edilecek verilere sahip üniversitelerimiz Düzce Üniversitesi, İstanbul Teknik Üniversitesi, Koç Üniversitesi, Muş Alparslan Üniversitesi ve Yıldız Teknik Üniversitesi olmuştur.

Bu alana ilişkin veriler çalışma kapsamında yer almış ancak alan özelinde hesaplanan veri sayısı altıdan az olduğu için alan grafiği çizilmemiştir. Enerji Sistemleri Yakıt-Yanma alanında hesaplamaya dâhil edilecek verilere sahip üniversitelerimiz Bilecik Şeyh Edebali Üniversitesi, İskenderun Teknik Üniversitesi ve Isparta Uygulamalı Bilimler Üniversitesi olmuştur.

Verilerin elde edilmesini takiben analizlerde sağlıklı sonuçlar almak amacıyla yayın ve akademisyen sayısı ile ilgili alt sınırlar uygulanmış ve sınırı aşamayan veri setleri analize dahil edilmemiştir. Alanlar ve üniversiteler için hesaplama yapılırken ilgili alanda bir üniversitenin en az 3 yayını ve 3 yazarı olması kısıtlaması uygulanmıştır. Yayın sayısının 3.000’in üzerinde olduğu alanlarda bu kural ilgili alanda Türkiye’den yapılan yayınların en az % 0,1’i kadar olması şartı aranmıştır. Enerji Sistemleri Yakıt-Yanma ve Ekran Teknolojileri alanlarında 3 yayın ve 3 yazar kuralını sağlayan üniversite sayısı alt değer olan 6’nın altında olmuştur. Bu nedenle bu alanlarda analiz grafikleri çizilmemiştir.

Akabinde her alan için tablolar oluşturulmuş uç değerler (outlier), basıklık (kurtosis) ve çarpıklık (skewness) dikkate alınarak her gösterge bazında üniversitelerin alacağı puanlar standardize edilerek hesaplanmıştır. Üniversitelerin gösterge bazında aldıkları puanlar göstergenin ağırlığıyla çarpılarak her alt alan için üniversite bazında yetkinlik puanları hesaplanmıştır.

Alt limitlerin uygulanması sonucunda elde edilen verilerden dördü hacim, yedisi kalite olmak üzere toplam 11 analiz göstergesi hesaplanmıştır. Analiz kapsamında üniversitelerin alt araştırma alanları bazında aldıkları toplam yetkinlik puanlarının incelenmesinin yanı sıra bu yetkinlik puanlarının hacimsel ve kalite alt boyutlarındaki yansımaları da ayrı olarak ele alınmıştır.