109E014
Videolarda Görüntü, Ses ve Metin Verileri
Kullanılarak Anlamsal Bilgi Çıkarımı,
Depolanması ve Sorgulanması
1001 - Araştırma Projesi
Proje Yürütücüsü İletişim Bilgileri
Prof. Dr. Adnan YAZICI
533 493 43 08
Bu proje kapsamında, videoların görüntü, ses
ve metin verileri kullanılarak anlamsal bilgilerin
otomatik olarak çıkarıldığı, uygun formatlarda
saklandığı ve daha sonra da etkin bir şekilde
sorgulanabildiği bir örnek sistem geliştirilmiştir.
Bu sistem sayesinde, depolanan çok sayıdaki
videonun aranılan içeriğe göre ilgili bölümlerine
çok süratli bir şekilde erişim mümkün olmaktadır.
Geliştirilen sistem, örneğin video arşivlerinde,
ilgili video veya video bölümlerine erişimde büyük
kolaylık sağlayabilecektir.
Videolardan Anlamsal
Bilgilerin Elde Edilmesi ve
Hızlı Erişim
Orta Doğu Teknik Üniversitesi
Prof. Dr. Adnan YAZICI
Doç. Dr. Murat KOYUNCU
Yrd. Doç. Dr. Mustafa SERT
Günümüzde videoların içeriğinde saklı olan anlamsal bilgilerin çıkartılması
ve işlenmesi birçok uygulama alanı açısından önemi her geçen gün artan bir
gereksinimhaline gelmiştir. Anlamsal bilgiden kastedilen, videonun içinde yer alan
nesneler, nesneler arasındaki ilişkiler, nesnelerin dahil olduğu olaylar gibi videoyu
izleyenler açısından anlam ifade eden verilerdir. Videolar, dosya ismi, kayıt tarihi,
dosya boyutu gibi bilgilerle depolanırken bu bilgiler videonun anlamsal içeriği
hakkında pek az bilgi vermektedir. Bu konudaki gereksinimi karşılamak amacıyla
bugüne kadar yapılan bilimsel çalışmalar henüz yeterli seviyede uygulanabilir
çözümler üretilebilmiş değildir.
Bu projede, videoların görüntü, ses ve metin verileri kullanılarak (multi-modal)
anlamsal bilgilerin otomatik olarak çıkarıldığı ve işlendiği, uygun formatlarda
saklandığı ve daha sonra da etkin bir şekilde sorgulanabildiği bir örnek sistem
geliştirilmiştir. Sisteme yüklenen bir videodan öncelikle görüntü, ses ve metin
verileri elde edilmektedir. Elde edilen görüntü, ses ve metin verileri, ayrı ayrı
işlenerek videonun içerdiği anlamsal içerikler çıkarılmayaçalışılmaktadır. Ardından,
ayrı ayrı elde edilen bilgilerin bütünleştirilmesi, eksiklerinin tamamlanması,
dublikasyonlarının temizlenmesi ve böylece veritabanına kaydetmeye hazır
bilginin elde edilmesini sağlayan bilgi füzyonu işlemi yapılmaktadır. Elde edilen
bilgiler, videoya özgün bir dizin yapısı ile indekslenerek çoklu ortam (multimedya)
veritabanı sisteminde saklanmaktadır. Bu aşamadan sonra, anlamsal içeriklere
göre yapılan sorgulamalarda ilgili video bölümlerine hızlıca erişim mümkün
olmaktadır.
Basın ve yayın kuruluşları, savunma sanayi, güvenlik sektörü, iletişim şirketleri ve
kurumları
Proje Sonuçları ile İlgili Olabilecek Sektör, Kurum ve Kuruluşlar
Projenin Amacı ve Önemi
