Uygulama 5 - Çözüm: Sistem performansı

BBY Yayınlar Veri Tabanı'nda "içerik analizi" yöntemi kullanılarak hazırlanan Türkçe akademik çalışmaları aradığınızı düşünün.

a. Sistem yöneticisinden yayınlar veri tabanında belirtilen bilgi ihtiyacını karşılayan toplam 15 tane akademik çalışma olduğu bilgisini aldığınızı varsayın. En doğru taramayı yaptığınızda bunlardan kaç tanesine ulaşabiliyorsunuz?

• Sorgu sonucunda 6 yayın karşımıza geliyor. Erişim çıktısını incelediğimizde yayınların tamamının aradığımız konu ile "ilgili" olduğunu görüyoruz. Yani; erişim çıktısındaki toplam belge sayısı: 6, erişim çıktısındaki toplam "ilgili" belge sayısı: 6. (Tırnak kullanmadan arama yaparsak 88 yayın çıkıyor ve bunların yine 6 tanesi "içerik analizi" yöntemi kullanılarak yapılmış çalışmalar. Bu nedenle, bu örnekte tırnak kullanılarak yapılan aramayı dikkate alıyoruz.)

b. Sonuç listenizin etkinlik değerlendirmesini yapacak olsanız anma (recall), duyarlık (precision) ve posa (false alarm) değerlerine ait oranlar ne olur?

• Anma (Recall)= Sistem tarafından erişilen ilgili belgeler / Derlemdeki toplam ilgili belgeler
• Bu durumda anma değeri: 6 / 15 = 0,4 (Sistem, derlemdeki tüm ilgili belgelere %40 oranında erişebilmiş)
• Duyarlık (Precision)= Sistem tarafından erişilen ilgili belgeler / Sistem tarafından erişilen ilgili veya ilgisiz tüm belgeler
• Bu durumda duyarlık değeri: 6 / 6 = 1 (Sistem, erişim çıktısının tamamının ilgili belgelerden oluşması nedeniyle duyarlık açısından mükemmel bir performans sergilemiş: Duyarlık= %100)
• Posa (False alarm): Sistem tarafından erişilen fakat ilgisiz olan belgeler / Derlemde yer alan toplam ilgisiz belge sayısı
• Bu hesaplamayı yapmak için, soruda bize verilmeyen "derlemdeki tüm ilgisiz belgelerin sayısı"nı bulmamız gerekiyor. Sistem yöneticisinden, veri tabanında toplamda 934 belge olduğu bilgisini elde ettiğinizi varsayın (bazı bilgi erişim sistemlerinde sisteme boş bir sorgu gönderdiğinizde derlemdeki toplam materyal sayısını verebilir, ancak BBY Yayınlar Veri Tabanı bunu yapmıyor). Soruda bize verilen; "'içerik analizi kavramı hakkında derlemdeki toplam ilgili belge sayısı=15" bilgisini de kullanarak, derlemde aradığımız konu ile ilgiSİZ olan belge sayısının 919 olduğunu söyleyebiliriz.
• Öte yandan, posa formülünde pay kısmına yazacağımız sayı, yaptığımız aramaya ait erişim çıktısını düşünürsek 0, çünkü eriştiğimiz tüm belgeler aradığımız konu ile "ilgili". Bu durumda posa değeri zaten 0 oluyor. Yani, bu bilgi erişim sistemi, bu sorgu örneğinde, ilgisiz belgeleri erişim çıktısına karıştırmamak konusunda çok başarılı.

c.

i) Bulduğunuz değerleri, içerik analizi yöntemi kullanılmış olan herhangi bir şey okumak isteyen bir kullanıcı olarak tarama yaptığınızı düşünerek yorumlayın.

ii) Bulduğunuz değerleri, H.Ü. Bilgi ve Belge Yönetimi Bölümünde içerik analizi yöntemi kullanılarak yapılmış tüm akademik çalışmalara ulaşmak istediğinizi düşünerek yorumlayın.

• Yukarıdaki bilgiler ışığında bu soruların yanıtlarını size bırakıyorum : )