Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Technique

Makale Türü: Araştırma Makalesi Makale Gönderilme Tarihi: 9.08.2024

Kabul Tarihi: 25.10.2024

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi

Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet's Uveitis

0009-0005-6820-7707

0000-0002-4263-8286

0000-0001-6236-7252

Dilek Karadeli1 , Yavuz Türkay2 Ayşe Vural Özeç3

1Elektrik-Elektronik Mühendisliği Bölümü, Sivas Cumhuriyet Üniversitesi, Sivas

[email protected],

2Elektrik-Elektronik Mühendisliği Bölümü Sivas Cumhuriyet Üniversitesi, Sivas

[email protected]

3Göz Hastalıkları Anabilim Dalı-.Sivas Cumhuriyet Üniversitesi, Sivas

[email protected]

Öz

Behçet hastalığı, ağız ülserleri, genital ülserler ve göz

iltihapları (üveit) gibi çeşitli semptomlarla kendini gösteren,

kronik ve tekrarlayıcı bir sistemik inflamatuvar hastalıktır.

Özellikle gözde gelişen üveit türü, retina ve damarları

etkileyerek kalıcı görme kaybına neden olabilmektedir. Bu

nedenle, hastalığın erken teşhisi ve doğru tedavi

yöntemlerinin belirlenmesi hayati önem taşımaktadır. Ancak,

bu hastalığın tanısında spesifik bir laboratuvar testinin

olmaması ve semptomlarının diğer hastalıklarla benzerlik

göstermesi, tanı sürecini karmaşık hale getirmektedir. Bu

bağlamda, gerçekleştirilen bu çalışmada, üveit tanısı almış

hastaların Behçet üveiti olup olmadığını belirlemek amacıyla

makine öğrenmesine (MÖ) dayalı bir karar destek sistemi

önerilmiştir. Önerilen sistemde beş farklı makine öğrenme

(MÖ) algoritmasının sınıflandırma başarımları on farklı

örnekleme tekniği kullanılarak kıyaslanmıştır. Sınıflandırma

işleminde eğitim ve test aşamasında kullanılacak olan veriler

80:20, 70:30, 60:40 ve 50:50 olmak üzere farklı oranlarda

bölünmüştür.

Algoritmaların

başarımlarının

karşılaştırılmasında veri setindeki tüm özellikleri

kullanılarak doğruluk, duyarlılık, kesinlik ve F1 skoru başarı

ölçütleri hesaplanmıştır. Yapılan analizlerde veri setinin

bölünme oranının sınıflandırma başarısını etkilediği

görülmüştür. En yüksek başarım %87 ile veri setinin 70/30

oranında bölünmesi durumunda Near Miss az örnekleme

tekniği uygulanan Bagging sınıflandırma algoritması için

elde edilmiştir. Yapılan analizler sonucunda, veri setinin

bölünme oranı, kullanılan sınıflandırma algoritması ve

örnekleme tekniklerinin uygulanmasının model başarımını

önemli ölçüde etkilediği gösterilmiştir. Bu çalışma, Behçet

hastalığının üveit tanısında MÖ tabanlı yaklaşımların etkinliğini ve bu tekniklerin klinik uygulamalarda potansiyelini vurgulamaktadır. Gelecekteki çalışmalar, daha büyük ve çeşitli veri setleri üzerinde yapılarak bu bulguların genelleştirilmesi üzerinde durulması planlanmaktadır. Anahtar Kelimeler: Behçet üveit, karar destek sistemi, sınıflandırma, örnekleme teknikleri Abstract Behçet's disease is a chronic and recurrent systemic inflammatory disease that manifests itself with various symptoms such as mouth ulcers, genital ulcers and eye inflammation (uveitis). Especially the type of uveitis that develops in the eye can affect the retina and blood vessels and cause permanent vision loss. Therefore, early diagnosis of the disease and determination of the correct treatment methods are of vital importance. However, the lack of a specific laboratory test for the diagnosis of this disease and the similarity of its symptoms to other diseases complicate the diagnostic process. In this context, in this study, a decision support system based on machine learning (ML) was proposed to determine whether patients diagnosed with uveitis have Behçet's uveitis. In the proposed system, the classification performances of five different machine learning (ML) algorithms were compared using ten different sampling techniques. The data to be used in the training and testing stages of the classification process were divided in different ratios as 80:20, 70:30, 60:40 and 50:50. In the comparison of the algorithms' performance, accuracy, sensitivity, precision and F1 score success criteria were calculated using all the features in the data set. In the analyses, it was seen that the data set's split ratio affected the classification

success. The highest success rate was obtained with 87% for the Bagging classification algorithm, which applied the Near Miss undersampling technique when the data set was split 70/30. As a result of the analyses, it was shown that the data set's split ratio, the classification algorithm used and the application of sampling techniques significantly affected the model performance. This study emphasizes the effectiveness of ME-based approaches in the diagnosis of uveitis in Behçet's disease and the potential of these techniques in clinical applications. Future studies are planned to be conducted on larger and more diverse data sets and to focus on the generalization of these findings. Keywords: Behçet's uveitis, decision support system, classification, sampling techniques.

1. Giriş Behçet hastalığı (BH) ilk olarak 1937 yılında Prof. Dr.

Hulusi Behçet tarafından tanımlanmıştır [1]. Bu hastalık, cilt, göz, eklemler, mide-barsak sistemi ve santral sinir sistemi gibi birçok sistemi etkileyen, ataklarla seyreden kronik bir vaskülit olarak bilinmektedir [2]. Behçet hastalığının nedeni henüz tam olarak bilinmemekle birlikte, genetik faktörler, çevresel etkenler ve bağışıklık sistemi bozukluklarının hastalığın gelişimine katkı sağladığı düşünülmektedir [3]. Behçet hastalığının teşhisi genellikle fiziksel bulgulara dayanmaktadır. Ağız ülserleri, genital ülserler ve üveitler en belirgin fiziksel bulgular arasında yer almaktadır [4],[5]. BH, dünya genelinde her ırkta görülebilen bir hastalık olmasına rağmen, Akdeniz ülkeleri, Orta Asya ve Uzak Doğu ülkelerinde daha sık görülmektedir [6],[7]. Türkiye, Behçet hastalığının en yüksek insidansa sahip olduğu ülkelerden biridir [8].

Öte yandan, göz tutulumu da hastalığın önemli bir belirtisi olup, hastaların önemli bir yüzdesinde görülmektedir. Hatta bazen, hastalığın ilk belirtisi olarak da ortaya çıkabilmektedir [9],[10].

Üveit, gözün iç tabakalarındaki (uvea) iltihaplanma olarak tanımlanmakta ve tedavi edilmediği taktirde bu iltihaplanma görme kayıplarına neden olabilmektedir. Üveitin belirgin semptomları arasında göz ağrısı, kızarıklık, bulanık görme, ışığa hassasiyet, göz yangısı ve sulanması ile göz içi lezyonlar yer almaktadır [11]. Üveit, etkilediği göz bölgesine ve iltihaplanmanın şiddetine göre farklı semptomlarla farklı türlerde (ön üveit, arka üveit, diffüz üveit ve panüveit gibi) ortaya çıkmakta ve bu türler farklı tedavi

gereksinimleri gerektirmektedir. Behçet hastalığı ile ilişkilendirilen üveit genellikle posterior üveit şeklindedir. Tek taraflı başlasa da, genellikle her iki gözü de etkileyen, nongranülomatöz karakterde tekrarlayan ataklarla seyreden bir yapı sergilemektedirler [12]. Üveitin etyolojisi coğrafi bölgelere ve popülasyonlara göre değişiklik gösterebilmektedir. Bu nedenle her vaka için özel nedenlerin belirlenmesi ve uygun, etkili tedavi stratejilerinin geliştirilmesi gerekmektedir. Üveit tedavisinde başarı elde etmek için kapsamlı bir hasta öyküsünün alınması ve özel tanısal çalışmaların yapılması büyük önem taşımaktadır.

Öte yandan son dönemde tıbbi teknoloji alanında yaşanan gelişmeler karmaşık hastalıkların tanı ve tedavi süreçlerine önemli katkılar sağlamaktadır. Özellikle veri analizi ve makine öğrenmesi (MÖ) algoritmalarının tıp alanında kullanılması, hastalık sınıflandırması ve tedavi planlaması gibi konularda yeni yaklaşımların geliştirilmesine önemli bir rol oynamaktadır.

Behçet hastalığı ile ilişkili üveitin tanısı için çeşitli kriterler bulunmasına rağmen, bu kriterlerin yerel epidemiyolojik koşullara göre büyük ölçüde değişkenlik gösterdiği bilinmektedir. Bu nedenle, bireysel hastalarda hastalık olasılığını değerlendiren araçlara duyulan ihtiyaç devam etmektedir. Mevcut yöntemde hastalığın özgün bir tanısal testi olmadığından uzman hekimler çeşitli klinik bulguları bir araya getirerek hastalığın tanısını koymaktadırlar. Sistemik birçok hastalıkta veya gözün kendisi ile ilgili pek çok durumda, üveit belirtileri görülmektedir. Uzman göz hekimi tarafından bulguların doğru değerlendirilmesi büyük önem taşır. Ülkemizde her merkezde üveit polikliniği bulunmamakta ve üveit konusunda uzmanlaşmış hekim sayısı sınırlı olmaktadır. Bu çalışmamızda makine öğrenmesi yöntemlerinden yararlanılarak karar destek sistem tasarımı ile periferde çalışan ve kısıtlı imkânlarla tanı koymaya çalışan göz doktorlarının hastalık tanısına destek sağlamak ve minimum zaman ve çabayla doğru tanıya ulaşmalarına yardımcı olmak amaçlanmıştır. Bu bağlamda, gerçekleştirilen bu çalışmada ülkemizde yüksek insidansa sahip BH bağlı üveit teşhisine yönelik makine öğrenmesi (MÖ) temelli bir karar destek sistemi önerilmiştir. Önerilen sistemde farklı MÖ algoritmalarının başarımları farklı örnekleme teknikleri kullanılarak irdelenmiştir.

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet’s Uveitis Dilek Karadeli, Yavuz Türkay, Ayşe Vural Özeç

2. Materyal-Metot Bu bölümde, BH bağlı üveit teşhisine yönelik önerilen MÖ temelli karar destek sisteminde kullanılan veri seti, özellik çıkarımı, yeniden örnekleme teknikleri ile kullanılan MÖ algoritmaları açıklanmıştır. Önerilen karar destek sisteminin blok diyagramı Şekil 1’de verilmiştir.

Şekil 1. Önerilen sistemin blok diyagramı

2.1. Veri Seti Bu çalışmada, Aralık 2023 ile Mart 2024 tarihleri arasında Sivas Cumhuriyet Üniversitesi Hastanesi Göz Anabilim Dalı’na başvuran ve yaşları 15 ila 80 arasında değişen 100 bireye (katılımcıya) ait veriler kullanılmıştır.

İlgili veri seti, hastaların uzman hekimler tarafından gerçekleştirilen oftalmolojik muayene sonuçları, takip sırasında çekilen floresan anjiyografik (FA) bulguları ve hasta bilgilerinden oluşturulmuştur. Çalışma, Sivas Cumhuriyet Üniversitesi Tıp Fakültesi Etik Kurulu onayıyla başlatılmış olup, veri seti Uluslararası Behçet Hastalığı Çalışma Grubu (SUN)’nun yönergeleri ile ölçüm yapılan poliklinik koşulları göz önünde bulundurularak düzenlenmiştir. Buna göre düzenlenen veri seti 13 özellik içermektedir (Tablo 1). Veri setindeki klinik veriler, üveiti sınıflandırmak için yaygın olarak kullanılan kriterlere göre toplanmıştır. İnflamasyonun yeri, seyri, lateralitesi, keratik presite şekli, yaş, cinsiyet, ön kamaradaki hücre ve iris değerlendirmeleri ile intraoküler basınç ve retina muayeneleri gibi belirtiler kaydedilmiştir. Tüm klinik veriler anamnez ve fizik muayene sırasında elde edilmiştir. İnflamasyonun primer yeri, şiddeti ve seyri IUSG tarafından belirlenen kriterlerine göre tanımlanmıştır. Bu bağlamda, ilgili veri seti 50'si BH bağlı üveit tanılı katılımcıyı, 50'si ise farklı hastalık belirtilerine sahip üveit hastasını içermektedir.

Tablo 1. Behçet hastalığı ile ilişkili üveit veri seti özellikleri

Nitelik Nitelik Adı

Cinsiyet

Yaş/Tanı konulma yaşı

Üveit Seyri

Laterality

Keratik Presipite

Değer Aralığı

Kadın/Erkek 15-80 Akut monofazik Akut tekrarlayan Kronik Belirsiz Tek taraflı Tek taraflı/değişken Çift taraflı Yok İyi/ince Yuvarlak Diğer

Veri Türü Nominal Numerik Nominal

Ön Kamarada Hücre

1/2 +

1+

2+

3+

4+

Hipopyon

İris

Normal

Arka sineşi

Sektörel ı̇ rı̇ s atrofı̇ sı̇

Düzensiz iris atrofi

Yaygın İris atrofisi

Heterokromi

IOP, (İntra Oküler Basınç)-Glokom

Vitreusta inflamatuar hücre,

Retinal Vasküler Hastalık, Tıkayıcı Vaskülit Veya Sızıntı %

Retinada Fokal Beyaz İnfiltratlar %

Anatomik Üveit Sınıfı %

Sadece ön kısım

Ön ve orta kısım

Sadece arka

Panüveitis

Nominal Nominal

Nominal Nominal Nominal Nominal Nominal

2.2 Yeniden Örnekleme Teknikleri Yeniden örnekleme teknikleri, veri bilimi ve MÖ alanında yaygın olarak kullanılan ve veri setlerinin dengesiz dağılımından kaynaklanan problemleri gidermede kritik bir rol oynayan önemli bir veri işleme yöntemidir. Özellikle sınıf dengesizliği olan problemlerde performansı artırmak ve modelin genelleme yeteneğini iyileştirmek için kullanılan bu teknikler, mevcut veri setinin dengesizliği veya örnek sayısının yetersizliği gibi sorunları ele almaktadır. Veri setindeki sınıf dengesizliğini veya örnek sayısındaki farklılıkları düzenleyerek, analizlerin ve modelleme süreçlerinin daha güvenilir sonuçlar vermesini sağlayan yeniden örnekleme teknikleri genellikle aşırı örnekleme (oversampling) ve azaltılmış örnekleme (undersampling) olmak üzere iki ana kategoriye ayrılmaktadır. Aşırı örnekleme yöntemleri, azınlık sınıfındaki örnekleri çoğaltarak veri setindeki sınıf dengesizliğini gidermeyi amaçlarken, azaltılmış örnekleme yöntemleri ise çoğunluk sınıfındaki örnekleri azaltarak ya da azınlık sınıfından örnekleri kaldırarak veri setini dengelemeye çalışmaktadır [13]-[14]. Bu teknikler, veri setinin doğruluğunu artırırken aynı zamanda modelin genelleme yeteneğini de iyileştirebilmektedir. Bu bağlamda gerçekleştirilen çalışmada

10 farklı yeniden örnekleme tekniği kullanılarak 5 farklı MÖ algoritmasının başarımları incelenmiştir. 2.3 MÖ Algoritmaları Sınıflandırma problemlerindeki temel hedef, veri setindeki özelliklerin ve ilişkilerin analiz edilmesi yoluyla yeni veri noktalarının doğru sınıfa atamaktır. Bu süreçte, veri setinin özelliklerine ve problemin gereksinimlerine göre farklı sınıflandırma algoritmaları seçilmektedir. Algoritmaların seçimi, modelin performansını etkileyen kritik bir faktör olup, doğruluğu değerlendirmek için uygun metriklerin kullanılması önem arz etmektedir. Bu bağlamda gerçekleştirilen çalışmada rasgele orman (RO), adaptif arttırma (AdaBoost, Adaptive Boosting), gradyan arttırma (Gradient Boosting, GB), aşırı gradyan arttırma (Extreme Gradient Boosting, XGBoost) ve Bagging algoritmalarının BH bağlı üveitin sınıflandırılmasındaki performansları irdelenmiştir. Algoritmaların temel özelliklerine ve çalışma prensiplerine Tablo 2’de yer verilmiştir.

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet’s Uveitis Dilek Karadeli, Yavuz Türkay, Ayşe Vural Özeç

Tablo 2. MÖ Algoritmaları

Algoritmalar RO

GB

XGBoost Bagging (Torbalama)

Temel Prensipleri RO birden fazla karar ağacının oluşturduğu topluluk modelidir. Bu algoritma, rastgele seçilen örnekler ve özelliklerle eğitilen birçok KA kullanarak sınıflandırma yapmaktadır. Bu algoritmanın avantajları arasında genellikle daha yüksek doğruluk sağlaması ve aşırı uyum riskini azaltması bulunmaktadır. Ancak, eğitim süresi ve hesaplama maliyeti daha yüksektir ve yorumlaması daha zordur. Bu nedenle, karmaşık veri kümelerinde daha yüksek doğruluk gerektiren uygulamalarda ve aşırı uyumun azaltılması gereken durumlarda tercih edilmektedir [15]-[16]. Adaboost algoritması, zayıf öğrenicileri bir araya getirerek güçlü bir sınıflandırıcı oluşturan bir topluluk öğrenme algoritmasıdır. Her öğreniciyi hatalarına göre ağırlıklandırarak eğitmekte ve sonuçları birleştirerek nihai tahmini yapmaktadır. Bu algoritmanın avantajları arasında yüksek doğruluk, genellikle aşırı uyum riskini azaltması ve çeşitli veri setleri üzerinde etkili performans göstermesi yer almaktadır. Ancak, veri setindeki gürültüye ve aykırı değerlere hassasiyeti bulunmaktadır [17]. GB, tahmin hatalarını minimize etmek için ardışık olarak zayıf öğreniciler (genellikle karar ağaçları) inşa eden bir MÖ algoritmasıdır. Her bir ağaç, önceki ağaçların hatalarını düzeltmeyi amaçlamakta ve bu süreç modelin doğruluğunu artırırken overfitting riskini de azaltmaktadır. Her iterasyonda modelin hatalarını minimize etmek için gradyan inişi kullanması, GB'yi esnek ve güçlü bir yöntem haline getirmektedir [18]. GB'nin daha gelişmiş bir versiyonudur ve performans, hız ve modelin genelleme yeteneği açısından iyileştirmeler sunmaktadır. Paralel işlemeyle hesaplama verimliliğini artıran bu algoritma, eksik verilerle başa çıkabilme ve özel optimize edilmiş öğrenme hızı gibi ek özelliklere sahiptir [19]. Bagging, birden fazla modelin tahminlerini birleştirerek genel doğruluğu artıran bir topluluk algoritmasıdır. Algoritma, veri setinin alt kümelerini oluşturmak için bootstrap yöntemini kullanmaktadır. Her alt küme üzerinde ayrı bir model eğitilmekte ve bu modellerin tahminleri birleştirilerek ortalaması alınmakta veya en çok oy alan sınıf seçilmektedir. Bu süreç, overfitting riskini azaltmakta ve genel olarak modelin doğruluğunu artırmaktadır [20].

2.4 Başarı Ölçütleri

olarak değerlendirmek ve problem bağlamına göre uygun

Başarı ölçütleri, bir sistemin performansını değerlendirmek metrikleri seçmek için kullanılmaktadır [21].Gerçekleştirilen

için kullanılan kritik metriklerdir. MÖ ve benzeri alanlarda, çalışma kapsamında kullanılan ölçütler tanımları ve

başarı ölçütleri genellikle modelin doğruluğu, hassasiyeti, formülleri Tablo 3'te sunulmuştur. Burada DP, DN, YP ve

hatırlama (recall), F1 skoru gibi performans metriklerini YN sırasıyla gerçek pozitif, yanlış negatif, yanlış pozitif ve

içermektedir. Bu ölçütler, bir modelin performansını nesnel gerçek negatif örnekleri temsil etmektedir.

Tablo 3. Başarı ölçütleri ve tanımlamaları.

Metrik Adı Formülü

Doğruluk

???????????????????????? + ???????????????????????? ???????????????????????? + ???????????????????????? + ???????????? + ????????????

Tanımı

Tüm doğru sınıflandırılan örneklerin toplam örnek sayısına oranını ifade etmektedir.

Duyarlılık

???????????????????????? ???????????? + ????????????????????????

Kesinlik F-Skor

???????????????????????? ???????????? + ???????????????????????? ???????????? ???????????? ???????????????????????????????????????????????????????????????????????????????????????????????? ???????????? ???????????????????????????????????????????????????????????????????????????????????????????????? ???????????????????????????????????????????????????????????????????????????????????????????????? + ????????????????????????????????????????????????????????????????????????????????????????????????

Kesinlik ve duyarlılık değerlerinin harmonik ortalaması olup, ikisi arasındaki dengeyi göstermektedir.

3. Deneysel Sonuçlar Gerçekleştirilen çalışmada, BH bağlı üveit hastalığının sınıflandırılmasında MÖ algoritmalarının başarımları farklı örnekleme teknikleri kullanılarak analiz edilmiştir. Bu amaç doğrultusunda, Sivas Cumhuriyet Üniversitesi Göz Anabilim Dalı'na başvuran ve yaşları 15 ila 80 arasında değişen 100 bireye ait veriler kullanılmıştır. Veri seti, eğitim ve test verisi olarak rasgele farklı oranlarda (80:20, 70:30, 60:40 ve 50:50) bölünmüştür. Daha sonra

her bir durum için örnekleme tekniklerine göre MÖ algoritmalarının performansları doğruluk metriği açısından karşılaştırılmıştır. Bunun yanı sıra en yüksek başarımın elde edildiği MÖ algoritmaları için F-skor, duyarlılık ve kesinlik metrikleri de analiz edilmiştir. Buna göre Tablo 4’de 80:20 eğitim ve test olarak ayrıştırılan veri setine farklı örnekleme tekniklerinin uygulanması durumunda sınıflandırma algoritmaları için elde edilen doğruluk değerleri verilmiştir.

Tablo 4. 80:20 Oranında Bölünen Veri Seti İçin Örnekleme Tekniğine Göre MÖ Algoritmalarının Doğruluk Oranları

Bagging Adaboost

Örneklemesiz Fazla Örnekleme Az Örnekleme

SMOTE RandomOverSampler Bonderlinesmote SVMSMOTE AIIKNN InstanceHardnessThreshold NearMiss NeighbourhoodCleaningRule OneSidedSelection RandomUnderSampler

0,80 0,75 0,75 0,75 0,70 0,75 0,75 0,75 0,75 0,80

Tablo 4'te sunulan sonuçlara göre, veri seti %80 eğitim ve %20 test olarak bölündüğünde elde edilen doğruluk değerleri, kullanılan örnekleme tekniklerine ve MÖ algoritmalarına bağlı olarak önemli farklılıklar göstermektedir. Örnekleme yapılmamış (orijinal) veri setinde en yüksek performansı %80 doğruluk oranıyla Adaboost, XGBoost ve RO algoritmaları sergilemiştir. Fazla örnekleme tekniklerinden SMOTE uygulanan veri seti için en yüksek sınıflandırma başarımı (%80) Adaboost ve RO algoritmalarında elde edilirken, Bonderlinesmote uygulanan Adaboost algoritması da benzer bir performans sergilemiştir. RandomOverSampler kullanan GB ve RO algoritmaları için doğruluk oranları %75 olarak hesaplanırken, SVMSMOTE kullanılması durumunda ise Bagging algoritması dışındaki diğer algoritmalar için aynı başarı oranı elde edilmiştir. Az örnekleme tekniklerinin

uygulanması durumunda en yüksek doğruluk değeri %85 ile RandomUnderSampler kullanan Adaboost ve XGBoost algoritmaları için elde edilmiştir. AIIKNN ve InstanceHardnessThreshold tekniklerinde XGBoost ve RO algoritmalarında en yüksek doğruluk oranları elde edilmiştir. Bu oranlar AIIKNN tekniği için %70 iken InstanceHardnessThreshold tekniği için %75’dir. NearMiss ve NeighbourhoodCleaningRule teknikleri için en yüksek doğruluk değeri %75 ile RO algoritmasından elde edilmiştir. OneSidedSelection tekniğinde ise Bagging algoritmasında %80 oranında en yüksek doğruluk değerine ulaşılmıştır. Tablo 5’de veri setinin 70:30 oranında eğitim ve test için ayrıştırılması durumunda, farklı örnekleme teknikleri uygulanan sınıflandırma algoritmaları için doğruluk oranları gösterilmiştir.

Tablo 5. 70:30 Oranında Bölünen Veri Seti İçin Örnekleme Tekniğine Göre MÖ Algoritmalarının Doğruluk Oranları

Bagging

0,77 0,80

0,77 0,77 0,80 0,73 0,80

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet’s Uveitis Dilek Karadeli, Yavuz Türkay, Ayşe Vural Özeç

0,87

Tablo 5'te sunulan sonuçlara göre, 70:30 oranında ayrılan veri setinde örnekleme yapılmadığında XGBoost algoritması ile %80 doğruluk oranına ulaşılmıştır. Aynı başarı düzeyi; SMOTE kullanıldığında XGBoost ve RO, Bonderlinesmote kullanıldığında XGBoost, SVMSMOTE kullanıldığında Adaboost, XGBoost ve RO, InstanceHardnessThreshold kullanıldığında ise XGBoost ve RO algoritmalarında elde edilmiştir. RandomOverSampler tekniği XGboost algortimasında kullanılması durumunda ise en yüksek doğruluk oranı %83 olarak hesaplanmıştır. AIIKNN az örnekleme tekniği uygulanan veri setinde en yüksek doğruluk değeri (%73) Adaboost, XGBoost ve RO algoritmaları için elde edilmiştir. NeighbourhoodCleaningRule ve

OneSidedSelection teknikleri uygulanması durumlarında RO algoritması için %77 olarak elde edilen en yüksek doğruluk değeri, RandomUnderSample tekniği uygulanması durumunda XGBoost algoritmasıyla %83’e çıkmıştır. Near Miss az örnekleme tekniği uygulandığında Bagging algoritması için %87 ile en yüksek doğruluk oranı elde edilmiştir, bu sonuç tüm algoritmalar ve örnekleme teknikleri arasında öne çıkmaktadır. Tablo 6'da, veri setinin eğitim ve test için 70:30 oranında ayrıştırıldığı durumda, çeşitli örnekleme teknikleriyle uygulanan sınıflandırma algoritmalarının doğruluk oranları sunulmuştur.

Tablo 6. 60:40 Oranında Bölünen Veri Seti İçin Örnekleme Tekniğine Göre MÖ Algoritmalarının Doğruluk Oranları

Örnekleme Örneklemesiz Fazla Örnekleme

Kullanılan Teknik SMOTE RandomOverSampler Bonderlinesmote SVMSMOTE AIIKNN InstanceHardnessThreshold NearMiss NeighbourhoodCleaningRule OneSidedSelection RandomUnderSampler

Bagging 0,68 0,70 0,60 0,60 0,63 0,65 0,75 0,73 0,58 0,70 0,70

Adaboost 0,58 0,58 0,58 0,60 0,60 0,55 0,58 0,55 0,55 0,50 0,58

GB 0,60 0,55 0,58 0,65 0,60 0,58 0,63 0,58 0,55 0,43 0,63

XGBoost 0,65 0,65 0,63 0,63 0,70 0,60 0,63 0,70 0,63 0,55 0,65

0,68 0,65 0,63 0,78 0,68 0,70 0,73 0,70 0,68 0,80 0,70

Tablo 6’da yer alan sonuçlara göre veri setinin 60:40 oranında ayrıştırıldığında örnekleme tekniğinin kullanılmadığı için en yüksek doğruluk oranı %80 ile Bagging ve RO algoritmalarından elde edilmiştir. SMOTE tekniği kullanıldığında Bagging, SVMSMOTE tekniği kullanıldığında XGBoost algoritmasında, AIIKNN tekniği kullanıldığında RO algoritmasında ve RandomUnderSampler tekniği kullanıldığında ise Bagging ve RO algoritmalarında en yüksek doğruluk oranı %70 olarak hesaplanmıştır. RandomOver Sampler tekniğinde XGBoost ve RO algoritmalarıyla %63 olarak en yüksek doğruluk oranı elde edilirken, Bonderlinesmote tekniğinde bu oran RO

algoritmasıyla

%78’e

yükselmiştir.

InstanceHardnessThreshold ve NearMiss tekniklerinde

Bagging algoritmasıyla en yüksek doğruluk oranları sırasıyla

%75 ve %73 olarak elde edilmiştir. Son olarak

NeighbourhoodCleaningRule ve OneSidedSelection

teknikleri kullanılması durumunda bu oran RO algoritmasıyla

sırasıyla %68 ve %80 olarak hesaplanmıştır.

Tablo 7’de veri setinin 50:50 oranında eğitim ve test için ayrıştırılması durumunda, çeşitli örnekleme teknikleri ve sınıflandırma algoritmaları için doğruluk oranları yer almaktadır.

Tablo 7. 50:50 Oranında Bölünen Veri Seti İçin Örnekleme Tekniğine Göre MÖ Algoritmalarının Doğruluk Oranları

Bagging Adaboost GB XGBoost RO

0,50

0,44

Tablo 7’deki sonuçlar göz önüne alındığında veri setinin

50:50 oranında test ve eğitim için bölünmesi halinde

örneklemenin olmadığı ve Bonderlinesmote tekniğinin

uygulanması durumlarında RO algoritmasıyla %68 ile en

yüksek doğruluk oranı elde edilmiştir. SMOTE tekniği

kullanılması durumunda Bagging ve RO algoritmalarında,

RandomOverSampler ve SVMSMOTE teknikleri

kullanılması durumunda Bagging algoritmasında ve

NeighbourhoodCleaningRule tekniği kullanılması

durumunda RO algoritmasından en yüksek doğruluk oranı

%70 olarak hesaplanmıştır. AIIKNN tekniğinde XGBoost ve

NearMiss ile RandomUnderSampler tekniklerinde Bagging

algoritması kullanılarak %72 ile en yüksek doğruluk oranına

ulaşılmıştır.

InstanceHardnessThreshold

ve

OneSidedSelection tekniklerinde RO algoritmasıyla %76 ile

en yüksek doğruluk elde edilmiştir.

Elde edilen tüm sonuçlar değerlendirildiğinde veri setinin

80:20 oranında ayrıştırılması durumunda en yüksek doğruluk

oranına (%85) az örnekleme yöntemlerinden

RandomUnderSampler tekniği ile Adaboost ve XGboost

algoritmalarında ulaşılmıştır. Diğer teknikler genellikle daha düşük doğruluk oranları sergilemiştir. Eğitim ve test için ayrıştırma oranının 70:30 olması durumunda NearMiss tekniğinin kullanıldığı Bagging algoritmasıyla en yüksek doğruluk değeri (%87) elde edilmiştir. NeighbourhoodCleaningRule tekniğiyle Bagging algoritması kullanılarak elde edilen doğruluk oranı (%60), en düşük değer olarak kaydedilmiştir. Veri setinin 60:40 oranında ayrıştırılması durumunda Bonderlinesmote tekniğinin kullanıldığı RO algoritmasıyla en yüksek doğruluk değeri (%78) elde edilmiştir. Bunun yanı sıra OneSidedSelection tekniğiyle GB algoritması kullanılarak en düşük doğruluk oranı (%43) hesaplanmıştır. Son olarak 50:50 oranı göz önüne alınarak ayrıştırılan veri seti için ise en yüksek doğruluk oranı (%76) InstanceHardnessThreshold veya OneSidedSelection tekniğinin kullanıldığı RO algoritmasıyla elde edilirken, en düşük doğruluk oranı (%44) RandomUnderSampler tekniğinin kullanıldığı Adaboost algoritmasından elde edilmiştir. En yüksek doğruluk değerleri veren modeller için F-skor, duyarlılık ve kesinlik metrikleri Şekil 2’de verilmiştir.

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet’s Uveitis Dilek Karadeli, Yavuz Türkay, Ayşe Vural Özeç

Şekil 2. Farkı veri seti bölüme oranları için en yüksek başarım sergileyen algoritmalara ait F-skor, duyarlılık ve kesinlik metriklerİ

Şekil 2’de görüldüğü üzere veri setinin 80:20 oranında bölünmesi durumunda RandomUnderSampler tekniğinin Adaboost ve XGboost algoritmalarında kullanılması durumundan oluşturulan modelin F-skor değeri %87, duyarlılık değeri %91 ve kesinlik değeri ise %83 olarak belirlenmiştir. Veri setinin 70:30 olacak şekilde ayrıştırılması durumunda Near miss tekniğinin uygulandığı Bagging algoritması için F-skor, duyarlılık ve kesinlik değerleri %88’dir. Yanı sıra veri setinin 60:40 oranında ayrıştırılması

halinde BonderlineSMOTE tekniği ve RO algoritmasıyla oluşturulan modelin F-skor, duyarlılık ve kesinlik değerleri sırasıyla %78,%89 ve %70’dir. Son olarak veri setinin 50:50 oranında olacak şekilde bölünmesi durumunda InstanceHardnessThreshold tekniği ve RO algoritması için Fskor, duyarlılık ve kesinlik değerleri sırasıyla %79, %82 ve %77 iken OneSidedSelection tekniği ve RO algoritması için bu değerler %78, %88 ve %70’dir.

Tartışma Behçet hastalığı, çeşitli semptomlarla kendini gösteren kronik ve tekrarlayıcı bir sistemik inflamatuvar hastalıktır. Behçet hastalığına bağlı gelişen üveit türü, retina ve damarları etkileyerek kalıcı görme kaybına yol açabilir, bu nedenle erken teşhis ve doğru tedavi yöntemleri büyük önem taşımaktadır. Tanı süreci, spesifik bir laboratuvar testinin olmaması ve semptomların diğer hastalıklarla benzerlik göstermesi sebebiyle karmaşık bir süreçtir. Ülkemizde prevelansı oldukça yaygın olan Behçet hastalığı ile ilişkili üveitin tanı ve tedavisine yönelik literatürdeki çalışmalar incelendiğinde, MÖ temelli çalışmaların sayısının

oldukça sınırlı olduğu görülmektedir.[13]-[14]. Uluslararası Behçet Hastalığı Çalışma Grubu (SUN) (2021) Behçet hastalığı ile ilintili üveitinin sınıflandırma kriterlerini tespit etmek amacıyla MÖ tekniklerinden yararlanmışlardır Çalışma, Behçet hastalığı ve 5 farklı panüveit vakasını içeren bir veri seti üzerinde MÖ yöntemlerini kullanarak gerçekleştirilmiştir. Veri seti eğitim seti ve doğrulama seti olarak ikiye ayrılmıştır. [22]. Veri setinde çok terimli lojistik regresyon algoritması kullanılarak, yanlış sınıflandırma oranını en aza indirecek öznel bir kriter seti belirlenmiştir. Elde edilen kriterler doğrulama setinde değerlendirilmiştir.

Panüveitler için genel doğruluk eğitim setinde %96,3, doğrulama setinde %94,0 olarak hesaplanmıştır. Yanlış sınıflandırma oranları ise sırasıyla eğitim setinde %0,6 ve doğrulama setinde %0 olarak belirlenmiştir. Bir başka çalışmada Behçet hastalığı (BH) bağlı üveit tanısında göz bulgularına dayalı bir algoritma geliştirmiştir. Çalışmada ilk olarak, üveit uzmanları arasında yapılan bir ön anketin ardından, BH bağlı üveit rahatsızlığı olan 211 hasta ve diğeveitleri olan 207 hasta üzerinden çok merkezli retrospektif veriler toplanarak, yüksek tanısal oran (DOR) değerine sahip 10 göz bulgusu belirlenmiştir. Daha sonra, yinelemeli bölümleme analizine dayanan sınıflandırma ve regresyon ağacı analizlerini kullanarak, klinik uygunluk açısından yeniden değerlendirilen yüksek puanlı bir ağaçla ileriye dönük verilere uygulanabilen uzman görüşüne dayalı bir algoritma geliştirmişlerdir. Algoritmanın başarımı ROC eğrisi altında kalan alan (AUC) değerine göre değerlendirilmiştir. Geliştirilen algoritmada klinik öneme yönelik olarak yapılan değişikliklerin yüksek başarımlar verdiği tespit edilmiştir [23]. Bu çalışmada, Behçet hastalığı tanısı almış üveit hastalarının Behçet üveiti olup olmadığını belirlemek için MÖ algoritmaları kullanılarak bir karar destek sistemi önerilmiştir. Beş farklı makine öğrenmesi algoritması ve on farklı örnekleme tekniği kullanılarak sınıflandırma başarımları karşılaştırılmıştır. Yapılan analizlerde, veri setinin bölünme oranının (örneğin, 80:20, 70:30 gibi) sınıflandırma başarısını önemli ölçüde etkilediği gözlemlenmiştir. En yüksek başarı, %87 ile veri setinin 70/30

oranında bölünmesi durumunda Near Miss az örnekleme tekniği uygulanan Bagging sınıflandırma algoritmasıyla elde edilmiştir. Bu sonuçlar, veri setinin bölünme oranının yanı sıra kullanılan sınıflandırma algoritması ve örnekleme tekniklerinin seçiminin model başarımını belirlemedeki kritik etkisini vurgulamaktadır. Sonuç olarak, bu çalışma Behçet hastalığının üveit tanısında MÖ tabanlı yaklaşımların etkinliğini ve klinik uygulamalarda potansiyelini göstermektedir. Gelecekte çalışmalarda, Behçet hastalığının üveit tanısında kullanılan MÖ tabanlı KDS’lerinin etkinliğinin artırılması hedeflenmektedir. Bu kapsamda, önerilen sistemlerin genelleştirilmesi için daha büyük ölçekli ve çeşitli hasta veri setleri üzerinde çalışmalar yapılacaktır. Farklı coğrafi bölgelerden ve etnik gruplardan elde edilen verilerin kullanılması, sistemin genel geçerliliğini artıracaktır. Ayrıca, farklı model doğrulama tekniklerinin ve özellik seçme yöntemlerinin karşılaştırılmasıyla elde edilen sonuçlar detaylı bir şekilde incelenecektir. Özellikle, örnekleme tekniklerinin ve veri ön işleme adımlarının sınıflandırma performansı üzerindeki etkileri üzerinde daha derinlemesine araştırmalar yapılacaktır. Son olarak, bu çalışmaların klinik uygulamalarda nasıl entegre edilebileceği ve sağlık profesyonellerinin karar verme süreçlerine nasıl katkı sağlayabileceği konuları da ele alınacaktır.

Kaynaklar [1]. Behcet H. Uber rezidivierende, aphtose, durch ein

Virus verursachte Geschwure am Mund, am Auge und an den Genitalien. Dermatologische Wochenschr. 1937;105:1152-7. [2]. Gul A. Behçet's disease as an autoinflammatory disorder. Current Drug Targets-Inflammation & Allergy. 2005;4(1):81[3]. Takeuchi M, Kastner DL, Remmers EF. The immunogenetics of Behçet’s disease: A comprehensive review. Journal of Autoimmunity 2015; 64:137-148. [4]. Şener, S., Dalarslan, S., & Batu, E. D. (2023). Pediatrik Behçet Hastalarında Ek İmmünsüpresif Tedavi Gereksiniminin Tahmin Edilmesi. Journal of Current Pediatrics/Guncel Pediatri, 21(1).

[5]. Aytuğar, E., & Pekiner, F. N. (2011). Behçet hastalığı. Clinical and Experimental Health Sciences, 1(1), 65-73.

[6]. Yazıcı H, Fresko I, Yurdakul S. Behçet’s syndrome disease manifestations, management and advances in treatment. Nature Clinical Practice Rheumatology 2007; 3: 148.

[7]. Verity DH, Marr JE, Ohno S, Wallace GR, Stanford MR. Behcet’s disease, the Silk Road and HLA-B51: historical and geographical perspectives. Tissue Antigens 1999; 54:213–220.

[8]. Dubielzig RR, Ketring K, McLellan GJ, Albert DM. The uvea. Veterinary Ocular Pathology. 2010:245

Behçet Üveiti Hastalığının Tespitinde Farklı Makine Öğrenme Algoritmaları ve Yeniden Örnekleme Tekniklerinin İncelenmesi Investigation of Different Machine Learning Algorithms and Resampling Techniques in the Detection of Behçet’s Uveitis Dilek Karadeli, Yavuz Türkay, Ayşe Vural Özeç

[9]. Waller R, Ahmed A, et al. Update on the classification

of vasculitis. Best Pract Res Clin Rheumatol. 2013;

27:3–17

[10]. Zakka FR, Chang PY, Giuliari GP, Foster CS. Current

trends in the manage-ment of ocular symptoms in

Adamantiades-Behçet’s

disease.

Clinical

Ophthalmology 2009;3:567-79.

[11].Dubielzig RR, Ketring K, McLellan GJ, Albert DM. The

uvea. Veterinary Ocular Pathology. 2010:245.

[12].Accorinti M, Pesci FR, Pirraglia MP, Abicca I, Pivetti-

Pezzi P. Ocular Behçet’s disease: changing patterns over

time, complications and long-term visual prognosis.

Ocular immunology and inflammation. 2017;25(1):29-

36.

[13].Yapıcı, İ. Ş., Arslan, R. U., & Erkaymaz, O. (2024a).

Kalp Yetmezliği Tanılı Hastaların Hayatta Kalma

Tahmininde Topluluk Makine Öğrenme Yöntemlerinin

Performans Analizi. Karaelmas Fen ve Mühendislik

Dergisi, 14(1), 59-69

[14].R. Ghorbani and R. Ghousi, "Comparing Different

Resampling Methods in Predicting Students’

Performance Using Machine Learning Techniques,"

in IEEE Access, vol. 8, pp. 67899-67911, 2020, doi:

10.1109/ACCESS.2020.2986809.

[15].Yapıcı, İ. Ş., & Arslan, R. U. (2024b). Gebelikte Anne

Sağlığı Risk Gruplarının Tahminine Yönelik Makine

Öğrenmesi Tabanlı Bir Karar Destek Sistem

Tasarımı. Black Sea Journal of Engineering and

Science, 7(3), 33-34.

[16].Sungur, F., & Bakır, H. (2024). Hiperparametre

ayarlama ve veri dengelemenin kalp hastalığı tahmini

için kullanılan makine öğrenimi algoritmaları üzerindeki etkilerinin incelenmesi. Bilişim Teknolojileri Dergisi, 17(1), 45-58. [17].Freund, Y., & Schapire, R. E. (1997). A decisiontheoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences, 55(1), 119-139. [18].Friedman, J. H. (2002). Stochastic gradient boosting. Computational statistics & data analysis, 38(4), 367-378. [19].Gündoğdu, S. (2023). Efficient prediction of early-stage diabetes using XGBoost classifier with random forest feature selection technique. Multimedia Tools and Applications, 82(22), 34163-34181. [20].Akcan, F. and Sertbaş, A. (2021) Topluluk öğrenmesi yöntemleri ile göğüs kanseri teşhisi. Electronic Turkish Studies, 16(2).512-527. doi: 10.7827/TurkishStudies [21]. Uzun Arslan R, Pamuk Z, Kaya C. 2024. Usage of weka software based on machine learning algorithms for prediction of liver fibrosis/cirrhosis. BSJ Eng Sci, 7(3): 445-456. [22].Classification Criteria for Behçet Disease Uveitis The Standardızatıon Of Uveıtıs Nomenclature (Sun) Workıng Group 1,2,3,4, (Amerıcan Journal Of Ophthalmology August 2021) [23].Tugal-Tutkun, I.; Onal, S.; Stanford, M.; Akman, M.; Twisk, J.W.; Boers, M.; Oray, M.; Özdal, P.; Kadayifcilar, S.; Amer, R.; et al. An Algorithm for the Diagnosis of Behçet Disease Uveitis in Adults. Ocul. Immunol. Inflamm. 2020, 29, 1154–1163.

Dilek KARADELİ, 1996 yılında Hemşirelik Yüksekokulundan mezun olan Dilek Karadeli 2008 yılında Sivas Cumhuriyet üniversitesi Elektrik- Elektronik Mühendisliğinden mezun olmuştur. Yüksek Lisans eğitimini Sivas Cumhuriyet Üniversitesi elektrik Elektronik mühendisliğinde yapmaktadır

. Dr. Öğr. Üyesi Yavuz TÜRKAY, 1988 yılında Yıldız Üniversitesi Kocaeli Mühendislik

Fakültesi Elektronik ve Haberleşme Mühendisliği bölümünden mezun olan Yavuz Türkay, yüksek lisans eğitimini 1991 yılında, doktorasını ise 1988 yılında Erciyes Üniversitesi Fen Bilimleri Enstitüsü Elektronik Mühendisliği bölümünde tamamlamıştır. Şu anda Cumhuriyet Üniversitesi Mühendislik Fakültesi Elektrik Elektronik Mühendisliği bölümünde Dr. Öğretim üyesi olarak görev yapmaktadır. Çalışma alanları arasında sayısal, derin öğrenme ve makine öğrenmesi gibi konular bulunmaktadır.

Prof. Dr. Ayşe VURAL ÖZEÇ,1999 yılında Sivas Cumhuriyet Üniversitesi Tıp Fakültesinden mezun olan Ayşe VURAL ÖZEÇ, 2000-2005 yılları arasında Sivas Cumhuriyet Üniversitesi Tıp Fakültesi Göz hastalıkları AD’nda uzmanlık eğitimini tamamlamıştır. 2015 yılında Doçent olmuştur. 2020 yılında Profesörlüğünü alan Ayşe Vural Özeç Sivas Cumhuriyet Üniversitesi Tıp Fakültesi Göz hastalıkları AD’nda çalışmaya devam etmektedir. Üvea ve Glokom birimlerinin sorumluluğunu yürütmektedir.