Evrişimsel Sinir Ağları Temelli Derin Öğrenme Modelleri Kullanılarak Beyin Tümörü Manyetik Rezonans Görüntülerinin Sınıflandırılması

Makale Türü: Araştırma Makalesi Makale Gönderim Tarihi: 05.12.2022

Makale Kabul Tarihi: 18.01.2023

Classification of Brain Tumor Magnetic Resonance Images Using Convolutional Neural Networks-Based Deep Learning Models

Fatih Uysal1, Metehan Erkan2 1Elektrik-Elektronik Mühendisliği Bölümü, Mühendislik-Mimarlık Fakültesi, Kafkas

Üniversitesi, Kars, Türkiye Cumhuriyeti [email protected] 2Elektrik-Elektronik Mühendisliği Bölümü, Mühendislik Fakültesi, Gazi Üniversitesi,

Ankara, Türkiye Cumhuriyeti [email protected]

Özet

Beyin tümörü, beyindeki anormal hücre kitlelerinin iyi veya kötü huylu olarak oluşması ve büyümesidir. Çalışma kapsamında beyin tümörü manyetik rezonans görüntüleri üzerinde evrişimsel sinir ağları temelli derin öğrenme modelleri kullanılarak tümör sınıflarının tespit edilmesi amaçlanmıştır. Beyin tümörlerinin sınıflandırılması için derin öğrenme modellerinden AlexNet, VGG ve MobileNet kullanılmıştır. Kaggle platformu üzerinden açık kaynaklı olarak paylaşılan bir normal ve üç anormal olmak üzere dört sınıflı yapıya sahip olan bir beyin tümörleri veri seti kullanılmıştır. Anormal sınıflar, glioma, meningioma ve pituitary'dir. Veri seti üzerinde sınıflandırma öncesinde ön işlem ile veri artırma adımlarında; kontrast sınırlı uyarlanabilir histogram eşitleme, dikey ve yatay çevirme işlemleri uygulanmıştır. Bu işlemin ardından derin öğrenme modellerinin veri setine bağımlılığını analiz edebilmek, azaltmak ve tümör sınıflarının tespit edilebilmesi için veri seti farklı farklı eğitim, doğrulama ve test yüzdelerinde kullanılarak sınıflandırmalar gerçekleştirilmiştir. Beyin tümörlerinin sınıflandırılması için farklı ön işlemli derin öğrenme modelleriyle gerçekleştirilen 225 adet farklı sınıflandırma işlemi sonucunda en iyi doğruluk ve f1-skorları sırasıyla; AlexNet modelinde %94.471, 0.94; VGG16 modelinde %96.875, 0.97; MobileNetV3 modelinde %95.673, 0.96'dir.

Anahtar kelimeler: Beyin Tümörü, Biyomedikal Görüntü İşleme, Derin Öğrenme, Evrişimsel Sinir Ağları, Sınıflandırma, Yapay Zekâ

Abstract

A brain tumor is the generation and growth of benign or malignant abnormal cell masses in the brain. In this paper, it is aimed to classify brain tumors with deep learning models based on convolutional neural network on magnetic resonance images of brain tumors. AlexNet, VGG and

MobileNet deep learning models are used to classify brain tumors. An open-source brain tumors dataset that is available on Kaggle and has 1 normal, 3 abnormal, 4 total classes is used. Abnormal classes are glioma, meningioma, and pituitary. Contrast limited adaptive histogram equalization (CLAHE), vertical and horizontal flip preprocesses have been used on the dataset as augmentation. After these processes, dataset used with different training, validation, and test split sizes in order to determine the dependency of deep learning models on dataset, reduce this dependency, and detect brain tumor classes. To classify brain tumors, 225 different classification process has been done with deep learning models which has different preprocess parameters and the best accuracy and f1-scores are; for AlexNet model 94.471%, 0.94; for VGG model 96.875%, 0.97; for MobileNetV3 model 95.673%, 0.96; respectively.

Keywords: Brain Tumor, Biomedical Image Processing, Deep Learning, Convolutional Neural Networks, Classification, Artificial Intelligence.

1. Giriş

Beyin tümörü, beyindeki anormal hücre kitlelerinin kansersiz iyi huylu veya kanserli kötü huylu olarak oluşması ve büyümesiyle meydana gelmektedir. Beyin tümörleri, başlangıç noktalarına bağlı olarak birincil veya ikincil olarak beyine yayılmaktadır. Birincil beyin tümörleri, direkt olarak beyinde başlamaktadır. İkincil beyin tümörleri ise, vücudun diğer kısımlarında başlayıp sonrasında beyine ulaşabilmekte ve genellikle yetişkinlerde daha sık gözlemlenmektedir [1].

Beyin tümörünün büyüme hızı, konumu ve boyutuna bağlı olarak semptom ve belirtileri değişkenlik göstermektedir. Bireylerde beyin tümörüne ilişkin olarak görülebilen genel belirtiler ve semptomlar; dengede, konuşmada ve karar vermedeki zorluklar, kademeli olarak bacak veya kolda hareket ve hissin kaybedilmesi, çift veya bulanık görme gibi çeşitli görme kayıpları, açıklanamayacak

19/89

olan kusma ve bulantılar ile öncelikle yavaş seyredip ardından sıklaşan ve daha da şiddetlenen baş ağları şeklindedir [1].

Beyin tümörlerinin sebepleri incelendiğinde gerek birincil gerekse de ikincil beyin tümörlerinde çeşitli olduğu görülmektedir. Birincil beyin tümörleri, beynin kendisinden veya beyne yakın olan hipofiz bezi, epifiz bezi, beyni örten zarlar ile kraniyal sinirlerden kaynaklanmaktadır. İkincil beyin tümörlerinin meydana gelme sebeplerine bakıldığında ise; vücudun meme, kolon, akciğer, böbrek gibi kısımlarında başlayıp ardından beyne yayılan kanserden kaynaklandığı anlaşılmaktadır. Buna ek olarak beyin tümörlerindeki risk faktörlerine bakıldığında, ailede beyin tümörü öyküsünün olması ve radyasyona maruz kalma durumları tümörün beyinde meydan gelmesinde çok büyük bir etkendir [1].

İyi huylu beyin tümörlerinden sıklıkla ve tipik olarak

görülenleri;

glioma,

meningioma,

pituitary,

craniopharyngioma,

schwannoma,

neurofibroma,

hemangioblastoma, chondroma ve osteoma gibi beyin tümörü

tipleridir. Glioma, çoğunlukla beyinde görülmekle birlikte

bazen de omurilikte ortaya çıkabilen bir tümör tipidir. Beyin

tümörleri içerisinde %33 gibi ciddi bir oranda glioma

bulunmaktadır. Meningiomalar, beyin kafatasının altında yer

alan ve beyni kaplayıp koruyan dış üç doku tabakası olan

meninksler sebebiyle meydana gelmektedir. Bunlar, en yaygın

görülen beyin tümörlerinden biri olup, kadınlarda daha sık

görülmekte ve çoğunlukla iyi huylu olan tümörlerdir. Pituitary

ise, hipofiz bezinde gelişir, büyüme hızı yavaştır ve görme

sorunlarına neden olabilir [2]. Çalışma kapsamında

sınıflandırma kullanılan anormal sınıflar; glioma, meningioma

ve pituitary olarak bilinen bu üç tane iyi huylu beyin tümörü

türleridir.

Beyin tümörü manyetik rezonans görüntülerinin derin öğrenmeyle sınıflandırmasının gerçekleştirildiği bu çalışmanın devamında, ikinci kısımda ilgili çalışmalar başlığı altında literatürdeki beyin tümörü tespit ve sınıflandırma çalışmalarından, çalışmanın literatürdeki farkından ve ana katkılarından bahsedilmiştir. Üçüncü kısımdaki materyaller ve yöntemler bölümünde, kullanılan veri seti detayları, veri önişlemleri ve sınıflandırma modelleri ifade edilmiştir. Uygulamalar başlığı altındaki dördüncü kısımda ise, beyin tümörü sınıflandırması kullanılan uygulama ve uygulama sonucunda elde edilen sonuçlar açıklanmıştır. Son olarak beşinci kısımda yer alan sonuçlar ve gelecek çalışmalar bölümünde de çalışma kapsamında elde edilen beyin tümörü tespit sonuçları ve kullanılan modeller analiz edilerek, ileride ne gibi yeni çalışmalar yapılabileceğinden bahsedilmiştir.

2. İlgili çalışmalar

Çalışma kapsamında açık kaynaklı bir veri seti kullanılarak beyin tümörü manyetik rezonans görüntülerinde derin öğrenme modelleriyle sınıflandırma işlemleri gerçekleştirmiştir. Buna ilişkin olarak literatüre bakıldığında ise beyin tümörlerinin tespit ve sınıflandırılmasıyla ilgili birçok çalışma mevcuttur. Raza ve diğerleri tarafından, Çin’deki Nanfang ve Tianjin Medikal Hastanelerinden alınan

dört farklı sınıfa ait açık kaynaklı beyin tümörü manyetik rezonans görüntülerinde hibrit bir derin öğrenme modeli geliştirilmiş ve güncel dokuz farklı derin öğrenme modeliyle karşılaştırılmıştır [3]. T1-ağırlıklı açık kaynaklı bir beyin tümörü veri seti üzerinde Qureshi ve diğerleri tarafından önerdikleri derin öğrenme temelli ultra-hafif beyin tümörü tespiti sistemi ile çok sınıflı beyin tümörü tespit işlemleri gerçekleştirilmiştir [4]. Çok modlu beyin tümörü tespiti için Maqsood ve diğerleri tarafından, açık kaynaklı BraTS 2018 ve Figshare veri setleri kullanılarak beş adımlı bir yöntem önerilmiştir. Bölütlemede 17 katmanlı derin sinir ağı, özellik çıkarımında modifiye edilmiş MobileNetV2, sınıflandırmada ise çok sınıflı destek vektör makineleri kullanılmıştır [5]. Almalki ve diğerleri tarafından, Kaggle'daki açık kaynaklı ve dört sınıflı bir beyin tümörü veri setinde farklı sayıda katmanlı önerilen üç tane izole evrişimsel sinir ağları ve destek vektör makineleriyle yapılan sınıflandırma doğruluğu %98 olarak elde edilmiştir [6]. Beyin tümörlerinin sınıflandırılması için Younis ve diğerleri tarafından kullanılan evrişimsel sinir ağı modeli, VGG16 modeli ve topluluk öğrenmesi ile yapılan işlemler sonucunda en yüksek doğruluk oluşturulan topluluk modelinde %98,41 olarak bulunmuştur [7]. Kaggle platformu üzerinde açık kaynaklı olarak paylaşılan beyin tümörü veri seti kullanılarak, Google-Net ve destek vektör makineleri ile softmax sınıflandırıcı kullanılarak geliştirilen hibrit derin öğrenme modelleriyle Rasool ve diğerlerinin elde ettiği en yüksek doğruluk değeri %98,1'dir [8]. Latif tarafından açık kaynaklı beyin tümör MR görüntüleri üzerinde, evrişimsel sinir ağları temelli oluşturulan modellerde sınıflandırma ve bölütlem çalışması yapılarak, sonuçları literatürle karşılaştırılmıştır [9]. Kaggle platformu üzerinde paylaşılan açık kaynaklı beyin tümör görüntüleri kullanılarak, Mgbejime ve diğerleri tarafından önerilen paralel evrişimsel sinir ağı modeliyle gerçekleştirilen sınıflandırma işlemiyle %98,7 doğruluk değeri elde edilmiştir [10]. Nayak ve diğerleri tarafından, Figshare üzerinden açık kaynaklı olarak paylaşılan çok sınıflı beyin tümör görüntüleri üzerinde geliştirilen Dense EfficientNet modeli ile sınıflandırma sonucunda elde edilen doğruluk %98,78‘dir [11]. BrainGAN olarak Alrashedy ve diğerleri tarafından önerilen çatı (framework) ile beyin tümör görüntülerinde öncelikle DCGAN ve Vanilla GAN ile veri artırma işlemi, ardından ise evrişimsel sinir ağı, MobileNet ve ResNet ile çok sınıflı sınıflandırma yapılarak, en iyi sınıflandırma sonucu DCGAN ile üretilen verilerle ResNet modelinde %99,09 doğruluk olarak açıklanmıştır [12]. Beyin tümör görüntülerinde çekişmeli üretici ağlar ve varyasyonel otokodlayıcıların birleşimiyle ResNet sınıflandırıcı kullanılarak gerçekleştirilen sınıflandırma işleminde Ahmad ve diğerleri doğruluğu %96,25 olarak elde etmiştir [13]. Tummala ve diğerleri tarafından, T1 ağırlıklı beyin MR tümör görüntüleriden sınıflandırma için görü transformerları (vision transformers) topluluk (ensemble) öğrenmesiyle kullanılarak elde edilen en yüksek doğruluk %98,70‘dir [14]. Özellikle son yıllarda yapılan çalışmalar incelendiğinde beyin tümörü sınıflandırılması ile ilişkili olarak kullanılan veri setilerinin çoğunlukla açık kaynaklı manyetik rezonans görüntüleri olduğu, kullanılan modellerin ise derin öğrenme temelli VGG, MobileNet, Google-Net gibi modeller olduğu görülmektedir.

20/89

Evrişimsel Sinir Ağları Temelli Derin Öğrenme Modelleri Kullanılarak Beyin Tümörü Manyetik Rezonans Görüntülerinin Sınıflandırılması Classification of Brain Tumor Magnetic Resonance Images Using Convolutional Neural Networks-Based Deep Learning Models Fatih Uysal, Metehan Erkan

Beyin tümörü manyetik rezonans görüntülerinin derin öğrenmeyle sınıflandırılmasının gerçekleştirildiği bu çalışmanın literatürden farkı ve ana katkıları aşağıda maddeler halinde sıralanmıştır.

• Literatürdeki mevcut derin öğrenme modellerinden AlexNet, VGG ve MobileNetV3, çalışma kapsamında çok sınıflı sınıflandırma için modifiye edilmiştir.

• Veri setinin ham olarak kullanılmasının aksine beyin tümörü tespitinde modellerin en iyi şekilde eğitimine katkı sağlamak için çeşitli çok sayıda önişlem ve veri artırma işlemleri uygulanmıştır.

• Sınıflandırma kapsamında elde edilen sonuçların tam olarak ve doğru bir şekilde analiz edilebilmesi için mümkün olan tüm değerlendirme metrikleri (hassasiyet, duyarlılık, f1-skor, test doğruluğu, ROC eğrisi, AUC skoru, doğrulama ve eğitim kaybı) elde edilmiştir.

• Veri seti dağılımında üç farklı yaklaşıma gidilerek, derin öğrenme modellerindeki özellikle eğitim veri seti miktarının ağ öğrenimine etkisi bu çalışma özelinde incelenmiştir.

• Çalışma kapsamında toplamda 225 adet farklı sınıflandırma işlemi gerçekleştirilerek; en iyi veri seti dağılımı, en uygun önişlem ve en optimum derin öğrenme modeli belirlenmiştir.

3. Materyaller ve Yöntemler

Derin öğrenmeyle beyin tümörü manyetik rezonans görüntülerinin sınıflandırılması çalışması için kullanılan veri seti, açık kaynaklı ve Kaggle platformu üzerinde paylaşılan bir veri setidir [15]. Veri setinde, biri normal, diğer üçü anormal olmak üzere toplamda 4 farklı sınıf mevcuttur. Anormal sınıflar ise; glioma, meningioma ve pituitary‘dir. Bu sınıflara ilişkin örnek görseller aşağıdaki şekil-1’de verilmiştir.

Şekil-1: Beyin tümörü manyetik rezonans görüntülerine ilişkin görseller

Veri setindeki her biri sınıfa ait görüntü miktarları incelendiğinde birbirinden farklı olduğu ancak anormal sınıfların miktarlarının birbirlerine çok yakın, normal sınıfın miktarının ise her bir anormal sınıf miktarının yarısından biraz daha az oldukları gözlemlenmektedir. Veri seti miktarları ve dağılımına ilişkin detaylar aşağıdaki Şekil-2’de verilmiştir.

Veriseti Dağılımı

396 926

937 901

Normal Pituitary

Glioma Toplam

Meningioma

Şekil-2 Beyin tümörü veri seti dağılımı

Derin öğrenmeyle sınıflandırma ve/veya tespit problemlerinde kullanılan modellerin ağ eğitiminde veri miktarı çok önemlidir. Bu sebeple bu çalışma kapsamında beyin tümörü ham olarak değil, çeşitli ön işlem ve veri artırma adımlarından geçirilerek kullanılmıştır. Veri setinde önişlem olarak kontrast sınırlı uyarlanabilir histogram eşitleme (CLAHE, contrast limited adaptive histogram equalization) uygulanmıştır. Beyin tümörü veri setine eğitim esnasında ise her bir sınıfta eşit olacak şekilde 1000 görüntü artırması (augmentasyonu) yapılmıştır. Veri artırma işleminde; CLAHE, dikey çevirme (vertical flip) ve yatay döndürme (horizontal flip) işlemleri uygulanmıştır. Ayrıca veri artırma haricinde orijinal görüntülerde de CLAHE işlemi yapılmıştır. Veri artırma işlemleri sonrasında her bir sınıfta ve toplamda elde edilen yeni veri miktarları aşağıdaki tablo-1’de verilmiştir.

Tablo-1: Veri artıma ve sonrasında sınıflara ilişkin görüntü miktarları

Normal Glioma Meningioma Pituitary Veri artırmasız

396 926 937

Normal Glioma Meningioma Pituitary Veri artırmalı

646 1176 1187

1151 4160

Veri setinde uygulanan CLAHE işlemi ardından her bir sınıftaki görüntülerin kontrastında artma veya azalmalar gözlemlenmiştir. Bu önişlem sonrasında veri setindeki görüntülere ilişkin örnek görseller aşağıdaki şekil-3’de verilmiştir.

21/89

Şekil-3: Önişlem uygulanmış beyin tümörü manyetik rezonans görüntülerine ilişkin görseller

Beyin tümörü manyetik rezonans görüntülerinin sınıflandırılması için kullanılan derin öğrenme temelli modeller AlexNet, VGG ve MobileNet’dir. Her üç model de ön eğitimli olarak transfer öğrenme kullanılmıştır. Son katmanları ImageNet veri setindeki sınıflardan farklı olarak, bu çalışma kapsamında uygun olacak şekilde dört sınıflı olarak değiştirilmiştir.

AlexNet, Alex Krizhevsky tarafından ImageNet veri setiyle gerçekleştirilen 2012 yılındaki yarışmada geliştirilmiş ve başarı elde etmiştir [16]. ImageNet veri seti aslında, ilk kez 2009 yılında duyurulan çok büyük boyutlu ve çok sınıflı bir açık kaynaklı veri setidir [17]. ImageNet ile büyük başarı elde eden AlexNet mimarisi, literatüre sunulduğu tarihten itibaren birçok yeni çalışmada kullanılmıştır. Çalışma kapsamında kullanılan AlexNet mimarisinin yapısı ise aşağıdaki şekil-4’de verilmiştir.

Katman Conv2d ReLU MaxPool2d Conv2d ReLU MaxPool2d Conv2d ReLU Conv2d ReLU Conv2d

Kernel (11, 11) 3 (5, 5) 3 (3, 3) (3, 3) (3, 3)

Stride (4, 4) 2 (1, 1) 2 (1, 1) (1, 1) (1, 1)

Padding (2, 2) 0 (2, 2) 0 (1, 1) (1, 1) (1, 1)

ReLU

MaxPool2d

Şekil-4: Modifiye edilen AlexNet mimarisi

VGG, Simonyan ve Zisserman tarafından ImageNet yarışmasında 2014 yılında duyurulan, farklı katmanlara (13, 16, 19) sahip olan ve çoğunlukla 3x3’lük evrişim katmanlarından meydana gelen bir mimarıdır [18]. Bu çalışmayla birlikte kullanılan VGG mimarisi 16 katmanlı olup aşağıdaki şekil-5’deki gibidir.

Katman Conv2d ReLU Conv2d ReLU MaxPool2d Conv2d ReLU Conv2d ReLU MaxPool2d Conv2d ReLU Conv2d ReLU Conv2d ReLU MaxPool2d Conv2d ReLU Conv2d ReLU Conv2d ReLU MaxPool2d Conv2d ReLU Conv2d ReLU Conv2d ReLU MaxPool2d AdaptiveAvgPool2d Classifier (4 sınıf)

Kernel (3, 3) (3, 3) 2 (3, 3) (3, 3) 2 (3, 3) (3, 3) (3, 3) 2 (3, 3) (3, 3) (3, 3) 2 (3, 3) (3, 3) (3, 3) 2 -

Stride (1, 1) (1, 1) 2 (1, 1) (1, 1) 2 (1, 1) (1, 1) (1, 1) 2 (1, 1) (1, 1) (1, 1) 2 (1, 1) (1, 1) (1, 1) 2 -

Padding (1, 1) (1, 1) 0 (1, 1) (1, 1) 0 (1, 1) (1, 1) (1, 1) 0 (1, 1) (1, 1) (1, 1) 0 (1, 1) (1, 1) (1, 1) 0 -

Şekil-5: Modifiye edilen VGG mimarisi

MobileNet, içerisinde 3x3 ve 5x5‘lik çok sayıda darboğaz (bottleneck) bloklarını içeren geliştirilmiş bir evrişimsel sinir ağıdır. [19]. Çalışmaya ilişkin olarak güncellenen MobileNetV3 mimarisi aşağıdaki şekil-6’da belirtilmiştir.

Katman Conv2d

Kernel Stride (3, 3) (2, 2) InvertedResidual Block

Padding (1, 1)

22/89

Evrişimsel Sinir Ağları Temelli Derin Öğrenme Modelleri Kullanılarak Beyin Tümörü Manyetik Rezonans Görüntülerinin Sınıflandırılması Classification of Brain Tumor Magnetic Resonance Images Using Convolutional Neural Networks-Based Deep Learning Models Fatih Uysal, Metehan Erkan

(3, 3) (2, 2) (1, 1)

SqueezeExcitation (1, 1) (1, 1) -

Farklı Katmanlı 10 x InvertedResidual Block

Şekil-6: Modifiye edilen MobileNet mimarisi

4. Uygulamalar

Farklı ön işlemli derin öğrenme modelleriyle beyin tümörü sınıflandırılması için toplamda 225 adet farklı sınıflandırma işlemi gerçekleştirilmiştir. Çok sınıflı beyin tümörü sınıflandırılması için bu çalışma kapsamında önerilen modeller aşağıdaki şekil-7’de verilmiştir.

Şekil-7: Beyin tümörü sınıflandırması için önerilen modeller

AlexNet, VGG ve MobileNet temelli derin öğrenme modelleriyle gerçekleştirilen sınıflandırma işlemlerinde Tübitak Truba sisteminden faydalanılmıştır. Kullanılan veri setinde eğitim, doğrulama ve test yüzdeleri öncelikle üç farklı dağılım üzerinde ele alınmıştır. Bunlar; doğrulama ve test yüzdeleri eşit olacak şekilde %10, %20 ve %30’dur. Ardından veri artırma olmadan analiz için, 4.dağılım’da yapılmıştır. Bu farklı durumlar için kullanılan tüm yüzdeler ile veri miktarı dağılımları aşağıdaki tablo-2’de verilmiştir.

Tablo-2: Veri seti yüzdeleri ve veri miktarı dağılımı

Dağılımlar 1.Dağılım 2.Dağılım 3.Dağılım 4.Dağılım

Eğitim %80 ; 3328 %60 ; 2496 %40 ; 1664 %80 ; 2528

Doğrulama %10 ; 416 %20 ; 832 %30 ; 1248 %10 ; 316

Test %10 ; 416 %20 ; 832 %30 ; 1248 %10 ; 316

Beyin tümörü sınıflandırılması işlemlerinde veri seti dağılım yüzdeleri değiştirilerek, farklı modellerle, CLAHE’de farklı tile boyutu ve clip limit değerleri için toplamda gerçekleştirilen çok sayıda farklı sınıflandırma işlemiyle; sınıflandırma için en uygun model, veri seti dağılımı ile önişlemin bulunması hedeflenmiştir. CLAHE için tile boyutlarında (2,2), (4,4), (6,6), (8,8), (10,10), clip limitler için ise 1, 2, 3, 4, 5 olmak üzere 5’er farklı değer kullanılmıştır. Sırasıyla veri seti, model, dağılım sırası, tile boyutu ve clip

limit değişkenleriyle 225 adet sınıflandırma yapılmıştır. Her bir model için değişken kombinasyonları adedince eğitim yapıldı. Örneğin model: VGG16, 1.dağılım, kare boyutu (tile size): (4,4), klip limit (clip limit):4 gibi. Her bir model eğitiminde verilen parametrelere sahip veri seti hazırlandıktan sonra ön eğitimli modellerin tüm katmanları eğitilmeye başlandı. Eğitimde çapraz entropi kaybı (cross entropy loss), rasgele gradyan inişi (stochastic gradient descent) ve adım (step) öğrenme oranı kullanılmıştır. Ardından eğitilen modeller test edilmiştir. Test sonuçları incelendiğinde en iyi sınıflandırma sonucu elde edilen kombinasyon aşağıdaki tablo-3’de verilmiştir.

Tablo-3: En iyi sınıflandırma sonucuna sahip model kombinasyonları

Dağılım 1.dağılım 1.dağılım 1.dağılım

Tile Boyutu (10,10) (2,2) (8,8)

Clip Limiti 1 3 2

Tablo-3’de verilen model kombinasyonlarıyla elde edilen sınıflandırma sonuçları ise, aşağıdaki tablo-4’de belirtilmiştir.

Tablo-4: Sınıflandırma sonuçları

Hassasiyet 0.94 0.97 0.96

Duyarlılık 0.94 0.97 0.96

F1-skor 0.94 0.97 0.96

Doğruluk %94,471 %96,875 %95,673

Tablo-3’de verilen model kombinasyonlarıyla elde edilen confusion matrix, eğitim ve doğrulama için her bir epochtaki kayıpları ifade eden grafikler, ROC eğrileri sırasıyla aşağıdaki şekillerde ifade edilmiştir.

Şekil-8: AlexNet için confusion matrix

23/89

Şekil-9: VGG için confusion matrix

Şekil-13: MobileNet için eğitim doğrulama kaybı

Şekil-10: MobileNet için confusion matrix

Şekil-14: AlexNet için ROC eğrisi

Şekil-11: AlexNet için eğitim doğrulama kaybı Şekil-12: VGG için eğitim doğrulama kaybı

Şekil-15: VGG için ROC eğrisi

24/89

Evrişimsel Sinir Ağları Temelli Derin Öğrenme Modelleri Kullanılarak Beyin Tümörü Manyetik Rezonans Görüntülerinin Sınıflandırılması Classification of Brain Tumor Magnetic Resonance Images Using Convolutional Neural Networks-Based Deep Learning Models Fatih Uysal, Metehan Erkan

Tablo-5 incelendiğinde farklı durumlar için en iyi doğruluk sonucu VGG modelinde 2.durum için elde edildiği görülmektedir. Bu durum için ilgili değerlendirme metrikleri aşağıdaki şekillerle eklenmiştir.

Şekil-16: MobileNet için ROC eğrisi

Yukarıdaki şekillerde ve tablo-4’de verilen sınıflandırma sonuçları incelendiğinde; en iyi f1-skor, hassasiyet ve test doğruluk değerlerinin VGG modelinden elde edildiği gözlemlenmektedir.

Tablo-3’de verilen model detayları ile Tablo-4’de verilen sınıflandırma sonuçları; çalışma kapsamında gerçekleştirilen 225 adet farklı sınıflandırma işlemi sonucunda bulunan ve kullanılan verisetinde hem veri artırma hem de CLAHE’nin uygulandığı veriler üzerinde gerçekleştirilmiştir. Elde edilen sonuçların daha detaylı analizi için ayrıca veri artırma ve CLAHE işlemlerinin diğer farklı üç durumu için 9 farklı sınıflandırma işlemi de yapılmıştır. Bu durumlar sırasıyla; 1.durum: veri artırma var, clahe yok; 2.durum: veri artırma yok, clahe var; 3.durum: veri artırma yok, clahe yok şeklindedir. Farklı durumlarda elde edilen sınıflandırma sonuçları aşağıdaki Tablo-5’de verilmiştir.

Tablo-5: Farklı Durumlar için Sınıflandırma sonuçları

Modeller AlexNet (1.durum) VGG (1.durum) MobileNet (1.durum) AlexNet (2.durum) VGG (2.durum) MobileNet (2.durum) AlexNet (3.durum) VGG (3.durum) MobileNet (3.durum)

Hassasiyet 0.93 0.95 0.95 0.96 0.96 0.96 0.95 0.95 0.95

Duyarlılık 0.93 0.95 0.95 0.96 0.96 0.96 0.95 0.95 0.95

F1-skor 0.93 0.95 0.95 0.96 0.96 0.96 0.95 0.95 0.95

Doğruluk %93,269 %94,712 %94,712 %95,886 %96,203 %95,886 %94,937 %95,253 %94,937

Şekil-17: VGG (2.durum) için confusion matrix

Şekil-18: VGG (2.durum) için eğitim doğrulama kaybı

Şekil-19: VGG (2.durum) için ROC eğrisi Hem veri artırma hem de CLAHE varken elde edilen sonuçları gösteren Tablo-4 ile veri artırma ve CLAHE’deki farklı durumlar için elde edilen sonuçları gösteren Tablo-5 incelendiğinde; en iyi değerlendirme metrik sonuçlarının yine Tablo-4 ‘deki VGG modelinde %96,875 doğruluk ve 0.97 f1skor olarak elde edildiği görülmektedir.

5. Sonuçlar ve Gelecek Çalışmalar

Beyin tümörü manyetik rezonans görüntülerinin derin öğrenme sınıflandırılması çalışmasıyla; en iyi veri seti

25/89

dağılımı, en uygun önişlem ve en optimum derin öğrenme modelinin belirlenmesi amaçlanmıştır. Elde edilen sonuçlar incelendiğinde veri seti dağılımı değişiminin sınıflandırma sonuçlarını önemli oranda etkilediği ve veri setinin miktarının hem ağ eğitimi hem de test sonuçlarında olumlu/olumsuz etkiler oluşturabildiği anlaşılmıştır. Ayrıca gerçekleştirilen çeşitli önişlemlerinde sınıflandırma sonuçlarına katkı sağlayabildiği görülmüştür.

Çalışmanın devamında literatürdeki açık kaynaklı diğer beyin tümörü veri setleri de kullanılarak, daha çok sayıda derin öğrenme temelli modeller kullanılarak beyin tümörü tespiti için hekimlere yardımcı otomatik bir sistem geliştirilebilir. Buna ek olarak; sınıflandırma problemlerinin yanı sıra anormal (hastalıklı, pozitif, tümörlü) görüntülerin hekimler aracılığıyla manuel bölütlemesi yaptırılarak, buna yönelik yine yapay zekâ destekli otomatik bölütleme çalışmaları gerçekleştirilebilir.

Bilgilendirme; bu araştırmada yer alan tüm nümerik hesaplamalar TÜBİTAK ULAKBİM, Yüksek Başarım ve Grid Hesaplama Merkezi’nde (TRUBA kaynaklarında) gerçekleştirilmiştir.

6. Kaynaklar

[1] Mayo Clinic. “Brain Tumor.” Brain Tumor- Symptoms and Causes. URL: https://www.mayoclinic.org/diseasesconditions/brain-tumor/symptoms-causes/syc-20350084. (Erişim Tarihi: 08.08.2022)

[2] Hopkins Medicine. “Brain Tumor Types.” Brain Tumor

Types.

URL:

https://www.hopkinsmedicine.org/health/conditions-anddiseases/brain-tumor/brain-tumor-types. (Erişim Tarihi:

08.08.2022)

[3] A. Raza, et al., “A Hybrid Deep Learning-Based Approach for Brain Tumor Classification,” Electronics, vol. 11, no. 7, p. 1146, Nis. 2022, doi: 10.3390/electronics11071146.

[4] S. A. Qureshi, et al., “Intelligent Ultra-Light Deep Learning Model for Multi-Class Brain Tumor Detection,” Applied Sciences, vol. 12, no. 8, p. 3715, Nis. 2022, doi: 10.3390/app12083715.

[5] S. Maqsood, R. Damaševičius, and R. Maskeliūnas, “Multi-Modal Brain Tumor Detection Using Deep Neural Network and Multiclass SVM,” Medicina, vol. 58, no. 8, p. 1090, Ağu. 2022, doi: 10.3390/medicina58081090.

[6] Y. E. Almalki, et al., “Isolated Convolutional-NeuralNetwork-Based Deep-Feature Extraction for Brain Tumor Classification Using Shallow Classifier,” Diagnostics, vol. 12, no. 8, p. 1793, Tem. 2022, doi: 10.3390/diagnostics12081793.

[7] A. Younis, L. Qiang, C. O. Nyatega, M. J. Adamu, and H. B. Kawuwa, “Brain Tumor Analysis Using Deep Learning and VGG-16 Ensembling Learning Approaches,” Applied

Sciences, vol. 12, no. 14, p. 7282, Tem. 2022, doi: 10.3390/app12147282.

[8] M. Rasool, et al., “A Hybrid Deep Learning Model for Brain Tumour Classification,” Entropy, vol. 24, no. 6, p. 799, Haz. 2022, doi: 10.3390/e24060799.

[9] G. Latif, “DeepTumor: Framework for Brain MR Image

Classification,

Segmentation

Tumor

Detection,” Diagnostics, vol. 12, no. 11, p. 2888, Kas. 2022,

doi: 10.3390/diagnostics12112888.

[10] G. T. Mgbejime, M. A. Hossin, G. U. Nneji, H. N. Monday, and F. Ekong, “Parallelistic Convolution Neural Network Approach for Brain Tumor Diagnosis,” Diagnostics, vol. 12, no. 10, p. 2484, Ekim 2022, doi: 10.3390/diagnostics12102484.

[11] D. R. Nayak, N. Padhy, P. K. Mallick, M. Zymbler, and S. Kumar, “Brain Tumor Classification Using Dense EfficientNet,” Axioms, vol. 11, no. 1, p. 34, Ocak 2022, doi: 10.3390/axioms11010034.

[12] H. H. N. Alrashedy, A. F. Almansour, D. M. Ibrahim, and M. A. A. Hammoudeh, “BrainGAN: Brain MRI Image Generation and Classification Framework Using GAN Architectures and CNN Models,” Sensors, vol. 22, no. 11, p. 4297, Haz. 2022, doi: 10.3390/s22114297.

[13] B. Ahmad, J. Sun, Q. You, V. Palade, and Z. Mao, “Brain

Tumor Classification Using a Combination of Variational

Autoencoders

Generative

Adversarial

Networks,” Biomedicines, vol. 10, no. 2, p. 223, Ocak 2022,

doi: 10.3390/biomedicines10020223.

[14] S. Tummala, S. Kadry, S. A. C. Bukhari, and H. T. Rauf, “Classification of Brain Tumor from Magnetic Resonance Imaging Using Vision Transformers Ensembling,” Current Oncology, vol. 29, no. 10, pp. 7498–7511, Ekim 2022, doi: 10.3390/curroncol29100590.

[15] Sartaj. “Brain tumor classification (MRI)”. Kaggle. URL: https://www.kaggle.com/datasets/sartajbhuvaji/brain-tumorclassification-mri. (Erişim Tarihi: 08.08.2022)

[16] A. Krizhevsky, ‘One weird trick for parallelizing convolutional neural networks’. arXiv: 1404.5997 , 2014.

[17] J. Deng, W. Dong, R. Socher, L.-J. Li, Kai Li and Li FeiFei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, 2009, pp. 248-255, doi: 10.1109/CVPR.2009.5206848.

[18] K. Simonyan and A. Zisserman, ‘Very Deep Convolutional Networks for Large-Scale Image Recognition’. arXiv: 1409.1556, 2014.

[19] A. Howard, et al., ‘Searching for MobileNetV3’. arXiv: 1905.02244, 2019

26/89

Evrişimsel Sinir Ağları Temelli Derin Öğrenme Modelleri Kullanılarak Beyin Tümörü Manyetik Rezonans Görüntülerinin Sınıflandırılması Classification of Brain Tumor Magnetic Resonance Images Using Convolutional Neural Networks-Based Deep Learning Models Fatih Uysal, Metehan Erkan

Özgeçmişler Dr. Fatih Uysal, Lisans eğitimi Kırıkkale Üniversitesi Mühendislik-Mimarlık Fakültesi Elektrik-Elektronik Mühendisliği Bölümü’nde, Yüksek Lisans ve Doktora eğitimini ise Gazi Üniversitesi Fen Bilimleri Enstitüsü Elektrik-Elektronik Mühendisliği Anabilim Dalı’nda tamamlamıştır. Dr. Uysal, Doktora eğitimini tamamladıktan sonra Kafkas Üniversitesi Mühendislik-Mimarlık Fakültesi Elektrik-Elektronik Mühendisliği Bölümünde Dr. Öğr. Üyesi ve Elektronik Anabilim Dalı Başkanı olarak çalışmaya başlamıştır. Ayrıca Derin Öğrenme ve Biyomedikal Görüntü İşleme alanında çalışmaları bulunmaktadır. Metehan Erkan, lise eğitimini Kırkkonaklar Anadolu Lisesi’nde tamamladıktan sonra eğitim hayatına Gazi Üniversitesi Mühendislik Fakültesi’nde çift ana dal programına katılarak devam etmiştir. İnşaat Mühendisliği yanında Elektrik-Elektronik Mühendisliği’nde lisans eğitimlerini sürdürmektedir.

27/89

EMO Bilimsel Dergi 2023 Cilt:13 Sayı: 2 28/89