Benzerlik Tabanlı Öğrenme Kullanarak Histopatolojik Görüntülerin Sınıflandırılması

Makale Türü: Araştırma Makalesi Makale Gönderim Tarihi: 14.05.2024

Makale Kabul Tarihi:14.06.2024

Classification of histopathological images using similarity-based learning

Mahmut Kaya1, Hasan Şakir BİLGE2,3

1Yapay Zeka ve Veri Mühendisliği Bölümü, Mühendislik Fakültesi, Fırat Üniversitesi, Elazığ, Türkiye [email protected]

2Elektrik Elektronik Mühendisliği Bölümü, Mühendislik Fakültesi 3Biyomedikal Kalibrasyon ve Araştırma Merkezi

Gazi Üniversitesi, Ankara, Türkiye [email protected]

Öz

Benzerlik metriği öğrenme, bir uzaklık öğrenme yaklaşımı olup aynı sınıfa ait örnekler arasındaki benzerliği arttırmayı, farklı sınıflar arasındaki benzerliği ise azaltmayı hedeflemektedir. Son yıllarda derin öğrenmenin elde ettiği başarıyla beraber benzerlik metriği öğrenmenin derin ağ modellerinde başarıyla uygulanabileceği görülmüştür. Bu çalışmada derin metrik öğrenme modellerinden olan Siamese ve Triplet ağ modelleri kullanılarak histopatolojik görüntülerde bir sınıflandırma işlemi gerçekleştirilmiştir. Histopatolojik görüntüler radyologlar tarafından tanı amacıyla kullanılırken sağlıklı ve sağlıksız görüntülerini birbirinden ayırmak oldukça zorlayıcıdır. Bu çalışmada literatürde başarısını kanıtlamış olan transfer öğrenme yöntemleri derin metrik öğrenme modellerine entegre edilmiştir. Yapılan çalışma sonucunda Siamese+VGG19 ağ modelinde %95,39 başarı elde edilirken, Triplet+VGG19 ağ modelinde ise %96,92 sınıflandırma başarısı elde edilmiştir.

Anahtar kelimeler: Benzerlik metriği öğrenme, siamese, triplet, sınıflandırma

Abstract

Similarity metric learning is a distance learning approach that aims to increase the similarity between instances of the same class and decrease the similarity between instances of different classes. With the success of deep learning in recent years, it has been seen that similarity metric learning can be successfully applied in deep network models. In this study, a classification process was performed on histopathologic images using Siamese and Triplet network models, which are deep metric learning models. While histopathologic images are used by radiologists for diagnostic purposes, it is very challenging to distinguish between healthy and unhealthy images. In this study, transfer learning methods that have proven their success in the literature are integrated into deep metric learning models. As a result of the study, the Siamese+VGG19 network model achieved 95.39% success, while the Triplet+VGG19 network model achieved 96.92% classification success.

Keywords: Similarity metric learning, siamese, triplet, classification

1. Giriş

Teknolojinin hızla geliştiği günümüz dünyasında, insanlar yaşamlarını kolaylaştırmak ve teknolojik ilerlemelere ayak uydurmak amacıyla karşılaştıkları problemleri, dijital ortamlara aktarıp çözüp bulma eğilimindedir. İnsanın özünde bulunan öğrenme yeteneği, bilgisayarlara nesneleri öğretme kabiliyetini beraberinde getirmiştir [1]. Günümüzde, birçok alanda insanların yaşamlarını kolaylaştırmak için makine öğrenmesi yaklaşımlarından yararlanılmaktadır. Makine öğrenmesi kavramı, hayatımızın çeşitli alanlarında kendine yer bulmuş durumdadır. Makine öğrenmesi ile yüz tanıma, sağlık verileri, saldırı tespit sistemleri, konuşma ve ses tanıma, metin madenciliği, örüntü tanıma gibi farklı görevlerde çeşitli amaçlar için çözümler sunulmaktadır. Bu tür problemleri değerlendirmek amacıyla makine öğrenmesinde verileri sınıflandırma veya kümeleme yaklaşımlarıyla çözüm önerileri geliştirilmektedir.

Veri boyutunun artması ve problemlerin çeşitlenmesi, gerçek dünya problemlerinde makine öğrenmesi teknikleriyle en etkili çözümü bulmayı karmaşık bir hale getirmiştir [2]. Şu aşamada, mevcut yaklaşımlar ve yenilikler, problemin amacına odaklanarak maksimum doğruluk oranına ulaşmayı amaçlamaktadır. Makine öğrenme algoritmaları kullanılarak, mevcut verilere dayalı yüksek başarıya sahip sınıflandırma modelleri geliştirilebilir. Öğrenme modelinin, öncelikle eğitim sürecinde kullanılan örnekler üzerinde başarı sağlamasının yanında test örnekleri üzerinde de başarılı sonuçlar elde etmesi hedeflenmektedir. Ancak öğrenme modeli her zaman doğru çalışmayabilir, çünkü her veri kümesinin kendisine ait bazı benzersiz zorlukları bulunmaktadır.

Metrik esaslı öğrenme, veri öğeleri arasındaki benzerlik veya farklılık ilişkilerini tespit etmek için, doğrudan metrikten öğrenmeyi temel alan bir makine öğrenmesi yaklaşımıdır. Bu yaklaşım, birbirine benzeyen veri öğeleri arasındaki mesafeyi azaltmayı hedeflerken, farklı veri öğeleri arasındaki uzaklığı artırmayı amaçlamaktadır. Metrik temelli öğrenmede yeni bir dönüşüm uzayına veriler taşınırken temelde bir W projeksiyon matrisinden yararlanılmaktadır. Metrik esaslı öğrenme Mahalonobis uzaklık metriğinin dönüşümü ile ilgili olup, dönüşüm sürecinde simetrik ve pozitif tanımlı matrislere dayalı

49/129

bir yaklaşım ele alınmaktadır [3-5]. Gelişen teknolojik araçların kullanımıyla beraber veri hacmi her geçen gün artmaktadır. Bu artış, daha doğru bir sınıflandırma elde etmek için büyük avantajlar sağlamaktadır. Ancak, veri artışı problemde yüksek başarım elde etmede pozitif katkı sunarken, çok büyük hacimli verilerin işlenmesi ve yüksek hesaplama maliyeti problemini beraberinde getirmektedir. Günümüzde, yoğun hesaplama ihtiyacı nedeniyle işlemlerin sıralı olmak yerine parça parça işlenmesi ve bu parçalı işlemlerin paralel olarak yapılması, önemli hesaplama avantajları sunmaktadır. Son yıllarda GPU (Graphics Processing Unit) teknolojisindeki gelişmelerle birlikte, verilerin paralel bir şekilde işlenmesi mümkün hale gelmiştir. Bu gelişme, yapay zekaya yeni bir soluk getirerek günümüzün en popüler konularından biri olan derin öğrenme kavramını ortaya çıkarmıştır [6].

Derin öğrenme, doğrudan ham verilerden yeni bir temsil oluşturarak, daha yüksek soyutlama seviyelerine ulaşmayı hedefler ve ayırt edici özellikleri otomatik olarak çıkarmayı sağlar [7]. Derin öğrenme, doğrudan veriden öğrenme amacındadır. Bu süreçte ham veriden yeni dönüştürülmüş öznitelikler elde edilir ve son aşamada sınıflandırma süreciyle birleştirilerek kompakt bir yapı sunulur. Son yıllarda derin öğrenme ile metrik öğrenmenin kesişimi, derin metrik öğrenme kavramını ortaya çıkarmıştır [8, 9]. Derin metrik öğrenme, uzaklığa dayalı benzerlik esaslı bir yaklaşımdır. Bu yaklaşımda, aynı sınıfa ait örneklerin yeni temsilini elde etmek, nesneler arası benzerliği artırmak ve aynı zamanda farklı nesneler arasındaki benzerliği azaltmak hedeflenmektedir. Literatürde genellikle Siamese [10] ve Triplet [11] ağlarından esinlenilerek metrik esaslı derin öğrenme yapılmaktadır. Bu metrik esaslı derin ağ öğrenme modelleri, örnek verileri paylaşımlı bir ağda ikili ya da üçlü olarak ağ modeline sunmaktadır. Ağ modelinde bir arada sunulan örneklerin ağırlıkları paylaşılarak kullanılır. Bu paylaşılan ağırlıklar, verilerin benzerliğini ya da benzersizliğini optimize etmeyi amaçlar. Kullanılan bu paylaşımlı ağırlıklar ile veriyi daha iyi temsil yeteneğine sahip bir uzaklık metriği öğrenilmesi hedeflenmektedir.

Dijital görüntüleme teknikleri, mikroskobik seviyede patolojik görüntüler elde ederek hastalıklar hakkında daha net bilgiler sağlamayı mümkün kılmaktadır [12]. Bu patolojik veriler, tanı sürecini kolaylaştırmanın yanı sıra elektronik olarak depolanabilir ve yapay zeka yaklaşımlarıyla analiz edilebilir. Histopatolojik görüntülere sahip veri kümeleri genel olarak iki ana problemle karşı karşıyadır. İlk olarak, bu tür veri kümelerinde genellikle sınırlı sayıda örnek bulunmaktadır. İkinci bir problem ise bu veri kümelerinde sağlıklı örneklerin daha yoğun olmasına rağmen, sağlıksız örneklerin daha az olması durumudur. Derin metrik öğrenme, bu tür problemleri çözmek için oldukça başarılı bir yapıya sahiptir. Çünkü derin metrik öğrenme ağ yapısında aynı anda iki ya da daha fazla örnek ağa sunulabilir, bu da ağın başarılı bir şekilde eğitilebilmesi için sınıf içi veya sınıflar arası kombinasyonların daha iyi bir örnekleme yaklaşımı sunmasına olanak tanır. Ayrıca, ağa sunulan örnek eğitim veri kombinasyonlarıyla, ağın sağlıklı ve sağlıksız örneklerinin bir arada değerlendirilmesiyle dengelenmesi mümkündür.

Bu çalışmada, histopatolojik veriler üzerinde derin metrik öğrenme ile sınıflandırma işlemi gerçekleştirilmiştir.

Çalışmanın sonraki bölümünde, derin metrik öğrenme hakkında detaylı bilgiler sunulmuştur. Daha sonra, histopatolojik veri kümesinde derin metrik öğrenme uygulaması açıklanmıştır. Son olarak, yapılan çalışmanın deneysel sonuçlarına yer verilmiştir. Önerilen yöntemde, derin metrik öğrenme yaklaşımları ve transfer öğrenme yaklaşımı bir arada kullanılmıştır. Elde edilen sonuçlara göre derin metrik öğrenmenin histopatolojik veri kümelerinde oldukça başarılı sonuçlar elde ettiği sonucuna varılmıştır.

2. Derin Metrik Öğrenme

Dijital çağın getirdiği kolaylıklar ve avantajlarla birlikte, günümüzde dijital verilerin hacmi ve çeşitliliği önemli ölçüde artmış durumdadır. Bugünün en kıymetli ürünü olarak nitelendirilen verinin işlenmesi, hayatımıza bir dizi yenilik ve pratiklik sağlamaktadır. Yapay zeka algoritmaları için her bir veri büyük anlamlar içermesine rağmen, verilerin işlenmesi ve hesaplama maliyetleri en önemli sorunlardan biridir. Gelişen teknolojiyle birlikte, verileri çok daha hızlı ve küçük parçalara ayrılarak paralel bir şekilde işleme imkanı, sinir ağlarında daha "derin" yapıların oluşturulabilmesine olanak tanımaktadır. İnsan beynindeki sinir hücrelerinin yapısından ilham alan derin öğrenme, derin yapılar veya katmanlar sayesinde veriden öğrenme yeteneğini artırmayı hedeflemektedir [13]. Derin sinir ağları, karmaşık gibi görünen zor problemleri daha iyi anlamlandırabilme kapasitesine sahiptir. Derin öğrenme, doğrudan ham veriden sınıflandırma yapmak yerine, veriyi daha iyi temsil yeteneğine sahip olduğu yüksek soyutlama seviyesine taşıyarak sınıflandırma yapmayı amaçlamaktadır [7].

Derin öğrenmenin popülerliğinin artmasıyla birlikte, benzerlik esasına dayalı metrik öğrenme odaklı derin öğrenme çalışmalarının önemli ölçüde arttığı gözlemlenmektedir [1416]. Bu tür yaklaşımlar, örnekler arasındaki benzerlik veya benzersizlik ilişkisine dayanarak, örnekler arasındaki uzaklık ilişkisini doğru bir şekilde anlamak için derin bir metrik öğrenmeyi amaçlamaktadır. Bu öğrenme yaklaşımında, bilinen derin öğrenme sinir ağları yapısından farklı olarak, aynı ya da farklı sınıflardan veri örnekleri, aynı anda ağ yapısına giriş örnekleri olarak sunulur. Bu da ağ yapısında aynı kategoride bulunan sınıf örneklerinin birbirine yaklaştırılmasını, farklı kategorilerde bulunan ağ örneklerinin ise öğrenilen metrikle birbirinden uzaklaştırılmasını sağlar [17].

Derin metrik öğrenme çalışma yapısı Şekil 1'de gösterilmiştir. Şekil 1’i incelediğimizde, bu ağ yapısında verilerin yeni bir temsil uzayına yerleştirildiğini görebiliriz. Bu temsil uzayındaki yapı, bir metrik uzaklığından faydalanır. Öğrenilecek olan metrik, benzer örnekler arasındaki uzaklığı minimize etmeye çalışırken, farklı örnekler arasındaki uzaklığı maksimize etmeye çalışır. Şekil 1’de temsili bir ağ yapısı olarak sunulan Siamese ağlarında, ağa aynı anda iki örnek veri girişi sunulur. Bu ikili örnekler, aynı sınıftan veya farklı sınıflardan örnekler olabilir. Her iki ağ örneği için aynı W ağırlık değerleri kullanılır ve öğrenilecek metrik, örnekler arasındaki benzerlik veya benzersizlik ilişkisini kurar. Temsili dönüştürülmüş veri uzayında da görüleceği üzere, oluşturulan yapıyla nesnelerin birbirinden mümkün olabildiğince ayrılabilmesi sağlanır.

50/129

Benzerlik Tabanlı Öğrenme Kullanarak Histopatolojik Görüntülerin Sınıflandırılması Classification of histopathological images using similarity-based learning Mahmut Kaya, Hasan Şakir Bilge

y d(x, y)

x

d= (x, y)

k

∑(xi − yi )2 i =1

Uzaklığı minimize etme Uzaklığı maksimize etme

Şekil 1. Derin metrik öğrenme [8]

Derin metrik öğrenme güncel birçok uygulama alanında elde ettiği başarılarla dikkatleri çekmektedir. Öğrenme yaklaşımında, gerçek hayat problemlerini ele alırken doğrusal olmayan verileri anlama yeteneği ve benzerlik esaslı bir yaklaşım kullanarak; ham veriyi daha soyut veri seviyelerine indirmeyi amaçlamaktadır. Kişiyi yeniden tanımlama görevlerinde [18-20], histopatolojik görüntüleri anlamlandırmada [21-23], röntgen görüntülerinden hastalık tanımada [24-25], imza doğrulamada [26-27], ağ saldırı tespit sistemlerinde [28-29], duygu tanımada [30], ses sinyallerini işlemede derin metrik öğrenme yaklaşımları oldukça başarılı çözümler sunmaktadırlar.

3. Materyal ve Yöntem

Günümüzde mikroskobik ortamda incelemeleri gerçekleştirilen patolojik görüntülerle çeşitli hastalıklara ait tıbbi tanılar konulmaktadır. Tanılama işlemi öncesinde, mikroskobik bir doku görüntüsünü doğrudan incelemek yerine anlamlı bir görüntü elde etmek amacıyla çeşitli boyama teknikleri kullanılmaktadır. Bu bağlamda, Hematoxylin ve Eosin kimyasallarının birlikte kullanıldığı H & E boyama tekniği, bu amaçla en sık başvurulan yöntemlerden biridir [33].

3.1.Veri Kümesi

Yapılan çalışmada, Hematoxylin ve Eosin kimyasalları ile boyanmış olan histopatolojik görüntüler veri kümesi

kullanılmaktadır [34]. Veri örnekleri, iki farklı gruptan örnekler içermektedir. İlk grup, sağlıklı örneklerden oluşan görüntülerdir. İkinci grup ise, 100 mg/kg/gün intraperitoneal Alüminyum Klorür (AlCl3) enjekte edilmiş örneklerden oluşan hasarlı görüntülerdir. Histopatolojik bir görüntüde mavi, beyaz ve pembe bileşenler bulunmaktadır. Mavi bileşenler, görüntüde hücre çekirdeğini temsil etmektedir. Beyaz ve pembe bileşenler ise görüntüdeki diğer doku yapılarına karşılık gelmektedir. Veri kümesinde toplamda 360 hasarlı görüntü ve 779 sağlıklı görüntü örneği bulunmaktadır. Görüntüler, 2560x1920 boyutlarına sahip RGB renk uzayına aittir. Çalışmada kullanılan histopatolojik veri kümesindeki sağlıklı ve hasarlı görüntü örnekleri içeren görseller Şekil 2'de sunulmaktadır.

51/129

Şekil 2. Histopatolojik veri kümesinden örnek görüntüler

3.2. Transfer Öğrenme

Transfer öğrenmenin temel motivasyonu, önceden öğrenilmiş bilginin aktarılması ve bu bilgi sayesinde daha etkili ve hızlı bir şekilde sonuca ulaşılmasıdır [35]. Derin sinir ağlarında, transfer öğrenme yöntemleriyle yüksek derecede ayırt edici öznitelikler kazanılmaktadır [36]. Bu öğrenme yaklaşımında daha önce başarıyla uygulanan öğrenme sürecinin, farklı bir alandaki probleme başarılı bir şekilde uygulanarak bilginin aktarılması süreci önem arz etmektedir. Bu alandaki çalışmalarda, kullanılan sinir ağı modelinin uygulanabilirliği, modelin daha önce benzer ağlarda elde ettiği öğrenme yeteneğine dayanmaktadır. Zira transfer öğrenme uygulamalarında kullanılan sinir ağı modelleri, çok sayıda kategoriye sahip milyonlarca görüntüden oluşan, nitelik ve nicelik bakımından zengin veri kümelerine başarılı bir şekilde uygulanmaktadır.

Özellikle öğrenme verisinin az olduğu durumlarda, transfer öğrenme önemli bir araç haline gelmektedir. Literatürde başarıyla test edilmiş birçok sinir ağı modeli bulunmaktadır. Bu sinir ağı modelleri, geniş bir kategori yelpazesi ve yeterli sayıda örnek içeren veri kümelerinde güvenilir transfer öğrenme stratejileri olarak öne çıkmaktadırlar. AlexNet [37], VGG16 [38], VGG19 [38], ResNet [39], DenseNet [40] ve MobileNet [41] gibi sinir ağı modelleri literatürde transfer öğrenme amacıyla sıkça kullanılmaktadır.

3.3. Histopatolojik Görüntülerde Derin Metrik Öğrenme ile Sınıflandırma

Bu çalışmada, histopatolojik görüntülerde sağlıklı ve sağlıksız örnekleri ayırt etmek amacıyla derin metrik öğrenme yöntemleri kullanılmıştır. Siamese ve Triplet ağları, histopatolojik görüntüleri sınıflandırma amacıyla kullanılarak; benzer nesneleri birbirine yaklaştırma ve farklı nesneleri birbirinden uzaklaştırma hedeflenmiştir. Bu ağ modelleri, örnekler arasındaki benzerlik ilişkisini analiz etmek üzere

tasarlanmıştır. İki örnek arasındaki benzerlik durumuna bağlı olarak sinir ağının eğitim işlemi gerçekleştirilmektedir. ???????????????????????????????????????????????? ve ???????????????????????????????????????????????? olarak sinir ağına sunulacak iki tane örneğimiz olduğunu kabul edelim. Bu örnekler arasındaki uzaklık hesabı Denklem

1’de verilmektedir:

????????????????????????????????????????????????(????????????????????????????????????????????????, ????????????????????????????????????????????????) = ‖????????????????????????????????????????????????(????????????????????????????????????????????????) − ????????????????????????????????????????????????(????????????????????????????????????????????????)‖????????????????????????

Burada ????????????????????????????????????????????????(????????????????????????????????????????????????) ve ????????????????????????????????????????????????(????????????????????????????????????????????????), ???????????????????????????????????????????????? ve ???????????????????????????????????????????????? örneklerinin temsili dönüşüm uzayındaki yeni gösterimlerini ifade etmektedir. ???????????????????????????????????????????????? ise, temsili dönüşüm uzayındaki örnekler arasındaki uzaklığı hesaplayan bir fonksiyondur. Denklem 1’de ???????????????????????????????????????????????? benzer örnekler arasındaki uzaklığı azaltmayı, farklı örnekler arasındaki uzaklığı ise arttırmayı amaçlamak için kullanılmaktadır. Bu denklemi kullanarak bir uzaklık değeri hesaplanır. Daha sonra, Siamese derin sinir ağı modelindeki kayıp fonksiyonuna (????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????) ait hesaplama Denklem 2’de sunulmaktadır:

????????????????????????????????????????????????

=

(????????????????????????

−

????????????????????????)

???????????????????????? ????????????????????????

(????????????????????????????????????????????????)????????????????????????

????????????????????????

+ (????????????????????????) ???????????????????????? {????????????????????????????????????????????????????????????????????????(????????????????????????, ???????????????????????? − ????????????????????????????????????????????????)}

Denklemde kullanılan Y sembolü kategori etiketlerini temsil etmektedir. ????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????’deki ???????????????????????? değeri ön tanımlı bir marjin değeridir. Triplet sinir ağ modelleri, Siamese ağ modelinden farklı olarak üç giriş örneği içerir. Çapa örneği ????????????????????????, çapayla aynı sınıfa ait örnek içeren ???????????????????????????????????????????????? ve çapadan farklı sınıfa ait örnek içeren ???????????????????????????????????????????????? örneğidir. Denklem 3’te verilen Triplet kayıp fonksiyonuna (????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????) ait hesaplamada, ???????????????????????? ön tanımlı bir marjin değeri olarak ifade edilmektedir. Triplet kayıp fonksiyonuna ait hesaplama Denklem 3’te şu şekilde hesaplanmaktadır:

???????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????? = ????????????????????????????????????????????????????????????????????????(0, ‖????????????????????????????????????????????????(????????????????????????) − ????????????????????????????????????????????????(????????????????????????????????????????????????)‖???????????????????????? −‖????????????????????????????????????????????????(????????????????????????) − ????????????????????????????????????????????????(????????????????????????????????????????????????)‖???????????????????????? + ???????????????????????? )

x1

W

x2

Kontrastif Kayıp

Şekil 3. Siamese-VGG19 ağ modeli

52/129

Benzerlik Tabanlı Öğrenme Kullanarak Histopatolojik Görüntülerin Sınıflandırılması Classification of histopathological images using similarity-based learning Mahmut Kaya, Hasan Şakir Bilge

Pozitif Çapa

Uzaklık1 +

Uzaklık2

Triplet Kayıp

Negatif

Şekil 4. Triplet-VGG19 ağ modeli

Klasik evrişimli sinir ağında her bir örnek, evrişim, örnekleme, tam bağlı katman süreçlerinden geçerek bir sınıflandırma işlemine tabi tutulur. Ancak, derin metrik öğrenme süreci biraz daha farklıdır. Örnekler, sinir ağına paylaşımlı ağırlıklar kullanılarak birden fazla örnek içerecek şekilde bir arada paralel olarak sunulur. Bu sinir ağı yapısı içinde evrişim, örnekleme ve tam bağlı katman gibi özel katmanlar yer almakla birlikte aynı ağ yapısı paralel olarak yer alabilmektedir. Katmanlarda gerçekleştirilen işlemlerin ardından, odaklanılan şey iki örnek arasındaki benzerlik ilişkisidir. Bu benzerlik ilişkisi için kayıp metrik fonksiyonları kullanılarak işlem gerçekleştirilir. Şekil 3’te bu çalışmada önerilen Siamese – VGG19 ağ modeli görülmektedir. Bu derin sinir ağı modelinde ???????????????????????????????????????????????? ve ???????????????????????????????????????????????? olarak histopatolojik görüntüler ağa sunulmakta ve ağa sunulan görüntüler aynı sınıfa ait ise görüntüler birbirine yakınlaştırılmakta, farklı sınıfa ait görüntüler ise örnekler birbirinden uzaklaştırılmaktadır. Böylece daha iyi bir temsil elde edilmesi amaçlanmaktadır. Şekil 4’te görülen Triplet ağında ise Pozitif ve Çapa aynı sınıfa ait örnekler iken, Negatif ise farklı sınıfa ait bir örnek görüntüyü temsil etmektedir. Burada amaç Pozitif ile Çapa örneklerini birbirine yakınlaştırmak olup, Negatif örnek görüntü ise bu örneklerden uzaklaştırılmaktadır.

4.

Deneysel Sonuçlar

Çalışmada kullanılan histopatolojik veri kümesinde 911 görüntü eğitim örneği olarak ve 228 görüntü ise test örneği olmak üzere başlangıçta rasgele olarak ayrılmıştır. Eğitim veri kümesindeki örneklerin 623 tanesi sağlıklı görüntüler olup, 288 tanesi ise hasarlı görüntülerden oluşmaktadır. Test örneklerinin ise, 156’sı sağlıklı ve 72’si hasarlı görüntülerden oluşmaktadır.

Siamese ağ modelinde veriler, iki farklı görüntünün aynı ağa sunulması şeklinde olmaktadır. Deneysel çalışmada ağ modeli, eğitim süreci öncesinde ikili görüntüler oluşturarak

sınıfta dengeli bir dağılımı sağlamak için tasarlanmıştır. Bu ikili görüntüler, minimum ikili maksimum fayda prensibi kullanılarak 911 eğitim görüntüsü kullanılarak toplamda 1148 tane ikili görüntü örnekleri oluşturulmuştur. Oluşturulan görüntüler hem aynı sınıfların birbiriyle hem de farklı sınıfların birbiriyle bulunması şeklinde dengeli bir şekilde eşleştirilmiştir. Ağa en az bir kez sunulan ikililer, tüm eğitim örneklerini içermektedir. Ağın performansını değerlendirmek için yapılan çalışmalarda sunulacak görüntüler rasgele seçilmiştir. Bununla birlikte, ağ modelinde her bir aşamada kullanılacak olan ikili görüntülerin dengeli bir şekilde yer alması amaçlanmıştır. Bu amaçla, ağda her sınıf için hem kendi sınıfından hem de diğer sınıftan görüntüler yer alması hedeflenmiştir.

Eğitim aşamasında ikili görüntülerde, aynı sınıftan örnekler birbirine yakınlaştırılırken, farklı sınıftan örnekler birbirinden uzaklaştırılma ilkesiyle hareket edilmektedir. Test işleminde farklı bir bakış açısı kullanılırken, eğitim örneklerinin başarısı buna odaklanır. Bu durumda, sorunu bir sınıflandırma sorunu olarak ele almak istediğimizde, her bir test örneği bir eğitim örneği ile karşılaştırılır. Test örneğini X1 veya X2'ye yerleştirmek önemli değildir. Çünkü eğitilmiş ağ modeli üzerinde veriler test edilirken iki örneğin benzerlik veya benzersizlik durumuna odaklanılmaktadır. Bu sebeple ortada bir benzerlik varsa veriler aynı sınıfla etiketlenirken; benzersizlik varsa farklı sınıfla etiketlenmektedir. Bu sebeple giriş verilerinin hangisine yerleştirildiğinin bir önemi yoktur. Çift taraflı test aşamasında da aynı ağırlıklar kullanılmaktadır. Deneylerde 228 test görüntüsünün her biri en az bir kez eğitim görüntüleriyle eşleştirilmektedir. Deneylerin test aşamasında 228 test görüntüsünden 4560 ikili test görüntüsü oluşturulmuştur. Bu kapsamda önerilen yöntemin başarısını test etmek için 4560 ikili görüntünün sınıflandırma performansı incelenmiştir.

Yapılan deneyler sonucunda Siamese ağ modeline ait eğitim aşamaları sonucu Şekil 5’te görülmektedir. Şekil 5’te görüldüğü üzere süreç içerisinde ağa ikili görüntülerin sunulmasıyla eğitim modelinin nasıl bir başarı elde ettiği görülmektedir. Her bir aşamada yeni dönüşüm uzayında veriler daha iyi temsil edilirken, veri öğelerinin birbirinden ayrışması net bir şekilde görülmektedir. Ağ modelini eğitmede Siamese ağ modelinde VGG19 transfer öğrenme yaklaşımının yanında ResNet50 modeli de denenmiştir. Tablo 1’de görüldüğü üzere Siamese+VGG19 ağ modeli ile test verilerini tahmin etmede %95,39 başarı elde edilmiştir.

Tablo 1. Siamese derin metrik ağ modelinin test başarısı

Ağ Modeli Siamese – VGG19 Siamese – ResNet50

Doğruluk 0,9539 0,8541

53/129

Şekil 5. Siamese derin metrik ağ modelinin eğitim aşaması sonuçları

Triplet eğitim örnekleri, her bir örneğin en az bir kez kullanılması koşuluyla 911 eğitim görüntü verisi kullanılarak toplamda 2000 farklı üçlü görüntü örneği oluşturulmuştur. Burada 2000 farklı üçlü görüntü oluşturulurken rasgele olarak pozitif ve çapa örneği aynı sınıfa ait örnek görüntüler olurken, negatif ise diğer sınıfa ait görüntü örneğidir. Yapılan deneylerde yeterli başarıya 2000 farklı kombinasyonla ulaşıldığı için bu sebeple derin sinir ağının eğitim sürecinde bu kadar üçlü kombinasyon yeterli bulunmuştur. Bu üçlü görüntülerde, aynı sınıftan örnekler birbirine yakınlaştırılırken, farklı sınıftan örnekler birbirinden uzaklaştırılır. Bu kapsamda çapa ile aynı sınıftan olan pozitif örnekler birbirine

yaklaştırılırken; çapa ile farklı sınıftan olan negatif örnek ise bu iki örnekten (pozitif ve çapa) uzaklaştırılmaktadır. Eğitim örneklerinin başarısını belirlemede bu duruma odaklanılırken, test başarısını belirlemede farklı bir yaklaşım kullanılmaktadır. Bu durumda, sorunu bir sınıflandırma sorunu olarak ele almak istediğimizde, her bir test örneği bir çapa örneğine eşittir. Test sürecinde 228 test örneğinin her biri çapaya yerleştirilmiş ve pozitif ve negatif örnekler ise eğitim kümesindeki örneklerden alınmıştır. Test örneğinden bağımsız olarak pozitif ve negatif örnekler farklı sınıflardan birer örnektir. Böylece çapaya yerleştirilen test örneği hangi sınıftan (pozitif veya negatif) bir örneğe yakınsa o örneğe olan benzerliğinden dolayı aynı sınıfta

54/129

Benzerlik Tabanlı Öğrenme Kullanarak Histopatolojik Görüntülerin Sınıflandırılması Classification of histopathological images using similarity-based learning Mahmut Kaya, Hasan Şakir Bilge

olarak tahmin edilmiştir. Testin sınıflandırma doğruluğu ise test verisinin gerçek kategorisiyle karşılaştırılması sonucunda elde edilmektedir.

Triplet ağ modeline ait eğitim aşamaları adım adım Şekil 6’da sunulmuştur. Ağ modeline üçlü görüntülerin sunulmasıyla eğitim modelinin nasıl bir başarı elde ettiği Şekil 6’da görülmektedir. Başlangıç aşamasında ham verilerin birbirinden ayrışamadığı görülürken, dönüşüm uzayına taşınma ile veri örneklerinin daha iyi bir temsil yeteneğine ulaştığı görülmektedir. Eğitim örnekleri arasında ayrışma çok iyi olup son aşamada bu durum gözlemlenebilmektedir. Ağ modelini eğitmek için Triplet ağ modelinde VGG19 transfer öğrenme

yaklaşımının yanında ResNet50 modeli de test edilmiştir. Tablo 2’de görüldüğü üzere Triplet+VGG19 ağ modeli ile test verilerini tahmin etmede %96,92 sınıflandırma başarısı elde edilmiştir.

Tablo 2. Triplet derin metrik ağ modelinin test başarısı

Ağ Modeli

Doğruluk

Triplet – VGG19 0,9692

Triplet – ResNet50 0,9429

Şekil 6. Triplet derin metrik ağ modelinin eğitim aşaması sonuçları

55/129

5.

Sonuç

Uzaklık metriğine dayalı öğrenme örüntüler arasındaki benzerlik bilgisini ele almada önemli bilgi sunmaktadır. Bu çalışmada aynı sınıftan örnekler arasındaki benzerliği maksimize etme (uzaklığı azaltma), farklı sınıflar arasındaki benzerliği minimize etme (uzaklığı arttırma) için derin metrik öğrenme yaklaşımından yararlanılmıştır. Derin metrik öğrenme yaklaşımında birden fazla örnek ağa aynı anda sunularak örneklerin birbirine benzerliği incelenmektedir.

Bu çalışmada benzerlik öğrenme amacıyla Siamese ve Triplet ağ modelleri temel alınmıştır. Ayrıca ağ modellerindeki başarıyı maksimize etmede sıradan bir model yerine literatürde başarısını kanıtlamış olan transfer öğrenme yaklaşımlarından yararlanılmıştır. Yapılan çalışma sonucunda histopatolojik görüntülerde derin metrik öğrenme amacıyla Siamese+VGG19, Siamese – ResNet50, Triplet – VGG19 ve Triplet – ResNet50 modelleri kullanılmıştır. Eğitim süreçlerinde çok iyi bir öğrenme gerçekleştirilmiştir. Siamese ağ modelinde VGG19 kullanımı ile %95,39 sınıflandırma test başarısı elde edilirken, Triplet ağ modelinde VGG19 kullanımı ile %96,92 sınıflandırma test başarısı elde edilmiştir.

Triplet ağ modelinde başarının daha yüksek olmasında ağın eğitim modelinin etkisi önemlidir. Triplet ağında Siamese ağından farklı olarak aynı anda üç giriş verisi ağa sunulmaktadır. Ağın eğitim sürecinde birinci sınıfa ait örnek, ikinci sınıfa ait örnek ve çapa örneği sunulan örneklerdir. Çapa örneğinin sınıfına bakılarak aynı anda hem benzerlik hem benzersizlik ilişkisinin bir arada öğrenilmesi özelliği ile daha kararlı ve sağlam bir metrik öğrenimi sağlanmaktadır.

Klasik derin öğrenme yaklaşımlarında eğitim sürecinde giriş verileri birer birer ağa sunulmaktadır. Derin metrik öğrenmenin paylaşımlı ağırlıklı yapısında çok sayıda ikili ya da üçlü görüntü örneği ağa sunularak ağın öğrenme yeteneği de arttırılmaktadır. Veri örnekleri az olsa bile oluşturulacak ikili üçlü örnek kombinasyonlarıyla daha fazla ve farklı veri ikili veya üçlüleriyle öğrenme gerçekleştirilmektedir. Böylece daha iyi temsile sahip özniteliklerin elde edilebilmesi mümkün olabilmektedir. Bu durum ağın öğrenme performansını yükseltmede önemli bir etken olmuştur.

Teşekkür Bu makale çalışması Prof. Dr. Hasan Şakir BİLGE danışmanlığında Mahmut KAYA'nın "Derin Metrik Öğrenme ile Histopatolojik Görüntülerin Sınıflandırılması" isimli doktora tezi kapsamında gerçekleştirilmiştir. Ayrıca yazarlar Prof. Dr. Mehmet GÜL’e destekleri için teşekkür etmektedir.

Çıkar Çatışması Yazarlar bu makaleyle ilgili herhangi bir çıkar çatışması olmadığını bildirir.

Araştırma ve Yayın Etiği Beyanı Yazarlar bu çalışmanın araştırma ve yayın etiğine uygun olduğunu beyan eder.

Kaynaklar

[1] T. M. Mitchell, “Machine learning and data mining”. Communications of the ACM, 42(11), 30-36, 1999.

[2] A. Géron, Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow, O'Reilly Media, Inc., 205, 2022.

[3] A. Globerson ve S. Roweis. “Metric learning by collapsing classes”, Advances in neural information processing systems, 1-8, 2005.

[4] F. Wang ve J. Sun, “Survey on distance metric learning and dimensionality reduction in data mining”, Data mining and knowledge discovery, 29(2), 534-564, 2015.

[5] K. Q. Weinberger ve L. K. Saul, “Distance metric learning for large margin nearest neighbor classification”, Journal of machine learning research, 10, 207-244, 2009.

[6] J. Schmidhuber, “Deep learning in neural networks: An overview”, Neural networks, 61, 85-117, 2015.

[7] Y. LeCun, Y. Bengio ve G. Hinton, “Deep learning”,Nature, 521(7553), 436-444, 2015.

[8] M. Kaya, ve H. Ş. Bilge, “Deep metric learning: A survey”, Symmetry, 11(9), 1066, 2019.

[9] J. Lu, J. Hu ve J. Zhou, “Deep metric learning for visual understanding: An overview of recent advances”. IEEE Signal Processing Magazine, 34(6), 76-84, 2017.

[10] R. Hadsell, S. Chopra ve Y. LeCun, “Dimensionality reduction by learning an invariant mapping”, IEEE computer society conference on computer vision and pattern recognition, 1735-1742, 2006.

[11] E. Hoffer ve N. Ailon, “Deep metric learning using triplet network”, Similarity-Based Pattern Recognition: Third International Workshop, 84-92, 2015.

[12] M. Peikari, M. J. Gangeh, J. Zubovits, G. Clarke ve A. L. Martel, “Triaging Diagnostically Relevant Regions from Pathology Whole Slides of Breast Cancer: A Texture Based Approach,” IEEE Transactions on Medical Imaging, 35(1), 307–315, 2016.

[13] I. Goodfellow, Y. Bengio ve A. Courville, Deep learning. MIT press, 2016.

[14] Y. Duan, J. Lu, J. Feng, ve J. Zhou, “Deep localized metric learning”, IEEE Transactions on Circuits and Systems for Video Technology, 28(10), 2644-2656, 2017.

[15] G. Dai, J. Xie ve Y. Fang, “Deep correlated holistic metric learning for sketch-based 3D shape retrieval”, IEEE Transactions on Image Processing, 27(7), 3374-3386, 2018.

[16] B. Harwood, V. Kumar BG, G. Carneiro, I. Reid, ve T. Drummond, “Smart mining for deep metric learning”, In Proceedings of the IEEE international conference on computer vision, 2821-2829, 2017.

[17] E. Hoffer, ve N. Ailon, “Semi-supervised deep learning by metric embedding”, arXiv preprint arXiv:1611.01449, 2016.

56/129

Benzerlik Tabanlı Öğrenme Kullanarak Histopatolojik Görüntülerin Sınıflandırılması Classification of histopathological images using similarity-based learning Mahmut Kaya, Hasan Şakir Bilge

[18] S. Liao ve L. Shao, “Graph sampling based deep metric learning for generalizable person re-identification”, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 7359-7368, 2022.

[19] K. A. Duncanson, S. Thwaites, D. Booth, G. Hanly, W. S. Robertson, E. Abbasnejad, ve D. Thewlis, “Deep metric learning for scalable gait-based person re-identification using force platform data”, Sensors, 23(7), 3392, 2023.

[20] S. S. Faghih Imani, K. Fouladi‐Ghaleh, ve H. Aghababa, “Generalizable and efficient cross‐domain person re‐ identification model using deep metric learning”, IET Computer Vision, 17(8), 993-1004, 2023.

[21] S. M. Alizadeh, M. S. Helfroush, ve H. Müller, “A novel Siamese deep hashing model for histopathology image retrieval”, Expert Systems with Applications, 225, 120169, 2023.

[22] X. Li, B. Yang, T. Chen, Z. Gao, ve H. Li, “Multiple instance learning-based two-stage metric learning network for whole slide image classification”, The Visual Computer, 1-16, 2023.

[23] N. Hashimoto, Y. Takagi, H. Masuda, H. Miyoshi, K. Kohno, M. Nagaishi, ... & I. Takeuchi, 2023, “Case-based similar image retrieval for weakly annotated large histopathological images of malignant lymphoma using deep metric learning”, Medical image analysis, 85, 102752, 2023.

[24] Y. Jin, H. Lu, Z. Li, ve Y. Wang, “A cross-modal deep metric learning model for disease diagnosis based on chest xray images”, Multimedia Tools and Applications, 82(21), 33421-33442, 2023.

[25] A. Zhong, X. Li, D. Wu, H. Ren, K. Kim, Y. Kim, ... ve Q. Li, “Deep metric learning-based image retrieval system for chest radiograph and its clinical applications in COVID-19”, Medical Image Analysis, 70, 101993, 2021.

[26] L. Liu, L. Huang, F. Yin ve Y. Chen, “Offline signature verification using a region based deep metric learning network”, Pattern Recognition, 118, 108009, 2021.

[27] T. B. Viana, V. L. Souza, A. L. Oliveira, R. M. Cruz ve R. Sabourin, “A multi-task approach for contrastive learning of handwritten signature feature representations”, Expert Systems with Applications, 217, 119589, 2023.

[28] G. Andresini, A. Appice ve D. Malerba, “Autoencoderbased deep metric learning for network intrusion detection”, Information Sciences, 569, 706-727, 2021.

[29] Z. Wang, Z. Li, D. He ve S. Chan, “A lightweight approach for network intrusion detection in industrial cyberphysical systems based on knowledge distillation and deep metric learning”, Expert Systems with Applications, 206, 117671, 2022.

[30] B. Mocanu, R. Tapu ve T. Zaharia, “Multimodal emotion recognition using cross modal audio-video fusion with attention and deep metric learning”, Image and Vision Computing, 133, 104676, 2023.

[31] X. Chen, L. He, C. Xu, ve J. Liu, “Distance-dependent metric learning”. IEEE Signal Processing Letters, 26(2), 357361, 2019.

[32] V. S. Narayanaswamy, J. J. Thiagarajan, H. Song ve A. Spanias, “Designing an effective metric learning pipeline for speaker diarization”, IEEE International Conference on Acoustics, Speech and Signal Processing, 5806-5810, 2019.

[33] M. Titford, The long history of hematoxylin. Biotechnic & histochemistry, 80(2), 73-78, 2005.

[34] F. Serin, M. Erturkler, ve M. Gul, “A novel overlapped nuclei splitting algorithm for histopathological images”, Computer methods and programs in biomedicine, 151, 57-70, 2017.

[35] S. J. Pan, ve Q. Yang, “A survey on transfer learning”, IEEE Transactions on knowledge and data engineering, 22(10), 1345-1359, 2009.

[36] J. Lu, V. Behbood, P. Hao, H. Zuo, S. Xue, ve G. Zhang, “Transfer learning using computational intelligence: A survey”, Knowledge-Based Systems, 80, 14-23, 2015.

[37] A. Krizhevsky, I. Sutskever ve G. Hinton, “Imagenet classification with deep convolutional neural networks”, Advances in neural information processing systems, 25, 2010.

[38] K. Simonyan ve A. Zisserman, “Very deep convolutional networks for large-scale image recognition”, arXiv preprint arXiv:1409.1556, 2014.

[39] K. He, X. Zhang, S. Ren ve J. Sun, “Deep residual learning for image recognition”, IEEE conference on computer vision and pattern recognition, 770-778, 2016.

[40] G. Huang, Z. Liu, L. Van Der Maaten ve K. Q. Weinberger, “Densely connected convolutional networks”, IEEE conference on computer vision and pattern recognition, 4700-4708, 2017.

[41] A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, ... ve H. Adam, “Mobilenets: Efficient convolutional neural networks for mobile vision applications”, arXiv preprint arXiv:1704.04861, 2017.

57/129

Özgeçmişler

Dr. Mahmut Kaya, Fırat Üniversitesi Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümü lisans programını 2010 yılında tamamladı. Yüksek lisans ve Doktora Programlarını Gazi Üniversitesi Fen Bilimleri Enstitüsü Bilgisayar Mühendisliği Anabilim Dalında 2014 ve 2019 yıllarında tamamlamıştır. Lisansüstü çalışmaları esnasında 2012-2019 yılları arasında Gazi Üniversitesi Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümünde Araştırma Görevlisi olarak çalışmıştır. 20202024 yılları arasında Siirt Üniversitesi Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümünde Dr. Öğr. Üyesi olarak çalışmıştır. 2024 yılından itibaren Fırat Üniversitesi Mühendislik Fakültesi Yapay Zekâ ve Veri Mühendisliği Bölümünde Dr. Öğr. Üyesi olarak çalışmaktadır. Bilimsel araştırma alanları arasında örüntü tanıma, makine öğrenmesi ve derin öğrenme yer almaktadır.

Prof. Dr. Hasan Şakir Bilge, Yıldız Teknik Üniversitesi Bilgisayar Mühendisliği Bölümü lisans programından 1992 yılında mezun oldu. Yüksek lisans programını Kırıkkale Üniversitesi Fen Bilimleri Enstitüsü Elektrik Elektronik Mühendisliği Anabilim Dalında 1997 yılında tamamladı. Doktora programını Başkent Üniversitesi Fen Bilimleri Enstitüsü Elektrik Elektronik Mühendisliği Anabilim Dalında 2003 yılında tamamladı. 2003-2012 yılları arasında Gazi Üniversitesi Mühendislik Fakültesi Bilgisayar Mühendisliği Bölümünde yardımcı doçent kadrosunda çalıştı. 2012 yılında Elektrik Elektronik Mühendisliği alanında doçentlik unvanını aldı. 2012-2015 yılları arasında Bilgisayar Mühendisliği Bölümünde ve 2015-2020 yılları arasında Elektrik Elektronik Mühendisliği Bölümünde doçent olarak çalıştı. 2020 yılından itibaren Gazi Üniversitesi Mühendislik Fakültesi Elektrik Elektronik Mühendisliği Bölümünde profesör olarak çalışmaktadır. FPGA programlama ve doğrulama, görüntü işleme, ultrason görüntüleme, örüntü tanıma, derin öğrenme gibi konularda bilimsel çalışmalar yapmaktadır.

58/129