ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Fores

Makale Türü: Araştırma Makalesi Makale Gönderilme Tarihi: 9.09.2024

Kabul Tarihi:24.10.2024

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi

EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier

Nuri İkizler1, Güneş Ekim1

0000-0002-7632-1973 0000-0003-4867-3100

1Trabzon Meslek Yüksekokulu, Karadeniz Teknik Üniversitesi, Trabzon, Türkiye [email protected], [email protected]

Özet

Amyotrofik Lateral Skleroz (ALS) hastalığının ilerleyen safhalarında, hastalar göz kasları dışında vücutlarındaki kasları kullanamaz hale gelirler. Çevreleri ile iletişim için tek şansları göz ve göz kası hareketleridir. Bu çalışmada, ALS hastalarının ifade etmek istedikleri ihtiyaç, duygu ve düşüncelerini içeren kelimeleri tek ve çift göz kırpmaları kullanarak sese dönüştüren bir sistemin tasarımı yapılmıştır. Tasarlanan sistemde, ilk olarak tek kanallı bir EEG cihazı tarafından ikili kodlanmış şekilde gönüllü deneklerden alınan EEG sinyaline karışmış durumdaki göz kırpma işaretleri, spektrogram yöntemi ile EEG sinyallerinden ayrılmıştır. Daha sonra Dalgacık Dönüşümü yöntemi ile öznitelik vektörleri bulunmuş ve Rastgele Orman algoritması kullanılarak tek veya çift göz kırpma olarak sınıflandırmaları gerçekleştirilmiştir. Sonuçta elde edilen tek ve çift göz kırpmalardan oluşan dizinin karşılığı olan kelime veya cümle seslendirilerek sistemin çalışması tamamlanmıştır. Etkileyici bir başarı oranına sahip sonuçlar ile bu alanda yapılacak çalışmalara yeni bir katkı sağlanmıştır. Anahtar kelimeler: Göz-kırpma Tespiti, EEG, Spektrogram, Dalgacık Dönüşümü, Rastgele Orman

Abstract

In the advanced stages of Amyotrophic Lateral Sclerosis (ALS), patients become unable to use any muscles in their bodies except for their eye muscles. Their only means of communication with their surroundings is through eye and eye muscle movements. In this study, a system is designed to convert the words expressing the needs, emotions, and thoughts of ALS patients into speech using single and double eye blinks. In the designed system, the eye blink signals, which are mixed into the EEG signals that are binary-coded and obtained from voluntary subjects using a single-channel EEG device, are first separated from the EEG signals using the spectrogram method. Then, the feature vectors are extracted using the Wavelet Transform method, and classification as single or double eye blinks is performed using the Random Forest algorithm. Finally, the corresponding word or sentence is vocalized from the sequence of single and double eye blinks, completing the system's operation. With impressive success rates, the results provide a new contribution to research in this field. Keywords: Eye-blink Detection, EEG, Spectrogram, Wavelet Transform, Random Forest

1. Giriş

Amyotrofik Lateral Skleroz (ALS) oldukça sık görülen hem kas hem de sinirlerle ilgili nöromüsküler bir hastalıktır. Dünyada yılda yaklaşık olarak her yüz bin kişide 1-2 adet ALS hastasına rastlanır. 2006'da yapılan bir araştırmaya göre Türkiye’de görülme sıklığı yüz binde 7.3'tür [1]. ALS aynı zamanda motor nöron hastalığı olarak da bilinir. Merkezi sinir sisteminde omurilik ve beyin sapı olarak isimlendirilen bölgede bulunan motor sinir hücrelerinin kaybından meydana gelir. Bu hücrelerin kaybı kaslarda güçsüzlük ve erimeye neden olur. ALS baskın olarak motor nöronlarını etkiler, fakat hastanın zihinsel faaliyetlerine etki etmez. Aynı şekilde, görme, koklama, tat alma, duyma ve dokunma gibi vücut fonksiyonları da bu hastalıktan etkilenmez. Ancak çok nadir durumlarda hastalığın 20 yıl ve üstünde sürmesi neticesinde, hastada görme kaybı da oluşur. Hastalığın gelişim süresince kişi zamanla vücudunun hemen hemen tüm kaslarını kullanamaz hale gelir ve çoğunlukla diyafram kaslarının zayıflaması sonucunda solunum yetmezliğinden hayatını kaybeder [2]. Bu hastalığın seyri boyunca hastaların ve yakınlarının yaşadıkları süreç oldukça zordur. Hasta kaslarını kullanamaz haldedir. İhtiyaç, duygu ve düşüncelerini bile dile getiremez durumda, tamamıyla kendi iç dünyasına kapanmış bir şekilde yaşamını sürmektedir [3]. Hastanın en azından ihtiyaç, duygu ve düşüncelerini yakın çevresine iletebilmesi, bu noktada çok önemlidir. Hastanın çevresiyle iletişim kurması sağlanırsa, hasta ihtiyaçlarının anlaşılmasının vereceği bakım kolaylığının yanı sıra, hastanın iç dünyasının karanlığından çıkabilmesini sağlayan bir kapının aralanması, hasta ve yakınları için çok büyük moral kaynağı olacaktır. Göz kaslarının hastalıktan etkilenmemesi nedeniyle haberleşme için bu kasların kullanılması en mantıklı yaklaşımdır. Bu nedenle bugüne kadar yapılan çalışmalar bu noktaya odaklanmıştır. Harf tablosu, bu alanda ALS hastalarının göz kapaklarını açıp kapatarak doğrulama işlemini gerçekleştirdiği ilk çalışma olarak gösterilebilir [4]. Öte yandan hastanın yazmak veya söylemek istediği kelimenin karakterlerini, beyinden kaydedilen sinyallerle oluşturma mantığına dayanan P300 heceleme sistemi de literatürde kapsamlı olarak incelenmiştir [5-10]. Bu sistemler hastanın düşündüğü kelimeye odaklanırken ürettiği P300 dalgasının algılanması ve söylemek istediği kelimenin belirlenmesi esasına dayanmaktadır. Harf tablosu ve P300 dalgası kullanılarak yapılan çalışmaların ortak noktası, gösterilen bir uyarana tepki prensibine dayanmasıdır.

Aralarındaki fark, ilk sistemde hasta, harf tablosunda seçilen bir harfi göz kırpmalarıyla onaylar, diğerinde ise bu onay P300 dalgasıyla elde edilir. Ekran klavyesi kullanılarak gözün hangi harfe odaklandığının tespiti esasına dayanan çalışmalar da mevcuttur [11-16]. Bu çalışmalarda göz bebeğinin ekranda baktığı noktanın belirlenmesi için göz izleme cihazı, elektrookulogram (EOG) veya kamera kullanılmaktadır. Yazılacak karakterin, ekranda belirlenen noktalar arasına klavye kullanılarak çizilmesi yerine, göz hareketleriyle çizilmesine odaklanan sistemler de çalışmalar arasındadır [17-

21]. Bir diğer çalışma, kişinin göz kırpmalarıyla yapılandırılmış bir listeden tercihlerini seçerek, iletişim kurmasını sağlayan sistemdir [22, 23]. Başka bir araştırma ise, IR cihazıyla kişinin göz kırpma hareketlerini algılayıp, bunları Morse koduna dönüştüren bir araştırmadır [24]. Yine bu alanda yapılan çalışmalar arasında tek kanallı EEG cihazı kullanılarak elde edilen göz kırpma sinyallerini farklı kodlama, analiz ve sınıflandırma algoritmaları kullanarak ses işaretlerine çeviren araştırmalar mevcuttur [25-28].

Tablo 1: Literatürde yer alan bazı çalışmaların kullanılan donanım, veri giriş hızı, maliyet ve doğruluk yönünden karşılaştırılması [27]

Yöntem

P300 dalgası

Sanal/ Ekran Klavyesi

Göz ile çizim

Göz hareketi ile yazma Göz kırpma ile yazı seçme

Göz kırpma ile yazma

Araştırmacı

Farwell-Donchin (1988)

Meinicke ve ark. (2003)

Kaper-Ritter (2004)

Amcalar-Çetin (2010)

Akram ve ark. (2015) Oralhan (2019)

Miniotas ve ark. (2003)

Majaranta ve ark. (2004) Uşaklı-Gürkan (2009) MacKenzieAshtiani (2011) Zhang ve ark.

(2018) Porta-Turina (2008)

Tsai ve ark. (2008)

Lee ve ark. (2016)

Fang-Shinozaki (2018) Ülkütaş (2015)

Soman-Murthy (2015)

Mukherjee ve ark. (2015) Ekim ve ark. (2021) Ekim ve ark. (2023)

İkizler ve ark. (2023)

Donanım

Neuroscan Synamps yükseltici

64-kanallı BioSemi Aktif iki EEG yükseltici

32-kanallı BrainAmp MR

CleveMed BioRadio cihazı (7 altın kaplama elektrotlu) Baş üstü göz takip sistemi -

İki adet bilgisayar iView X RED-III Göz takip cihazı-2 adet PC

2-kanallı EOG (5 elektrotlu) EyeTech TM3 göz takip cihazı, 2 ekranlı Cep telefonu-Web kameraDijital kamera

Tobii göz takip cihazı

NI DAQPad-6020E veri toplama cihazı (5 elektrotlu) 4-kanallı EOG (4 elektrotlu)

BlueGain EOG 4 elektrotlu Biyosinyal Yükseltici 2-kanallı EOG (6 elektrotlu)

Emotiv Epoc Cihazı (14 elektrotlu)

IR sensörü

Maliyet ($)

>50000 >50000

2500 11000 >50000 400-500 >50000 >50000 250-300 >50000 <2500 20000

<2500 1875 250-300

20-25 110 110

Veri Giriş Hızı

12 bit/dk veya 2,3 karakter/dk

Ortalama 50,5 bit/dk

Ortalama 47,26 bit/dk 49,38 bit/dk veya 11,11 karakter/dk Ortalama kelime başına 1,67 dk Bir karakter 60-78 saniyede yazılmaktadır. Dakikada 8,58 kelime

Dakikada 9,89 kelime “WATER” kelimesi 24,5 saniyede yazılmıştır. Dakikada 4,8 kelime

20 karakter/dk

Dakikada 6,8 kelime

27,9 karakter/dk

Dakikada 17,5 kelime

1 karakter için ortalama 3 saniye

“TEA” kelimesi 17 saniyede yazılmıştır.

“EVET” kelimesi 32,8 saniyede yazılmıştır. Kelime sınırı olmadan önceden belirlenmiş bir cümle, 12-14 saniyede yazılmıştır.

Doğruluk (%) 95 >90 79 93

Belirtilmemiş 84,76 96,6 98,8 95 97 99,8

50-100

87,38 95 92,5

Belirtilmemiş 99,2

94-99,5

98,75

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier Nuri İkizler, Güneş Ekim

Yukarıda belirtilen çalışmaların farklı avantaj ve dezavantajları bulunmaktadır. Öncelikle işlenecek verilerin toplanması aşaması kabul edilebilir hızda olmalıdır. Bir diğer beklenti ise, sistemin maliyetidir. Maliyetin tüm hastalar tarafından karşılanabilmesi çok önemlidir. Örneğin P300 dalgası kullanılarak yapılan sistem tasarımları oldukça maliyetlidir. Öte yandan hastanın kısa veya uzun vadede herhangi bir rahatsızlığa ya da hastalığa maruz kalmaması da dikkat edilmesi gereken diğer bir husustur. Örneğin, veri toplama aşamasında EOG kullanan sistemlerde kullanılan elektrot sayısı, sistemin çalıştırılması esnasında hastada rahatsızlığa neden olmaktadır. Ayrıca uzun süreli kullanımda katarakt oluşma olasılığı IR sensörünün bu araştırmalarda kullanılmasını riskli hale getirmektedir. Tablo 1’de bu alanda yapılan çalışmalar genel anlamda maliyet, hız ve doğruluk açısından karşılaştırılmıştır. Özellikle son yıllarda EEG kullanarak göz kırpmaları sese dönüştüren sistemler göze çarpmaktadır [25-28]. Bu sistemler özelikle, sistem maliyeti ve doğruluk açısından dikkate değer sonuçlar vermiştir. Ancak veri giriş hızlarının diğer sistemlere göre daha düşük olduğu gözlemlenmektedir. Bu sistemler veri toplama aşamasında tek kanallı ve tek elektrota sahip NeuroSky MindWave Mobile cihazını kullanmıştır. Bu da maliyeti oldukça düşürmüştür. Göz kırpmaların kodlanması aşamasında kullanılan Mors kodlama evrensel bir yöntem olsa da İngilizce için tasarlanmıştır [26]. Diğer çalışmada [27] kullanılan ikili kodlama ise veri giriş süresini uzatmıştır. Başka bir çalışmada ise, veri girişleri önceden belirlenmiş cümlelerin ikili kod kullanımı ile sağlanmıştır [25]. Bu çalışmalar yapılırken göz kırpmalar eşik seviyesi ile tespit edilerek [25-28]; Çapraz İlişki [25], Dinamik Zaman Bükmesi [26], K-En Yakın Komşu Kuralı [27], Yapay Sinir Ağları [28] sınıflandırma algoritmalarından faydalanılmıştır. Kullanılacak sistemin hastanın günlük ihtiyaçlarını ya da kısaca duygu veya düşüncelerini ifade edebileceği bir sistem olması yeterlidir. Hastanın uzun süreli göz kırpma işlemini gerçeklemesi hem yorulmasına hem de gözünde çapak oluşumuna neden olacaktır. Bu nedenle önceden belirlenmiş kelimeleri içeren kodların kullanılması daha mantıklı bir yaklaşım olarak görülmektedir. Bu çalışmada bu yaklaşımdan yola çıkılarak, hastanın günlük hayatta en çok ihtiyaç duyabileceği kelimeler veya cümleler seçilip, daha önceki çalışmalardan [25, 26, 27, 28] farklı olarak, spektrogram yöntemi ile göz kırpma işaretleri belirlenip, Dalgacık Dönüşümü yöntemi ile göz kırpma sinyallerinin öznitelik vektörleri elde edilmiştir. Daha sonra Rastgele Orman sınıflandırma algoritması kullanılmış ve sistemin genel başarı yüzdesi araştırılmıştır.

2. Tasarlanan Sistem ve Kullanılan Yöntemler

Tasarlanan göz kırpma işaretlerini sese dönüştüren sistemin genel blok diyagramı Şekil 1’de verilmiştir.

2.1. Göz Kırpmalar ile Veri Girişi

Göz kırpmalar, seslendirilmek istenen kelimeleri içeren ve Tablo 2’de gösterilen bir dizi ikili koddan oluşmuştur. Bu ikili kodlarda ‘0’ın karşılığı tek göz kırpma, ‘1’in karşılığı ise çift göz kırpma olarak kabul edilmiştir. Burada mümkün olabilecek diğer bir yaklaşım ise sağ ve sol göz kırpmaların ayrı olarak bu ikili sayı dizisini temsil etmesidir. Ancak bazı bireylerin sadece sağ veya sadece sol gözünü kırpma işlemini gerçekleştirmede zorluk yaşayabileceği düşünülerek, tek göz kırpma işlemi, her iki gözün birden aynı anda kapatıp açılması, çift göz kırpma

işlemi ise, her iki gözün birbirini hemen takip edecek şekilde iki defa kapatıp açılması şeklinde değerlendirilmiştir. Ayrıca iki gözün birlikte kapatıp açılması, aynı hareketin tek göz ile yapılanına göre, daha güçlü bir işaret üretmektedir. Böylelikle hastaya takılan tek elektrotta daha güçlü bir sinyal elde edilmiştir.

Göz Kırpmalar

Veri Toplama

Alçak Geçiren Filtre (A/D) Dönüştürme

Göz Kırpmaların Belirlenmesi

Pencereleme ve Dalgacık Dönüşümü

Rastgele Orman Yöntemi ile Sınıflandırma

Seslendirme

Söylenmek İstenen İfadenin

Oluşturulması

Şekil 1: Tasarlanan sistemin blok diyagramı.

Tablo 2’de verilen kodlar ile 16 tane kelime/cümle ifade etmek mümkündür. 8-16-32-64-128-… şeklinde ifade sayısını arttırmak veya azaltmak, bu tür bir veri girişi için olasıdır. Kod sayısının arttırılması ifade sayısını doğrudan arttıracaktır. Ancak veri giriş süresinin artması, hastanın daha çabuk yorulmasına neden olacaktır. Bu yüzden, burada hastanın günlük temel ihtiyaçlarını ifade edebileceği 8 veya 16’lık seçim uygun görünmektedir. Göz kırpmaların gönüllü denekler tarafından oluşturulması sırasında, onlardan doğal bir şekilde tek ve çift göz kırpma hareketlerini yapmaları istenmiştir. Burada; T1: Tek göz kırpma süresi T2: Çift göz kırpma süresi T3: Tek ve çift göz kırpmalar arasındaki süre şeklinde kabul edilirse, T2’nin T1’in yaklaşık iki katı olacağı açıktır. Burada tam 2 katı demek mümkün değildir. Çünkü denemeler esnasında göz kırpmaları gerçekleştiren gönüllü deneklerin çoğu, peşi sıra yapılsa bile, çift göz kırpma işleminde, iki göz kırpma arasında çok az bir süre beklemiştir. Bu nedenle;

T2  2T1

(1)

T3 süresi için;

T3  T2

(2)

yeterlidir. Burada gönüllü deneklerin hepsi herhangi bir uyarıya gerek kalmadan bu eşitsizliğe uymuştur.

Tablo 2: Göz kırpma kodları ve ifade edilmek istenen kelime/cümle karşılıkları

İfade Edilmek İstenen Kelime/Cümle

Evet. Hayır. Acıktım. Yatağımı biraz kaldırır mısınız? Tamam Televizyonu kapatır mısınız? Televizyonu açar mısınız? Işığı kapatır mısınız? Işığı açar mısınız? Perdeyi kapatır mısınız? Perdeyi açar mısınız? Uyumak istiyorum. Susadım. Müzik dinlemek istiyorum. Maç izlemek istiyorum. Sizi seviyorum.

2.2. Veri Toplama

Veri toplama aşamasında kullanılan NeuroSky MindWave Mobile cihazı Şekil 2.a’da gösterilmiştir. Cihaz, 512 Hz örnekleme hızına ve Şekil 2.b’de gösterilen kafatasının Fp1 pozisyonuna yerleştirilen bir kuru elektrot ve kulak memesine takılan bir referans elektrotuna sahiptir. Elektrotların yapısı gereği deri ile elektrot arasına iletken jel sürülmesi gerekmediği için, kullanım sonrası herhangi bir temizlik gerektirmemektedir. Cihaz üzerinde bütünleşik yer alan alçak geçiren süzgeç, yükseltici, analog/dijital dönüştürücü ve bluetooth sayesinde, doğrudan MATLAB yazılım ortamına saf verileri gerçek zamanda aktarma özelliğine sahiptir. Sistemde NeuroSky MindWave Mobile cihazı alçak geçiren filtreye sahip olduğu için, başka bir filtreleme işlemi gerçekleştirilmemiştir. Ancak veri toplama esnasında farklı bir cihaz kullanılacaksa, yüksek frekanslı bileşenlerden kurtulmak için, burada mutlaka bir filtreleme işlemi gerçekleştirilmelidir.

50 oranında örtüşmesine izin verilen pencereli veri bölümlerinin Hızlı Fourier Dönüşümlerinin basit bir dizisidir [30]. Spektrogram, zaman bölgesinde EEG işareti gibi spektral özellikleri durağan olmayan bir sinyale uyum sağlamak için, hızlı Fourier dönüşümünün bu sınırlamasından faydalanmaktadır. Bu durum zaman-frekans gösteriminde enerji sinyalinin bir dağılımını sağlar [31]. EEG işaretlerinin ve göz kırpmaların spektral özellikleri aynı değildir. Bu nedenle içerisinde göz kırpma sinyalleri de bulunan, kafatasının Fp1 pozisyonundan elde edilmiş EEG sinyali, içerisinde farklı spektral özellikler barındırmaktadır. Zamana göre bu spektral değişimi izlemek bize göz kırpma sinyallerinin sinyal içindeki konumu hakkında fikir verebilir. Şekil 3’te tek ve çift göz kırpma sinyallerine ilişkin genlikzaman grafiği verilmiştir. Göz kırpma işleminde zaman ekseninde önce gözün kapanması ile oluşan pozitif tepecik ve sonrasında açılması esnasında oluşan negatif tepecik, göz kas hareketleri tarafından meydana getirilmektedir. Göz kırpma işleminin süresi ise bu işlemin yapılış hızına bağlıdır. Gönüllü denekler tarafından normal bir şekilde yapılarak oluşturulmuş “1100” ikili kod karşılığı göz kırpmalara ait zaman ekseni değerleri Tablo 3’te verilmiştir. Bu tablo incelendiğinde gönüllü deneklerin çift göz kırpmaları maksimum 1200 örneklik, tek göz kırpmaları ise maksimum 600 örneklik bir zaman diliminde gerçekleştirdikleri görülmektedir.

(a)

(b)

Şekil 2.a: NeuroSky MindWave Mobile cihazı [29], b: 10-20 EEG elektrot bağlama düzeni.

2.3. Göz Kırpmaların Zaman Ekseninde Belirlenmesi

Spektrogram, bir sinyalin frekans spektrumunun zamana göre değişiminin görsel bir temsilidir. Spektrogram, Kısa Zamanlı Fourier Dönüşümü (KZFD) büyüklüğünün genellikle dB gibi logaritmik ölçekte yoğunluk grafiği olarak tanımlanabilir. KZFD, pencerelerin genellikle zaman içinde, tipik olarak %25-

Şekil 3: Tek ve çift göz kırpmalara ait genlik-zaman grafikleri.

Şekil 4’te “Yatağımı biraz kaldırır mısınız?” ifadesinin ikili kod karşılığı olan “1-1-0-0” dizisinin göz kırpmalar ile oluşturulmuş genlik-zaman grafiği ve spektrogramı görülmektedir. (2000mV, +2000mV) düzeyinde gösterilen işaretin zaman bölgesinde göz kırpma sinyalleri net bir şekilde görülmektedir. İlk göz kırpma yaklaşık 203. örnek civarı gerçekleştirilmiştir. Burada birbirinin peşi sıra gerçekleştirilen göz kırpmaların oluşum zamanları Tablo 3’te belirtilmiştir. Göz kırma esnasında yapılan gözün kapanıp açılması hareketlerinin oluşturduğu sinyalin gücü, normal beyin aktivitesininkinden daha fazladır. Şekil 4’te verilen işaretin spektrogramı incelendiğinde ve genlik-zaman grafiği ile karşılaştırıldığında, göz kırpma işaretlerinin oluşum yerleri hakkında bir fikir vermektedir. Ancak belirgin bir kanıya varmak mümkün değildir.

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier Nuri İkizler, Güneş Ekim

Tablo 3: “1100” kodunun göz kırpma anlarının örnek değer olarak başlangıç ve bitişlerinin manuel tespit değerleri

1.Çift Göz

Kişi

Kırpma (Örnek

değer)

1 203-1248

2 312-1380

3 389-1487

4 220-1201

5 245-1227

6 237-1228

7 257-1223

8 241-1202

9 224-1258

10 225-1181

1045 1068 1098 981 982 991 966 961 1034 956

2.Çift Göz Kırpma (Örnek değer)

2244-3348 2541-3683 2478-3644 2290-3270 2267-3367 2258-3387 2278-3309 2237-3150 2262-3315 2293-3307

1104 1142 1166 980 1100 1129 1031 913 1053 1014

1.Tek Göz Kırpma (Örnek değer)

4271-4813 4551-5065 4775-5320 4334-4807 4363-4949 4329-4814 4341-4869 4340-4814 4341-4850 4348-4821

542 514 545 473 586 485 528 474 509 473

2.Tek Göz Kırpma (Örnek değer)

5845-6411 6063-6598 6364-6919 5821-6327 6105-6634 5937-6396 5862-6373 5870-6363 5846-6409 5851-6331

586 535 555 506 529 459 511 493 563 480

Normalize edilmiş y ekseninde (π. radyan/örnek) örnek değerlere karşı düşen spektral güç dB cinsinden gösterilmektedir. Şekil 4’te işareti oluşturan bileşenlere ait tüm spektral güç değerleri herhangi bir seviye sınırı olmadan verilmiştir. Şekil 5’te ise 1dB, 15 dB, 45 dB ve 60 dB’lik eşik seviyeleri kullanılarak spektrogram tekrar çizilmiştir. Bunun anlamı, belirtilen bu eşik seviyesi değerinin altındaki değerler spektrogram gösteriminde yer almayacaktır. Bu şekildeki gösterimde, Şekil 5’ten de görülebileceği üzere, göz kırpmaların başlangıç anları net bir şekilde spektrogram tarafından tespit edilebilmektedir. Şekil 3’te görüldüğü gibi, bir göz kırpma işlemi, bir pozitif ve bir negatif tepecikten oluşmaktadır. Dolayısıyla spektrogram gösteriminde tek göz kırpma işleminde iki, çift göz kırpma işlemi ise dört belirgin işaret ortaya çıkar. Bu ikişerli işaretlerden ilki göz kırpma anının başlangıcını temsil etmektedir.

Şekil 4: “1100” kodunun genlik-zaman grafiği ve spektrogramı.

2.4. Pencereleme Göz kırpma işaretlerinin zaman ekseninde yerleri belirlendikten sonra, pencereleme işlemi yapılarak göz kırpmaların tek veya çift oldukları belirlenir. Bu işlemi yaparken dikdörtgen pencere kullanılmış ve aşağıdaki belirtildiği şekilde pencereleme işlemi

yapılarak sınıflandırmada kullanılacak işarete ait başlangıç ve bitiş değerleri bulunmuştur. Oluşan göz kırpmaların zaman eksenindeki yerleri t1, t2, t3, … şeklinde gösterilirse;

• İlk göz kırpmanın zaman ekseninde oluştuğu t1 anının yaklaşık 50 örnek öncesine bir dikdörtgen pencere yerleştirilir. Gerçekleştirilen göz kırpmanın tek veya çift olduğu bilinmediği için, pencere boyutu iki göz kırpma işaretinin sığabileceği ortalama bir değer olarak seçilmelidir. Tablo 3’te çift göz kırpmanın maksimum 1200, tek göz kırpmanın maksimum 600 örnek değerde tamamlandığı tespit edilmişti. Pencere boyutunun 1200 örnekten küçük olmaması gerekmektedir. Başlangıç ve bitişte bırakılan 50 örneklik hata payı ile kullandığımız dikdörtgen pencere boyutu 1300 örneği içine alabilecek uzunluktadır. Pencere, göz kırpmanın tek veya çift olması durumunda, her iki işareti içine alabilecek yeterli bir süreye sahiptir.

• Kullanılan pencere zaman ekseninde yapılan göz kırpma anları boyunca kaydırılacaktır. Ancak bir sonraki kaydırma işleminin hangi zaman anında yapılacağını belirleyecek olan, ilk pencere içinde kalan işaretin tek veya çift göz kırpma olmasıdır. Sınıflandırmada belirlenen göz kırpma tek ise, pencere 2. göz kırpmanın bulunduğu t2 zaman anına kaydırılır. Eğer ilk pencerelemede belirlenen işaret çift göz kırpma ise, t2 anında bulunan göz kırpma dikkate alınmayarak, t3 anına pencere yerleştirilir.

• t2 veya t3 anlarına yerleştirilen pencereler içinde benzer sınıflandırma işlemi yapılır. Bulunacak sonuca göre zaman ekseninde pencereleme ve onu takiben sınıflandırma işlemlerine devam edilir.

Örneğin Şekil 4’te verilen “1100” işareti için toplam dört adet pencereleme işlemi yapılmıştır. Bu sonuca paralel dört adet de sınıflandırma gerçekleştirilmiştir.

2.5. Dalgacık Dönüşümü ile Öznitelik Vektörünün Bulunması

Dalgacık dönüşümü, sinyallerin özelliklerini farklı ölçeklerde analiz etmek için kullanılır [28, 32]. Bu işlem, sinyalleri frekanslarına göre ayrıştıran Fourier dönüşümünden farklıdır. Dalgacık dönüşümü, sinyali farklı frekans bantlarına ayırmak için bir tür analiz-filtreleme işlemi kullanır.

Şekil 5: “1100” kodunun 1dB, 15 dB, 45 dB ve 60 dB eşik seviyelerinde gösterimi.

Bu işlemin ardından da her banttaki sinyalin farklı özelliklerini analiz eder. Dalgacık katsayıları, dalgacık dönüşümü nedeniyle elde edilen sayısal değerlerdir. Bu değerler, bir sinyalin farklı ölçeklerde ve zamanlarda bir dalgacık fonksiyonu ile çarpılmasıyla elde edilir. Dalgacık katsayılarının hesaplanması, dalgacık dönüşümünün ayrıştırma, aşağı örnekleme, sürekli ayrıştırma ve katsayıların hesaplanması aşamalarını içerir. Dalgacık dönüşümü kullanılarak sinyaller analiz edilirken, uygun bir dalgacık seçmek ve baskın frekans bileşenlerine dayalı ayrıştırma seviyelerinin sayısını belirlemek önemlidir. Sınıflandırma doğruluğu, pratikte kullanılan dalgacık türüne ve derecesine bağlıdır [28]. Dalgacık ve ayrıştırma seviyesinin seçimi, genellikle araştırmacıların deneyimine ve sinyalin şekline dayanır. Ana dalgacık incelenen sinyale ne kadar benzerse, elde edilen dalgacık katsayıları o kadar yüksek olur, bu da sinyali daha iyi temsil ettiği anlamına gelir. Ayrık dalgacık dönüşümünü uygulamak için seviye sayısı, sinyalin örnekleme frekansına ve toplam örnek sayısına bağlıdır. Ayrıştırma seviyesi sayısı aşırı seçilirse, son seviyelerdeki içerikler artık sinyali doğru bir şekilde temsil etmeyebilir. Bu çalışmada, ayrıştırma seviyesi 5 olarak belirlenmiştir. Böylece, EEG sinyalleri detay alt bantları D1-D5 ve yaklaşım alt bant A5'e ayrılmıştır. Dalgacık katsayıları D3, D4, D5 ve A5, sinyal hakkında önemli bilgiler içerdiğinden, öznitelik vektörleri olarak kabul edilmiştir. Daha sonra, öznitelik vektörü boyutları indirgenmiş ve dalgacık katsayıları üzerinde bazı istatistiksel işlemler yapılmıştır. Bu işlemler:

• Her alt bant için katsayıların maksimum değeri

• Her alt bant için katsayıların minimum değeri

• Her alt bant için katsayıların standart sapması

• Her alt bant için katsayıların ortalama değeri

• Her alt bant için katsayıların medyan değeri

• Her alt bant için katsayıların en çok tekrar eden değeri

• Her alt bant için katsayıların skewness değeri

• Her alt bant için katsayıların kurtosis değeri şeklindedir. Böylece, her kayıt için 32 özellikten oluşan bir öznitelik vektörü elde edilmiştir.

2.6. Rastgele Orman Algoritması ile Sınıflandırma

Rastgele orman sınıflandırıcısı [33, 34], eğitim aşamasında birden fazla karar ağacı kullanan ve bireysel ağaçların ortalama tahminini çıkaran bir topluluk öğrenme yöntemini içermektedir. Bu sınıflandırıcı, rastgele miktarda ağaç içeren ormanlar üretir. Normal karar ağacı algoritmaları kural tabanlıdır ve yalnızca veri kümesinde tahmin için bazı kural kümelerine dayanır. Bunun aksine, rastgele orman sınıflandırıcıları kök düğümün hesaplanması için Gini indeksi [35] veya bilgi kazanımı kullanmak yerine kök düğümü bulur ve özellikleri rastgele böler. Şekil 6, sınıflandırıcının genel bir çalışma şeklini göstermektedir. X, sınıflandırıcının girişini temsil eder. Ağaç1, Ağaç2, …, AğaçB şeklinde rastgele karar ağaçları üretilir. Bunlara karşılık gelen çıktılar k1, k2, ..., kb'dir. Çoğunluk oylaması yapılır ve k sınıfı k1, k2, ..., kb'den seçilir. Sınıflandırıcının çıktısı, oyların çoğunluğuyla k sınıfıdır. Şekil 7’de ise kullanılan rastgele orman sınıflandırıcısın şematik diyagramı verilmiştir.

Ağaç1

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier Nuri İkizler, Güneş Ekim

X (Giriş) Ağaç2

…

AğaçB

kB

k1

k2

Oylama Şekil 6: Rastgele Orman sınıflandırıcısının genel çalışma şekli.

Çift göz kırpma Tek göz kırpma

Giriş

Rastgele karar ağaçları

Ağaç 1

Her karar ağacının tahmin ettiği sonuç

Ağaç 2

Ağaç 3

Ağaç 4

Ağaç 5

Genel Oylama

Oylama sonucu tek göz kırpma Şekil 7: Rastgele Orman sınıflandırıcının şematik diyagramı.

2.7. Metnin Sese Dönüştürülmesi Metnin sese dönüştürülmesi, üzerinde yıllardır çalışılan oldukça geniş bir konudur. Yapılan çalışmada bu konuda doğrudan MATLAB içerisinde yer alan bütünleşmiş fonksiyonlardan yararlanılmış ve seslendirme bu şekilde gerçeklenmiştir.

3. Sonuçlar

Denemeler esnasında 20-55 yaş aralığında 20 sağlıklı gönüllü denekten faydalanılmıştır. Deneklerin her birinden Tablo 2’de verilen 16 tane ikili kodlanmış göz kırpma sinyaline ait birer tane olmak üzere, toplamda 320 kayıt alınmıştır. Bu kayıtlardan 200 tanesi test amaçlı kullanılırken, 120 tanesinden ise manuel olarak tek ve çift göz kırpmalar ayrılmış, elde edilen bu göz kırpmalar sınıflandırıcının eğitiminde kullanılmıştır.

Kodlanmış göz kırpmalar

Spektogram yöntemi ile göz kırpma anlarının belirlenmesi

Pencereleme işlemi

Dalgacık dönüşümü ile pencere içinde kalan sinyalin öznitelik vektörünün hesaplanması

Rastgele Orman sınıflandırıcı ile pencere içindeki sinyalin tek veya çift olarak belirlenmesi

Hayır

Dört basamak tamamlandı mı?

Evet

Dört basamaklı kodun oluşturulması ve söylenmek istenen ifadenin belirlenmesi

İfadenin seslendirilmesi Şekil 8: Tasarlanan sistemin akış diyagramı.

Şekil 8’de tasarlanan sistemin akış diyagramı verilmiştir. MATLAB programında gerçekleştirilen bu algoritmada Tablo 2’de verilen 16 tane ifadenin kayıtları alındıktan sonra, spektrogram yöntemi ile beyin aktivitesinden oluşan EEG sinyali içerisindeki, tek ve çift göz kırpmaların zaman ekseninde oluştuğu anlar belirlenmiştir. Tablo 3’te örnek olarak verilen “1100” olarak kodlanmış ifadeden de görülebileceği üzere, zaman ekseninde oluşan tek ve çift göz kırpma anları elde edilmiştir. Daha sonraki adımda uygulama yöntemi 2.4. bölümde belirtilen pencereleme işlemi işarete uygulanmıştır.

Tablo 4: Tek ve çift göz kırpma sinyalleri için Dalgacık Dönüşümü ile elde edilmiş öznitelik vektörleri

İstatistiksel İşlemler Max(D3) Max(D4) Max(D5) Max(A5) Min(D3) Min(D4) Min(D5) Min(A5) Std(D3) Std(D4) Std(D5) Std(A5) Mean(D3) Mean(D4) Mean(D5) Mean(A5)

Median(D3) Median(D4) Median(D5) Median(A5) Mode(D3) Mode(D4) Mode(D5) Mode(A5) Skewness(D3) Skewness(D4) Skewness(D5) Skewness(A5) Kurtosis(D3) Kurtosis(D4) Kurtosis(D5) Kurtosis(A5)

Tek Göz Kırpma-1

0,08 0,20 0,10 2,15 -0,03 -0,20 -0,39 0,06 0.02 0.06 0.11 0.53 0.00 0.00 -0.02 0.38 0.00 0.00 -0.00 0.22 -0.03 -0.20 -0.39 0.06 2.53 -0.20 -2.60 2.73 15.17 10.14 9.91 9.41

Tek Göz Kırpma-2

0,19 0,29 0,71 2,15 -0,30 -0,20 -0,99 -3,28 0.03 0.05 0.20 0.63 -0.00 0.00 -0.01 0.11 0.00 0.00 -0.00 0.16 0.00 0.00 0.00 0.00 -5.00 2.86 -1.37 -2.50 87.46 26.73 16.21 18.88

Çift Göz Kırpma-1

0,34 0,58 0,67 1,64 -0,41 -0,52 -0,72 -2,98 0.10 0.22 0.30 1.11 -0.00 0.0 -0.01 0.02 0.00 -0.00 -0.00 0.13 -0.41 -0.52 -0.72 -2.98 -1.02 -0.04 -0.06 -1.34 13.44 5.16 4.52 4.99

Çift Göz Kırpma-2

0,21 0,26 0,98 2,64 -0,36 -0,51 -0,56 -3,39 0.04 0.07 0.24 0.94 -0.00 0.00 0.02 0.14 0.00 0.00 0.00 0.19 0.00 0.00 0.00 0.00 -3.95 -2.62 1.64 -1.47 47.62 32.27 9.26 8.33

Tablo 4’te sonuçları verilen tek veya çift göz kırpmalara ait öznitelik vektörleri Dalgacık dönüşümü kullanılarak elde edilmiştir. Tablo 4’te belirtilen Tek göz kırpma-1 ve Çift göz kırpma-1 sinyalleri eğitim aşamasında manuel olarak ayrılmış tek ve çift göz kırpmalara ait sinyallere, Tek göz kırpma-2 ve Çift göz kırpma-2 sinyalleri ise test aşamasında kullanılan sinyallere aittir. Her iki grup için de elde edilen 32’şer adetten oluşmuş öznitelik vektörleri bu tabloda gösterilmiştir. Bu öznitelik vektörleri ile eğitilen ve test edilen Rastgele Orman sınıflandırıcısına ait sonuç tablosu ise Tablo 5’te verilmiştir. Tasarlanan sistemin genel başarı tablosu ise artan kişi sayısının istem başarısına etkisini değerlendirmek için 510-15-20 kişilerle incelenmiş ve Tablo 6’da verilmiştir.

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier Nuri İkizler, Güneş Ekim

Tablo 5: 10 gönüllü denek ile eğitilen Rastgele Orman sınıflandırıcısının tek/çift göz kırpmaları için test sınıflandırma sonuçları

Sınıflandırma Yöntemi

Rastgele Orman

Polinom Doğrusal

Kesinlik

1,00 1,00

Doğruluk (%) 100 100

Zaman (s)

0,03 0,01

Tablo 6: Tasarlanan sistemin genel başarı tablosu

Başarı (%) (5 kişi)

100 100 100 100 100 100 100 100 100 100 100 97,5 100 97,5 97,5 97,5

Başarı (%) (10 kişi)

100 100 100 100 100 97,5 97,5 97,5 100 100 100 97,5 100 97,5 97,5 95

Başarı (%) (15 kişi)

100 100 100 97,5 100 95 95 95 97,5 97,5 97,5 95 97,5 95 95 92,5

Başarı (%) (20 kişi)

100 100 100 95 100 95 95 92,5 95 95 95 95 95 95 95 92,5

Seslendirme aşamasında ise, elde edilen ifadedeki metnin sese dönüştürülmesi işlemi başarı ile gerçeklenmiştir.

4. Tartışma

ALS hastaları için tasarlanan, tek ve çift göz kırpmalardan kodlanarak oluşturulan bir ifadeyi sese dönüştüren bu sistemi, literatürdeki diğer sistemlerle karşılaştırmak gerekirse, ilk olarak maliyetinden söz etmek gerekir. Sistemin maliyeti tek kanallı bir EEG cihazı olan NeuroSky MindWave Mobile cihazından ibaret ve 100$ civarıdır. Elbette yazılım için bir bilgisayar gerekse de kullanılan algoritmanın basitliği de göz önünde bulundurulduğunda, mobil bir cihaz yazılımı ile bilgisayar ihtiyacından kurtulmak da mümkündür. Özelikle göz takip sistemleri üzerine yapılan çalışmalarla karşılaştırıldığında, kullanılacak ekran, kamera gibi donanımların getirdiği ek maliyet, bu sistemde yoktur. Kullanılan EEG cihazının çok kanala sahip olması gereksizdir, Fp1 pozisyonundan alınan sinyal sistemin çalışması için yeterlidir. Bu gereksinimler ve basitlik sistem maliyetini oldukça düşürmekte ve tüm ALS hastaları için maliyeti karşılanabilir bir düzeyde tutmaktadır. Ayrıca tasarlanan sistemde tek kanallı EEG kullanılmasının diğer bir avantajı ise, göz takip cihazlarında olduğu gibi bir ışık kaynağına ihtiyaç duymamasıdır. Hasta karanlık bir ortamda bile istediği ifadeyi seslendirebilmektedir. Ayrıca EOG, EMG gibi cihazlara göre tek kanallı EEG cihazı daha az elektrot kullanma avantajına sahiptir. Sistemin sınırlı sayıda kelime ile çalışması yerine istenilen sayıda kelime ile çalışması, biraz da hastanın hastalığın hangi evresinde olduğuna göre değişebilecek bir tercih konusudur. Uzun kelimeler veya cümleler oluşturmak hastayı yoracaktır. Basit ve kısa kodlarla günlük yaşamda hastanın ihtiyacı olan temel ifadelerin olması hasta için yeterli olacaktır [25]. Bu

yönde yapılan araştırmalar esnasında bahsedilen bu iki tercih de dikkate alınarak sistemler geliştirilmiştir [25-28]. Gönüllü ve sağlıklı deneklerin bile, uzun göz kırpma işlemlerinde sıkıldığını ve zorlandığını yapılan veri girişleri esnasındaki gözlemlere dayanarak söylemek mümkündür. Bu nedenle tasarlanan sistem sınırlı sayıda kelime veya cümle ile hastanın temel ihtiyaçlarına karşılık verebilecek düzeyde tutulmuştur. Tablo 2’de gösterilen ifadeler için, giriş aşamasında en uzun geçen süre 8 tane göz kırpma barındıran “0000” kodu için olup, arada bırakılan boşluk süresi de dahil olmak üzere, tüm gönüllü denekler tarafından ortalama 17,9 saniyede tamamlanmıştır. Bu değer, literatür ile karşılaştırıldığında kabul edilebilir bir değerdir. Bu noktada hastayı yormamak için en çok kullandığı ifadeler dikkate alınarak Tablo 2’de ifadelere ait kodların yerini değiştirmek ve kullanım kolaylığına bağlı bir sıralama yapmak da mümkündür. Göz kırpmaların yerlerinin doğru şekilde belirlenmesi, sistemin başarısı için oldukça önemlidir. Daha önceki çalışmalarda [2528] kullanılan enerji seviyesi yöntemi oldukça başarılı sonuçlar vermiştir. Bu çalışmada denenmiş olan spektrogram yöntemi de özellikle göz kırpmaların başlangıç anlarını son derece doğru bir şekilde tespit etmiştir. Göz kırpmalara ait kas hareketlerinin doğası gereği göz açıp kapama işleminin başlangıç kısımlarının gücü daha fazladır ve ilerleyen anlarda bu güç düşmektedir. Spektrogramlarda göz kırpmaların başlangıç anlarının daha belirgin hale getirmek için kullanılan eşik seviyesinin arttırılması işlemi, göz kırpma anlarının başlangıç anlarını daha net bir şekilde tespit edilmesini kolaylaştırırken, göz kırpmaların hangi zaman anında bittiğinin tespit edilmesini zorlaştırmaktadır. Ancak bu durumun sistemin çalışmasına olumsuz bir etkisi gözlemlenmemiştir. Tek veya çift göz kırpmalara ait öznitelik vektörleri bulunurken, sinyalleri farklı frekans bantlarına ayıran ve her

bantta sinyalin farklı özelliklerini analiz eden dalgacık dönüşümünden yararlanılmıştır. Dalgacık dönüşümü genelde, EEG sinyallerinin zamanla değişen doğasıyla uyumlu olduğu için tercih edilir. Esnek zaman-frekans çözünürlüğü sunar ve sinyalin hem kısa süreli hem de uzun süreli bileşenlerini etkili bir şekilde analiz eder. Diğer tercihler olarak ilk akla gelen Hilbert ve Gabor dönüşümleri ise sabit çözünürlükle çalıştıkları için zamanla değişen ve geniş frekans aralıklarına sahip EEG sinyallerinde optimal sonuçlar vermezler. Bu nedenle çalışmamızda dalgacık dönüşümü tercih edilmiştir. Dalgacık dönüşümünde kullanılan D3, D4, D5 ve A5 katsayıları daha önceki çalışmalarımızda [32] oldukça başarılı sonuçlar vermişti. Dalgacık dönüşümünde, sinyal, farklı ölçeklerde çözülerek düşük ve yüksek frekans bileşenlerine ayrılır. Daubechies 4 (db4) gibi EEG sinyal analizinde yaygın olarak kullanılan dalgacık türlerinde, detay ve yaklaşım katsayıları elde edilir. Her detay ve yaklaşım katsayısı, belirli bir frekans aralığını temsil eder. 176 Hz örnekleme frekansıyla örneklenen bir EEG sinyali için db4 dalgacığı kullanarak 5 seviyeli bir çözümleme yapıldığında, dalgacık ayrışımındaki frekans bantlarının aralıkları; A5 (0–4,4 Hz) Delta bandı, D5 (4,4–8,8 Hz) Theta bandı, D4 (8,8–17,6 Hz) Alpha bandı, D3 (17,6–35,2 Hz) Beta bandı şeklindedir. Dolayısıyla D3, D4, D5 ve A5 katsayıları tercihimizdeki diğer bir sebep ise, bu bantların önemli beyin aktiviteleri ile ilişkili olmasından kaynaklanmaktadır. Her alt bant için katsayıların maksimum, minimum, ortalama, medyan, en çok tekrar eden, skewness, kurtosis ve standart sapma değerleri alınarak toplamda 32 özellikten oluşmuş bir öznitelik vektörü kullanılmıştır. Temel bileşen analizi yapılarak öznitelik vektörlerinin boyutlarının azaltılması ile sistemin çalışma hızının artması ve dolayısıyla sınıflandırma süresinin azaltılması için en uygun öznitelik serisinin araştırılması ise gelecek çalışmalar için değerlendirilebilecek bir konudur. Kullanılan algoritmanın basitliği ve sadece iki sınıf arasında yapılan sınıflandırma işlemi nedeniyle Rastgele Orman algoritması için diğer sınıflandırma yöntemlerine üstünlüğü yönünde net bir kanıya varılmamıştır. Rastgele Orman yöntemi sınıflandırma işlemini tek ve çift göz kırpmalar için %100 doğrulukta gerçekleştirmiştir. Bu nedenle diğer sınıflandırma yöntemlerinin doğruluk yüzdelerinin araştırılmasına gerek duyulmamıştır. Bu değer sınıflandırıcının çok başarılı olduğunu göstermektedir. Fakat tüm sınıflandırıcılarda yaşanabilecek aşırı öğrenme riski Rastgele Orman yönteminde de çok az da olsa mevcuttur. Ancak aşırı öğrenmeye karşı oldukça dayanıklı bir yöntem olması nedeniyle, diğer sınıflandırma yöntemlerine göre bir üstünlüğü söz konusudur. Bu dayanıklılığın arkasındaki temel neden, modelin karar ağacı tabanlı olması ve her bir ağacın eğitiminde rastgele özellik ve örnek alt kümelerinin kullanılmasıdır. Öte yandan önceki çalışmalarımızda kullanılan Yapay Sinir Ağları, k-En Yakın Komşu ve Destek Vektör Makinaları [27, 28] gibi sınıflandırıcılar ile karşılaştırmak için, benzer sayıda sınıf kullanılmalıdır. Çünkü bu sınıflandırıcılarla da aynı başarı oranını, tasarlanan bu sistemde yakalamak mümkündür. Sistemin sınırlı sayıda kelime kullanılarak gerçeklenmesi, tasarlanan algoritmada değerlendirilen sınıf sayısının azlığı, öznitelik vektörlerinin arttırılması ve doğru seçimi çalışmada sınıflandırıcının başarısını da otomatik olarak arttırmıştır. Sistemin genel başarı tablosu ise Tablo 6’da verilmiştir. Bu tabloda özellikle tek göz kırpmaların çoğunlukta olduğu kodlarda başarının %100’e yaklaştığı görülmektedir. Çift göz kırpmaların sayısı arttıkça başarıda %2,5-7,5 oranında bir azalma göze çarpmaktadır. Burada ortaya çıkan hata veri girişi

esnasında oluşmaktadır. Sağlıklı denekler bile olsa, veri girişi esnasında üst üste tekrarlanan göz kırpma işlemlerinde, tek ve çift göz kırpmalar arasında bıraktıkları sürelerin pencereleme süresinden fazla olduğu gözlemlenmiştir. Ayrıca bazı tek ve çift göz kırpmalar arasında bırakılması gereken süre çok kısa tutulmuş, üst üste üç göz kırpma yapılmış gibi bir grafik oluştuğu da gözlemlenmiştir. Bu durum insan doğasında var olan üst üste işlem yapıldığında ortaya çıkan yorulma ve sıkılma durumlarıyla ilişkilidir. Göz kırpmalarla ilgili veri girişindeki şartlara uyulduğu sürece, bir hata oluşmamıştır. ALS hastalarının kullanımı esnasında da benzer problemlerle karşılaşılacaktır. Bu nedenle sistemin sürekli kullanılması yerine, gerektiği anlarda kullanılması yorulmaya bağlı hatayı minimize edecektir. Gerçekleştirilen sistemde bulunan sonuçlar 20 sağlıklı gönüllüden alınan göz kırpma işaretlerine dayanmaktadır. Sinyallerin gönüllü kişilerden alınması nedeniyle etik kurul iznine gerek kalmamıştır. Ancak istatistiksel bir çalışmada, kullanılan örneklem büyüklüğünün yeterliliğini değerlendirmek amacıyla yapılacak bir güç analizi işlemine, gerçekleştirilen sistemde gerek olup-olmadığı tartışılabilir. Tasarlanan sistem doğrudan ALS hastalarına yönelik bir sistemdir. ALS hastalarının sistemi kullanımıyla, sağlıklı kişilerin kullanımı arasında fark oluşacağı kesindir. Sistemde ALS hasta verileri üzerinde çalışıldığında gerekebilecek parametre değişiklikleri yapılabilir. Türkiye’de ALS hastalarının sayısı Türk Nöroloji Derneğinin araştırmalarına göre 6000-8000 civarındadır [1]. Gönüllü olarak bu çalışmalarda denek olarak yer almak isteyecek tek bir ALS hastası bulmak bile oldukça zordur. 20 kişilik veya 1000 kişilik sağlıklı yapıda örneklem büyüklüğü istatistiksel olarak anlam taşısa bile, gerçek ALS hastaları ile sistem test edilmediği sürece, sistemin genel başarısı hakkında kesin bir değerlendirme yapmak doğru değildir. Gerçekleştirilen sistem, sağlıklı bireylerle denenen bir prototip konumundadır. Bu tartışmalar ışığında, gönüllü ve sağlıklı bireylerde yapılan testler değerlendirilerek bakıldığında ise, tasarlanan sistemin oldukça uygun maliyeti, veri giriş hızının kabul edilebilir bir düzeyde olması ve yüksek başarı oranı ile dikkate değer başarılı sonuçlar verdiği söylenebilir.

5. Kaynaklar

[1] Aktekin, M. R. ve Uysal, H., “Epidemiology of Amyotrophic Lateral Sclerosis”, Turk J Neurol, 26, 187196, 2020.

[2] Morris, J., “Amyotrophic lateral sclerosis (ALS) and related motor neuron diseases: an overview”, The Neurodiagnostic Journal, 55(3), 180-194, 2015.

[3] Tramonti, F., Bongioanni, P., Di Bernardo, C., Davitti, S. ve Rossi, B., “Quality of life of patients with amyotrophic lateral sclerosis”, Psychology, health & medicine, 17(5), 621-628, 2012.

[4] Kaya, A. ve Özcan, F., “Communication with the patients of Amyotrophic Lateral Sclerosis and current technology”, The Journal of Turkish Family Physician, 8(2), 2017.

[5] Farwell, L. A. ve Donchin, E., “Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials”, Electroencephalography and clinical Neurophysiology, 70(6), 510-523, 1998.

[6] Meinicke, P., Kaper, M., Hoppe, F., Heumann, M. ve Ritter, H., “Improving transfer rates in brain computer

ALS Hastaları İçin Dalgacık Dönüşümü ve Rastgele Orman Sınıflandırıcı Kullanılan EEG Tabanlı Haberleşme Sistemi EEG-Based Communication System for ALS Patients Using Wavelet Transform and Random Forest Classifier Nuri İkizler, Güneş Ekim

interfacing: a case study”, Advances in Neural Information Processing Systems, 15, 1131-1138, 2002. [7] Kaper, M. ve Ritter, H., “Generalizing to new subjects in brain-computer interfacing”, In The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2, 4363-4366, 2004, September. [8] Amcalar, A. ve Çetin, M., “A brain-computer interface system for online spelling”, In 2010 IEEE 18th Signal Processing and Communications Applications Conference, 196-199, 2010, April. [9] Akram, F., Han, S. M. ve Kim, T. S., “An efficient word typing P300-BCI system using a modified T9 interface and random forest classifier”, Computers in biology and medicine, 56, 30-36, 2015. [10] Oralhan, Z., “The effect of interstitial time and stimulus structure on performance in P300 based brain computer interface systems”, Duzce University Journal of Science and Technology, 7, 1834-1846, 2019. [11] Majaranta, P., Aula, A. ve Räihä, K. J., “Effects of feedback on eye typing with a short dwell time”, In Proceedings of the 2004 symposium on Eye tracking research & applications, 139-146, 2004, March. [12] Scott MacKenzie, I. ve Ashtiani, B., “BlinkWrite: efficient text entry using eye blinks”, Universal Access in the Information Society, 10, 69-80, 2011. [13] Miniotas, D., Spakov, O. ve Evreinov, G. E., “Symbol Creator: An Alternative Eye-based Text Entry Technique with Low Demand for Screen Space”, In INTERACT, 3, 137-143, 2003, September. [14] Usakli, A. B. ve Gurkan, S., “Design of a novel efficient human–computer interface: An electrooculogram based virtual keyboard”, IEEE transactions on instrumentation and measurement, 59(8), 2099-2108, 2009. [15] Zhang, C., Yao, R. ve Cai, J., “Efficient eye typing with 9direction gaze estimation”, Multimedia Tools and Applications, 77, 19679-19696, 2018. [16] Özbek Ülkütaş, H., EOG’nin Kodlanmasına Dayanan Bilgisayar Tabanlı Gözle Yazı Yazma Sistemi Geliştirilmesi, Yüksek Lisans Tezi, Başkent Üniversitesi, Ankara, 2015. [17] Porta, M. ve Turina, M., “Eye-S: a full-screen input modality for pure eye-based communication”, In Proceedings of the 2008 symposium on Eye tracking research & applications, 27-34, 2008, March. [18] Tsai, J., Lee, C., Wu, C., Wu, J. ve Kao, K., “A feasibility study of an eye-writing system based on electrooculography”, Journal of Medical and Biological Engineering, 28(1), 39, 2008. [19] Wobbrock, J. O., Rubinstein, J., Sawyer, M. ve Duchowski, A. T., “Not typing but writing: Eye-based text entry using letter-like gestures”, In Proceedings of the conference on communications by gaze interaction (COGAIN), 61-64, 2007, September. [20] Lee, K. R., Chang, W. D., Kim, S. ve Im, C. H., “Realtime “eye-writing” recognition using electrooculogram”, IEEE Transactions on Neural Systems and Rehabilitation Engineering, 25(1), 37-48, 2016. [21] Fang, F. ve Shinozaki, T., “Electrooculography-based continuous eye-writing recognition system for efficient assistive communication systems”, PloS one, 13(2), e0192684, 2018. [22] Soman, S. ve Murthy, B. K., “Using brain computer interface for synthesized speech communication for the

physically disabled”, Procedia Computer Science, 46, 292-298, 2015. [23] Reyes, A. F., Camacho, E. C., Armando, M. ve Calderón, J. M., “LSTM based brain-machine interface tool for text generation through eyes blinking detection”, In 2021 IEEE 18th Annual Consumer Communications & Networking Conference (CCNC), 1-6, 2021, January. [24] Mukherjee, K. ve Chatterjee, D., “Augmentative and Alternative Communication device based on eye-blink detection and conversion to Morse-code to aid paralyzed individuals”, In 2015 International Conference on Communication, Information & Computing Technology (ICCICT), 1-5, 2015, January. [25] Ikizler, N., Ekim, G. ve Atasoy, A., “A novel approach on converting eye blink signals in EEG to speech with cross correlation technique” AECE Advances in Electrical and Computer Engineering, 23(2), 29-38, 2023. [26] Ekim, G., Atasoy, A. ve İkizler, N., “A New Approach for Eye-Blink to Speech Conversion by Dynamic Time Warping”, Traitement du Signal, 38(2), 369-377, 2021. [27] Ekim, G., Ikizler, N. ve Atasoy, A., “A Study on Eye-Blink Detection-Based Communication System by Using KNearest Neighbors Classifier”, AECE Advances in Electrical & Computer Engineering, 23(1), 71-78, 2023. [28] Ekim G., İkizler N. ve Atasoy A., “EEG Based Communication System by using Artificial Neural Networks”, 2023 Tıp Teknolojileri KongresiTIPTEKNO'23/2023 Medical Technologies CongressTIPTEKNO'23, Gazimağusa, Kıbrıs (KKTC), 46-49, Kasım 2023. [29] https://store.neurosky.com/pages/mindwave, 12 Ağustos 2024 tarihinde ulaşıldı. [30] Deller Jr, J. R., Proakis, J. G. ve Hansen, J. H., Discrete time processing of speech signals, Prentice Hall PTR, 1993. [31] Allen, J. B. ve Rabiner, L. R., “A unified approach to short-time Fourier analysis and synthesis”, Proceedings of the IEEE, 65(11), 1558-1564, 1977. [32] Ekim, G., Ikizler, N. ve Atasoy, A., “The effects of different wavelet degrees on epileptic seizure detection from EEG signals”, In 2017 IEEE International Conference on INnovations in Intelligent SysTems and Applications (INISTA), 316-321, 2017, July. [33] Fraiwan, L., Lweesy, K., Khasawneh, N., Wenz, H. ve Dickhaus, H., “Automated sleep stage identification system based on time–frequency analysis of a single EEG channel and random forest classifier”, Computer methods and programs in biomedicine, 108(1), 10-19, 2012. [34] Edla, D. R., Mangalorekar, K., Dhavalikar, G. ve Dodia, S., “Classification of EEG data for human mental state analysis using Random Forest Classifier”, Procedia computer science, 132, 1523-1532, 2018. [35] Hegelich, S., “Decision Trees and Random Forests: Machine Learning Techniques to Classify Rare Events”, European Policy Analysis 2 (1), 98–120, 2016.

Özgeçmişler Dr.Nuri İkizler, 1967 Trabzon doğumludur. 9 Eylül Üniversitesi Elektronik Mühendisliği bölümünden mezun olmuştur. Yüksek lisans ve doktora eğitimlerini Karadeniz Teknik Üniversitesinden tamamlamıştır. Karadeniz Teknik Üniversitesi Trabzon Meslek Yüksekokulu Elektronik ve Otomasyon bölümünde Dr.Öğr. Üyesi olarak görev yapmaktadır. Biyomedikal sinyal işleme, ses işleme, ses tanıma, beyin bilgisayar arayüzleri, makine öğrenmesi konularında çalışmaktadır. Güneş Ekim, 1974 Trabzon doğumludur. Karadeniz Teknik Üniversitesi Elektronik Mühendisliği bölümünden mezun olmuştur. Yüksek lisans ve doktora eğitimlerini aynı üniversitede tamamlamıştır. Karadeniz Teknik Üniversitesi Trabzon Meslek Yüksekokulu Elektronik ve Otomasyon bölümünde öğretim görevlisi olarak görev yapmaktadır. Biyomedikal sinyal işleme, ses tanıma, beyin bilgisayar arayüzleri, makine öğrenmesi konularında çalışmaktadır.