YAPAY SİNİR AĞI MİMARİLERİ

1. GİRİŞ

YAPAY SINIR AGI MİMARİLERİ

1993 yılı Mayıs ayı ortalarında ODTÜ'de düzenlenen "Hukuksal ve Felsefi Boyutları ile Yapay Zeka" adlı toplantıda düzenleme komitesi benden toplantının başlığı ile pekt c uyuşmayan bir konuda bir konuşma yapmamı istemişti.

ÖZET

Acaba günümüzde yapay zeka ve özellikle yapay sinir ağları konu sunda donanım alanında nasıl bir yere gelmiştik? Yani. yapay zeka mimarilerini destekleyebilecek özel amaçlı donanım olarak etrafta neler vardı, kapasiteleri neydi ve nasıl bir yaklaşımı temsil ediyorlardı.

Bu makalede 1990 yılından bugüne kadar yapay sinir ağları için donanım geliştirme konusunda çeşitli dergilerde ve konferans bildiri kitaplarında yayınlanmış olan makale ve bildirilerden derlenen bilgiler ışığında önce örneklerle teknolojide bugün varılan, nokta aktarılmakta, daha sonra yakın ve uzak gelecekte yapay sinir ağları donanımı konusunda ne gibi ilerlemeler görmeyi bekleyeceğimiz konusu kısaca tartışılmaktadır.

IEEE Transactions on Ncural

Networks, Transactions on Data and

Knovvledge

Engineering.

Transactions on Pattern Analysis

and Mac hine Intelligence.

Proceedings of tlıe IEEE dergileri ile

1992 yılı Kasım ayında Çin Halk

Cumhuriyeti'nin Beijing şehrinde

toplanan International Joint

Conference on Neural Netvvorks

(IJCNN'92) adlı konferansın bildi

riler kitabı ve yapay zeka konusunda

çeşitli kitaplarından yararlanarak

(bkz. kaynakça) "Yapay Zeka:

Teknolojide Nereye Kadar?" başlıklı

konuşmamı hazırladım.

Konuşmama yapay zeka konusu ile ilgili genel düşüncelerimi sırala yarak başlamıştım. Ancak değerli meslektaşım Uğur Halıcı benden konuşmamı EMO dergisinin özel bir IŞIK A YBAY sayısı için makale haline getirmemi isteyince bu genel düşünceler ODTÜ Elektrik ve Elektronik Mühendisliği Bölümü bölümünün makalede yer almasını uygun görmedim. Bu nedenle

okumakta olduğunuz makale yapay süreç şekil 1 'de gösterinüştir.

sinir ağları mimarileri konusunda

bugün varılan noktayı yeterince Sinir ağı bilgisayarı tasarımlarında

aktarabileceğine inandığını örnek ortak yaklaşımın basit temel

mimariler ve konuşmamın sonunda

yer alan gelecekte neler göreceğiz'

sorusunun tartışıldığı bölümden oluşturuldu.

YAPAY SİNİR AĞI

TASARLAMASI

Oldukça basit yapısı olan İşlemci Birimleri devrenin temelini oluş turmaktadır. İşlemci Birimlerinin (İB) iç yapısı Şekil 2'de

DEĞİŞİKLİKLER

Ayrıca seçilen örnek mimarilerin tümleşik devre olarak en azından prototiplerinin geliştirilmiş olma sına da dikkat edildi.

SERİ/PARALEL BİLGİSAYARLARDA BENZETİM

TÜMLEŞİK DEVRENİN ÜRETİMİ

Bugüne kadar geliştirilen yapay

sinir ağlarına baktığımızda, bun ların çoğunun seri bilgisayarlar üzerinde benzetim tekniği ile uyarlanmış yazılımlarından oluştu ğunu görüyoruz. Çok çeşitli sinir ağı algoritmaları geliştirilmiş ve bu algoritmalar genellikle seri bilgisa yarlar üzerinde yazılını ortamla

öğelerin çok sayıda tekrarlanması ile oluşan, yoğun ara bağlantılarla desteklenmiş mimarilere yönelme olduğu gözleniyor.

2. ÖRNEK YAPAY SİNİR AĞI MİMARİLERİ

görülmektedir. Önerilen mimaride üç değişik bağ lantı yer almakta (Denetim, Adres. Veri) ve geniş yayım (broadcast) tekniği kullanılmaktadır. Mimarinin genel yapısı Şekil 3 de gösterilmiştir.

rında sınanmıştır.

Bu bölümde bugüne kadar

Sinir ağı yaklaşımı ile geliştirilen algoritmalara baktığımızda, bun ların insan beyninin işlevlerini taklit etmek amacı ile yazıldığını görü yoruz.

önerilmiş yapay sinir ağı mimarilerinden önemli bulunan ve donanım tasa rımı tamamlanarak proto tipleri üretilmiş birkaç örnek sunulacaktır.

veri adres denetim

—— > >

Haberleşme Birimi

— >> veri

Bu yaklaşım ile, geleneksel seri bilgisayarlarla çözülmesi çok uzun zaman alabilecek, örneğin görüntü veya ses işleme gibi işlemlerin daha

2.1 ELEKTRO NIC NEUROCOMPUTER Vellasco ve Treleaven

Adres Bellek

Birimi

İşletme Birimi

etkin olarak gerçekleştirilebileceği Vellasco ve Treleaven, iddia edilmekte. IJCNN'92 de sunulan

Son yıllarda yazılım çemberinin dışına çıkarak, bir çeşit sinir ağı bilgisayarı geliştirmeye yönelik çabaların yoğunlaştığı ve birçok tasarımın önerildiği görülüyor.

Bu tasarımlar için genelde izlenen

çalışmalarında ürettikleri bir prototip tümleşik devreyi tanıt mışlardır (1).

Bu tümleşik devre, öğrenmeli Tam Geri Yayılma (Full Back Propagation vvith Learning) algoritmasını uygulamaktadır.

İB'ler içinde yer alan Bellek birimleri sinir ağının dunun (state), ağırlık (weight) ve hata (error) bilgilerini tutmaktadır. İşlem Birimlerinde ise aritmetiksel ve mantıksal işlem birimi (ALU), kay d ı n a (shifter), durum/hata

A OO I ZO

3 9 5 " ELEKTRİK MÜHENDİSLİĞİ

yazmaçları ve ROM üzerinde değcraşıını (threshold) işlevi için bir danışma (lookup) tablosu yer almaktadır.

maktadır. (1) Tek bir yonga üzerinde 16 bitlik bir RISC nükroişlemci. bir haberleşme birimi ve bellekten oluşan temel yapıların herbiri "neural RISC" olarak adlan dırılmaktadır

Denetim Adres Veri

Mikroişlemci

Bağlantı Denetleyici

nin % 86'sı

İB 1

tek evrede

(single cycle)

İB 2 1

işleyebildi 16 komutu

1 İB n

vardır. Haberleşme birimi

transputer'ler

gibi 4 tane

Gerçekleştirilen tümleşik devre, 2 um CMOS teknolojisi ile üretilmiştir. Üzerinde sadece 2 İB yer almaktadır. İB'lcr 16 bit işlem

.seri noktadan noktaya bağlantı ile bilgi paketlerinin dağıtımı için basit bir protokol içermektedir.

ciler olarak tasarlanmışlardır.

Temel yapı taşları olan neural

Her İB için 256* 16 bitlik veri RAM bellekleri konmuştur. Her İB içinde 128*16 bitlik bir Danışma Tablosu (Lookup Table) vardır. Tümleşik

RlSC'lerdeıı bir bilgisayar oluştu rabilmek için önerilen "neural RISC array" adlı bağlantı yapısı ise şekil 4'de gösterilmektedir.

devre 68 bacaklı olup 76 mm kare Pacheco ve Treleaven tarafından yer tutmaktadır. Üzerinde 433

standart ve 179 özel tasarlanmış

(ful custom)

hücre

bulunmaktadır.

(celi)

SERİ BİLGİSAYAR

sıralanabilir:

Yaklaşık 60.000 transistor.

• 84 mm kare yonga alanı.

• 891 standart. 331 özel

tasarlanmış hücre.

• 84 bacaklı bir yonga.

16 bitlik işlemci.

128*16 bitlik komııl ve veri

belleği (RAM).

• Her işlemci için 2*(32*16

bitlik) Giriş/Çıkış tamponu.

• 32*16 bitlik başlatma (bool)

ROM belleği.

• 100 nanosaniyc olarak

öngörülen döngü /amanı

(eyele time).

64 adet her biri yonga başına 1K* 16 bitlik komut/veri bellekli 16 Ncural RISC işlemciden oluşan Ncural RISC yongası ile 1024 işlemcili bir Neuro Computer'in tek bir SUN VME kartına sığacağı iddin edilmektedir.

2.3 NEURAL COPROCESSOR, Speckmann, Thole ve Rosenstiel

Almanya Tübingen Üniversite si'tiden Specmann ve arkadaşlarınca

Halka 1

2.2 NEURAL RISC, Pacheco ve Treleaven

Pacheco ve Treleaven, gene IJCNN'92 de yayınlanan çalışma larında. 65536 işlemciden (nörondan) oluşacak genel amaçlı bir "Sinir Ağı Bilgisayar"ı için geliştirdikleri transputer benzeri bir RISC (reduced instruction set computer) mikroişlemcisini anlat

Halkalar Arası Bağlantı Modülü gerçekleştirilen bu devrenin 2 um CMOS teknolojisi ile üretilen prototipinin bazı özellikleri şöyle

gerçekleştirilen bir Kolıonen'in Kendi Organize Olabilen

Halka 2

Halka n tasarımda Kendine

Özellikler

Haritası (Sclf Organizing Featurc 2.5 MASSIVELY PARALLEL Map) yöntemi ile çalışan bir sinir ağı NEUROCOMPVTER, yardımcı işlemcisi (coprocessor) Erdoğan, tVahap

2.6 50 NÖRON LU YONGA, Salam ve

ANAI.OG

geliştirilmiştir. Tasarım, sinir ağları

na büyük verilerin öğretilmesinde Süleyman Şevki Erdoğan ve A.

karşılaşılan güçlükleri hafifletmek VVahap tarafından Singapur'da

amacını taşımaktadır (1).

yapılan bir çalışmada hem denetim,

hem de bağlantılar yönünden tekrar

2.4 CONNECTİON MACHINE oluşturulmaya açık (reconfıgıırable)

Üzerinde Geri Yayılma Algoritması, bir geniş ölçekte paralel

Zhang

neurocoınputer yapısı önerilmiştir

(1). 1992 Yılında, bu teknikle, bir

Zhang'ın çalışmasında. 32.768 kartta 40 Mhz'lik 12 işlemcili bir

işlemcili bir Connection Machine 2 prototip yapılmaktaydı. RM 12 adlı

üzerinde geri yayılma algoritması bu prototipin beklenen performansı

çalıştırılmıştır. Algoritma veri Erdoğan ve Wahap tarafından şöyle

paralel olarak çalışmakta, aynı duyurulmuştur:

katman (layer) üzerindeki işlemciler

için işlemler paralel olarak gerçek sistem saniyede yapılan bağlantı yenileme

leştirilmektedir.

CRAY 2

13 milyon

Connection Maclünc 7 milyon

Ayrıca bir anda birden çok örnekle iNVARP öğretme yapılabilmektedir. Her Hitachi işlemci bir nöron gibi kullanıl DAP 610 maktadır. Saniyede yapılan ağırlık RM 12

36 milyon 150 milyon 160 milyon 200 milyon

güncelleme (vveight update) 150

milyona ulaşabilmektedir. Bu sayı Erdoğan ve Wahap. sinir ağı

Pittsburgh Süper Bilgisayar bilgisayarlarının 1 ile 16 karttan

Merkezi'nde 1992 yılında bir Cray oluşacağını söylemektedir. Bir

sistemi üzerinde ancak 20 milyon kartın yapısını ise Şekil 5'deki gibi

olarak elde edilebilmişti (1).

öngörmüşlerdir.

1991 Yılında yayınlanan çalışma larında Salam ve Wang gerçek leştirdikleri krakter ve örii (pallern) tanıyabildi 64 bacaklı bir analog tümleşik devrenin özelliklerini anlatmakladır (4). 2 tını CMOS teknolojisi ile üretilen tümleşik devrenin alanı 6.8*4.6 mm kare olup, 50 sayısal çıkış kanalını desteklemektedir. Devre, yonga üzerinde sayısal öğrenme (on chip digital learning) özelliğine sahiptir.

Kullanılan model en çok bağlantı sayısını n*(n+l)/2"yc indirmekle, ara bağlantılarının simetrik olma sını şart koşınamakla. nöronlara kendi kendine geri besleme özelli ğini de sağlamaktadır.

Devre üzerindeki 50 nöronun 49 tanesi 7*7'lik bir matris oluştur makta ve iki boyutlu görüntüleri işleyebilmektedir. Ağırlıklar, yonga üzerinde yer alan öğrenme devreleri yardımı ile prograııılanabilmektedir.

2.7 YAPAY SİNİR AĞI

BENZETİMİ İÇİN GENİŞ

ÖLÇEKTE PARALEL MİMARİ,

Fujimoto ve

Arkadaşları

Japonya'da Sharp sirkelinde

Fujimoto ve arkadaşlarınca yapılan

çalışmalar sonucunda yapay sinir

ağlarının benzetimi için iki adel

paralel mimari geliştirilmiştir.

Bunlar

"Toroidal

Lattice

Architecture (TLA)" ve "Planar

Lattice Architecture (PLA)" olarak

adlandırılmıştır (4).

Yapay sinir ağlarının bu

mimariler üzerinde benzetimi için

düşünülen yöntem, çok katmanlı

J A A 395 ELEKTRİK

1 OU MÜHENDİSLİĞİ

\erı denetim C

SRAM Tampon

Yerel Denetim ve Sıralama

İB 1 BELLEK

Adres

İB ' BELLEK

İB f BELLEK veri ' lenetım B İB + BELLEK veri/denetim A

perceptron'un geri yayılmalı öğrenme algoritması ile "sanal" (virtual) işlemciler üzerinde benze timi, daha sonra sanal işlemcilerden işin gerçek işlemcilere uyarlanması olarak özetlenebilir.

orantılı olarak arttığını söyle

mektedirler. İşlemci Birimlerinde

80 MFLOPS İ860 RISC işlemcileri

ve herbir işlemcide 2MB bellek

kullanarak

gerçekleştirilecek

256*256 matris TLA yapısının

saniyede 100 milyar bağlantı yenileme sınırına kadar çıkabile ceğini iddia etmektedirler.

3. GELECEKTEN BEKLEYEBİLİRİZ?

NELER

Bunlardan TLA mimarisi, transputerler kullanılarak gerçekleş tirilmiştir. Hopfield yapay sinir ağı ve 256*64*256'hk bir perceptron ile 20 şehre kadar dolaşan satıcı (travelling salesman) problemi çözülmüştür. 16 adet Inmos T800 transputerinden oluşan TLA üzerinde ileri besleme (feeüfonvard) ağında saniyede 2 milyon bağlantıya, geri yayılma ağında ise saniyede 600.000 bağlantı yenilemeye çıkılabilmiştir. Kulla nılan TLA mimarisi şekil 6'da gösterilmiştir.

Fujimoto ve arkadaşları, perfor mansın işlemci sayısı ile doğru

Genellikle daha zeki olan bir insanın daha az zeki olan insanlara göre daha az bilgi ile başarılı olabileceği düşünülür. Ama Simon'a göre (2) insanlar iyi bildikleri konuların dışına çıkarlarsa çıkarım larının ve sonuçlarının (inferences) kuşkulu hale geldiği görülmekledir. Demek ki, başarılı olabilmek için hem güçlü bir düşünce hem de bilgiye ihtiyaç vardır. Yapay sinir ağı mimarilerinde güçlü düşünce yeteneğini birimler, nöronlar arası bağlantıların, bilgi miktarını da bellek kapasitesinin temsil ettiği düşünülürse, geleceğin yapay sinir ağı mimarilerinde hem daha yoğun ara bağlantılarına, hem de daha büyük belleklere gereksinimimiz olacaktır.

Seri paralel mimari tartışmasında paralel mimarilerin hakim olacağını düşünenlerin sayısı çok fazladır. Günümüzde geliştirilen mimarilerin çoğu genel değil, özel amaçlı paralel mimarilerdir. Ayrıca "detaylarda kaybolmamak" için, belli temel işlevleri gören birbirine yakın işlemcilerden oluşan gruplar (clusters) ve bunların hiyerarşik olarak bağlanması ile daha karma şık işleri gerçekleştiren mimarilerin çoğalması beklenebilir.

düzeyine ulaşıyor. İşte bu öğrenme süreci çözümlenip tüm ayrıntıları ile nıodellcnmedcn öğrenebildi bilgisa yarlar daha bir süre hayal dünya mızda saklanmaya devanı edecekler.

Ben bellek kapasitesi konusunda 2000 yılı civarında insan belleğine eşdeğer bir noktaya ulaşabileceğimizi düşünüyorum. Dağınık (distributed) bilgi işleme giderek daha çok önem kazanacak. Belli alanlarda belli büyüklükteki problemleri çözebilen, bir yerde belki o kısıtlı alan içinde bir çeşit "düşünebilen'" bilgisayarların sayısı artacak. Ancak işlemciler ve nöronlar arası bağlantı karmaşık lığında insan beyni düzeyine ulaşma yolunda daha uzun bir yolumuz olduğu kanısındayım.

•t. KAYNAKÇA

1. International Joint Conference

on Neural Networks, Bijing.

China. November 1992,

Bildiriler Kitabı. Cilt 3.

Electronic

Neucomputer

bölümü, s 165 344. 2. IEEE Transnclions on

Kno\vlcdgc and Dala Enginccring. .lime 1991. Vol:3. No:2. Yapay Zeka ve Yönetim Özel Sasısı. 3. IEEE Transactions on Neural Net\vorks. Neural Nchvoık Hard\varc özel sayıları. Mart 1991 ve Mayıs 1992. 4. IEEE Transactions on Neural Netuorks. Jıılv 1991 ve November 1992 sayıları. 5. Procecding ofthe IEEE. April 1991. Massivcly Paralel Computcrs özel sayısı. 6. IEEE Transactions on Paltcrn Analysis and Machine Intelligence. May 1991. Vol:13. No:5. "The Warp Machine on Navlab". Crisınan ve VVebb. s. 451 465. 1. Winston. Patrick Henry. "Artifical Intelligence" 2. baskı. Addison VVeslev. 19X4.

Gelelim neden insanlara birçok şeyi öğrettiğimiz gibi bilgisayarlara da öğretemiyelim sorusuna. Simon'ın da değindiği gibi insanları "programlamıyoruz". 1 2 yaşların dan 20 yaşlarına kadar süren bir öğrenme sürecinde çeşitli bilgileri öğretiyoruz. Bu öğrenme sürecinde insan sürekli olarak dağarcığına yeni bilgileri ekliyor ve çıkarımlar ve sonuçlar için belli bir olgunluk

1 32 395 ELEKTRİK MÜHENDİSLİĞİ