Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi / Sayfalar: 71-79

Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi A Novel Improved Atom Search Optimization Algorithm for Training Multilayer Perceptron

GGeelliişşttiirriillmmiişş Geliştirilmiş

AAttoomm Atom

AArraammaa Arama

AAOOOllpppggtttııiiillmmmaayyiiiıızzzccaaaıısssEEyyyoooğğnnniittiiAAAmmllliigggooorrriiitttmmmaaasssııı

iillee ile

ÇÇookk Çok

KKaattmmaannllıı Katmanlı

AA A

NNoovveell Novel

IImmpprroovveedd Improved

AAAtttooommmMMSSSuuAeeellaaalttgiirrrllıcccaalhhhayyyeeOOOırrcpppPPıtttEeeiiimmmrrğcciiieetzzzippaaamtttttrriiiooooonnnnn

AAllggoorriitthhmm Algorithm

ffoorr for

TTrraaiinniinngg Training

BBBaaatttmmmMaaaddnnnaauÜÜÜvvluunnntttiiii..lvvviiazzeeeDDDccyrrriisssaaae@@iiivvvtttreeeuuubbsssPtttaaiii,,,ttİİİemmzzzBBBrcccaaaaciiinntttemmm..peeaaaddtnnnuur..oTTTttrrnüüürrrkkkiiiyyyeee

[email protected]

ÖÖzz

Bu makalede atom arama optimÖizzasyonu (ASO) ve benzetilmiş

tBauvlmamakaa(lSeAde) aaltgoomritamraalmaraınoıpnthimibirziatsleyşotniruilm(AeSsOiy)levgeeblieşntizreilteilnmvieş

BitAauvSlOmamakaoal(laSerAdae)kaaltgiosoimmritlamernaadlmiarraiılneonıpnthiymiebinrziiatsleybşoitrniruilhm(iAbeSrsiOity)leavglegeoblireşinttimzreialteilnmevlieeş

iatAalvıSnlOammaakotl(aaSdrAıar)k.aSlgiAsoimrtietlmkennaidlğiairrniılinennınkhuyileblanrniitılmebşıitriirlielhmiAberSsiiOtyleaagllggeoolirrşiittimmriaalesnınevılnee

iaaAlrıSanOmmaakoytleaatderıanrke. ğSiiAsgiümtçellkeennniddğiiirrniililenmnikşutyilerla.nniÖımnbeıiriilleehniAbhrSiiObtriaat llaggloogrroiitrtmmitmaasaınneıılnne

daarloıağnmrmuaaskaytleatdeoınrlem. ğaSiyAgaüntçelkesnniisdğtieirnmiilnlmerikşiutilrloa.pnÖtıimneıirziielleeneAthmSiObedrieatklaiglogryoietrtmietmnaesaığnniıınnni

gdaroöağzmlreuamsalyelemteeonklemğüaizyegarüneçleçsnoisdktiermkiallmtemrişiatinrol.ıpÖtaimnlgeiırzliealeynıectıhmyiıbedr(ieMtkaLi lPgy)oerteietğmnietaiğcniiınsnii

godöolağzrlraeumksaleklmuleolaklmnıüalzmyeaırşnetırçs.oisIktreimks,alteBmraialnlolıpotnai,mlgiXızlOeayRıec,tımyBıerde(aeMkstLi PCy)aetneeğcneietriğciivnseii

gHoöleazarlreatmkollekmmualelkaknüıüzlezmreeırşeçtıerçş. oitIklri ivkse,artiBmkaaülnmlolıeolnea,rlgiXıklOualyRlıac,nıyıBlımre(ıaşMsvtLePCe)ladneğceeidtriicleivsnei

HsooleanaruraçtkloalrkmuoalrlkiajinünızalemlrAeışSçtıOerş.,istIlirinivüse,srkiBokasülimlnoüeoslnea,rligXkoOurliRltam,naıBlsmrıe(ıaSşsCvteACe),ladpneacreeçdrailcevınke

HssüoernaüursçtüloalrompoatrikimjiünizaealrsAeyoSçnOeuş,istl(iiPnvüSesOrki)ok, süikmnaüersılnearcliagkoukrlioltalmonanılsimsıi(ıSşoCvpeAtie)m,ldpizeaaresçdyaoilcneıunk

(ssAoürnCüuOsçül)a, rgorpoitrikimjuinriztaaolspAytoSimnOui,zsa(isPnyüSosOnku)o,(sGiknaWürsıOnac)lagvoekrgiotelmnoeantsiisıki(aSolCgpAotir)mi,tpimzaaarsç(yaGocnAıuk)

(sgAüibrCiüOrseü)k, agobrpietitkmçuiriaztalogspoytroiimntmuizaa(lsPayrSoOknuu)l,l(aGknaWırlaıOnrc)aakveokglouelşnoteuntriisukilamolugpşotirdmiitğimzeaarsM(yGoLnAPu)

g(eAğibiCtiiOrcei)lk,eagrbirieitklçeuirakt laogrpoştrıilimatmşiztaıarlsaıylrmoknıuşutlıl(raG.nWıBlaaOrll)aokvneoglvueşnrtieutrsiukeltami lugiçşoirdniitğmöenareM(rGilLAePn)

eigAğibSitiOirceilkeaarlbgi eoitrlçeiitmaklaagrsoşırıliatsmaştdaıerlaıclremkıuşGtlılAra.nıBalalagrlolaorknitomlvuaeşrstiıunrsıuneltmi guieçşridnisiiğönendreeMrilLbeiPnr

eipAğeSirtfOiocrilmearalginosirleistemkraagrsilşıeılmasaişştdıeroıclemupış,GtıAkra. rBaşılalgalolşortnıirtmmvaearsiıynasıneptıilagineçrinidsiiğönendreeritlübeminr

ipaAelgSrofOorritmmaalagnlosarriastemragsiglıöemrseaişdeocdleauhpa,GAkariyaşıillgaoşrtpıirtemmrfaaosrımynaıanpnıslagnersidseiirğngedireledtübiğmiri

pgaelögrzofloerrmitmmleaannlmsarişasteirg. igSlöeomrneiuşçloadlrau,hpBa, aklaloriyşoıinlaşvtepıreimrfasoertmyiaadpnışslaınndasdeirğögenirelerditlüieğmni

gayalögkzollaermşitımmlealnalmadrişathira. dgSüöoşrnüeukçolardtra,hlaBamaallokiyoainrevheparetirafssoıerntmıinad(nıMşsıSnEdas)eorörgntiaelleradimlieğani

gyveaökzslltaeamşnımldealnarmtdisşaathipram. daSüsoşınüuıknçolearltrda,elaBemadalillodkoaiğnrienvhieagrtiöassstıentrıimndi(şıMşvıSneEdda)oolörantyaeılsraıimylelaan

dyvaekhslataaşinyımdi aplaretrdfsaoahrpmamadanüssşıınünıkınnoeroltldadeluağemudaniludkaiağrçienıkhiçagatöagssötıensrtımenri(mşMivşSetEird).oolratyaılsaımylaa

dvAAdaeaalnnghhaasoaathhrattiiinaatyymdrrii aapprleeKKatrrreeffsoo,llaiirrmmapmmtmeeoaallameennsrrssı::ıınannırıınaÇÇnnmeoooolakklldddeuuokkğğpeaauutdittnnimmmluudiaaziaannğaççllisıınııykkioççaagnaallöuggggs,ııöötllebaassreyyttmeenııccrrzimmıışe,,tiivişşlessttmiieerrdizz..şoggliitassaeeyvllıl--saüüıymsslttaaüü

Aaallnggaoohrrtiiattmmr aalsKaı re,limateolmer:araÇmoak okpatitmmiaznalsıyoanlug,ılbaeynıczıe,tilsmeizşgitsaevll-aümstaü

aallggoorriittmmaaslaı r, atom arama optimizasyonu, benzetilmiş tavlama

AAbbssttrraacctt

A novel hybrid algorithmAdbevsetlroapecdtby merging atom search optiAminzoavtieolnhy(AbrSiOd )aalgnodristihmmuldaetveedloapnendeablyinmge(rSgAin)gaalgtoomritshemasrcihs oppretisAmeninztoaevdtie.olTnhhy(eAbsrSeiOda)racalhgnodcraisptihammbuildlaiettyveedolfoaApneSndOeabwlyinamgsei(rmSgApin)rgoavalegtdoomrbiytsheumassrincighs posirpmetisumelaniztteaeddti.oTnahn(enAesSaeOali)rncgahndc(aSspAiam)buiallailtgtyeodorifatAhnmSnOe. awlTinhages i(mSpArpo)rpoaovlsegedodrbiythuymbssirniidgs sapilrmgeosuerliantttheemdd. Twahnaensesaenalairnmcghedc(aSapAsa)biiaAlilStgyOooriftaAhnmSdO. awTnhades iumpserpodrpoovfoseerddbtryhauyinbsirnidg smailmugloutrilliaatthyemedr pwaenarncseapnltairnmogned((MSaALsP) )iaAtolSgOoobrsitaehnrmvde. iatTnshdaebuilpsiteryodpfoofroserodpttrimhayiinbziirnnidgg nmaolugnlo-trillianthyemearr psweyarsctseempntsar.moSneed(vMeraLasPl d)iAatotSaOosbestasenr(vIdreisiat,nsBdaabluillosioteydnf,oXfroOroRptt,rimBairinzeiiannsggt nmcaounnlc-tileliranyeaeanrrdpseyHrscteeeamprtstr).oSwnee(vMreerLauPl sd)eatdot,aosabenstdser(vtIhreiesit,soBbaatbalililonioteyndf,orXreOsouRplt,tismBrwizeeianrsget ccnoanmnc-pleiarnreeaadnrdwsyiHtshteeramerst)p. eSwcetevirveeerarulesdceaednt,atsacenotdsm(ptIhreietsit,iovBbeatalalilongoeondr,itrXheOmsuRsl,tssBucrwheeaarsest occoarimngcpienararleadnAdwSOiHth,eraserisnt)peewccteoirvseeinrueesceaedln,gtoacrnoitdmhmptheet(itSioCvbeAtaa)i,lngepodarirtrtheicmsluesltsssuwcwhaerarmes coooprimtgimpinaiazrlaetdiAowSnOit(h,PrSseiOsnp)e,ecactnoivtseicnroeelocaenlnygtoocrpoittmhimmpeizta(itStiiCvoeAna)(,lAgpoCarOirtth)i,cmlgesressuywcwharoamlsf oopprittgiimminiiazzlaattiiAooSnnO(,P(GSsiOWn)eO, a)c,notsiacnnoedloanlygeoonrpiettthiimcmiza(aStliCgooAnr)i(,tAhpmCaOrt)i(,cGlgeAr)es.ywwaTrohmlef pooepprttiifmmoriimzzaaattniioocnne o(Pf(GSthOWe)OG, a)A,nwt aacnsodlfoonuygnedonpteottiimbceizbaaetltigtoeonrrit(thAhamCnOth)(,eGgpArr)eo.ypowTsoehldef pioAepSrtifOmoriamzlagatoniorcinethomf(GtohWnelyOGf)Ao,rwBaaansldlfooougnneddnateottaibcseetb.aeHltgtoeowrrietthvheamrn, tthh(eeGppArr)oo.ppooTsseehdde iipAAeSSrfOOoramwlgaonsrcieftohoumfntodhneltyoGfAohrawBvaeasllfbooeoutntneddratoptaebsreefotb.reHmttoaewnrcetehveartnh, atthhnee pparrllooppooothsseeeddr ciiAAoSSmOOpaawrlegadosriaftolhgumonroditnhltmyo fsohrafoBvrealtlbhoeeotnterdresapptaeescretfiotv.reHmoadwnacteaevseertth,.athnAeppaarlrlotpofotrhsoeemdr BicAoaSmlOlpoaowrneaddsataafolsgueontr,ditthhtemorsehsafuovlrtes tcbhleeetaterrrelysppineedcrtfiiocvaremteaddnatcthaeeseptthe.arfnAopramalrlatnocftrehoeomrf tBchoaemllporaoornpedodasetaadlsgeaotlr,gitothhremitrhsemsfuoltrtos tbchleeeabrreeltystepirnedcatisicvatetheeddaltothaweseeprte.rafAvoeprrmaaragtnecfraeonomdf Bthaellporoonpdoasetadseatl,gtohreitrhemsulttos bcleeabreltyteirndaiscattheedltohweeprerafvoerrmaagnecaenodf

the proposed algorithm to be better as the lower average and

standard deviation of mean square error were achieved via the pstraonpdoasredd daepvpiraotiaocnh.of mean square error were achieved via the pstraonpdoasredd daepvpiraotiaocnh.of mean square error were achieved via the

propKoesyewdoarpdpsr:oMacuhlt.ilayer perceptron, metaheuristic algorithms, atomKesyewarocrhdso:pMtimuilztialatiyoenr, psiemrcuelpattreodna,nmneetaalhineguristic algorithms, atomKesyewarocrhdso:pMtimuilztialatiyoenr, psiemrcuelpattreodna,nmneetaalhineguristic algorithms, atom search optimization, s11im.. uGGlaiitrrediişşannealing

İmİnnossaadnnellbbeeeriyynniia,,rayycaaıpplıaağyyıylssaiinniirrta1kaağğl.illtaaGrrııeidr((iAAilşeNNbNNilm)) ettkaarrteaaffıınnvddeaann

hesaplama bhuesaspalyaemdae

mİgneosleadneellkbesereiylnia,mrayacatıeplmıağyaıytilskaisneirltakadğleiltnarkıleed(miAlleNebrNiilnm) etçkaörteazfmınevdkeaten bhuzeosralsapanlyademıdğaeı

gmkaeolremdneaelşlkeıskrei l amrvaaectıelmığaıdytiolkağsreultsaakdlleitnkleoedlmmilleaebyriialnnmeçkötezpmroevbkelteembluzeorrlsaanydieçıdiğneı

kkguaerlemlannaeşıklıaskeblilmmevaketemdiardt[io1kğ]sr.euİllseardliebneksloleelmmmlaeeylriiansniniçröazpğmrloaerbkılnteeımn lbzeiorrrplaanrçdiçaıiğsnı

okklauarlnmlaçnaoşılıkakbkialmtmevakentelıdairldg[o1ığl]ar.yuİılsceaırli(MbeLsolPelmm) [ae2yl]ia,snoinldiruakpğçrlaoarbılenenımnimlbesirrepnaernçiçabisinrı

sokilunalinlraçnaoığlkaıbkioallmtumpeakntbeleıdlairllg[i1ıl]au.yyİıglceuırli(aMbmeLsalPeam)rd[ea2l]i,ksouinlldliarunakığçlmlaarabısenınınidmbusirreupnmaeurnçnabdsiarı

esoiğlnaiitnrilçmaoğekısikoaltumgpearnbelkeıleainrllgiılaubyyirıgcuıl(ayMmapLaılPya)ard[a2]s,kaouhllidlpautnikrıçlma ab[s3eı]n.idmusrLeuinmteurnantbdüiar

seiniğnciiterillemanğedısiiğoinludgpee,rbekesleöinzrli kuboyinrguusluaymapabıluyaardsainskiaruhlilpatğnirınlmına[s3ı]e.ğdiutirLmuimtieurainçtdüinar

edinğecitteeilrlemniednsiiiğsitnikdgeye,arekklsaeöşnzımlkaborinarudseuynakpbgıuyealmseinksiarmhiüpamtğirkınüınn[d3ü]er.ğ[i4t]iLm. iAtienrcaiçatüiknr,

idyneactveealrşemnyidanikiğsıintniskdaeym,aakvlsaöeşzıymerlkeaolrnaoupdsteuinmkubgmuedlmasesinıkkirmışmüamağkıgnüiıbnniddüuerrğ[ui4tm]im.laAirnicligçaiklni,

dyeğeativetairmşmysianükirsıentciskianymdaeaksvlıaekşlıyımkerlaelrkaoapdrşteiınmlakuşgımleadlnmasesoıkrkumınşmülamardkgaüinbndidıdüru.rrB[u4um]n.leaAdrneiclngalikeli,

ybeğuaivtaitmüşrysaübkriırencsyianamdpeıansvııneklyıekeğrlaietlikmoapriştiıimlçaiuşnımladnashsoaırkuıynşemltaearndgeaiknbldi ıdrau.lrBguoumrnilteamdr aeillngalirelai,

beihğutiityitmüaçr sübdriureycuyinlamdpeıanksııtnkadlıeıkrğl.aitBikmaurişnıiloçaikşntıaladdnaashosaeruzyngelitaseerndl-eaüknsldtiüıra.laBglgouornirteimtdmaelanalraear,

dbihuathiyatüayçretbdeiunryeukyllamipyıaankpıtnıaldaeırrğ.oiltBaimruaiknikoçuiknltlaaddnaaılhasabeizlyigrei.tseenl-eüksltiüalaglgoorirtimtmalaalraar

idhathiyaayçetdeunyeukllmi yaakptıaldaırr.olBaruaknkoukltlaadnaılasbeizligri.sel-üstü algoritmalar

dSSualeeahzzşggamiiyssaeeeyllt--ıeüünssesttkaüüğliaalllayggyaooaprrnıiilttammraaaollltlaaearrrrnMMaaktLLikfPPuleeblğğairniittıiilmmayböiinninldditreee.maarrzzuuoleeaddraiillkeenn

sonuçlara bsoanşaurçılsaınraı

Sguöleazsştgmeirsameyli-ışütsisrtaüğal[la5gy]oa.rnitmBaaulltaerrnaMalgtLiofPritebmğiriatliamyrödinnadnteemarbzauozleıaldarairlıken bsgoarinşaurçıklsauınrraıt

guolöpastşitmeriamzyaiışstyisoranğul[a(5yG]a.Wn OBa)ult[e6r]na,alkgtaiofrrıintbmciaraalasyrlödananıteomptbiamozliıazlaraarsıkyonbguariş(aArıLksuıOnr)ıt

g[o7öp]st,itmeşreimzmaişsptyaiornnzue[(5oG]p.WtimOBi)zua[6sy]a,olkngaorarıilntgmcoaraialtasmrldaanasnıı o(pCtbhiamOziıAzlaa)rsıy[8o]ng,uriç(eAkLkiruOgre)t

[o7p]t,imşeizmaspyaonnzuea(loGgpoWtrimiOtmi)zaa[s6sıy],o(kGnaOraıAlngc)oar[ia9tsm]l,aanssııaol(ppCthsimüOriAüzsa)üsy[8aol]ng,uoçr(eiAtkmLiraOgse)ı

[o(7Sp]St,iAmş)eizm[a1sp0ya]onnzveealobgpuotriamitlmgizoaarssiıtymo(GnanOaınAlg)ogre[il9timş]t,airssiıalml(pCişhsüvOreAürss)üiy[o8anl]gl,aorçrıeitk[m1ira1gs]eı,

[o(1Sp2Sti]Am, )izy[ae1sr0y-ç]oenvkeiamlbgiuoraairtlamgmoarasiıtma(GalgnOoınrAit)gme[al9isş]ıt,ir(siGalmlSpiAşs)üvreü[r1ss3üiy]o,anlgmlaorarınity[m1ea1tis]kı,

[(o1Sp2Sti]Am, )izy[ae1sr0y-ç]oenvkeiamlbgiuoraairtlamgmoarasiıtma(MalgnoOınrAitgm)ea[li1sşı4ti]r,(iGlymSaiApşa)yve[ar1sl3giy]o,anlgmlaorarınity[m1ea1tis]kı,

[(o1Ap2tAi]m,Ai)zyae[sr1y-5çoe]n,kiaamlğgiaoçrairttamomhauasmı a(MlagloOgroAirtim)tma[1saı4sı],(G(yTSaSApAa)y) [[a11l3g6]],alvgmeoarnHitymaeratriisksı

o(şAaphtAimnAlie)zrai[so1yp5ot]ni,maaizlğgaaosçyriottmonhuaus(mıH(HMaOlOg)oA[r1i)t6m][1ao4slıa],ra(yTkaSspAıaray)la[an1lag6b]iallivgre.orHitmararissı

ş(AahAinAle)ri[o1p5t]i,maizğaasçyotonhuu(mHHaOlg)o[r1it6m] aoslıara(TkSsAıra)la[n1a6b]ilivre. Harris

AAşgaetthlooiişmmntlieriraalierronaapmmtviaame ioozmappsttoiiymmloekniizzüuaalsse(yyHrooHnndOuuin)a(([mAA1i6SSk]OOteo))nlar[[ae11ks77ins]]ı,,lreanssleaoonnnnabpzziolaaiprmmü. aalannsllyaaorrddnaa-

Agteemtloieşmtlilriialersnaemzvgaeiseomlp-ütoismletükizüalseayrlgoondruiintma(maAliaSkrOtdea)nnd[e1ısr7i.n],leSnsöeoznn pkzooapnmüualsanuslyaorbdnuagtaelemglioeşrtliiltrimileasnçeezşvgieitsliemlo-püotslietmükiüzlaeasrlygoodnriintpmarmoabliaklertdmeanlnedreiısnri.innleüSnsöetzensinpkdooepnnüuglsaeuslymobenkutüaelzmgeorereliltimbaaşsçaeerzışgyiitlslaielok-püutslitlmüanizılaamslygışootnrıirtpmr[o1ab7lal]er–dm[a2ln1edr]i.ınr.iAnnüScsöatzeksidnkidğoeennrugsbeuilrmçboekuk

süaelzgzeogrreisitembl-aaüşsçaterüışyiatllaigokpruittlimlmaanizdılaamsyoışoldtnıurpğr[uo1bg7li]eb–mi[,2lo1er]i.jniinAnanlücsAatekSsOidnidağelegnrogrbeitilmrmçaoeskkı

sdüeazzegereirskeebln-aüşsyatraüıkyaılnalgsaokmruitalmlavanedılamyoeışlrdteıulrğo[up1tg7imi]b–ui[,2mo1ar]i.jtianAkanıllcmAakaSOgdiiabğliegrosorbirtiumrnçaloaskrı

sdbeaazrıgenirsdkeıerlnm-üasyktaütkaaıdnlıgsraomri[ta1m8va]edayvoeelrdeulbğouuptginmibeuid,meonarliejtiankakılelmAşiafSOgviabeligossoröirtmumnüalrasürı

dbaşaaarımenrdaklıearnmrınayıkantkaiıdynıisrlaemşt[ia1ri8lvm]eeysvieenrelibhoutpiytianmçeuddmeunyalmetakktıaelmdşiıafr. gvibei ssoörmunülraür

başaarımndalıarmrınaıkntaidyıirleşt[i1ri8lm] esviene ibhutiyançeddeunylme akktaedşiıfr. ve sömürü

aSSüşseeatzzemggsiiiassnleeadllre--ıüünnssıttnüügeiylmilaaeellşggktooirrrüiiilttzmmmeeraaesllaainrrçııenneişhittlissiyaaahhsçiitpprdauteyjoomilllddearuukğğtaöuudnıerr.ssiıılnnmıırrişllaatimmr aa[ll1aarr9ıı]nn.

SHüseitzbegrsiiitsnledlşe-tünirsmtügeelmyaaelgkkolarüşitızmeraıeladrçaınehşaitlseiathksitplriatesojinlldeuruçğlaöurnesrsiaılğnmlıarişldatıimğrıan[ld1aar9ın]n.,

Hüsitbersiitnledşetnirmgeelmyaekklaüşızmerıe dçaehşaitlei tksitlriatesojinleurçlaörnesrialğmlaişdtıiğrın[d1a9n].,

Hibritleştirme yaklaşımı daha etkili sonuçlar sağladığından,

önerilen stratejiler arasında öne çıkan ve tercih edilen bir yöntem olmuştur. Optimizasyon problemlerinin çözülmesi için sezgiselüstü yapılar ile hibritleştirilen algoritmalardan biri de benzetilmiş tavlama (SA) algoritmasıdır [22].

SA algoritması yerel arama açısından güçlü olan ve daha az hesaplama süresi gerektiren, bununla beraber uygulanması kolay olan sezgisel-üstü bir tekniktir [23]. Bu özelliğinden dolayı SA algoritmasının hibrit bir model oluşturulmasına olanak tanıyacak şekilde kullanılması mümkündür. Bu durum da söz konusu bu çalışmanın temel motivasyonunu oluşturmakta olup, ASO algoritmasının yukarıda sözü edilen dezavantajlı taraflarının üstesinden gelinmesi amaçlanmaktadır. Bu yolla ASO algoritmasının çözüm kalitesi iyileştirilebilir ve dolayısıyla optimizasyon problemlerinin çözümü için daha iyi bir yapı elde edilebilir.

Bu makale, ASO algoritmasının keşif ve sömürü aşamaları arasındaki denge eksikliğini gidermek üzere SA algoritmasının mükemmel yerel arama yeteneğinin kullanılmasını esas alarak geliştirilmiş atom arama optimizasyonu (iASO) olarak isimlendirilen yeni bir hibrit algoritmayı önermektedir. Geliştirilen bu hibrit algoritma, daha kötü çözümler için SA tekniğini kullanıp, potansiyeli olan komşu çözümlerin de ihmal edilmemesini sağlamaktadır. SA ile ASO algoritmalarının hibritleştirilmesi yoluyla elde edilen iASO algoritmasının, doğrusal olmayan sistem optimizasyonundaki performansını gözlemlemek üzere MLP eğitiminde kullanılmıştır. Böylelikle, söz konusu bu amaç için daha önce önerilen diğer algoritmalara kıyasla daha iyi performans gösteren bir yapının oluşturulması amaçlanmıştır.

MLP eğitiminde önerilen algoritmanın performansını gözlemlemek için farklı zorluk seviyelerine sahip Iris, Balloon, XOR, Breast Cancer ve Heart [24] veri kümeleri kullanılmıştır. Elde edilen sonuçlar adil bir karşılaştırma için tüm algoritmaların benzer koşullar altında çalıştırıldığı orijinal ASO, sinüs kosinüs algoritması (SCA), parçacık sürüsü optimizasyonu (PSO), karınca kolonisi optimizasyonu (ACO), gri kurt optimizasyonu (GWO) ve genetik algoritma (GA) gibi yapılar ile oluşturulan MLP eğiticilerinin sonuçlarıyla karşılaştırılmıştır. Önerilen hibrit algoritma için yapılan testler GA algoritmasının sadece Balloon veri seti için önerilen algoritmadan daha iyi performans sergilediğini göstermiş olup geri kalan diğer algoritmalara göre önerilen iASO algoritmasının yine de daha iyi olduğu gözlemlenmiştir. Diğer tüm veri setleri için ise iASO yapısının daha düşük bir ortalama kare hatasına (MSE) ve standart sapmaya sahip olduğunu ve bu sebeple MLP eğitimi için verimli bir optimizasyon algoritması olduğunu gösterirken, karşılaştırmalar bu algoritmanın rakip diğer algoritmalarından daha iyi performansa sahip olduğunu belirlemiştir.

2. ASO Algoritması

Bir önceki bölümde de bahsedildiği üzere, ASO algoritması

moleküler dinamiklerden esinlenen popülasyon tabanlı bir

küresel optimizasyon tekniğidir [25]. Diğer bir ifade ile, söz

konusu bu algoritma klasik mekaniğe göre davranan atomik

hareketin matematiksel bir temsilidir. Newton'un ikinci yasasına

göre, bir atomik sistemdeki ilişki eşitlik (1)'de olduğu gibi

yazılabilir.

????????????! + ????????????! ????????????!

(1)

Burada, ????????????! ve ????????????!, ????????????. atom üzerinde birlikte etkiyen etkileşim ve kısıtlama kuvvetlerini temsil eder. Atomun ivme ve kütlesi ise sırasıyla ????????????! ve ????????????! ile gösterilmektedir. ???????????? boyutunda ve ???????????? zamanında, ????????????. atomdan kaynaklı ????????????. atoma etki eden etkileşim kuvveti bağıntı (2) ile ifade edilebilir.

????????????!#"(????????????) = −????????????(????????????) 022ℎ!"(????????????)4$% − 2ℎ!"(????????????)4&5

(2)

Bu bağıntıda, ????????????(????????????) derinlik fonksiyonu olarak adlandırılır ve

bağıntı (3)'te olduğu gibi tanımlanmaktadır. ???????????? derinlik ağırlığını,

???????????? ise maksimum iterasyon sayısını göstermektedir. Söz konusu

bu fonksiyon, itme veya çekme bölgelerinin düzenlenmesi için

kullanılır.

−

− ????????????

1% :

????????????'(+)*

(3)

Eşitlik (2)’de verilen ℎ!"(????????????) terimi, (4) numaralı bağıntı ile ifade

edilmekte olup; ilgili eşitlikteki ????????????, iki atom arasındaki mesafeyi,

ℎ,!- alt sınırı, ℎ,./ ise üst sınırı temsil etmektedir.

ℎ!"(????????????) = ⎨⎪⎧⎪??????????????????!???"???((?????????????????????)???)ℎ,,!ℎ-,, !-??????????????????!≤???"???((?????????????????????)?????????)????????????!???"???(<(?????????????????????)???)ℎ,≤!-ℎ,./

(4)

⎪⎪ ⎩

ℎ,./ ,

????????????!"(????????????) ????????????(????????????)

>

ℎ,./

Son eşitlikte verilen bu fonksiyon, itme, çekme veya dengenin

oluşmasına yardımcı olur. Keşif özelliği alt itme (ℎ = 1.1) ve

üst çekme sınırlarına (ℎ = 1.24) sahip olununca arttırılmış olur.

Eşitlik (5)’te verilen ????????????) ve ???????????? terimlerinin sınırları sırasıyla 1.1 ve 1.24 değerlerine eşittir.

ℎ,!- = ????????????) + ????????????(????????????), ℎ,./ = ????????????

(5)

Algoritmanın keşiften sömürüye kaymasını sağlayan sürüklenme faktörü, ???????????? ile ifade edilmekte ve bağıntı (6) ile verilmektedir.

0.1

sin

???????????? 82

???????????? ????????????:

(6)

Eşitlik (4)'te verilen ????????????(????????????), uzunluk ölçeğini temsil etmekte ve bağıntı (7)’de verildiği şekliyle tanımlanmaktadır.

P????????????!" (????????????),

∑"∈1234* ????????????!" ????????????(????????????)

(????????????) P (

(7)

Burada ????????????234*, en iyi uygunluk fonksiyonu değerlerini içeren ilk ???????????? atomlarının olduğu bir popülasyonunu belirtir. ????????????# fonksiyonunun ????????????(????????????) değerlerine göre davranışı ( ℎ değerlerine karşılık gelen) Şekil 1'de gösterilmektedir.

F’(h)

5 4 3 İtme 2 1

???????????? = 50 ???????????? = 30

???????????? = 10

Çekme

???????????? = 1

-1

-2

-3

-40.9 1 1.1225 1.2445 1.4

1.6

1.8

h

Şekil 1. Farklı η değerlerine karşılık gelen ????????????# fonksiyonu

Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi A Novel Improved Atom Search Optimization Algorithm for Training Multilayer Perceptron

Diğer atomlardan dolayı ????????????. boyutta ????????????. atom üzerinde etkili olan rasgele ağırlıklara sahip bileşenlerin toplamı, toplam kuvvet olarak ifade edilmekte ve (8) numaralı eşitlik aracılığıyla verilmektedir.

????????????!5(????????????) = T ????????????????????????????????????"????????????!5"(????????????)

(8)

"∈1234*

Eşitlik (8)’deki ????????????????????????????????????", terimi [0,1] aralığında rastgele bir sayıyı

temsil etmektedir. Moleküler dinamikte atomik hareket,

geometrik kısıtlamadan büyük ölçüde etkilenir. ASO

algoritmasında bu durum her atom ile en iyi atom arasında

kovalent bir bağ varsayımı ile basitleştirilmektedir. Böylelikle, ????????????.

Atomun kısıtlaması (9) bağıntısı ile verilen halde yazılabilir.

????????????!(????????????) = Y|????????????!(????????????) − ????????????234*(????????????)|( − (????????????!,234*)(\

(9)

İlgili eşitlikte ????????????234*(????????????) , ???????????? iterasyonundaki en iyi atom pozisyonunu temsil ederken, ????????????!,234* en iyi atom ile ????????????. atom arasındaki sabit bağ uzunluğunu göstermektedir. Böylece, kısıtlama kuvveti eşitlik (10)’da verildiği haliyle elde edilebilir.

????????????!5(????????????) = ????????????(????????????) ^????????????2534*(????????????) − ????????????!5(????????????)_

(10)

Burada, ????????????(????????????) Langrajyan çarpanıdır ve eşitlik (11)'de olduğu gibi

tanımlanır.

????????????(????????????) = ????????????????????????'(+)*

(11)

Bağıntı (11)’deki verilen ????????????, çarpan ağırlığını ifade etmektedir. ???????????? atomunun ???????????? anındaki ivmesi eşitlik (12)'deki gibi yazılabilir.

!5 (????????????)

????????????!5 (????????????) ????????????!5(????????????)

+

????????????!5 (????????????) ????????????!5 (????????????)

(12)

Burada ????????????!(????????????), ???????????? anındaki ???????????? atomunun kütlesidir. Söz konusu son denklemden de görüleceği üzere, daha büyük kütleli bir atom daha iyi bir fonksiyon uygunluk değeri sağlamakta ve böylece daha az ivmeye neden olmaktadır. ???????????? atomunun kütlesi eşitlik (13)’te verilen ifade ile hesaplanabilmektedir.

(????????????)

????????????! (????????????) ∑"78$ ????????????"(????????????)

(13)

????????????!(????????????) = ????????????'9!*9&!*'!(($*%)('*)9'!*9"!#*$"%#($*%)(*)

(14)

????????????234*(????????????) ve ????????????<=>4*(????????????) sırası ile ???????????? iterasyonundaki minimum ve maksimum uygunluk değerlerine sahip atomları temsil etmektedirler. Söz konusu bu uygunluk değerleri de eşitlik (15)

ve (16) ile verilmektedir.

????????????234*(????????????) = ????????????!?($,(,…7)????????????!(????????????)

(15)

????????????<=>4*(????????????) = ????????????!?($,(,…7)????????????!(????????????)

(16)

Algoritmayı basitleştirmek adına ???????????? + 1 iterasyonundaki ???????????? atomunun hızı ve konumu aşağıdaki gibi ifade edilebilir.

????????????!5(???????????? + 1) = ????????????????????????????????????!5????????????!5(????????????) + !5(????????????)

(17)

????????????!5(???????????? + 1) = ????????????!5(????????????) + ????????????!5(???????????? + 1)

(18)

Daha iyi bir keşfi yeteneği için her atom daha iyi uygunluk değerine sahip ???????????? komşu atomları ile mümkün olduğunca fazlaca etkileşim içinde olmalıdır. Bahsedilen durumun aksine, sömürü yeteneğinin iyileştirilmesi için her atom daha iyi uygunluk

değerine sahip ???????????? komşu atomları ile mümkün olduğunca daha az etkileşim içinde olmalıdır. Burada bahsi geçen ????????????, zamana bağlı bir fonksiyonu temsil eder ve iterasyon sayısına göre kademeli düşüşü göstermek için eşitlik (19)'da olduğu gibi hesaplanır.

????????????(????????????) = ???????????? − (???????????? − 2) × d????????????????????????

(19)

3. SA Tekniği

Bu algoritma, metalürjideki tavlama sürecini taklit ederek çözüm

üreten bir yöntemdir [26]. Algoritma süreci, temel olarak ısıtma

ve soğutma aşamaları aracılığı ile daha az kusurlu tek tip kristal

üretme işleminin simüle edilmiş halinden ibarettir [27]. SA, ????????????! çözümü için rastgele bir başlangıç değer kümesiyle başlar ve bunun aracılığıyla ????????????!# komşu çözümünü belirler. Ardından, ????????????! ve ????????????!# için uygunluk değerini hesaplar. ????????????!# çözümüne ait olan ????????????(????????????!#) uygunluk değerinin, ????????????! çözümünün ????????????(????????????!) uygunluk değerinden küçük olması durumunda SA tarafından ????????????! = ????????????!# şeklinde bir ayarlama yapılmaktadır. Bununla beraber, bahsedilen bu ilişki

olmasa bile, SA algoritması ????????????! çözümünü ????????????!# çözümü ile değiştirme yoluna yine de gidebilir. Böyle bir durumun

gerçekleştirilmesi, eşitlik (20)'de tanımlanan ???????????? olasılığına

bağlıdır.

???????????? = ????????????'∆+9) ; ∆???????????? = ????????????(????????????!#) − ????????????(????????????!)

(20)

Burada ???????????? uygunluk fonksiyonunu, ???????????? ise sıcaklık kontrol

parametresini ifade etmektedir. SA algoritması ????????????! çözümünü, ???????????? < ????????????????????????????????????(0,1) durumunda ????????????!# çözümü ile değiştirmeyecektir. Bir sonraki aşamada aşağıdaki denklemi kullanarak sıcaklık

değerini azaltmaktadır.

????????????BC$ = ????????????????????????B

(21)

Burada ????????????, 0 ile 1 arasında rastgele değişen soğutma katsayısını ifade etmektedir.

4. Önerilen Geliştirilmiş Algoritma

Giriş bölümünde bahsedildiği üzere, ASO algoritmasının orijinal versiyonu, çeşitli mühendislik problemlerini çözmede başarı sergilemiştir. Ancak, diğer küresel optimizasyon tekniklerinin birçoğunda olduğu gibi, bu algoritma da büyük boyutlu sorunlara çözümler sağlamak için yeterince verimli değildir. Bu sorunun üstesinden gelip ASO algoritmasının etkinliğini artırmak için bu çalışmada SA tekniği ASO algoritması ile hibritleştirilerek yeni bir yaklaşım elde edilmiştir.

SA algoritmasının temel faydalarından biri, tepe tırmanma hareketleri ile yerel minimumdan kaçma yeteneğidir. Söz konusu bu durum global bir çözüm arama açısından yararlıdır. Bu algoritma, mevcut çözümü daha iyi olan komşu çözüme doğru kaydırarak arama alanının keşfedilmesi sağlar. Bu yapısı ile de ASO algoritmasının yerel minimuma takılmamasına yardımcı olmaktadır.

Bu çalışma ile MLP eğitimi için önerilen yeni hibrit iASO algoritması, ASO algoritmasının hızlı keşif ve SA algoritmasının da tepe tırmanma özelliğini kullanmaktadır. Önerilen hibrit algoritmanın akış şeması Şekil 2'de gösterilmektedir. İlgili diyagramdan da görülebileceği gibi önerilen hibrit algoritma, ASO ve SA algoritmalarının parametrelerinin başlatılması ve uygunluk değerlerinin sonsuza ayarlanması ile rastgele bir atom kümesi üzerinden başlatılmaktadır.

Başla

ASO parametrelerini tanımla: uygunluk fonksiyonu, popülasyon büyüklüğü, sınır koşulları, maksimum iterasyon sayısı, problem boyutu, ???????????? ve ???????????? sabit parametreleri. SA parametrelerini tanımla: başlangıç sıcaklığı, minimum sıcaklık ve soğutma hızı

Her atom için rastgele ???????????????????????? çözümleri ile ???????????????????????? hızlarını başlat ve ???????????????????????????????????????????????????????????????????????????????????? = ∞ yap

Ana döngü

???????????????????????????????????????????????? uygunluk değerini hesapla

???????????????????????????????????????????????? < ???????????????????????????????????????????????????????????????????????????????????? ?

Evet ???????????????????????????????????????????????????????????????????????????????????? = ???????????????????????????????????????????????? ve ???????????????????????????????????????????????????????????? = ????????????????????????

Atom kütlesini hesapla ((13) ve (14) kullanarak)

(19) kullanarak ???????????? komşularını belirle

(8), (10) ve (12) kullanarak ????????????????????????, ???????????????????????? ve ivmeyi sırası ile hesapla

(17) ve (18) ile sırası ile hız ve pozisyonu güncelle

ASO’nun en iyi sonucunu SA başlangıç çözümü yap

Yeni bir ??????????????????′?????? çözümünü, mevcut ???????????????????????? çözümünün komşuluğunda tanımla ve ∆???????????? = ????????????(??????????????????′?????? ) − ????????????(????????????????????????) hesapla

∆???????????? ≤ 0 veya ????????????????????????????????????????????????(0,1) ≤ ????????????−∆????????????????????????????????????

Evet Yeni çözümü kabul et: ???????????????????????? = ??????????????????′?????? ve ????????????(????????????????????????) = ????????????(??????????????????′?????? )

Soğutma aşaması: ????????????????????????+1 = ???????????????????????????????????? ve en iyi sonuç ???????????????????????????????????????????????????????????? güncelle

Maksimum iterasyon sayısına ulaşıldı mı?

Evet En iyi çözüm ???????????????????????????????????????????????????????????? rapor et

Bitir

Şekil 2. Önerilen algoritmanın akış şeması

Söz konusu parametreler elde edildikten sonra, iterasyonlar boyunca her bir atom için uygunluk değeri hesaplanır ve ardından elde edilen uygunluk değeri en iyi uygunluk değeri ile karşılaştırılır. Daha iyi değerler olması durumunda, algoritma en iyi çözümü ve uygunluk değerini günceller ve akış şemasındaki adımların geri kalanı yürütülür. Her bir yinelemede, ASO algoritmasının ilgili iterasyon için elde ettiği en iyi çözüm, SA algoritmasının başlangıç çözümü olarak alınmaktadır. Bu yolla ASO algoritmasının arama alanını keşfetme yeteneği artırılmaktadır.

5. Önerilen Algoritma ile MLP Eğitimi

5.1. Çok Katmanlı Algılayıcı

MLP, veri geçişinin gerçekleştiği katmanlı bir yapıya sahip olan ve nöronlar tek yönlü olarak düzenlendiği ileri beslemeli bir sinir ağı olarak tanımlanabilir [28]. Giriş katmanı, gizli katman ve çıkış katmanı olarak adlandırılan paralel katmanlar MLP'lerin yapısını meydana getirmektedir. Şekil 3, bu üç katmana sahip bir MLP'yi göstermektedir. İlgili şekilde ???????????? giriş düğümleri sayısını, ℎ gizli katmanı ve ????????????’de çıkış düğümlerini ifade etmektedir.

Giriş Katmanı

Gizli

Katman

Çıkış

Katmanı

????????????ℎ

Şekil 3. MLP sinir ağının yapısı

MLP çıkışı birkaç adımda hesaplanmaktadır. İlk olarak, ağırlıklı toplamlar eşitlik (22) kullanılarak hesaplanır.

?????????"??? = ∑-!8$(????????????!"????????????!) − ????????????", ???????????? = 1,2, … , ℎ

(22)

Bu eşitlikte, ????????????!", giriş katmanının ????????????. düğümünden gizli katmanın ????????????. düğümüne olan bağlantı ağırlığını; ????????????! , ????????????. girişi; ????????????" ise j. gizli katmana ait bias değerini temsil etmektedir. İkinci olarak, her gizli düğümün çıktısı eşitlik (23)'te olduğu gibi hesaplanır.

?????????"??? = ????????????????????????????????????????????????2?????????"??? 4 = 1 + ????????????'4*,

(23)

???????????? = 1,2, … , ℎ

Gizli düğümlerin çıkışları hesaplandıktan sonra, son çıkışlar

eşitlik (24) ve (25)'te olduğu gibi tanımlanır.

D

B = T2????????????"B?????????"??? 4 − ????????????B# ,

(24)

"8$

1 ????????????B = ????????????????????????????????????????????????(B) = 1 + ????????????'=),

(25)

Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi A Novel Improved Atom Search Optimization Algorithm for Training Multilayer Perceptron

Son iki denklemde ???????????? = 1,2, … , ???????????? olarak ifade edilmektedir. ????????????"B, gizli düğüm ???????????? 'den çıkış düğümü ???????????? ’ya olan bağlantı ağırlığını temsil etmektedir.

MLP’nin nihai çıkışının kalitesi bias değeri ve bağlantı ağırlıklarına bağlı olduğundan bu iki parametre MLP eğitiminde kritik bir rol oynamaktadır. Bu nedenle, bir MLP eğitimi bu parametreler için optimum değerleri bulmak anlamına gelmektedir.

5.2. Önerilen Algoritma Tabanlı MLP Eğiticisi

Sezgisel-üstü algoritmalar kullanarak üç farklı yöntem ile MLP'leri eğitmek mümkündür. İlk yöntem, optimum bağlantı ağırlıklarını ve bias değerlerini bulmak ile ilgilidir. Bu yolla MLP için sezgisel-üstü yöntemler aracılığı ile minimum hatanın elde edilmesi sağlanır. Bahsi geçen bu yöntemde MLP mimarisi öğrenme sürecinde olduğu gibi kalır. İkinci yöntem ise spesifik bir problem durumunda sezgisel-üstü algoritmaları kullanarak MLP için uygun bir mimari yapı bulmakla ilgilidir. Sezgisel-üstü algoritmaların kullanılabileceği sonuncu yaklaşım ise gradyan tabanlı öğrenme algoritmasının öğrenme hızı ve momentum gibi parametrelerinin ayarlanması olayıdır.

Önerilen iASO algoritması için yukarıda açıklanan ilk yöntem uygulanmıştır. Çünkü öğrenme algoritması için uygun bias ve ağırlıkların elde edilerek MLP hatasının en aza indirilmesi gerekmektedir. MLP eğitiminde söz konusu bu iki parametrenin temsili önemli bir özelliktir. Bunları temsil etmek için ise binary, matris ve vektör gibi üç yöntem mevcuttur [29]. Bu makalede, bias ve ağırlıkların temsili için vektör yöntemi kullanılmıştır. Bias ve ağırlıkların vektör biçiminde temsil edilmesinden sonra algoritmanın her bir aday çözümünü değerlendirmek üzere amaç fonksiyonu tanımlanmalıdır. Bu çalışmada, eşitlik (26) ile verilen MSE amaç fonksiyonu olarak belirlenmiştir.

E

T

∑,!8$(????????????!B − ????????????

????????????!B )(

(26)

B8$

Burada, ???????????? çıkışların sayısını, ???????????? ise eğitim örneklerinin sayısını ifade etmektedir. ????????????!B , ????????????. eğitim örneği kullanıldığında ????????????. giriş biriminin istenen çıkışını ifade ediyor iken ????????????!B, söz konusu bu eğitim örneği girişte kullanılıyor iken elde edilen gerçek çıkıştır.

Eğitim Örnekleri

Önerilen iASO

Ortalama MSE

MLP

Bias ve ağırlıkları güncelle

Şekil 4. iASO tabanlı MLP eğiticisi

Şekil 4, önerilen hibrit iASO algoritmasını kullanan MLP eğitiminin genel sürecini göstermektedir. Şekilden de görüldüğü gibi, iASO algoritması MLP'ye bias ve ağırlıkları sağlamakta ve tüm eğitim örnekleri için ortalama MSE değerini almaktadır. iASO algoritması, tüm eğitim örneklerinin ortalama kare hatasını en aza indirmek için bias ve ağırlıkları iteratif olarak değiştirir.

6. İzlenen Yöntem ve Sonuçlar

XOR, Ballon, Iris, Heart ve Breast Cancer olmak üzere beş adet sınıflandırma veri kümesi önerilen iASO algoritmasını kıyaslamak için kullanılmıştır. Bu veri kümeleri kaynak [24]’den elde edilmiştir. Her bir aday çözüm, eğitim algoritmasında [ −10, 10]F aralığından rastgele seçilmiştir. Sınıflandırma problemleri için maksimum iterasyon sayısı 250 ayarlanıp aday çözümlerin popülasyon büyüklüğü Iris, Heart ve Breast Cancer veri kümeleri için 200 alınırken, XOR ve Balloon veri kümeleri için ise 50 olarak seçilmiştir. Veri kümeleri Tablo 1'de sunulduğu gibi sınıflandırılmıştır. Tablo 1'de gösterilen veri kümelerinin farklı zorluk seviyeleri bulunmaktadır. Örneğin, Heart veri kümesi zor olarak değerlendirilirken, XOR veri kümesi basittir.

Tablo 1. Sınıflandırma veri kümeleri

Veri Kümeleri Özelliklerin Sayısı Eğitim Örneklerinin Sayısı Test Örneklerinin Sayısı Sınıf Sayısı

XOR

Balloon

Iris

Breast cancer

Heart

Önerilen algoritma, veri kümelerine 30 kez uygulanmış olup elde edilen sonuçlar Tablo 2’den Tablo 6’ya kadar verilmiştir. Bu sonuçlar, algoritmanın son iterasyonunda elde edilen en iyi MSE değerinin ortalamasını ve standart sapmasından oluşmaktadır. Son yinelemede MSE'nin daha düşük ortalama ve standart sapması daha iyi bir performansın göstergesidir. Önerilen iASO algoritmasının performansı, söz konusu verilen sınıflandırma problemlerini çözmek için kullanılan orijinal ASO, SCA [3], GWO [30], PSO [30], ACO [30] ve GA [30] algoritmaları ile karşılaştırılarak değerlendirilmiştir. Çok sayıda eğitim örneği problemin zorluğunu azaltırken, çok sayıda özellik sinir ağının daha büyük boyuta sahip olmasına neden olmakta, dolayısıyla, daha fazla ağırlık belirlenmesini gerektirmektedir ve bu sebepten problemin zorluğunu arttırmaktadır. Dikkate alınan veri kümeleri ve elde edilen sonuçları devam eden paragraflarda açıklanmaktadır.

Kullanılan veri kümelerinden olan XOR, iyi bilinen ve doğrusal olmayan bir sınıflandırma problemidir. Giriş vektöründeki 1'lerin sayısını tanımlamak bu problemin amacıdır. Giriş vektörünü oluşturan 1’lerin tek sayıda olması durumunda çıkış 1 iken; çift sayıda olması durumunda 0'dır. Bu sorunu çözmek için 3-7-1 yapısına sahip MLP kullanıldı. Bu veri kümesi için elde edilen sonuçlar Tablo 2’de sunulmuştur. Önerilen algoritma performansının söz konusu bu problemi çözmede daha iyi olduğu açıkça gösterilmektedir.

Diğer bir veri kümesi olan Balloon veri seti, string formatında olan renk, yaş, hareket ve boyut gibi 4 özelliğe sahip 16 örnek

içerir. Bu veri kümesinin sınıflandırılması için 4-9-1'lik bir MLP yapısı kullanılmıştır. Elde edilen sonuçlar Tablo 3'te sunulmuş olup, GA algoritmasının önerilen algoritmadan daha iyi bir performans sergileyerek minimum hatayı sağladığı görülmüştür ancak önerilen algoritmanın bu noktada performansı diğer tüm algoritmalardan daha iyi olmuştur. Karşılaştırmada kullanılan tüm algoritmaların sınıflandırma oranları aynı ve %100 olmuştur. Önerilen algoritma sadece Ballon veri seti için GA algoritmasının gerisinde bir performans sergilemiştir ancak ilerleyen paragraflarda da bahsedildiği üzere geri kalan diğer tüm veri setlerinde en iyi sonuçların elde edilmesini sağlamıştır.

Tablo 2. XOR sınıflandırma problemi için deneysel sonuçlar

vasıtasıyla MSE amaç fonksiyonunun ortalama ve standart sapması en düşük değerini almıştır ve en yüksek sınıflandırma oranı sağlanmıştır. Bu da önerilen algoritmanın daha iyi performansa sahip olduğunun açık bir göstergesidir.

Bu çalışma için kullanılan sonuncu veri kümesini Heart veri seti oluşturmaktadır. Bu veri seti 267 kardiyak tomografi görüntüsünü içermektedir. Bu görüntüleri özetlemek üzere 22 özellik çıkarılmıştır. 22-45-1 yapısına sahip MLP, 80 örnek kullanılarak eğitilmiştir. Bir hastanın durumu, veri setinin binary formu kullanılarak normal veya normal değil olarak ifade edilmektedir. Tablo 6 sonuçları listelemekte ve önerilen algoritmanın diğerlerinden daha iyi sonuçlar ve sınıflandırma oranı sağlayabileceğini açıkça göstermektedir.

Tablo 4. Iris sınıflandırma problemi için deneysel sonuçlar

Eğitim Algoritması Ortalama Standart Sapma Sınıflandırma (%) Eğitim Algoritması Ortalama Standart Sapma Sınıflandırma (%)

3.78E−06 6.38E−03 3.52E−02 9.41E−03 8.40E−02 1.81E−04 1.80E−01

7.03E−08 1.92E−02 2.69E−02 2.95E−02 3.59E−02 4.13E−04 2.53E−02

100.00 100.00 87.50 100.00 37.50

100 62.50

Üçüncü veri kümesi olarak kullanılan Iris veri seti, Virginica, Versicolor ve Setosa olmak üzere üç sınıf altında değerlendirilebilecek 150 örnek içermektedir. Taç yaprak uzunluğu ve genişliği ile çanak yaprak genişliği ve uzunluğu bu örneklerde bulunan dört özelliklerdir. Bu sınıflandırma probleminin çözümü için 4-9-3 yapısına sahip bir MLP kullanılmıştır. Elde edilen sonuçlar Tablo 4’te verilmiştir. Bu tablodan da görüleceği üzere yapılan karşılaştırmalar sonucu önerilen algoritmanın, MSE amaç fonksiyonu ve sınıflandırma oranı değerlerine dayalı olarak MLP'yi eğitmek üzere daha iyi performans göstererek diğer algoritmalardan üstün olduğu anlaşılmaktadır.

Tablo 3. Balloon sınıflandırma problemi için deneysel sonuçlar

1.51E−02 1.64E−02 1.35E−01 2.29E−02 2.29E−01 8.99E−02 4.06E−01

2.35E−03 3.17E−03 3.68E−02 3.20E−03 5.72E−02 1.24E−01 5.38E−02

91.33 89.33 54.67 91.33 37.33 89.33 32.66

Tablo 5. Breast Cancer sınıflandırma problemi için deneysel sonuçlar

1.08E−03 3.62E−03 1.15E−02 1.20E−03 3.49E−02 3.03E−03 1.35E−02

9.21E−05 1.88E−03 5.36E−03 7.45E−05 2.47E−03 1.50E−03 2.14E−03

100.00 99.00 97.00 99.00 11.00 98.00 40.00

Tablo 6. Heart sınıflandırma problemi için deneysel sonuçlar

8.18E−16 3.47E−08 7.35E−06 9.38E−15 5.85E−04 5.08E−24 4.85E−03

2.71E−15 1.52E−07 1.04E−05 2.81E−14 7.49E−04 1.06E−23 7.76E−03

100.00 100.00 100.00 100.00 100.00 100.00 100.00

Bir diğer veri kümesi olan Breast Cancer veri seti 9 özellik ve 699 örnekten oluşur. Marjinal yapışma ve yığın kalınlığı ile hücre şekli ve boyutu bu veri setinin özelliklerindendir. İyi huylu kanser için çıkış 2 iken kötü huylu kanser için 4'tür. Bu sınıflandırma probleminin çözümü için 9-19-1 yapısına sahip MLP kullanılmıştır. Tablo 5 ile bu problemin sonuçlarını verilmektedir. Tablodan da görüldüğü üzere, önerilen algoritma

7.48E−02 9.64E−02 1.79E−01 1.23E−01 1.89E−01 9.30E−02 2.28E−01

4.27E−03 1.52E−02 1.28E−02 7.70E−03 8.94E−03 2.25E−02 4.98E−03

76.25 73.75 64.17 75.00 68.75 58.75 00.00

7. Sonuç

Bu çalışmada, orijinal ASO algoritması ile SA tekniği hibritleştirilerek iASO adı verilen yeni bir hibrit algoritma

Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi A Novel Improved Atom Search Optimization Algorithm for Training Multilayer Perceptron

geliştirilmiştir. Önerilen iASO algoritması MLP eğitiminde kullanılarak performansı değerlendirilmiştir. MLP eğitimi ise XOR, Balloon, Breast Cancer, Iris ve Heart veri kümeleri kullanılarak gerçekleştirilmiştir. Elde edilen sonuçlar, klasik ASO, SCA, GWO, PSO, ACO ve GA gibi algoritmaların kullanımıyla gerçekleştirilen eğiticilerin performansları önerilen iASO tabanlı MLP eğiticisi ile karşılaştırılarak değerlendirilmiştir. Önerilen algoritma sadece Balloon veri seti için GA algoritmasının gerisinde bir performans sergilemiş olup söz konusu bu veri seti için GA dışındaki diğer karşılaştırılan algoritmalara göre daha iyi olduğu gözlemlenmiştir. Diğer tüm veri setleri için önerilen iASO’nun, diğer tekniklerle kıyaslandığında MSE ortalaması ve standart sapması ile yüzdelik sınıflandırma oranı açısından etkin olduğu gözlemlenmiştir.

Kaynaklar

[1] P. Bansal, S. Kumar, S. Pasrija, and S. Singh, “A hybrid

grasshopper and new cat swarm optimization algorithm for

feature selection and optimization of multi-layer

perceptron,” Soft Comput., pp. 1–27, 2020, doi:

10.1007/s00500-020-04877-w.

[2] S. Haykin, Neural networks: A comprehensive foundation,

2nd editio. Prentice Hall PTR, 1999.

[3] S. Gupta and K. Deep, “A novel hybrid sine cosine

algorithm for global optimization and its application to train

multilayer perceptrons,” Appl. Intell., vol. 50, no. 4, pp.

993–1026, 2020, doi: 10.1007/s10489-019-01570-w.

[4] A. A. Suratgar, M. B. Tavakoli, and A. Hoseinabadi,

“Modified Levenberg-Marquardt method for neural

networks training,” World Acad Sci Eng Technol, vol. 6,

no. 1, pp. 46–48, 2005.

[5] E. Eker, M. Kayri, S. Ekinci, and D. Izci, “Training Multi-

Layer Perceptron Using Harris Hawks Optimization,” in

2020 International Congress on Human-Computer

Interaction, Optimization and Robotic Applications

(HORA),

pp.

1–5,

10.1109/HORA49412.2020.9152874.

[6] H. Faris, S. Mirjalili, and I. Aljarah, “Automatic selection

of hidden neurons and weights in neural networks using

grey wolf optimizer based on a hybrid encoding scheme,”

Int. J. Mach. Learn. Cybern., vol. 10, no. 10, pp. 2901–

2920, 2019, doi: 10.1007/s13042-018-00913-2.

[7] A. A. Heidari, H. Faris, S. Mirjalili, I. Aljarah, and M.

Mafarja, “Ant lion optimizer: Theory, literature review, and

application in multi-layer perceptron neural networks,” in

Studies in Computational Intelligence, vol. 811, S.

Mirjalili, J. Song Dong, and A. Lewis, Eds. Cham: Springer

International Publishing, 2020, pp. 23–46.

[8] M. Khishe and M. R. Mosavi, “Classification of underwater

acoustical dataset using neural network trained by Chimp

Optimization Algorithm,” Appl. Acoust., vol. 157, p.

107005, 2020, doi: 10.1016/j.apacoust.2019.107005.

[9] A. A. Heidari, H. Faris, I. Aljarah, and S. Mirjalili, “An

efficient hybrid multilayer perceptron neural network with

grasshopper optimization,” Soft Comput., vol. 23, no. 17,

pp. 7941–7958, 201z9, doi: 10.1007/s00500-018-3424-2.

[10] M. Khishe and H. Mohammadi, “Passive sonar target

classification using multi-layer perceptron trained by salp

swarm algorithm,” Ocean Eng., vol. 181, pp. 98–108, 2019,

doi: 10.1016/j.oceaneng.2019.04.013.

[11] D. Bairathi and D. Gopalani, “Numerical optimization and

feed-forward neural networks training using an improved

optimization algorithm: multiple leader salp swarm

algorithm,” Evol. Intell., pp. 1–17, 2019, doi:

10.1007/s12065-019-00269-8.

[12] Y. Yin, Q. Tu, and X. Chen, “Enhanced Salp Swarm

Algorithm based on random walk and its application to

training feedforward neural networks,” Soft Comput., vol.

24, no. 19, pp. 14791–14807, 2020, doi: 10.1007/s00500-

020-04832-9.

[13] R. García-Ródenas, L. J. Linares, and J. A. López-Gómez,

“Memetic algorithms for training feedforward neural

networks: an approach based on gravitational search

algorithm,” Neural Comput. Appl., 2020, doi:

10.1007/s00521-020-05131-y.

[14] S. Mirjalili and A. S. Sadiq, “Magnetic Optimization

Algorithm for training Multi Layer Perceptron,” in 2011

IEEE 3rd International Conference on Communication

Software and Networks, 2011, pp. 42–46, doi:

10.1109/ICCSN.2011.6014845.

[15] B. Turkoglu and E. Kaya, “Training multi-layer perceptron

with artificial algae algorithm,” Eng. Sci. Technol. an Int.

J., 2020, doi: 10.1016/j.jestch.2020.07.001.

[16] A. C. Cinar, “Training Feed-Forward Multi-Layer

Perceptron Artificial Neural Networks with a Tree-Seed

Algorithm,” Arab. J. Sci. Eng., 2020, doi: 10.1007/s13369-

020-04872-1.

[17] W. Zhao, L. Wang, and Z. Zhang, “Atom search

optimization and its application to solve a hydrogeologic

parameter estimation problem,” Knowledge-Based Syst.,

vol. 163, pp. 283–304, 2019, doi:

10.1016/j.knosys.2018.08.030.

[18] P. Sun, Y. Zhang, J. Liu, and J. Bi, “An Improved Atom

Search Optimization with Cellular Automata, a Lévy Flight

and an Adaptive Weight Strategy,” IEEE Access, vol. 8, pp.

49137–49159,

10.1109/ACCESS.2020.2979921.

[19] P. Sun, H. Liu, Y. Zhang, L. Tu, and Q. Meng, “An

intensify atom search optimization for engineering design

problems,” Appl. Math. Model., vol. 89, pp. 837–859, 2021,

doi: 10.1016/j.apm.2020.07.052.

[20] B. Hekimoğlu, “Optimal Tuning of Fractional Order PID

Controller for DC Motor Speed Control via Chaotic Atom

Search Optimization Algorithm,” IEEE Access, vol. 7, pp.

38100–38114,

2019,

10.1109/ACCESS.2019.2905961.

[21] S. Ekinci, A. Demiroren, H. Zeynelgil, and B. Hekimoğlu,

“An opposition-based atom search optimization algorithm

for automatic voltage regulator system,” J. Fac. Eng.

Archit. Gazi Univ., vol. 35, pp. 1141–1158, Apr. 2020, doi:

10.17341/gazimmfd.598576.

[22] X. Pan, L. Xue, Y. Lu, and N. Sun, “Hybrid particle swarm

optimization with simulated annealing,” Multimed. Tools

Appl., vol. 78, no. 21, pp. 29921–29936, 2019, doi:

10.1007/s11042-018-6602-4.

[23] F. Javidrad and M. Nazari, “A new hybrid particle swarm

and simulated annealing stochastic optimization method,”

Appl. Soft Comput. J., vol. 60, pp. 634–654, 2017, doi:

10.1016/j.asoc.2017.07.023.

[24] C. L. Blake and C. J. Merz, “UCI Repository of machine

learning databases,” University of California, 1998.

http://archive.ics.uci.edu/ml/.

[25] W. Zhao, L. Wang, and Z. Zhang, “A novel atom search

optimization for dispersion coefficient estimation in

groundwater,” Futur. Gener. Comput. Syst., vol. 91, pp.

601–610, 2019, doi: 10.1016/j.future.2018.05.037.

[26] S. Kirkpatrick, C. D. Gelatt, and M. P. Vecchi,

“Optimization by simulated annealing,” Science (80-. )., vol. 220, no. 4598, pp. 671–680, 1983, doi: 10.1126/science.220.4598.671. [27] B. Hekimoğlu and S. Ekinci, “Optimally designed PID controller for a DC-DC buck converter via a hybrid whale optimization algorithm with simulated annealing,” Electrica, vol. 20, no. 1, pp. 19–27, 2020, doi: 10.5152/ELECTRICA.2020.19034. [28] T. Şengüler, E. Karatoprak, and S. Şeker, “A new MLP approach for the detection of the incipient bearing

damage,” Adv. Electr. Comput. Eng., vol. 10, no. 3, pp. 34– 39, 2010, doi: 10.4316/aece.2010.03006. [29] J. R. Zhang, J. Zhang, T. M. Lok, and M. R. Lyu, “A hybrid particle swarm optimization-back-propagation algorithm for feedforward neural network training,” Appl. Math. Comput., vol. 185, no. 2, pp. 1026–1037, 2007, doi: 10.1016/j.amc.2006.07.025. [30] S. Mirjalili, “How effective is the Grey Wolf optimizer in training multi-layer perceptrons,” Appl. Intell., vol. 43, no. 1, pp. 150–161, 2015, doi: 10.1007/s10489-014-0645-7.

Geliştirilmiş Atom Arama Optimizasyon Algoritması ile Çok Katmanlı Algılayıcı Eğitimi A Novel Improved Atom Search Optimization Algorithm for Training Multilayer Perceptron

Davut İZCİ, lisans derecesini Dicle Üniversitesi Elektrik - Elektronik Mühendisliği Bölümü’nden, yüksek lisans ve doktora derecelerini ise İngiltere’de bulunan Newcastle Üniversitesi’nden (University of Newcastle upon Tyne) sırası ile mekatronik ve mikrosistemler alanlarından almıştır. Şuan da Batman Üniversitesi Elektronik ve Otomasyon Bölümü’nde Dr. Öğretim Üyesi olarak çalışmaktadır. Dr. İzci’nin araştırma alanları mikrosistemler, sensörler ve algılama uygulamaları, robotik, kontrol ve uygulamaları ile optimizasyon algoritmalarıdır.

ORCID No: 0000-0001-8359-0875 https://orcid.org/0000-0001-8359-0875

CV

DAVUT İZCİ lisans derecesini Dicle Üniversitesi Elektrik - Elektronik Mühendisliği Bölümü’nden, yüksek lisans ve doktora derecelerini ise İngiltere’de bulunan Newcastle Üniversitesi’nden (University of Newcastle upon Tyne) sırası ile mekatronik ve mikrosistemler alanlarından almıştır. Şuan da Batman Üniversitesi Elektronik ve Otomasyon Bölümü’nde Dr. Öğretim Üyesi olarak çalışmaktadır. Dr. İzci’nin araştırma alanları mikrosistemler, sensörler ve algılama uygulamaları, robotik, kontrol ve uygulamaları ile optimizasyon algoritmalarıdır.