Çelik Yüzeylerdeki Kusurların Tespiti için Derin Öğrenme Tabanlı Gömülü Sistem Tasarımı

Makale Türü: Araştırma Makalesi Makale Gönderilme Tarihi: 2022-09-30

Kabul Tarihi: 2022-10-28

Deep Learning Based Embedded System Design for Detection of Defects on Steel Surfaces

Emre GÜÇLÜ1, İlhan AYDIN1, Taha Kubilay ŞENER1, Erhan AKIN1

1Bilgisayar Mühendisliği Bölümü Mühendislik Fakültesi Fırat Üniversitesi, Elazığ, Türkiye [email protected], [email protected], [email protected], [email protected]

Öz

Metal yüzeylerdeki kusurlar endüstriyel ürünlerin kalitesini olumsuz etkilemektedir. Bu nedenle üretim sonrası hata tespiti, kalite kontrolünün sağlanmasında önemli bir yere sahiptir. Bu çalışma, bilgisayar görmesi ve YOLOv7 kullanılarak çelik yüzeylerdeki kusurların otomatik denetimi ile ilgilidir. Bu çalışmadaki ana senaryo, imalat işyerlerinde çelik tellerin üretim sonrası kusur muayenesine odaklanmaktadır. Hata tespit sistemi, giriş görüntüsündeki kusurların sınıfını ve görüntü üzerindeki kesin konumlarını elde etmeyi amaçlar. Hızlı algılama yeteneği elde etmek için bu sistemde TensorRT kullanılmaktadır, bu da gömülü cihazların çıkarım hızını arttırmaktadır. Ayrıca, sınırlı veri ölçekleme problemini azaltmak için veri artırma algoritması kullanılır. YOLOv7'nin performansı YOLOv5 ile karşılaştırılmıştır. Hata tespiti için YOLOv7 kullanılarak yüksek hız ve doğruluk elde edilmiştir. Elde edilen sonuçlar, önerilen yöntemin metal yüzeylerdeki kusurları tespit etmek için yeterli bir yöntem olduğunu göstermektedir.

Anahtar Kelimeler: Derin öğrenme, YOLOv7, Jetson Nano, Kusur tespiti, Yüzey kusurları

Abstract

Defects on metal surfaces adversely affect the quality of industrial products. For this reason, post-production defect detection has an important place in ensuring quality control. This work is about automatic inspection of defects on steel surfaces using computer vision and YOLOv7. The main scenario in this study focuses on post-production defect inspection of steel wires in manufacturing workplaces. The defect detection system aims to obtain the class of defects in the input image and their precise location on the image. TensorRT is used in this system to achieve fast detection capability, which increases the extraction speed of embedded devices. Also, data augmentation algorithm is used to reduce the limited data scaling problem. The performance of YOLOv7 is compared to YOLOv5. High speed and accuracy has been achieved by using YOLOv7 for error detection. The obtained results show that the proposed method is an adequate method for detecting defects on metal surfaces.

Keywords: Deep learning, YOLOv7, Jetson Nano, Defect detection, Surface defects

1. Giriş

Çelik teller cıvata gibi ürünlerin üretiminde yaygın ve önemli bir malzeme olarak kullanılmaktadır. Çelikten üretilen ürünlerin dayanıklılığı için çeliğin hatasız olması büyük önem taşımaktadır. Ancak üretim sırasındaki dış kuvvetler, çeliğin yorulması, kalitesi

gibi faktörler çelik yüzeyinde çeşitli kusurlara neden olur. Çelik tellerdeki yüzey kusurları, çelik tellerin kalitesini, taşıma kapasitesini ve dayanıklılığını olumsuz etkiler. Çelikteki bazı kusurlar, çelikten yapılan üründe yapısal bozulmalara neden olurken, bazı kusurlar ise ürünün daha çabuk yıpranmasına neden olabilir. Bu nedenle, tel yüzeyindeki kusurları tespit etmek için tahribatsız görsel muayene, endüstri tarafından kullanılan manuel muayene işleminin yerini almak için oldukça talep edilmektedir.

Çelik tellerin üretimi sırasında oluşan kusurlar, ürünün bir sonraki aşamasında daha ciddi sorunlara neden olabilir. Bu nedenle, üretim aşamasının çevrimiçi izlenmesi ve geri bildirim denetimi geliştirilmesi gereken bir sistemdir. Ancak, sanayide kullanılan kusur kontrol sistemleri oldukça sınırlıdır ve birçok alanda muayene işlemleri manuel olarak yapılmaktadır. Manuel muayenenin zaman tüketimi oldukça yüksek olduğu için gerçek zamanlı üretim hızına yetişemez. Ek olarak, manuel inceleme özneldir ve değişken hata tespiti ve yanlış tanımlamaya yol açan insan yorgunluğu gibi dezavantajları vardır. Manuel incelemeden farklı olarak, bilgisayar görmesi tabanlı teknikler yüksek verimliliğe, düşük maliyete ve nesnelliğe sahiptir. Bu nedenle, bilgisayar görmesine dayalı teknikler endüstriyel kusur muayenesi için uygundur. Bilgisayar görmesi tabanlı teknikler, manuel incelemenin birçok dezavantajının üstesinden gelebildikleri için gerçek zamanlı hata tespitinde bir trend haline gelmiştir.

Endüstri 4.0 uygulamaları, çeşitli sensörler ve donanımlar kullanılarak endüstriyel üretim sistemlerinin izlenmesini ve üretim sırasında potansiyel kusurların zamanında keşfedilmesini içermektedir [1]. Kusurların otomatik tespiti için bilgisayarlı görme ve yapay zekâ algoritmaları kullanılmaktadır [2]. Çelik yüzey kusurlarının erken tespiti ile kusurlu ürün üretiminin önüne geçilebilir. Kusurlar daha ciddi hale gelmeden önce denetlenen çelik üzerinde önlem alınabilir. Bilgisayarla görü tabanlı denetim sistemleri, üretim hattından çıkan ürünlerin daha kusursuz olmasını sağlar. Böylece maliyetlerin mümkün olduğunca düşük olması sağlanır. Ayrıca bilgisayarlı görü teknikleri birçok görevi aynı anda gerçekleştirebilmektedir. Bu avantajların yanında bazı zorlukları da bulunmaktadır. Arıza tespit sisteminin yüksek doğrulukla çalışması kritik önem taşır. Tasarlanan sistem, kritik kusurları yüksek doğrulukla tespit etmeli ve sistemi kullanılmaz hale getirecek yanlış alarmlar oluşturmamalıdır.

Kusur tespit sistemlerinde gerçek zamanlı olarak alınan görüntüler çeşitli işlemlerle işlenir. Geliştirilecek hata tespit algoritması, çıktıyı doğrudan etkilediği için hata tespit sistemi için oldukça önemlidir. Donanımların gelişmesiyle birlikte çelik yüzeyde bulunan kusurları tespit etmek için bilgisayarlı görme teknolojileri üzerinde birçok araştırma yapılmıştır. Çelik yüzeyindeki kusurları tespit etmek için yerel ikili model[3-4], Gabor Dönüşümü [5], şablon eşleştirme [6], Otsu yöntemi [7] ve Destek Vektör Makinesi [8] kullanılır.

Bazı yöntemlerin çelik yüzeylerdeki kusurları tespit etmek için iyi sonuçları olmasına rağmen, bunlar çelik görüntüsünün karmaşık

XXX-X-XXXX-XXXX-X/XX/$XX.00 ©20XX IEEE

doğasına veya oluşabilecek düşük kontrasta karşı savunmasızdır. Özellikle geleneksel görüntü işleme teknikleri kullanılarak geliştirilen yöntemler, ortam aydınlatmasına ve arka plan rengine son derece duyarlıdır. Ayrıca, bu tür yöntemler genellikle belirli senaryolar için kullanılır. Bu nedenle, çeliğin türü, aydınlatma koşulları ve diğer çevresel faktörler değiştiğinde güvenilirliği değişmeyecek yöntemlerin geliştirilmesi acildir. Bu dezavantajların üstesinden gelebilecek derin öğrenme tabanlı hata tespit yöntemleri bu alanda popülerdir. Evrişimli sinir ağlarının artan kullanımıyla [9], birçok hata tespit görevi için derin öğrenmeye dayalı hata tespit yöntemleri kullanılmakta ve yüksek doğruluk oranları elde edilmektedir. Zhao vd. [10] NEU-DET veri kümesi algılama doğruluğunu artırmak için Faster R-CNN algoritmasında bazı değişiklikler yaparak orijinal algoritmadan 0.128 daha fazla doğruluk elde etmişlerdir. [11]'de, çelik malzemelerin yüzeyindeki kusurları tespit etmek için ilk olarak kusur özellikleri çıkarılmıştır. Daha sonra, öznitelik vektörleri konvolüsyonel sinir ağı aracılığıyla LSTM ağına girilerek hata tespiti gerçekleştirilmiştir. [12]'de sınıflandırma yeteneğini artırmak için CNN kullanılarak her aşamada öznitelik haritaları oluşturulmuştur. Daha sonra, çok seviyeli bir özellik bağlantı ağı (MFN) yardımıyla kusurlar tespit edilmiştir. Li vd. [13], kusur tespiti için YOLOv5 ve Optimized-Start-ResnetV2'ye dayalı iki model kullanmışlardır. Çelik yüzeyindeki küçük kusurları tespit etmek için YOLOv5'in performansını iyileştirmişlerdir. Sharma vd. [14], ikili sınıflandırıcının hiyerarşik yapısını ve nesne algılama ve anlamsal segmentasyon algoritmalarını kullanarak hata tespiti gerçekleştirmiştir. Ferguson vd. [15]'te, kusurları tespit etmek için Xray görüntüleri üzerinde farklı CNN mimarileri çalıştırmışlardır. Hata tespiti için temassız tespit yöntemlerinde, yapay görme sistemi üç aşamadan oluşmaktadır. Bunlar; aydınlatma, görüntü toplama sistemi ve kusur tespit algoritmasıdır [16]. Literatür incelendiğinde bazı çalışmalarda gerçek zamanlı hata tespit sistemleri kurulmuştur [17-19].

Bu çalışmada, çelik malzeme yüzeylerindeki kusurların tespiti için iki YOLO modeli üzerinde karşılaştırmalı bir analiz verilmiştir. Her iki model de gömülü bir Jetson Nano kart üzerinde çalıştırılarak performans karşılaştırmaları yapılmıştır. Ayrıca veri seti üzerindeki görüntü büyütülerek hata tespit performansı artırılmıştır. Gerçek kamera görüntülerinden alınan filmaşin görüntülerinde 17 FPS’ten fazla performans gösterebilmektedir.

2. Materyal ve Metot

1. Veri Kümesi

Bu çalışmada model, “GC10-DET” veri seti kullanılarak eğitilmiştir. Veri setindeki görüntülerin boyutu, YOLOv5 algoritmasının standart boyutuna, 416x416 piksele ve “.jpeg” formatına dönüştürülerek modelin doğruluğu artırılmıştır. Önerilen yöntemin “GC10-DET” veri seti üzerinde elle seçilen 1800 görüntü üzerinde daha doğru sonuçlar verebilmesi için, deneyler sonucunda eksik bulunan hata sınıfları görüntü işleme yöntemleri ile yeniden oluşturulmuştur. “GC10-DET” veri setindeki sınıflar kullanılarak toplam 10 metal yüzey hatası tespit edilmiştir (Şekil 1). Tanımlanan kusurlar, derin öğrenme eğitimi için etiketlenmiştir. Bu işlemler sonucunda toplam 6000 görüntü elde edilmiştir.

Şekil 1. GC10-DET'ten bazı görüntü örnekleri

2. Görüntü Önişleme

Şekil 1'deki görüntülerde öncelikle görüntü üzerindeki metal kusurların yerinin belirlenmesi kusurların küçük olmasından dolayı oldukça zordur. YOLOv5 ve YOLOv7 algoritmalarında doğruluğu artırmak için veri setindeki görüntü sayısının fazla olması gerekmektedir. Ancak veri setindeki görüntülerin boyutu küçüktür ve yeterli doğruluğun elde edilmesi zordur. Bu nedenle, Şekil 2'deki görüntü çoğaltma algoritması kullanılarak görüntülerin boyutu büyütülmüş ve az sayıda örnek içeren kusur sınıfları artırılmıştır.

Başla

Döngü n defa: Görüntü Sıralı:

Döndür (-45 45) Çevir(0.5) Çevir(0.5) Afin Dönüşümü(0.7,1.1) Çoğaltma(0.85,1.20) Lineer Kontrast(0.8, 1.2) Gausss Bulanıklığı(0.3)

Görüntüyü Kaydet

Çıkış

Şekil 2. Görüntü artırma yöntemi

3. YOLOv5 ve YOLOv7 kullanarak nesne algılama

YOLOv5 ve YOLOv7, regresyon tabanlı YOLO algoritmasının farklı versiyonlarıdır. Önceki sürümlere göre geliştirilmiş sürümler olan YOLOv5 ve YOLOv7, küçük ölçekli hata algılama zorluklarının üstesinden gelir. Bu nedenle bu çalışmada, YOLOv5 ve YOLOv7 algoritmaları yüksek doğrulukları ve yüksek tespit oranları nedeniyle tercih edilmiştir. YOLOv5 ve YOLOv7, önceki sürümlerine göre daha hızlıdır. Omurga ve boyuna uygulanan çapraz kademeli parça yapısı hesaplama miktarını azaltır. YOLOv5 modeli, görüntü başına 2 ms kadar düşük bir algılama oranına sahip olabilir. Pytorch kütüphanesi kullanılarak tasarlanan YOLOv5'in çıkarım süresi saniyede 140 kare iken, aynı kütüphanede tasarlanan YOLOv7’ün çıkarım süresi saniyede 260 ve YOLOv4'ün çıkarma süresi saniyede 50 karedir.

YOLOv7, hem hız hem de doğruluk açısından diğer nesne tanımlama algoritmalarından öndedir. YOLOv7, diğer YOLO versiyonlarından daha az parametreye sahiptir ve daha az hesaplama gücüne ihtiyaç duyar. Böylece Jetson Nano gibi kartlarda daha verimli çalışır. YOLOv7 tasarımında doğruluğu ve algılama performansını artırmak için bazı önemli değişiklikler yapılarak bazı modüller sunulmuştur. Bu modüller , daha verimli öğrenme elde etmeyi amaçlamaktadır. YOLOv7’de CSPDarknet omurgasına Genişletilmiş Verimli Katman Toplama Ağı (E-ELAN) eklenmiştir.

YOLOv7 mimarisinin bir CSPDarknet omurgası vardır ve buna Genişletilmiş Verimli Katman Toplama Ağı (E-ELAN) eklenerek birleştirmeye dayalı yeni bir ölçekleme modeli yöntemi sunulmuştur. Verimli Katman Toplama Ağı (ELAN), en uzun kısa gradyan yolunu izleyerek verimli ağı tasarlamak için tasarlanmıştır. E-ELAN, bu yapının değiştirilmiş bir versiyonudur. Şekil 3’te ELAN ile EELAN’ın karşılaştırılması verilmiştir.

Çelik Yüzeylerdeki Kusurların Tespiti için Derin Öğrenme Tabanlı Gömülü Sistem Tasarımı Deep Learning Based Embedded System Design for Detection of Defects on Steel Surfaces Emre GÜÇLÜ, İlhan AYDIN, Taha Kubilay ŞENER, Erhan AKIN

a) ELAN

Şekil 4. Jetson Nano ve Raspberry Pi kamera modülü V2

5. TensorRT Çıkarım Motoru

Derin öğrenme uygulamalarında kullanılan Keras ve Tensorflow gibi çerçevelerin çıkarım aşamaları maliyetlidir. YOLOv5 ve YOLOv7'nin hesaplama maliyetleri eklendiğinde Jetson Nano'nun hızı düşmektedir. TensorRT, Jetson Nano'da gerçek zamanlı olarak nesne algılamayı çalıştırmak için kullanılır. TensorRT, derin öğrenme algoritmalarının düşük gecikme ve yüksek hızda çalışmasını sağlayan optimize edici bir SDK'dır. CUDA üzerine kurulmuştur ve geliştiricilerin geliştirme araçlarını kullanarak ağı optimize etmelerine olanak tanır. Jetson Nano'da TensorRT kullanılarak yüksek performanslı çıkarım elde edilmiştir. TensorRT, gömülü cihazların çıkarma hızını önemli ölçüde artırır [20]. Jeong vd. [21], TensorRT'nin yüksek performans açısından Jetson serisi olarak büyük potansiyele sahip olduğunu ortaya koymuşlardır. TensorRT yaklaşımı medikal, otomotiv ve endüstriyel sistemlerde gömülü bir platform olarak kullanılabilir [22]-[23]. TensorRT'nin akış şeması Şekil 5'te verilmiştir.

b) E-ELAN

Şekil 3. ELAN ile E-ELAN Karşılaştırması

4. Kusur Tespiti için Kurulan Sistem

Çalışmada, yüzey kusurlarının tespiti için Jetson Nano kullanan gömülü bir kusur tespit sistemi geliştirilmiştir. Derin öğrenme uygulamalarının artmasıyla birlikte derin öğrenme algoritmaları, Jetson Nano gibi gömülü platformlarda aktif olarak çalıştırılmaktadır. Jetson Nano, yüksek hızlı GPU'lara sahip olduğu için yüksek performansa sahiptir. Jetson kartları, hafiflik ve taşınabilirlik, enerji verimliliği ve güç tüketimi başına yüksek performans gibi avantajlara sahiptir. Sistemde kamera olarak Raspberry Pi Kamera Modülü V2 kullanılmaktadır. Jetson Nano, Sony IMX219 sensörünü içeren bir kamera modülü de dahil olmak üzere çeşitli aksesuarları destekler. Jetson Nano ve kamera konfigürasyonu, gelişmiş görüntü kalitesi ile çok sayıda uygulama için kullanılabilecek ham veri formatında görüntüler sağlayabildiğinden, kusur tespiti için performansının değerlendirilmesi uygun görülmüştür. Kullanılan kamera 3280 x 2464 piksel çözünürlükte statik görüntüler üretebilmektedir. Video kaydında 1080p 30fps, 720p 60fps ve 640x480p 60fps destekler. Kameradaki IMX219 sensörü, 400 ile 700 nm arasındaki görünür spektral aralıkta çalışmaktadır. V2 kamera modülü 25mm×25mm×9mm boyutlarında ve yaklaşık 3g ağırlığındadır. Kusur tespit sisteminin donanım bileşimi Şekil 4'te gösterilmektedir.

ONNX TensorFlow

Caffe . . .

Ağ Tanımı

TensorRT Oluşturucu

Optimize Edilmiş Çıkarım Motoru

Çalışma Süresi

Şekil 5. TensorRT akış diyagramı

TensorRT, her katman için en uygun algoritmayı seçerek her katman için optimize eder. Ayrıca çeşitli teknikler kullanılarak bellek optimizasyonu yapılır. YOLOv5 ve YOLOv7 algoritmaları kullanılarak oluşturulan PyTorch derin öğrenme modelleri, TensorRT tarafından sağlanan “trtexec” Script ile “.trt” formatına dönüştürülmüştür. TensorRT'de dikkat edilmesi gereken nokta, ".trt" formatındaki serileştirilmiş motorun sadece dönüştürüldüğü donanım üzerinde çalışmasıdır. Dönüştürülen “.trt” formatındaki çıkarım motoru, yapılan çıkarım için yeniden düzenlenip ekrana çıktı alınması sağlanmıştır.

3. Deneysel Sonuçlar

Veri artırma işleminin doğru sonuçlar verip vermediğini karşılaştırmak ve YOLOv5 ve YOLOv7 algoritmalarının diğer çalışmalara göre en büyük avantajlarından biri olan "çok sınıflı etiketleme" özelliğini test etmek için iki deney yapılmıştır. Deneyler sonucunda görüntü işleme yöntemleri ile çok sınıflı etiketleme (MCL) ve çoğaltılmış verinin (PP) daha iyi sonuçlar verdiği görülmüştür. Ortalama keskinlik değeri (mAP) sonuçları Tablo 1'de verilmiştir.

Tablo 1. Ortalama Hassasiyet Değerleri (mAP)

mAP

224px MCL+PP 416px

YOLO-V7 0.655

0.763

YOLO-V5 0.635

EDNN [16] 0.651

0.742

Tablo 1'de YOLOv7'nin mAP oranı diğer iki nesne algılama yönteminden daha iyidir. Önerilen yöntem de aynı veri seti üzerindeki literatür ile karşılaştırılmıştır. Karşılaştırmaların sonuçları Tablo 2'de verilmiştir.

Elde edilen sonuçlar değerlendirildiğinde YOLOv7 modeli (MCL+PPC 416px) ve YOLOv5 modeline ait karışıklık matrisleri Şekil 6 ve Şekil 7'de verilmektedir. Sonuçlar genel olarak incelendiğinde diğer yöntemlere göre çok daha kararlı ve başarılı sonuç elde edildiği görülmektedir. Ayrıca, ortalama kesinlik değeri önerilen yöntemler arasında en yüksek değere sahiptir.

başarı oranı ve tespit hızına ulaşılamadığı gözlemlenmiştir. Bu nedenle, YOLOv5 algoritması yerine güncel versiyon YOLOv7 algoritması kullanılarak metal kusurlarının tespiti amaçlanmaktadır.

Kullanılan algoritmanın etkinliğini ve üstünlüğünü göstermek için 416x416 piksel boyutunda toplam 6000 görüntü üzerinde detaylı deneyler yapılmıştır.

Bu çalışmada, derin öğrenme tabanlı bir nesne tanıma algoritması olan YOLOv5 modeli yerine YOLOv7 algoritması tercih edilmiştir. Her iki yöntemde de veriler bir bütün olarak ele alınıp nesneler aynı anda algılansa da bu çalışmada, YOLOv7 algoritmasının bazı avantajları gözlemlenmiştir. Görüntüler jpeg formatına dönüştürülmüş ve seçilen 6000 görüntü önce YOLOv5 algoritması, ardından YOLOv7 algoritması üzerinde test edilmiştir. Bu uygulama YOLOv7 algoritmasının kesinlik açısından YOLOv5 algoritmasından %1-3 daha iyi olduğunu gösterirken, YOLOv7 algoritmasının görüntü algılama hızı açısından %63 daha iyi sonuçlar verdiği tespit edilmiştir. Kamera ile elde edilen görüntüler NVIDIA Jetson Nano gömülü sistem üzerinden işlenmiştir. Bu sonuçlar, YOLOv7'nin (çıkarım ms=54.42 FPS=18.37) YOLOv7 görüntü algılama süresinde (çıkarım ms) YOLOv5'ten (çıkarım ms=85.44 FPS=11.58) %63 daha hızlı olduğunu göstermektedir. Eğitim süreci için YOLOv5 ve YOLOv7'nin kesinlik oranı Şekil 8'de verilmiştir. Şekil 8'e göre, YOLOv7'nin ortalama kesinlik oranı YOLOv5'ten daha iyidir.

Şekil 6. YOLOv7’nin karmaşıklık matrisi

a) YOLOv5'in kesinlik oranı

b) YOLOv7'nin kesinlik oranı Şekil 8. YOLOv7 ve YOLOv5'in kesinlik oranı karşılaştırmaları YOLOv5 ve YOLOv7 algoritmalarının geri çağırma oranları Şekil

9’da verilmiştir.

Şekil 7. YOLOv5’in karmaşıklık matrisi Çelik yüzeyindeki kusurların tespiti için YOLOv5 algoritması denenmiş ve elde edilen çıktılarda Jetson Nano üzerinde istenilen

Çelik Yüzeylerdeki Kusurların Tespiti için Derin Öğrenme Tabanlı Gömülü Sistem Tasarımı Deep Learning Based Embedded System Design for Detection of Defects on Steel Surfaces Emre GÜÇLÜ, İlhan AYDIN, Taha Kubilay ŞENER, Erhan AKIN

Types

Pu Wl Cg Ws Os Ss In Rp Cr Wf mAP

Tablo 2. GC10-DET Veri Kümesinde Performans Karşılaştırmaları

SSD

Faster-RCNN

EDDN[16] YOLO-V5

YOLO-V7

0.860 0.794 0.861 0.552 0.612 0.689 0.168 0.105 0.527 1.000 0.635

0.899 0.554 0.872 0.599 0.653 0.579 0.194 0.364 0.736 0.818 0.627

0.900

0.989

0.885

0.992

0.848

0.912

0.558

0.692

0.622

0.753

0.650

0.697

0.256

0.355

0.364

0.794

0.521

0.496

0.919

0.904

0.651

0.956 0.980 0.929 0.725 0.693 0.652 0.280 0.778 0.745 0.891 0.763

a) YOLOv5'in duyarlılık oranı

Şekil 10. Gerçek çelik tel üzerinden alınan görüntünün YOLOv7 çıktısı

Şekil 10'da haddelenmiş çukur kusurları başarıyla tespit edilmiştir. Şekil 11, Jetson Nano kullanılarak GC10-DET veri kümesindeki bazı görüntülerin YOLOv7 çıktısını göstermektedir.

Şekil 11'de verilen örnek görüntülerde Jetson Nano üzerinde yüksek kare hızı ile görüntülerdeki kusurlar tespit edilmektedir.

b) YOLOv7'nin duyarlılık oranı

Şekil 9. YOLOv5 ve YOLOv7’in geri çağırma performans değerleri

Şekil 9'da ortalama geri çağırma değeri YOLOv7'de %90 iken, YOLOv5'te %85 idi. Bu nedenle %5'lik bir iyileşme sağlanmıştır. Şekil 10'da Jetson Nano'ya bağlı Raspberry Pi kameradan alınan görüntülerden elde edilen test sonuçları verilmektedir.

Şekil 11. GC10-DET veri kümesindeki bazı görüntülerin YOLOv7 çıktısı

4. Sonuç

Bu çalışmada, çelik malzemelerin yüzeylerinde oluşabilecek kusurların tespiti için gömülü bir sistem önerilmiştir. YOLOv7 modeli, hata tespiti ve hız arasında bir denge sağlamak için kullanılmıştır. YOLOv7'nin YOLOv5'e göre avantajı deneylerle kanıtlanmıştır. Eğitimi verilen modeller, GC10-DET veri setinden elde edilen görüntüler ve kamera tarafından çekilen gerçek görüntüler üzerinde Jetson Nano üzerinde test edilmiştir. YOLOv7 ile elde edilen FPS değerleri, geliştirilen sistemi gerçek zamanlı çalışmaya uygun hale getirmiştir.

Teşekkür

Bu çalışma, TÜBİTAK (Türkiye Bilimsel ve Teknolojik Araştırma Kurumu) tarafından 5210082 numaralı hibe kapsamında desteklenmiştir.

Kaynakça

[1] Angelopoulos, A., Michailidis, E. T., Nomikos, N., Trakadas, P., Hatziefremidis, A., Voliotis, S., & Zahariadis, T. (2019). Tackling faults in the industry 4.0 era—a survey of machine-learning solutions and key aspects. Sensors, 20(1), 109.

[2] Peres, R. S., Jia, X., Lee, J., Sun, K., Colombo, A. W., & Barata, J. (2020). Industrial artificial intelligence in industry 4.0-systematic review, challenges and outlook. IEEE Access, 8, 220121-220139.

[3] Liu, Y., Xu, K., & Xu, J. (2019). An improved MB-LBP defect recognition approach for the surface of steel plates. Applied Sciences, 9(20), 4222.

[4] Liu, X., Xue, F., & Teng, L. (2018, June). Surface defect detection based on gradient lbp. In 2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC) (pp. 133-137). IEEE.

[5] Chaudhari, C. V. (2021). Steel surface defect detection using glcm, gabor wavelet, hog, and random forest classifier. Turkish Journal of

Computer and Mathematics Education (TURCOMAT), 12(12), 263273.

[6] Wang, H., Zhang, J., Tian, Y., Chen, H., Sun, H., & Liu, K. (2018). A simple guidance template-based defect detection method for strip steel surfaces. IEEE Transactions on Industrial Informatics, 15(5), 27982809.

[7] He, Z., & Sun, L. (2015). Surface defect detection method for glass substrate using improved Otsu segmentation. Applied optics, 54(33), 9823-9830.

[8] Suvdaa, B., Ahn, J., & Ko, J. (2012). Steel surface defects detection and classification using SIFT and voting strategy. International Journal of Software Engineering and Its Applications, 6(2), 161-166.

[9] Yoo, H. J. (2015). Deep convolution neural networks in computer vision: a review. IEIE Transactions on Smart Processing and Computing, 4(1), 35-43.

[10] Zhao, W., Chen, F., Huang, H., Li, D., & Cheng, W. (2021). A new steel defect detection algorithm based on deep learning. Computational Intelligence and Neuroscience, 2021.

[11] Liu, Y., Xu, K., & Xu, J. (2019). Periodic surface defect detection in steel plates based on deep learning. Applied Sciences, 9(15), 3127.

[12] He, Y., Song, K., Meng, Q., & Yan, Y. (2019). An end-to-end steel surface defect detection approach via fusing multiple hierarchical features. IEEE Transactions on Instrumentation and Measurement, 69(4), 1493-1504.

[13] Li, Z., Tian, X., Liu, X., Liu, Y., & Shi, X. (2022). A two-stage industrial defect detection framework based on improved-yolov5 and optimized-inception-resnetv2 models. Applied Sciences, 12(2), 834.

[14] Sharma, M., Lim, J., & Lee, H. (2022). The Amalgamation of the Object Detection and Semantic Segmentation for Steel Surface Defect Detection. Applied Sciences, 12(12), 6004.

[15] Ferguson, M., Ak, R., Lee, Y. T. T., & Law, K. H. (2017, December). Automatic localization of casting defects with convolutional neural networks. In 2017 IEEE international conference on big data (big data) (pp. 1726-1735). IEEE.

[16] Ren, Z., Fang, F., Yan, N., & Wu, Y. (2021). State of the art in defect detection based on machine vision. International Journal of Precision Engineering and Manufacturing-Green Technology, 1-31.

[17] Spinola, C. G., Canero, J., Moreno-Aranda, G., Bonelo, J. M., & Martin-Vazquez, M. (2011, May). Continuous real-time optical measuring of strip width and edge inspection in stainless steel production lines. In 2011 IEEE International Instrumentation and Measurement Technology Conference (pp. 1-4). IEEE.

[18] Ghorai, S., Mukherjee, A., Gangadaran, M., & Dutta, P. K. (2012). Automatic defect detection on hot-rolled flat steel products. IEEE Transactions on Instrumentation and Measurement, 62(3), 612-621.

[19] Spinola, C. G., Canero, J., Moreno-Aranda, G., Bonelo, J. M., & Martin-Vazquez, M. (2011, May). Real-time image processing for edge inspection and defect detection in stainless steel production lines. In 2011 IEEE International Conference on Imaging Systems and Techniques (pp. 170-175). IEEE.

[20] Vanholder, H. (2016). Efficient inference with tensorrt. In GPU Technology Conference (Vol. 1, p. 2).

[21] Jeong, E., Kim, J., Tan, S., Lee, J., & Ha, S. (2021). Deep learning inference parallelization on heterogeneous processors with tensorrt. IEEE Embedded Systems Letters, 14(1), 15-18.

[22] Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., ... & Zheng, X. (2016). {TensorFlow}: a system for {Large-Scale} machine learning. In 12th USENIX symposium on operating systems design and implementation (OSDI 16) (pp. 265-283).

[23] Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.155

Çelik Yüzeylerdeki Kusurların Tespiti için Derin Öğrenme Tabanlı Gömülü Sistem Tasarımı Deep Learning Based Embedded System Design for Detection of Defects on Steel Surfaces Emre GÜÇLÜ, İlhan AYDIN, Taha Kubilay ŞENER, Erhan AKIN

Özgeçmişler

Emre Güçlü, 1994’te Elazığ’da doğdu. Lisans ve Yüksek lisans derecelerini Fırat Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği bölümünde 2019 ve 2022 yıllarında almıştır. Hâlen doktora eğitimine devam etmektedir. Fırat Üniversitesi’nde Bilgisayar Mühendisliği bölümünde Araştırma Görevlisi olarak görev yapmaktadır. Görüntü işleme ve yapay zekâ alanlarında çalışmalarına devam etmektedir.

Erhan Akın, 1963 yılında Erzincan’da doğdu. Elektrik mühendisliği alanında lisans ve yüksek lisans derecelerini ve doktora derecelerini sırasıyla 1984, 1987 ve 1994 yıllarında Fırat Üniversitesinden aldı. Halen Fırat Üniversitesi’nde Bilgisayar Mühendisliği Profesörü olarak görev yapmaktadır. Başlıca araştırma alanları güç elektroniği, değişken hızlı AC sürücülerin dijital kontrolü, bulanık kontrol ve yazılımsal hesaplama teknikleridir.

İlhan Aydın, 1981 yılında Elazığ’da doğdu. Lisans ve Yüksek Lisans derecelerini Fırat Üniversitesi Bilgisayar Mühendisliğinde 2001 ve 2006 yıllarında aldı. Doktora derecesini 2011 yılında Fırat Üniversitesi, Elazığ Elektrik ve Elektronik Mühendisliği bölümünden aldı. Halen Fırat Üniversitesi’nde Bilgisayar Mühendisliği bölümünde Doçent olarak görev yapmaktadır. Araştırma alanları arasında optimizasyon, gerçek zamanlı sistemler, hata teşhisi ve durum izleme, sinyal ve görüntü işleme ve derin öğrenme bulunmaktadır.

Kubilay Şener, 1999 Elazığ doğumludur. İlk, orta ve lise öğrenimini Elazığ’da tamamladı. 2018 yılında başladığı Fırat Üniversitesi Bilgisayar Mühendisliği halen eğitimine devam etmektedir. Çalışma alanları yapay zeka, görüntü işleme ve derin öğrenme alanlarındadır.