Anwendung der hyperspektralen Bildgebungstechnologie zur Fehlererkennung auf FPCB-Oberflächen

 I. Beschränkungen der traditionellen Sichtprüfung

Flexible Printed Circuit Boards (FPCB) werden aufgrund ihrer guten Biegbarkeit und Wärmeabsorptionsfähigkeit in Bereichen wie Smartphones, flexiblen Displays und tragbaren Geräten weit verbreitet.Da die Dichte der Schaltungen weiter steigt, werden die Arten von Oberflächenfehlern immer komplexer, wobei häufige Defekte Kurzschlüsse, offene Schaltkreise, Vorsprünge, weiße Flecken, schwarze Flecken und zerbrochene Löcher umfassen.

Bei herkömmlichen Nachweismethoden wird die Vorlage-Übereinstimmung auf Basis von RGB-Bildern weit verbreitet.Diese Methoden sind auf Lichtbedingungen anfällig.Bei ungleichmäßiger Lichtverteilung ist es leicht, falsche Erkenntnisse oder fehlende Erkenntnisse zu erzeugen.Schwierigkeiten bei der genauen Unterscheidung, wenn man sich ausschließlich auf Bilder mit sichtbarem Licht stützt.

II. Konstruktion des hyperspektralen Bildgebungssystems

Um die Stabilität der Detektion zu verbessern, wurde in dieser Studie ein hyperspektrales mikroskopisches Bildgebungssystem entwickelt, das aus einer hyperspektralen Kamera, einem Mikroskop und einer Akquisitionssoftware besteht.Die Hyperspektralkamera übernimmt das FS-23-Modell von CHNSpec, mit einem Spektralbereich von 400 ‰ 1000 nm und einer Spektralauflösung von 2,5 nm.

Die Kamera verwendet eine Linienscanning-Methode für die Bildgebung, und die Rohdaten enthalten 1200 Bands.endgültig eine Datenstruktur von 300 Bands zu erhaltenDie Größe eines einzigen hyperspektralen Bildes beträgt 1920 × 960 Pixel × 300 Bands und deckt die gesamte Spektralinformation des Kupferleiters und des Polyimid-Substrats ab.

Der Vorteil der hyperspektralen Bildgebung liegt in der Fähigkeit, für jedes Pixel eine kontinuierliche Spektralkurve zu erhalten.Die Studie ergab, dass es im Wellenlängenbereich 500~750 nm signifikante Unterschiede in der Spektralantwort von Kupfer und Polyimid gibt., die eine zuverlässige Grundlage für die anschließende Bildsegmentierung und Materialidentifizierung bietet.

III. Spektralinformationsbasierte Nachweismethode

Der in dieser Studie vorgeschlagene Erkennungsrahmen besteht aus zwei Teilnetzen: FPCB-LocNet für die Fehlerlokalisierung und FPCB-ClaNet für die Fehlerklassifizierung.

In der Lokalisierungsphase nutzt FPCB-LocNet mehrskalierte 3D-Kernel, um gleichzeitig Merkmale aus räumlichen und spektralen Dimensionen zu extrahieren.Zwei unterschiedliche Größen von Konvolutionskerneln werden im Netzwerk verwendet, um sich auf lokale räumliche Strukturen und spektrale Merkmale zu konzentrierenDiese Konstruktion ermöglicht es dem Netzwerk, feine räumliche Texturen und kontinuierliche Spektralveränderungen gleichzeitig zu erfassen.Erreichung einer Pixelsegmentierung von Kupfer und PolyimidNach Abschluss der Segmentierung werden durch Template-Matching abnormale Bereiche lokalisiert.

In der Klassifizierungsphase setzt das Netzwerk angesichts der begrenzten Anzahl an hyperspektralen Proben eine Strategie des Transfer-Lernens ein.erste Vorbildung auf dem FPCB-RGB-Bilddatensatz und anschließende Feinabstimmung auf Pseudokolorbildern- das Problem der Ungleichgewichte in der Stichprobenzahl für verschiedene Defektkategorien,Im Netzwerk werden kategoriebalancierte Probenahme- und Gewichtsverfallsstrategien eingeführt, damit sich das Modell stärker auf Defektarten mit weniger Proben konzentrieren kann.Gleichzeitig ist der SE-Aufmerksamkeitsmechanismus eingebettet, um den Schwerpunkt des Netzwerks auf die wichtigsten Merkmale zu erhöhen.

IV. Versuchsergebnisse und Anwendung

In Bezug auf die Bildsegmentierung ist FPCB-LocNet bei der Verarbeitung von Bildern bei ungleichmäßiger Beleuchtung besser als herkömmliche Segmentierungsmethoden wie die Entropie-Methode, der Wasserteil-Algorithmus und Otsu.mit einer Segmentierungsgenauigkeit von 97Bei der Klassifizierungsaufgabe beträgt die umfassende Klassifizierungsgenauigkeit von FPCB-ClaNet für sechs häufige Defektarten 97,84%.

Ablationsexperimente haben den tatsächlichen Beitrag jedes Moduls verifiziert: Datenvergrößerung verbesserte die Klassifizierungsgenauigkeit,Kategorie-ausgeglichene Probenahme und Gewichtsverfall haben den Effekt der Erkennung von Schwanzkategorien effektiv verbessert, und der SE-Aufmerksamkeitsmechanismus führten zu einer stabilen Verbesserung der Klassifizierungsergebnisse, während eine kleine Anzahl von Parametern hinzugefügt wurde.Die Visualisierungsergebnisse der Grad-CAM-Wärmepläne zeigen, daß die Problembereiche des Modells sehr gut mit den tatsächlichen Defektstellen übereinstimmen.

Diese Studie kombiniert hyperspektraler Bildgebung mit Deep Learning, um eine vollständige Verarbeitungskette von der Datenerfassung, der Bildsegmentierung und der Lokalisierung von Defekten bis zur Defektklassifizierung aufzubauen.Diese Methode kann die Aufgabe der Identifizierung von FPCB-Oberflächenfehlern stabil abschließen, ohne sich auf spezifische Beleuchtungsbedingungen zu verlassen, der einen praktikablen technischen Weg für das Qualitätsmanagement bei der Herstellung von flexiblen Leiterplatten mit hoher Dichte bietet.

Produktempfehlung:FigSpec FS-23 Bildgebungs-Hyperspektralkamera

• Auflösung: 1920*1920
• Spektralbereich: 400-1000 nm
• Spektrallauflösung (FWHM): 2,5 nm
• Anzahl der Spektralkanäle: 1200