Doctoral Thesis Selective Darkening Filter and Welding Arc Observation for the Manual Welding Process Bernd Hillers University Bremen doctoral thesis Selective Darkening Filter and Welding Arc Observation for the Manual Welding Process Bernd Hillers 15th March 2012 1. Gutachter: Prof. Dr.-Ing. Axel Gr¨aser 2. Gutachter: Prof. Dr.-Ing. Kai Michels Zusammenfassung Der Schutz des Schweißers w¨ahrend des Schweißens stellt die Grundmotivation dieser Arbeit dar. Die heutzutage verfu¨gbaren, automatisch abdunkelnden Schweißfilter (Automatic Dar- kening Filter (ADF)) verbessern die Sicht des Schweißers, indem diese vor dem Zu¨nden des Lichtbogenundw¨ahrenddesSchweißendieLichtdurchl¨assigkeitdynamischanpassen. Erm¨o- glichtwirddiesdurchFlu¨ssigkristalldisplays(LCDs), bestehendauseinemeinzigenPixelzur Abdunkelung der Sicht. Die ADFs sind verbesserungsf¨ahig, indem die Sicht des Nutzers nur dort abgedunkelt wird, wo der helle Lichtbogen im Blickfeld erscheint. Ein grafisches LCD (GLCD) mit einer Aufl¨osung von n × m Pixeln erm¨oglicht die selektive Abdunkelung im Sichtbereich des Schweißers. Der Aufbau eines solchen selektiven, automatisch abdunkeln- denFilters(SelectiveAutoDarkeningFilter(SADF))wirdalsGesamtsystementwickeltund seine Anwendbarkeit getestet. Unter anderem besteht der Aufbau zur korrekten Detektion der Lichtbogenposition aus der Integration einer Kamera in den Schweißprozess. Anstelle eines LCDs mit einem Pixel wird ein speziell fu¨r den Einsatz beim Schweißen angepasster Prototyp eines GLCD in den Sichtbereich des Schweißers integriert. Ein Kalibrierungsver- fahren sichert die korrekte Projektion der Lichtbogenposition aus der Sicht der Kamera in die Sicht des Schweißers. Wie eingefu¨hrt ist zur Detektion der Lichtbogenposition die Entwicklung eines angepassten Videosystems zur Beobachtung w¨ahrend des Schweißens notwendig. Die Videobeobachtung von Szenen mit hoher Kontrastdynamik tritt bei sehr großen Unterschieden zwischen dem hellsten und dunkelsten Bildpunkt auf. Spezielle Kamerachips sind in der Lage, solche anspruchsvollen hohen Kontrastdynamiken abzubilden. Solch eine hochdynamische Ka- mera wird zur Integration im Schweißschutzhelm eingesetzt. Die gew¨ahlte Anwendung, das Schweißen, mit ihren rauen Umgebungsbedingungen, macht die Entwicklung weiterer Hard- ware notwendig. So sind ein Problem die zumeist flackernden Lichtverh¨altnisse w¨ahrend der unterschiedlichen Phasen der Schweißprozesse. Die optische Synchronisation der Bildauf- nahme auf den Schweißprozess stabilisiert die Videoaufnahme und erm¨oglicht weiterhin eine gezielte gepulste Beleuchtung durch kompakte Leuchtdioden h¨ochster Leuchtdichte. Der Bildaufnahmeprozess wird weiterhin verbessert, indem zwei mit unterschiedlichen Kamera- parametern aufgenommene Bilder als Datengrundlage genutzt werden. Hierbei werden ein unterbelichtetesundeinu¨berbelichtetesBildzueinemneuenBildmith¨oheremKontrastum- fang, als es durch eine Einzelaufnahme m¨oglich ist, zusammengefu¨hrt. Die Grundannahme g¨angiger histogrammbasierter Kontrastaufbereitungsalgorithmen, dass Histogrammklassen von Farbwerten mit geringer H¨aufigkeitsdichte auch geringe und damit unwichtige Informationen enthalten, ist bei der Videobeobachtung von Schweißprozessen nicht zutreffend. Der Lichtbogen und das helle Schweißbad als Interessenfokus und hell- ste Bereiche besitzen zumeist nur einen geringen Fl¨achenanteil am Gesamtbild und bilden dabei Klassen geringer H¨aufigkeitsdichten. Um fu¨r die Kontrastverbesserung eine L¨osung zu erhalten, werden unterschiedliche Standardalgorithmen getestet bzw. von diesen aus- gehend ein neues Verfahren entwickelt. Dieses Verfahren segmentiert das Bild in Bereiche ¨ahnlichen Inhalts, bereitet diese unabh¨angig auf und fu¨hrt sie zu einem neuen Gesamtbild wieder zusammen. Diese Arbeit entwickelt somit alle Aspekte eines SADF System mit der Problematik der Abdunkelung der Sicht, Kalibrierung, Bildakquise und Bildaufbereitung. 6 7 Abstract The protection of the welder during arc-time is the source of motivation for this thesis. Automatic Darkening Filter (ADF) enhance the welder’s protection by giving him a good view of the welding scene before and during welding by driving automatically darken a one pixel LCD when the welding starts. These ADFs may be enhanced by darkening the welders view partially where it is necessary to protect him from glaring light. A Graphical LCD (GLCD) with a resolution of n×m pixels gives the ability to selectively control the darkening in the welders view. The setup of such a Selective Auto Darkening Filter is developed and its applicability tested. The setup is done by integrating a camera into the welding operation for extracting the welding arc position properly. Instead of the ADF a prototype of a GLCD taylored for welding is mounted in the welder’s view. A calibration process assures the correct projection of the extracted arc position from the camera view onto the welders view. The extraction of the welding arc position requires an enhanced video acquisition during welding. The observation of scenes with high dynamic contrast is an outstanding problem which occurs if very high differences between the darkest and the brightest spot in a scene occur. Specialcamerachipswhichmapahighrangeoflightingconditionsatoncetoanimage canimprovetheimageacquisition. Suchahighdynamicrangecameraisusedforthehelmet integration. The application to welding with its harsh conditions needs the development of supporting hardware. The synchronization of the camera with the flickering light conditions of pulsed welding processes in Gas Metal Arc Welding stabilizes the acquisition process and allows the scene to be flashed precisely if required by compact high power LEDs. The image acquisition is enhanced by merging two different exposed images for the resulting source image. These source images cover a wider histogram range than it is possible by using only a single shot image with optimal camera parameters. For a welding scene the basic assumption that the bin of an histogram with the lowest number of pixels does not contain important information does not apply, because the arc, the brightest and most important spot in the image, is covers mostly a small area. After testing different standard contrast enhancement algorithm a novel more content based algorithm is developed. It segments the image into areas with similar content related to the used colour space and enhances these independently. So this thesis covers all aspects of a SADF system with darkening the view, calibration, image acquisition and image enhancement.