Embedded Computer Vision

Abbildung 1: Erkennung von defekten Komponenten eines Mähdreschers in einem Wärmebild im Rahmen des Projekts "Datenfabrik.NRW" (https://www.datenfabrik-nrw.de/)
Abbildung 2: Erkennung von Verkehrsteilnehmenden in einer 3D-Punktwolke für eine intelligente Ampelschaltung im Rahmen des Projekts „KI4PED“ (https://www.iosb-ina.fraunhofer.de/de/aktuelles_news/2021/ki4ped.html)

Bild- und Punktwolkendaten repräsentieren die Umgebung in Form von 2- bzw. 3-dimensionalen Daten. Beispielsweise erzeugen Farbkameras visuelle (für den Menschen sichtbare) 2D-Farbbilder, Wärmebildkameras erfassen thermische Signaturen in der Umgebung (s. Abbildung 1) und 3D-LiDAR-Sensoren nutzen Laserstrahlen, um ihre Umgebung in Form von 3D-Punktwolken abzutasten (s. Abbildung 2).

 

Für einen Menschen ist es oftmals sehr einfach, aus diesen reichhaltigen Bild- und Punktwolkendaten höherwertige Informationen zu extrahieren und so Mehrwerte zu generieren. Dies ist jedoch sehr zeit- und kostenaufwendig und erfordert Expertenwissen. Wir unterstützen bei der Automatisierung dieser Aufgabe mittels state-of-the-art Computer Vision Verfahren, um innovative Applikationen zu ermöglichen und Ihnen so mittelfristig Kosten und wertvolle Zeit der Mitarbeitenden zu sparen. Beispielsweise nutzen wir 2D-Farbbilder für die automatische Beurteilung der Qualität eines Werkstücks in der Produktion, zeigen Energiepotenziale in Anlagen mittels Wärmebildern auf und detektieren DSGVO-konform Fußgänger für optimierte Ampelschaltungen in unseren Städten von Morgen.

Der Fokus unserer Leistungen liegt dabei auf den beiden Anwendungsfeldern Smart Factoryund Smart City.

Unser Ziel:

Automatisierung von Aufgaben mit Hilfe einer Kombination aus Kameras (oder kameraähnlichen Sensoren) und modernen Computer Vision Verfahren in den Bereichen Industrie (z. B. visuelle Qualitätskontrollen) und Smart City (z. B. Umweltüberwachung)

Unser Leistungsangebot:

  • Potenzial- und Machbarkeitsanalysen zur Integration von Systemen zur automatischen Auswertung von Bild- oder Punktwolkendaten in Ihrem Unternehmen oder Ihrer Stadt
  • Konzeptionierung von Systemen zur Bild- oder Punktwolkenauswertung
  • Implementierung der Algorithmen auf unterschiedlichen Hardware-Plattformen, z.B. Embedded Hardware für Edge Computing
  • Schulung Ihrer Mitarbeitenden zum Thema „KI-basierte optische Qualitätskontrolle“
  • Mitwirkung als anwendungsorientierter Forschungspartner in Forschungs- und Entwicklungsprojekten im Konsortium mit Fokus auf Computer Vision für Embedded Hardware

Kernnutzen beispielhafter Applikationen:

  • Smart Factory: Automatisierung von Qualitätsprüfungen in der Produktion
    • Steigerung der Produktqualität
    • Objektivität bei der Prüfung
    • Reproduzierbarkeit
    • Unterstützung und Entlastung von Mitarbeitenden
Optische Qualitätsinspektion
  • Smart City: Echtzeitfähige Überwachung von Fahrzeugen im Straßenverkehr
    • Fahrzeugzählungen zur Ermittlung des Verkehrsaufkommens
    • Spurgetreue Verkehrsflusserfassung als Basis für intelligente Lichtsignalanlagen
    • Bestimmung der Belegung von Parkplätzen
Echtzeit Fahrzeugzählung

Publikationen:


  • Zamboni, Pedro Alberto Pereria; Hendrickx, Hanne; Sprute, Dennis; Flatt, Holger; Rushdi, Muhtasimul Islam; Brodrecht, Florian; Eltner, Anette: Synergistic image and point cloud processing of UAV data for urban flood modeling: point cloud smart thinning and curb mapping. In: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLVIII-2/W8-2024 8th International ISPRS Workshop LowCost 3D - Sensors, Algorithms, Applications, Brescia, Dec. 2024
  • Wittke, Christian; Liebert, Artur; Friesen, Andrej; Flatt, Holger; Niggemann, Oliver: Potato-Glow: Utilizing Glow for Vision-Based Anomaly Detection in an Industrial Context: A Comparative Benchmarking Approach. In: Bildverarbeitung in der Automation (BVAu), Lemgo, Nov 2024
  • Basile, Dennis; Sprute, Dennis; Dörksen, Helene; Flatt, Holger: Evaluation of 3D-LiDAR Based Person Detection Algorithms for Edge Computing. In: Forum Bildverarbeitung 2024, Karlsruhe, Nov. 2024
  • Senke, Hanna; Sprute, Dennis; Büker, Ulrich; Flatt, Holger: Deep Learning-Based Localisation of Combine Harvester Components in Thermal Images. In: Forum Bildverarbeitung 2024, Karlsruhe, Nov. 2024
  • Sprute, Dennis; Hufen, Florian; Westerhold, Tim; Flatt, Holger: 3D-LiDAR-based Pedestrian Detection for Demand-Oriented Traffic Light Control. In: IEEE 21st International Conference on Industrial Informatics (INDIN), 2023
  • Sprute, Dennis; Westerhold, Tim; Hufen, Florian; Flatt, Holger; Gellert; Florian: DSGVO-konforme Personendetektion in 3D-LiDAR-Daten mittels Deep Learning Verfahren. In: Bildverarbeitung in der Automation (BVAu), Nov 2022
  • Gutknecht-Stöhr, M.; Friesen, A.; Flatt, H.; Habeck, T.; Großehagenbrock, J.: Automatisierte Qualitätskontrolle: Kartoffeln, KI und Roboter. Atp magazin 10/2019, S. 72 ff, 2019

Referenzprojekte:

 

I4KMU-FlexRoG

 

Datenfabrik.NRW: Wärmebildbasierte Anomaliedetektion an Mähdreschern

 

KI4PED

 

KI4LSA

 

Bildbasierte Qualitätsinspektionsverfahren für Verbundsicherheitsgläser

 

Bewertung von selbstlernenden optischen Verfahren zur Qualitätskontrolle

 

Passantenfrequenzmessung in Echtzeit

 

UAV-SRGK