Computer Vision

Automatisierte Bild- und Punktwolkendatenanalyse für die Smart Factory und Smart City

Abbildung 1: Erkennung von defekten Komponenten eines Mähdreschers in einem Wärmebild im Rahmen des Projekts "Datenfabrik.NRW" (https://www.datenfabrik-nrw.de/)
Abbildung 2: Erkennung von Verkehrsteilnehmenden in einer 3D-Punktwolke für eine intelligente Ampelschaltung im Rahmen des Projekts „KI4PED“ (https://www.iosb-ina.fraunhofer.de/de/aktuelles_news/2021/ki4ped.html)

Bild- und Punktwolkendaten repräsentieren die Umgebung in Form von 2- bzw. 3-dimensionalen Daten. Beispielsweise erzeugen Farbkameras visuelle (für den Menschen sichtbare) 2D-Farbbilder, Wärmebildkameras erfassen thermische Signaturen in der Umgebung (s. Abbildung 1) und 3D-LiDAR-Sensoren nutzen Laserstrahlen, um ihre Umgebung in Form von 3D-Punktwolken abzutasten (s. Abbildung 2).

 

Für einen Menschen ist es oftmals sehr einfach, aus diesen reichhaltigen Bild- und Punktwolkendaten höherwertige Informationen zu extrahieren und so Mehrwerte zu generieren. Dies ist jedoch sehr zeit- und kostenaufwendig und erfordert Expertenwissen. Wir unterstützen bei der Automatisierung dieser Aufgabe mittels state-of-the-art Computer Vision Verfahren, um innovative Applikationen zu ermöglichen und Ihnen so mittelfristig Kosten und wertvolle Zeit der Mitarbeitenden zu sparen. Beispielsweise nutzen wir 2D-Farbbilder für die automatische Beurteilung der Qualität eines Werkstücks in der Produktion, zeigen Energiepotenziale in Anlagen mittels Wärmebildern auf und detektieren DSGVO-konform Fußgänger für optimierte Ampelschaltungen in unseren Städten von Morgen.

Der Fokus unserer Leistungen liegt dabei auf den beiden Anwendungsfeldern Smart Factoryund Smart City.

Unser Ziel:

Automatisierung von Aufgaben mit Hilfe einer Kombination aus Kameras (oder kameraähnlichen Sensoren) und modernen Computer Vision Verfahren in den Bereichen Industrie (z. B. visuelle Qualitätskontrollen) und Smart City (z. B. Umwelterfassung)

Unser Leistungsangebot:

  • Potenzial- und Machbarkeitsanalysen zur Integration von Systemen zur automatischen Auswertung von Bild- oder Punktwolkendaten in Ihrem Unternehmen oder Ihrer Stadt
  • Konzeptionierung von Systemen zur Bild- oder Punktwolkenauswertung von der Datenaufnahme bis zur Bereitstellung
  • Herstellerunabhängiger Einsatz von Komponenten ohne Vendor Lock-In
  • Implementierung der Algorithmen auf unterschiedlichen Hardware-Plattformen, z.B. Embedded Hardware für Edge Computing auf Grundlage kommerzieller und Open-Source Toolchains
  • Schulung Ihrer Mitarbeitenden zum Thema „KI-basierte optische Qualitätskontrolle“
  • Mitwirkung als anwendungsorientierter Forschungspartner in Forschungs- und Entwicklungsprojekten im Konsortium mit Fokus auf Computer Vision für Embedded Hardware

Kernnutzen für Unternehmen und Kommunen:

  • Smart Factory: Automatisierung von Qualitätsprüfungen in der Produktion
    • Steigerung der Produktionsqualität
    • Kostenersparnis durch Reduzierung von Rückläufern
    • Erhöhung der Effizienz in der Produktion durch schnellere und präzisere Prozesse
    • Wettbewerbsvorteil durch den Einsatz modernster Technologien
    • Bessere Nachverfolgbarkeit und Dokumentation von Produktionsprozessen
    • Skalierbarkeit der Lösungen für wachsende Produktionsanforderungen
    • Reduzierung des Schulungsaufwands für Mitarbeitende durch intuitive KI-gestützte System
Abbildung 3: Optische Qualitätsinspektion
  • Smart City: Echtzeitfähige Überwachung von Fahrzeugen im Straßenverkehr
    • Fahrzeugzählungen zur Ermittlung des Verkehrsaufkommens
    • Spurgetreue Verkehrsflusserfassung als Basis für intelligente Lichtsignalanlagen
    • Bestimmung der Belegung von Parkplätzen 
    • Optimierung des Verkehrsflusses durch intelligente Ampelschaltungen
    • Höhere Akzeptanz von städtischen Mobilitätslösungen durch moderne DSGVO-konforme Technologien
    • Positiver Einfluss auf das Stadtbild und die Lebensqualität der Bürger
    • Datenbasierte Entscheidungsfindung zur Stadtplanung und -entwicklung
    • Integration in bestehende städtische Infrastrukturen für eine nahtlose Implementierung
Abbildung 4: Echtzeit Fahrzeugzählung

Ausstattung:

  • SmartFactoryOWL mit bildgebenden Sensoren für Entwicklung und Pilotierung von Applikationen für Objekterkennung- und verfolgung
  • Mobile Roboterstation mit Video-optischer Kamera sowie Sicherheitslaserscanner zur Umsetzung Bild-basierter Handling-Applikationen im Produktionsumfeld
  • SmartCityBox zur Umsetzung bildgebender Applikationen in der Smart City
  • Vielzahl bildgebender Sensoren: Video-optische Industriekameras,  3D-Stereokameras, Infrarot/Thermalkameras sowie Solid-State-LiDAR
  • Ring- und Flächenleuchten zur gezielten Beleuchtung von Prüfobjekten
  • Montagesysteme zur temporären Inline-Integration von Prüfsystemen in Produktionsanlagen
  • All-in-one Prüfstation zur optischen Qualitätskontrolle für Schulungszwecke

Publikationen:


  • Zamboni, Pedro Alberto Pereria; Hendrickx, Hanne; Sprute, Dennis; Flatt, Holger; Rushdi, Muhtasimul Islam; Brodrecht, Florian; Eltner, Anette: Synergistic image and point cloud processing of UAV data for urban flood modeling: point cloud smart thinning and curb mapping. In: The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLVIII-2/W8-2024 8th International ISPRS Workshop LowCost 3D - Sensors, Algorithms, Applications, Brescia, Dec. 2024
  • Wittke, Christian; Liebert, Artur; Friesen, Andrej; Flatt, Holger; Niggemann, Oliver: Potato-Glow: Utilizing Glow for Vision-Based Anomaly Detection in an Industrial Context: A Comparative Benchmarking Approach. In: Bildverarbeitung in der Automation (BVAu), Lemgo, Nov 2024
  • Basile, Dennis; Sprute, Dennis; Dörksen, Helene; Flatt, Holger: Evaluation of 3D-LiDAR Based Person Detection Algorithms for Edge Computing. In: Forum Bildverarbeitung 2024, Karlsruhe, Nov. 2024
  • Senke, Hanna; Sprute, Dennis; Büker, Ulrich; Flatt, Holger: Deep Learning-Based Localisation of Combine Harvester Components in Thermal Images. In: Forum Bildverarbeitung 2024, Karlsruhe, Nov. 2024
  • Sprute, Dennis; Hufen, Florian; Westerhold, Tim; Flatt, Holger: 3D-LiDAR-based Pedestrian Detection for Demand-Oriented Traffic Light Control. In: IEEE 21st International Conference on Industrial Informatics (INDIN), 2023
  • Sprute, Dennis; Westerhold, Tim; Hufen, Florian; Flatt, Holger; Gellert; Florian: DSGVO-konforme Personendetektion in 3D-LiDAR-Daten mittels Deep Learning Verfahren. In: Bildverarbeitung in der Automation (BVAu), Nov 2022
  • Gutknecht-Stöhr, M.; Friesen, A.; Flatt, H.; Habeck, T.; Großehagenbrock, J.: Automatisierte Qualitätskontrolle: Kartoffeln, KI und Roboter. Atp magazin 10/2019, S. 72 ff, 2019

Referenzprojekte:

 

I4KMU-FlexRoG

 

Datenfabrik.NRW: Wärmebildbasierte Anomaliedetektion an Mähdreschern

 

KI4PED

 

KI4LSA

 

Bildbasierte Qualitätsinspektionsverfahren für Verbundsicherheitsgläser

 

Bewertung von selbstlernenden optischen Verfahren zur Qualitätskontrolle

 

Passantenfrequenzmessung in Echtzeit

 

UAV-SRGK