Im Rahmen dieser ersten Bewertungsstudie lernender Bildverarbeitungsverfahren wurden seitens des Fraunhofer IOSB-INA zunächst die Anforderungen von F&R hinsichtlich Fehlerarten und repräsentativer Prüfmusterarten erfasst. Im Gegensatz zur klassischen parametergetriebenen Bildverarbeitung basieren lernende Verfahren auf Beispielaufnahmen und entsprechenden Klassifikationen (z.B. „OK“, „NOK“).
Es setzt daher auch kein Expertenwissen im Bereich der Bildverarbeitung voraus. Aus diesem Grund wurden für die Bewertung Prüfmuster von sechs unterschiedlichen Kunststoffteilearten zur Verfügung gestellt. Diese wurden im Vorfeld durch F&R entweder als „OK“ oder mit einem Mangel bzw. als „NOK“ klassifiziert. Das Fraunhofer IOSB-INA hat diese Prüfmuster mit einem generischen Kamera- und Belichtungsaufbau zunächst fotografiert. Da jede Kunststoffteileart eine eigene Form besitzt und potentielle Fehler an teileartspezifischen Stellen auftreten, wurde für jede Teileart eine individuelle Fassung mittels additiver Fertigung erstellt. Mit den erstellten Aufnahmen wurden die Ansätze Klassifikation sowie Anomaliedetektion lernender Verfahren erprobt. Klassifikation versucht gelernte Muster wiederzuerkennen. Anomaliedetektion versucht Abweichungen zu einem gelernten Referenzbild zu identifizieren. Für die Bewertung wurden grundsätzlich 70% der Aufnahmen für das Training, 15% der Aufnahmen für die automatisierte Validierung/Überprüfung sowie 15 weitere Prozent für den finalen Test verwendet.