Qualitätssicherung von Deep Learning Daten


Um sicherzustellen, dass das Training eines neuronale Netzes mit den gewünschten Daten vorangeht, ist es wichtig dies zu kontrollieren. Gerade bei großen Datenmengen kann das im Zeitalter von Industrie 4.0 ein Problem sein.

Aus diesem Grund haben wir in unser Annotation Tool Features zur Validierung der Daten eingebaut, mit denen Sie die Qualitätssicherung in Ihrem System durchführen können:

  • Verify Annotations
  • Workflows
  • Assists

Verify Annotations


Ein wichtiges Merkmal das der Qualitätssicherung dienst, ist „Verify Annotations“. Durch diesen Prozess können alle Segmentierungen für die jeweiligen DNN-Klasse dargestellt und bei Bedarf ausgebessert werden. Sie können sich alle gelabelten Daten einer Klasse ansehen und auf den ersten Blick feststellen, wenn mit den Daten etwas nicht stimmen sollte. Per Knopfdruck gelangen Sie bequem zum entsprechenden Bild und können direkt Korrekturen vornehmen. Mit diesem Feature können Sie fehlerhafte Daten finden und diese bereits vor dem Start des Trainings beheben. Die Qualitätssicherung wird durch diese Methode vereinfacht.

Prozess zur Qualitätssicherung - Prüfen Sie Ihre Klassen

Um Ihnen diesen Prozess abzunehmen, planen wir einen intelligenten Algorithmus zu integrieren, welcher auf K-Means basiert, um eventuelle Fehler gleich anzuzeigen. Dieser Prozess scannt die gelabelten Daten und sucht nach Auffälligkeiten. Somit ist es möglich falsch gelabelte Daten, welche aus dem Schema der restlichen Daten fallen, zu finden und für Sie hervorzuheben. Unser Prozess unterstützt Sie bei der Kontrolle Ihrer Daten und hilft dabei Ihren Validierungsprozess so zeiteffizient wie möglich zu gestalten.

Workflows


Zusätzlich haben wir ein neues Feature zur Qualitätssicherung hinzugefügt, welches „Workflows“ genannt wird. Mit Workflows ermöglichen wir es, den Prozess der Segmentierung bei vielen Bilddaten im Auge zu behalten. Ein Workflow bildet alle Schritte in Ihrem Prozess ab, welche ein Bild durchlaufen muss, bis es bereit zum Training ist. Workflows steuern so einen wichtigen Beitrag zur Qualitätssicherung bei. Ein simples Beispiel für einen solchen Workflow wären beispielsweise die Schritte:

Segmentierung -> Bereit zur Kontrolle -> Kontrolliert

Sie können beliebig viele Workflows definieren und die Reihenfolge dieser bestimmen, um das Tool perfekt auf Ihre betriebsinternen Prozess anzupassen. Diese Feature ist gerade bei sogenannten „negativen Bilddaten“ enorm nützlich. Von negativen Bilddaten spricht man, wenn in dem Bild kein relevantes Objekt zu finden ist. Diese Bilder würden von herkömmlichen Prozessen zur Kontrolle der Bilddaten nicht berücksichtigt werden, da sich diese meist nur mit den Daten beschäftigen, welche im Bild gelabelt wurden. Mit Hilfe unserer Workflows haben sie jedoch auch über diese Daten einen Überblick und können sicherstellen, dass alle Daten so vorbereitet werden, wie Sie es für Ihr Training benötigen.

Prozess zur Qualitätssicherung -Workflows

Assists


Neben diesen neuen Features haben wir einige kleinere Optimierungen vorgenommen, um das Bearbeiten der Daten so einfach und effizient wie möglich zu gestalten.

Beispielsweise kann im aktuell zu bearbeiteten Bild nun nach Klassen gefiltert werden, so dass nur die gewollte Klasse im Bild dargestellt wird. Gerade bei Bilddaten welche eine Vielzahl an unterschiedlichen Objekten enthalten, punktet dieses Feature und erleichtert die Arbeit ungemein.

Zusätzlich verfügt jede DNN-Klasse nun über eine Beschreibung sowie ein Beispielbild. Sie können die Beschreibung dazu nutzen, um Ihren Kollegen alle wichtigen Details der Klasse mitzuteilen oder Hinweise darüber zu geben, wie die Klasse zu verwenden ist. Zusammen mit der Möglichkeit ein Beispielbild zu hinterlegen, bleiben keine Fragen mehr offen und Ihre Kollegen und Sie arbeiten alle nach dem gleiche Schema was sich in der Qualität Ihrer Daten widerspiegelt.

Zusätzlich zu den neuen Möglichkeiten für die DNN-Klassen haben wir ebenfalls eine Kommentarfunktion für jedes einzelne Bild hinzugefügt. Sollte es bei einem Bild Unklarheiten geben oder Sie möchten Ihre Kollegen auf etwas spezielles hinweisen, können Sie dies nun bequem über den Kommentar des Bildes erledigen. Auch dieses Feature erhöht die Qualität Ihrer Daten, die Sie bei Ungewissheiten Rücksprache mit Ihren Kollegen halten können, um gemeinsam zu vereinbaren Sie das Bild bewerten und labeln möchten.

Um den Prozess des Labelns zu vereinfachen haben wir auch hier neue Features hinzugefügt. Sie können nun die ROI’s, welche Sie im Bild eingezeichnet haben, als gefüllte Felder anzeigen oder nur den äußeren Rahmen der ROI darstellen.

Beim Setzen einer ROI können Sie nun ebenfalls auf den GrabCut Assistenten zurückgreifen, welcher Sie beim genauen Markieren der Konturen unterstützt. Zusätzlich haben wir neue Konstruktionslinien eingefügt anhand welcher Sie deutlich sehen können, wie die ROI sich verändert. Der GrabCut Assistent hilft Ihnen bei unterschiedlichen Markierungstypen.

GrabCut Annotation

Um feinste Konturen bestmöglich zu labeln, haben wir ebenfalls ein Zoom Fenster entwickelt. Es zeigt Ihnen den aktuellen Bereich um Ihre Maus herum vergrößert an, damit Sie sicher sein können, dass Sie Ihre Daten genau so labeln, wie Sie es möchten. Das Zoom Fenster wird außerdem durch verschiedene Modi unterstützt, beispielsweiße können sie einen Kantenfilter über das Zoom Bild legen, um Objektkanten leichter zu treffen.

Mit all diesen Features zur Qualitätssicherung sorgen wir dafür, dass Ihre Daten qualitativ so hochwertig wie möglich erzeugt werden und die Zeit die Sie fürs Training benötigen auf ein Minimum reduziert wird. Diese und weitere neue Features werden in der nächsten Version verfügbar sein.