Vollautomatischer Maniküre-Roboter mit Computer-Vision-Technologie für die Wellnessbranche
Wie Machine Learning, KI und Computer Vision dazu beigetragen haben, die weltweit erste 5-Stufen-Maniküre-Maschine der Wellness-Branche zu entwickeln, für die keine Fachkräfte erforderlich sind.
Im Oktober 2021 ging DAC.digital eine Partnerschaft mit einem ambitionierten Beauty-Tech-Start-up aus den Vereinigten Staaten ein. Das Unternehmen wollte Hotel- und Wellnessbranche, zu denen Spas, Hotels und Friseursalons gehören, revolutionieren. Das Ziel: professionelle Maniküren für viele Gastronomiebetriebe ermöglichen.
Das Unternehmen:
- Name: 10beauty
- Branche: Schönheit, Wellness, Robotik, Einzelhandel (Tech)
- Herkunft: Burlington, Massachusetts, Vereinigte Staaten
- Website: 10beauty.co
Schönheitsdienstleistungen automatisieren, aber wie?
Mit einem klaren Ziel und der Zielgruppe vor Augen entwickelte unserer Kunde einen soliden Plan, um einen vollautomatischen Maniküre-Roboter entwickeln zu lassen. Dieser sollte in Wartezimmern, Lobbys usw. installiert werden können.
Ein Kunde könnte sich beispielsweise während der Wartezeit auf eine Spa-Behandlung oder zur Unterhaltung im Hotel eine schnelle Maniküre gönnen. Dadurch könnten zusätzliche Gewinne erzielt werden, ohne professionelle Maniküre-Fachkräfte zu benötigen. Die Idee nahm Gestalt an und es wurden Experten gesucht, um sie umzusetzen.
👋 Hey, woran arbeiten Sie gerade?
Geben Sie uns ein paar Informationen über Ihre KI Herausforderung oder Idee, egal wie komplex sie ist. Unser Expertenteam bietet Ihnen seine Expertise in Bezug auf Machbarkeit, Budget und Umfang an. Lassen Sie uns gemeinsam eine Lösung entwickeln!
Die Wellness-Hardware sollte für Präzision & Genauigkeit mit Computer Vision unterstützt werden
10beauty entwarf eine Maschine für eine komplette Maniküre in fünf Schritten:
- Entfernen des alten Nagellacks
- Nagelhautbehandlung
- Nagelformung
- Nagellack Auftragen (einschließlich Muster)
- Trocknen
Dieser Vorgang könnte vollständig automatisiert werden. Der Benutzer müsste lediglich seine Hand in die dafür vorgesehene Öffnung stecken. Im Inneren des Roboters verfolgen Kameras die Position der Hand und steuern den Kopf, der die Maniküre präzise ausführt.
Das Gerät sollte zur Standardausstattung des Unternehmens werden. Da das Projekt sehr komplex war und mehrere Fachgebiete umfasste, darunter Softwareentwicklung, mobile Anwendungen, Hardware, Machine Learning, KI und Computer Vision, suchte 10beauty Experten aus verschiedenen Technologiebereichen. Die Arbeit unseres DAC.digital-Teams konzentrierte sich auf die Entwicklung der KI-gestützten Computer-Vision-Fähigkeiten des Wellness-Roboters.
Eine der größten Herausforderungen bestand darin, eine hohe Genauigkeit bei der Positionierung des Nagels im 3D-Raum zu gewährleisten. Unser Kunde verlangte eine Genauigkeit von 0,25 mm. Dies erforderte eine sorgfältige Kalibrierung aller Kameras sowie eine präzise Erkennung der Nägel aus allen Perspektiven und Winkeln. Zudem musste die Erkennungsgenauigkeit bestätigt werden. Dazu waren hochauflösende Laserscans von künstlichen Händen erforderlich. Diese mussten in das Koordinatensystem des Roboters eingebettet werden.
Unser DAC.digital-Team hat sich als kompetentester Experte für Computer Vision erwiesen
Es ist schwierig, Fachkräfte für Computer Vision auf dem US-Arbeitsmarkt zu finden, da diese meist bei Unternehmen beschäftigt sind. Aus diesem Grund entschied sich unser Kunde, weltweit nach Offshore-Ressourcen zu suchen, und entschied sich für uns. Die DAC.digital-Experten stellten sich als wertvolle Teambereicherung heraus. Für ein Produkt mit dieser Komplexität benötigte das Unternehmen zahlreiche Spezialisten für jeden Schritt.
Das beste Team an Bord holen
Die Entwicklung eines Systems zur präzisen Handerkennung und der Position der Nägel war einer der kompliziertesten Aufgaben. Die Suche nach Experten für Computer Vision für diesen Projektteil führte 10beauty zu uns. Sie hielten unsere Ingenieure für geeignet, sodass die Zusammenarbeit begann.
Die Grundlagen schaffen
In Vorbereitungsgesprächen mit den Unternehmensführern legten wir die Aufgaben für unser Team fest. Wir setzten ein Team aus erfahrenen Computer-Vision-Ingenieuren ein, das ein 3D-Positionierungssystem für die Handerkennung auf Basis von Stereovision entwickeln sollte.
Wir haben extra Aufgaben übernommen, die dem Startup weitergeholfen haben
Aufbauend auf unserem Fachwissen und innovativer Denkweise arbeiteten wir gemeinsam mit deren technischem Leiter zusammen, einem erfahrenen Computer-Vision-Ingenieur. Sein Verständnis des Projekts verbesserte den Projektansatz und ermöglichte es unseren Spezialisten, ihre Fähigkeiten besser einzusetzen.
Ursprünglich sollte unsere Zusammenarbeit drei Monate dauern und sich ausschließlich auf die Erstellung der Grundlagen für ein 3D-Positionierungssystem für Nägel konzentrieren. Nachdem der Kunde jedoch die Fähigkeiten unserer Ingenieure kennengelernt hatte, verlängerten wir unsere Zusammenarbeit.
Unser Wissen und unsere Kompetenz in der Computer Vision waren sehr wertvoll für unsere Arbeit in der Photometrie und der semantischen Segmentierung. Im Laufe des Projekts konzentrierten wir uns daher auf Stereovision und semantische Segmentierung. Zudem richteten unsere Experten eine kontinuierliche Integrationsumgebung ein. Dadurch konnten die neuen Funktionen automatisch getestet und Genauigkeitsverluste minimiert werden.
Stereo-Vision half uns bei der Feinabstimmung der hochpräzisen Nagelerkennung
Damit ein so komplexer Roboter korrekt funktioniert, ist eine präzise Hand- und Nagelerkennung erforderlich. Unser Team hat die Wellness-Computer-Vision-Herausforderungen gemeistert und die gewünschten Ergebnisse erzielt.
Eine vollständige Maniküre ist ein mehrstufiger Prozess. Das Gerät muss daher sehr genau sein, da die Nägel unterschiedlich geformt und groß sind. Der erforderliche Schwellenwert durfte dabei nicht mehr als 0,25 mm betragen.
Das Gerät ist mit fünf Kameras ausgestattet, von denen je nach Anwendung vier gleichzeitig verwendet werden. Diese erfassen die Position der Hand und der Fingernägel im Inneren mit hoher Präzision. In kleinen, über die ganze Welt verstreuten Teams ist das eine Herausforderung. Wir haben diese Hindernisse überwunden, darunter:
- Arbeiten in verschiedenen Zeitzonen und Koordinieren der Arbeit bei erheblichen Zeitunterschieden.
- Das Gerät muss eine Fingerkuppen-Punktwolke mit einer Genauigkeit von mindestens 250 Mikrometern (0,25 mm) aufweisen.
- Da es menschliche Hände in allen möglichen Farben, Formen und Größen gibt, war für die zuverlässige Erkennung der Nägel eine aufwändige Feinabstimmung erforderlich.
Die Testumgebungen wurden neu erstellt und die Algorithmen für extrem schnelle Leistung optimiert
Die exakte Nachbildung der Testumgebung war ein wichtiger Schritt und ein bedeutender Meilenstein des Projekts, da wir die Tests schließlich nicht vor Ort durchführen konnten. Außerdem gab es noch keinen Prototypen des Geräts. Einer unserer führenden Experten baute die Ausrüstung unter Verwendung derselben Kameramodelle nach und fügte zusätzliche Elemente für die Positionierung, Kalibrierungsziele, Beleuchtung und andere Komponenten hinzu. All dies geschah ausschließlich zu Test- und Qualitätssicherungszwecken.
Mithilfe der nachgebildeten Testumgebung konnten wir die Genauigkeit der Algorithmen mit den 3D-Handabdrücken des Kunden vergleichen. Dadurch war es uns möglich, neue Funktionen schneller zu testen und sicherzustellen, dass neue Versionen fehlerfrei sind. So konnten wir die Präzision des Algorithmus bei der Erkennung einer Hand oder eines Fingers bestimmen und die Verbesserungen nachvollziehen.
Nach über einem Jahr akribischer Arbeit haben unsere Ingenieure die Optimierung des für die Stereovision zuständigen Algorithmus abgeschlossen. Dieser funktioniert nun wie vorgesehen, sodass dieser Teil des Projekts erfolgreich abgeschlossen ist.
Durch unsere Arbeit an der Stereo-Vision schufen wir eine solide Grundlage für die Photometrie, sodass die Nagelpunktwolke auf einer 3D-Positionierung basieren konnte. Das war jedoch noch nicht das Ende. Im Laufe des Projekts beauftragte uns der Kunde außerdem mit der semantischen Segmentierung. Diese unterstützt die Erkennung und Unterscheidung des Nagels vom restlichen Finger. Einfach ausgedrückt hilft sie bei der Identifikation der Pixel des Fingernagels auf dem Kamerabild und ermöglicht so eine präzise Maniküre.
Ich bin stolz darauf, dass wir den Algorithmus im späteren Verlauf beschleunigen konnten. So ist der Prozess um ein Vielfaches schneller, sodass die Berechnungen pro Hand nur noch wenige Millisekunden dauerten.
Durch semantische Segmentierung erreichten wir noch genauere Nagelerkennung
Jede menschliche Hand und jeder Fingernagel ist anders. Wir benötigten eine möglichst präzise Erkennung jeder einzelnen Form und Größe, damit der Roboter nicht über den Fingernagel hinaus geht. Hier kommt die semantische Segmentierung ins Spiel.
Ursprünglich hatte unser Kunde sein eigenes Team mit dieser Aufgabe betraut. Letztendlich war jedoch die Unterstützung unserer Experten erforderlich, um sie zu perfektionieren. Die Aufgaben waren die semantischen Segmentierungsmodelle zu pflegen und zu optimieren, um eine optimale Genauigkeit zu erzielen.
Der Prozess war sehr sorgfältig und zeitaufwendig. Wir haben neue Segmentierungsarchitekturen recherchiert, trainiert und getestet, um sie bestmöglich an die Anforderungen anzupassen. Darüber hinaus haben wir Zeit in die Migration der Segmentierungspipelines auf neuere Bibliotheksversionen investiert. So kann die Unterstützung und Wartung gewährleistet werden.
Dieser erfolgreiche Versuch führte zu einer Optimierung des gesamten Nagelsegmentierungsprozesses. Um kleinere Fehler zu vermeiden, die sich im Erkennungsprozess zu erheblichen Problemen auswachsen könnten, haben wir an der Modelloptimierung gearbeitet.
Der Technologie-Stack, der die Stereovision ermöglichte
Die von unseren Computer-Vision-Experten für die Entwicklung der Stereovisions-komponente verwendete Technologie basierte auf Python und umfasste:
- OpenCV: Bibliothek für die Kernfunktionen der 3D-Positionierung des Geräts.
- Open3D: für die Verarbeitung von Punktwolkendaten.
- Python notebooks (Jupyter Notebook): für schnelle Experimente und Visualisierungen.
Tools zur Perfektion der semantischen Segmentierung
- Pytorch: ein Deep-Learning-Framework zum Trainieren des CV-Modells.
- Zusätzliche Wrapper-Bibliotheken für Pytorch, darunter mmsegmentation von Open-mmlab.
DAC.digital-Team Zusammensetzung
Wir haben die Zusammensetzung des Teams dynamisch an die Anforderungen des Projekts angepasst. Es setzte sich wie folgt zusammen:
- Zwei Stereovision-Ingenieure (ursprünglich vier, darunter ein unterstützender Ingenieur, der bei den ersten Arbeiten half).
- Zwei Experten für semantische Segmentierung, die nach Erreichen der wichtigsten Meilensteine auf einen reduziert wurden.
- Ein Projektmanager und Koordinator.
Ein erfolgreiches Ergebnis, das zu einer weiteren Finanzierungsrunde für das Beauty-Startup führte
Wir haben die Arbeiten an der Stereovision abgeschlossen und dabei die gewünschte Genauigkeit von 250 Mikrometern erreicht. Mit einigen zusätzlichen Verbesserungen an der semantischen Segmentierung wurde unsere Arbeit an diesem Projekt abgeschlossen. Die Integration in den gesamten SW-Stack, der den Betrieb des Roboters steuert, war erfolgreich.
Nun präsentieren unsere Kunden den Roboter bei Vorführungen für Investoren und eine kürzlich stattgefundene Präsentation hat dem Unternehmen eine weitere Finanzierungsrunde gesichert.
Der Kunde produziert bereits die ersten funktionierenden Einheiten dessen, was letztendlich „The 10“ heißen wird und hat angekündigt, dass er sich gemeinsam mit ausgewählten Partnern in den Vereinigten Staaten aktiv auf die Markteinführung vorbereitet.
Sie haben ein Projekt im Sinn? Sprechen wir darüber.
Kontaktieren Sie uns!
Senden Sie uns eine E-Mail: [email protected]
