Wir integrieren maschinelles Lernen in unsere Prozesse, um den Verwaltungsaufwand für die Verwaltung von Zehntausenden von Kleidungsstücken zu verringern. Genauer gesagt nutzen wir maschinelles Lernen, um Produkte in vordefinierte Unterkategorien zu klassifizieren. Zu diesem Zweck haben wir ein multimodales Modell für die Klassifizierung kommerzieller Produkte entwickelt, das Merkmale kombiniert, die von mehreren vortrainierten Modellen (VGG19, Distilbert Base Multilingual Cased) extrahiert wurden und dabei einfache Fusionstechniken verwendet. Die Eingabe besteht aus Bildern/Texten/Geschlechtern und die Ausgabe wird durch eine Wahrscheinlichkeitsverteilung dargestellt. Gegenwärtig kann das multimodale Modell 74 Unterkategorien identifizieren. Der Trainingsprozess kann sowohl lokal als auch in AWS SageMaker durchgeführt werden.
Im weiteren Verlauf wird das Modell mit Hilfe von AWS bereitgestellt. Der Endbenutzer hat die Möglichkeit, csv-Dateien in Amazon S3 hochzuladen und die Ergebnisse von derselben Stelle herunterzuladen. Angesichts der Tatsache, dass der Inferenzprozess manchmal lange dauern kann, haben wir uns für AWS Fargate entschieden. AWS Fargate ist eine serverlose, kostenpflichtige Berechnungsmaschine. Darüber hinaus verwenden wir auch AWS Lambda und Amazon Elastic Container Registry (ECR).
In Zukunft wollen wir die Genauigkeit des multimodalen Modells verbessern, indem wir den aktuellen Datensatz erweitern und die richtigen Hyperparameter finden.