Hölle schnell (Zeitansatz ca. 70k Bilder inkl. Download in < 1h (ca. 20 Img/sec), bei Ausnutzen der aktuell möglichen Parallelisierung) (1M Img/h bei bestehendem System (24 cores) sind das ca. 80ms/Img)
Alle Featureberechnungen via hauseigener Bibliothek
Test-Sets / Benchmarks / Unit-Tests
Monitoring und Status-Script zur Systemüberwachung
Update via zentraler Query (kein Blockieren der datafeed.php mehr)
Cachen der Enrichment-Berechnungen für schnellere Updates (LUT)
Intern kein jpg mehr wg. Kompressionsartefakten
Geschlechtererkennung
Stufenmodel (form dann farbe bzw. textur)
Thema von DamenOberBekleidung/Krinstina/Otto: Trends (metallic, Tiermuster)
Datenfeed des Kunden wird geladen, geprüft und in die mongoDB importiert (Update nur möglich wenn kein anderes Update für diesen Kunden noch läuft; Kollisions-Vermeidung)
Nicht länger vorhandene Einträge werden gelöscht
Neue Bilder werden zu Aufgabenpaketen mit max. 1000 ImgIds gebündelt und in die ToEnrich-Query mit Status “tbd” eingefügt
Auf den Indexern laufen Prozesse, welche die Arbeitspakete aus der Query nehmen und abarbeiten (Download der Bilder, Berechnung)
Wenn zu einem Kunden das letzte Arbeitspaket bearbeitet wurde wird die monetdb mit Update versorgt und ein BackUp der mongodb-collection des Kunden erstellt
Wichtig bei Bilderdownload:
Download (wget) und anschließend Konvertieren (convert) in korrekte Größe und verlustlos komprimiertes Format
Laden des Bildes “as it is” in das enrichment dort bei Bedarf nur Filterstufen anwenden (Kompressionsverluste minimieren)