User Tools

Site Tools


wunschliste_v3

Wunschliste für die v3

Algorithmisches

Funktionen / Merkmale

  • Hölle schnell :-) (Zeitansatz ca. 70k Bilder inkl. Download in < 1h (ca. 20 Img/sec), bei Ausnutzen der aktuell möglichen Parallelisierung) (1M Img/h bei bestehendem System (24 cores) sind das ca. 80ms/Img)
  • Alle Featureberechnungen via hauseigener Bibliothek
  • Test-Sets / Benchmarks / Unit-Tests
  • Monitoring und Status-Script zur Systemüberwachung
  • Update via zentraler Query (kein Blockieren der datafeed.php mehr)
  • Cachen der Enrichment-Berechnungen für schnellere Updates (LUT)
  • Intern kein jpg mehr wg. Kompressionsartefakten
  • Geschlechtererkennung
  • Stufenmodel (form dann farbe bzw. textur)
  • Thema von DamenOberBekleidung/Krinstina/Otto: Trends (metallic, Tiermuster)

Ablaufidee / Planung

draft: draft_v3_landscape.pdf

?? Skizze

  • Datenfeed des Kunden wird geladen, geprüft und in die mongoDB importiert (Update nur möglich wenn kein anderes Update für diesen Kunden noch läuft; Kollisions-Vermeidung)
  • Nicht länger vorhandene Einträge werden gelöscht
  • Neue Bilder werden zu Aufgabenpaketen mit max. 1000 ImgIds gebündelt und in die ToEnrich-Query mit Status “tbd” eingefügt
  • Auf den Indexern laufen Prozesse, welche die Arbeitspakete aus der Query nehmen und abarbeiten (Download der Bilder, Berechnung)
  • Wenn zu einem Kunden das letzte Arbeitspaket bearbeitet wurde wird die monetdb mit Update versorgt und ein BackUp der mongodb-collection des Kunden erstellt

Wichtig bei Bilderdownload:

  • Download (wget) und anschließend Konvertieren (convert) in korrekte Größe und verlustlos komprimiertes Format
  • Laden des Bildes “as it is” in das enrichment dort bei Bedarf nur Filterstufen anwenden (Kompressionsverluste minimieren)
wunschliste_v3.txt · Last modified: 2024/04/11 14:23 by 127.0.0.1