Table of Contents

ToDos (erledigt und nicht mehr aktuell)
- Ablauf
- Beschreibung der Collections

ToDos (erledigt und nicht mehr aktuell)

mongoReplisetConfig ändern (Funktion statt db)
user und settings in dev picalike.1 portieren
pvt_dev keine mongodb-connection mehr

Ablauf

Update

<HTML><ol></HTML>

Eintrag in feed_update col. generieren (per cron oder manuellem update-request wie otto) wenn aktuell kein update für diesen Kunden läuft<HTML></ol></HTML>

csv-Import

<HTML><ol></HTML>

csv-Import-Script per cron aufrufen
In feed_updates col. Ältesten Eintrag mit toRun==true suchen und mit toRun=false übernehmen und startZeit setzen
Download feed von url
Import / sync der csv-Datei
Bau der toDo-Pakete
Eintrag der Pakete in enrichment_updates
Eintrag in db_updates (Anzahl der Pakete gesamt, procId, Anzahl der Bilde in Col. gesammt, Anzahl der neuen Bilder)
Feld busy bleibt true und wird erst nach erfolgtem db-update false gesetzt<HTML></ol></HTML>

enrichment

Nur auf mongoMaster, evtl. noch mit mutex gegen Nebenläufigkeiten absichern

<HTML><ol></HTML>

Arbeitspaket holen (toRun==true) und toRun=false setzen, startZeit setzen
Arbeitspaket für (pvt-dev) erzeugen
Ausgabe von (pvt-dev) auf Fehler prüfen und gegebenenfalls geeignet reagieren
(pvt-dev) starten
Update der mongo mit Antwort von pvt-dev
busy=false und finishZeit
decrement auf db_updates<HTML></ol></HTML>

db-update

<HTML><ol></HTML>

Starten durch cronjob
Suche in db_updates wo toRun==true und decr==0
toRun=false und startZeit
Update der LillyDB
finishZeit (auch in feed_updates)
busy in feed_updates auf false
Zusammenfassung für Statistik in update_statistic ablegen<HTML></ol></HTML>

Beschreibung der Collections

feed_updates

timeStamp
procId (time + rand)
uid
feedUrl
startTime
finishTime
toRun
busy
Anzahl Einträge in der ic vor import
Anzahl delets
Anzahl neu

enrichment_updates

timeStamp
procId
startTime
finishTime
toRun
busy
imageCol
Liste mit imgIds (toDos)

db_updates

timeStamp
procId
startTime
finishTime
toRun
busy
Anzahl der ArbeitsPakete (guter Name dafür)
decrement (Zu begin = Anzahl d. A.P.s