prototypplanung_bjoern_und_bengt
Table of Contents
ToDos (erledigt und nicht mehr aktuell)
- mongoReplisetConfig ändern (Funktion statt db)
- user und settings in dev picalike.1 portieren
- pvt_dev keine mongodb-connection mehr
Ablauf
Update
<HTML><ol></HTML>
- Eintrag in feed_update col. generieren (per cron oder manuellem update-request wie otto) wenn aktuell kein update für diesen Kunden läuft<HTML></ol></HTML>
csv-Import
<HTML><ol></HTML>
- csv-Import-Script per cron aufrufen
- In feed_updates col. Ältesten Eintrag mit toRun==true suchen und mit toRun=false übernehmen und startZeit setzen
- Download feed von url
- Import / sync der csv-Datei
- Bau der toDo-Pakete
- Eintrag der Pakete in enrichment_updates
- Eintrag in db_updates (Anzahl der Pakete gesamt, procId, Anzahl der Bilde in Col. gesammt, Anzahl der neuen Bilder)
- Feld busy bleibt true und wird erst nach erfolgtem db-update false gesetzt<HTML></ol></HTML>
enrichment
Nur auf mongoMaster, evtl. noch mit mutex gegen Nebenläufigkeiten absichern
<HTML><ol></HTML>
- Arbeitspaket holen (toRun==true) und toRun=false setzen, startZeit setzen
- Arbeitspaket für (pvt-dev) erzeugen
- Ausgabe von (pvt-dev) auf Fehler prüfen und gegebenenfalls geeignet reagieren
- (pvt-dev) starten
- Update der mongo mit Antwort von pvt-dev
- busy=false und finishZeit
- decrement auf db_updates<HTML></ol></HTML>
db-update
<HTML><ol></HTML>
- Starten durch cronjob
- Suche in db_updates wo toRun==true und decr==0
- toRun=false und startZeit
- Update der LillyDB
- finishZeit (auch in feed_updates)
- busy in feed_updates auf false
- Zusammenfassung für Statistik in update_statistic ablegen<HTML></ol></HTML>
Beschreibung der Collections
feed_updates
- timeStamp
- procId (time + rand)
- uid
- feedUrl
- startTime
- finishTime
- toRun
- busy
- Anzahl Einträge in der ic vor import
- Anzahl delets
- Anzahl neu
enrichment_updates
- timeStamp
- procId
- startTime
- finishTime
- toRun
- busy
- imageCol
- Liste mit imgIds (toDos)
db_updates
- timeStamp
- procId
- startTime
- finishTime
- toRun
- busy
- Anzahl der ArbeitsPakete (guter Name dafür)
- decrement (Zu begin = Anzahl d. A.P.s
prototypplanung_bjoern_und_bengt.txt · Last modified: 2024/04/11 14:23 by 127.0.0.1