====== Aggregation statistischer Daten ======

Eine Aggregation-Engine sammelt Events und bereitet diese für den ''%%datapool%%''(Cache) auf um die Visualisierung von Systemzustand und Marketingpräsentationen zu ermöglichen.


===== Aggregation-Engine =====

<code>
git clone ssh://picalike@sg01.picalike.corpex-kunden.de/home/picalike/repositories/analytics/aggregation_engine.git
</code>
{{/dokuwiki/lib/images/smileys/icon_exclaim.gif|:!:}} tbd


===== Request-Engine =====

{{/dokuwiki/lib/images/smileys/icon_question.gif|:?:}} [[dashboard_api|Dashboard API]]


===== Collections und Indizes =====

Server: ''%%mongodb01.dev.picalike.corpex-kunden.de%%''\\
Datenbank: ''%%picalike4%%''\\
Symbolischer Name: ''%%datapool%%''


==== last_looks ====

Ist eine capped-Collection begrenzt auf ''%%max%%'' Einträge

<code>
db.createCollection("last_looks", { capped : true, size : 5242880, max : 20 } )
</code>
**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
look_id: String
</code>

==== last_products ====

Ist eine capped-Collection begrenzt auf ''%%max%%'' Einträge

<code>
db.createCollection("last_looks", { capped : true, size : 5242880, max : 20 } )
</code>
**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
product_id: String
</code>

==== req_look_fid_lid_min ====

Lookanfragen pro feed_id, look_id und Minute

**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
look_id: String
counter: Int
</code>
**Indizes:**

<code>
{
  "date" : 1,
  "feed_id" : 1,
  "look_id" : 1
}

expire after:
{
  "date" : 1
}
</code>

==== req_look_fid_{sec, min, hour} ====

Lookanfragen pro feed_id und {sec, min, hour}

**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
counter: Int
</code>
**Indizes:**

<code>
{
  "date" : 1,
  "feed_id" : 1
}

expire after:
{
  "date" : 1
}
</code>

==== req_sim_fid_cat_{min, hour} ====

Ähnlichkeitsanfragen pro feed_id, Kategorie und {min, hour}

**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
cat: String
counter: Int
</code>
**Indizes:**

<code>
{
  "date" : 1,
  "feed_id" : 1,
  "cat" : 1
}

expire after:
{
  "date" : 1
}
</code>

==== req_sim_fid_pid_{day} ====

Ähnlichkeitsanfragen pro feed_id, product_id und {day}

**Cronjobs:**

<code>
analytics/aggregation_engine/cronjobs/cleanup_req_sim_fid_pid.py
</code>
löscht alle Eintrage die älter als zwei Tag sind und weniger als ''%%CONFIG[“delete_smaller_than”]%%'' Anfragen bekommen haben.

**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
cat: String
counter: Int
</code>
**Indizes:**

<code>
{
  "date" : 1,
  "feed_id" : 1,
  "product_id" : 1
}

{
  "counter" : 1
}

expire after:
{
  "date" : 1
}
</code>

==== req_sim_fid_{sec, min, hour} ====

Ähnlichkeitsanfragen pro feed_id und {sec, min, hour}

**Felder:**

<code>
date: ISODate **UTC**
feed_id: String
counter: Int
</code>
**Indizes:**

<code>
{
  "date" : 1,
  "feed_id" : 1
}

expire after:
{
  "date" : 1
}
</code>