Презентация и тезисы:
www.highload.ru/2016/abstracts/2383.html

Сначала несколько слов про предпосылки задачи.

1. Что нам завещали деды: zcat | cut | sort | uniq -c | sort -nr.
2. Сборка логов: syslog-ng, rsyslog etc.
3. Ок, давайте сделаем все правильно.
Полезные фичи Elastic