m

2013-05-14 10:53:27<smith3v> Леш, заводи шарманку
2013-05-14 10:53:59<AlekSi> ага, 2 минуты
2013-05-14 10:57:11<AlekSi> так, а приглашать тут только по e-mail'ам можно?
2013-05-14 10:57:22<smith3v> ссылку пришли просто
2013-05-14 10:57:47<AlekSi> https://plus.google.com/hangouts/_/b3185fc762d897612b768f8f274f05631c8945c5
2013-05-14 10:59:39<lpopov> чета виснет у меня ((
2013-05-14 10:59:51<smith3v> я подключился
2013-05-14 11:00:33<brozen_zwork> Пардон, а для тех кто в readonly + комменты хочет есть варианты?
2013-05-14 11:01:48<AlekSi> https://www.youtube.com/watch?v=t7JuJnT7fZU
2013-05-14 11:02:11<brozen_zwork> thx
2013-05-14 11:02:15<epta> Шикарно
2013-05-14 11:03:03<AlekSi> а почему в read-only? давайте с нами
2013-05-14 11:05:25<brozen_zwork> Забыл свой ноут дома. Поэтому фоном буду слушать на десктопе, как радио =)
2013-05-14 11:16:07<brozen_zwork> Scribe это один демон, написаный на c++. Не умеет тэйлить файлы из коробки и имеет в зависимостях thrift.
2013-05-14 11:16:45<brozen_zwork> плюсы скрайба - нормальная отказоустойчивость
2013-05-14 11:16:58<evtuhovich> я вас в ютюбе послушаю
2013-05-14 11:17:07<evtuhovich> дочь сторожу, должна с минуты на минуту проснуться
2013-05-14 11:18:58<brozen_zwork> Можно сюда вопросы задавать?
2013-05-14 11:19:42<evtuhovich> мне кажется, нужно
2013-05-14 11:20:00<evtuhovich> и ссылки, наверное, сюда надо кидать
2013-05-14 11:20:07<evtuhovich> на log check тот же
2013-05-14 11:20:10<brozen_zwork> Пробовали rsyslog. При тейлинге 5 файлов после 2-3 дней работы занимает 1.2g в памяти, это не нормально.
2013-05-14 11:20:40<brozen_zwork> И очень было интересно про rsyslog-отказоустойчивость.
2013-05-14 11:24:57<smith3v> http://www.rsyslog.com/doc/omrelp.html
2013-05-14 11:30:33<brozen_zwork> - Испольщую вот такую штуку для шипинга логов на центральный сервер http://fluentd.org/. Умеет все штуки scribe (отказоустойчивость и т.д.), только написана на ruby. Много плагинов и очень легко написать свои.
2013-05-14 11:30:33<brozen_zwork> - На сервере для парсинга логов используется logstash. Разбор на поля, отправка эксепшенов на почту, в заббикс. Сейчас прикрутил в качетстве теста к нему graphite.
2013-05-14 11:30:33<brozen_zwork> - Потом все в elasticsearch и kibana к в него.
2013-05-14 11:32:33<brozen_zwork> Сам logstash и graylog2 ничего не жрет. Проблемы встречаются в elasticsearch.
2013-05-14 11:33:58<smith3v> http://demo3.logstash.net/#/dashboard
2013-05-14 11:34:22<smith3v> Это демо-версия Кибаны
2013-05-14 11:34:48<brozen_zwork> Еще большой плюс logstash - огромное количество input/output плагинов.
2013-05-14 11:37:05<AlekSi> http://alexey-palazhchenko.tumblr.com/post/5070526903/graylog2-and-its-mongodb-usage
2013-05-14 11:39:12<brozen_zwork> Нужно еще было девелоперов научить серчить по kibana с использованием тэгов и т.д.
2013-05-14 11:40:36<brozen_zwork> типа @tags:access AND @source:www3 AND nginx_request:404
2013-05-14 11:43:28<brozen_zwork> А у меня в logstash grep-ы, они тегируют и взависимости от тэгов - рассылают на почту или в заббикс
2013-05-14 11:45:42<smith3v> https://github.com/getsentry/sentry
2013-05-14 11:47:03<smith3v> https://github.com/errbit/errbit
2013-05-14 11:47:30<brozen_zwork> ну это что-то вроде pinba для php, не?
2013-05-14 11:49:18<AlekSi> https://rollbar.com/
2013-05-14 11:52:28<brozen_zwork> У меня 2млн запросов в день. la ~0.1
2013-05-14 11:54:40<astlock_> http://www.youtube.com/watch?v=GNv1ho0GKOs  --- по логстешу небольшой доклад
2013-05-14 11:56:09<brozen_zwork> У меня есть книжка последняя The Logstash Book by James Turnbull, если нужно могу выложить где-нить
2013-05-14 11:57:09<astlock_> http://www.amazon.com/The-LogStash-Book-ebook/dp/B00B9JQTCO/ref=wl_it_dp_o_pC_nS_nC?ie=UTF8&colid=1GNK0WSUWM8BH&coliid=I1F4VBDBU92RPD   --- или можно купить
2013-05-14 11:57:31<brozen_zwork> Ну я собственно и купил =)
2013-05-14 11:58:13<brozen_zwork> http://www.logstashbook.com/ здесь проще купить, если нет реги на амазоне
2013-05-14 11:58:53<lpopov> всем спасибо )
2013-05-14 11:59:01<smith3v> Народу больше надо, чтобы пауз не было :) anyway dctv cgfcb,j
2013-05-14 11:59:10<smith3v> всем спасибо, всмысле
2013-05-14 12:00:34<AlekSi> +1
2013-05-14 12:01:12<AlekSi> я только не могу найти видео - ссылка работает, но в списке его нет
2013-05-14 12:01:28<smith3v> он позже появиться должен
2013-05-14 12:01:41<epta> Да, интересно было послушать, спасибо
2013-05-14 12:02:24<smith3v> Таки при logstash многие в курсе, но в продакшене используют не многие получается
2013-05-14 12:02:40<smith3v> Мне они интересен для online-обработки именно
2013-05-14 12:02:54<astlock_> логирование тема такая, что не часто трогали что-то, но в продакшне не часто юзают
2013-05-14 12:03:10<smith3v> хотя elastic search с Кибаной бы обень понравились суппорту
2013-05-14 12:03:37<smith3v> *очень
2013-05-14 12:04:38<smith3v> Видео кстати чуть позже появиться должно
2013-05-14 12:04:39<astlock_> я думаю завести логстеш и кибану для nginx, и дем 3-й версии очень порадовало
2013-05-14 12:06:22<smith3v> А, вот food fight show про elasticsearch - http://foodfightshow.org/2013/03/elasticsearch.html
2013-05-14 12:07:02<brozen_zwork> А в чем проблема использования logstash + kibana в production?
2013-05-14 12:07:59<brozen_zwork> Я использую, разработчики рады интерфейсу kibana против graylog2
2013-05-14 12:07:59<smith3v> elastic search очень прожорлив до ресурсов, это главная проблема
2013-05-14 12:11:34<brozen_zwork> процесс elasticsearch > 10135 elastics  20   0 4801m 3.4g  10m S    1 10.7  72:06.70 java
2013-05-14 12:11:34<brozen_zwork> uptime > 16:09:28 up 76 days,  4:30,  2 users,  load average: 0.12, 0.11, 0.09
2013-05-14 12:11:36<brozen_zwork> 2млн в день
2013-05-14 12:11:56<smith3v> клево
2013-05-14 12:12:02<smith3v> А что за железо?
2013-05-14 12:12:12<brozen_zwork> 4g это потому что я ему специально хип побоьлше дал
2013-05-14 12:12:37<brozen_zwork> на 2g хипе недавно было
2013-05-14 12:12:37<brozen_zwork> [2013-05-12 12:34:17,836][WARN ][index.engine.robin       ] [fluentd] [logstash-2013.05.12][2] failed engine
2013-05-14 12:12:37<brozen_zwork> java.lang.OutOfMemoryError: Java heap space
2013-05-14 12:13:47<brozen_zwork> 2xIntel(R) Xeon(R) CPU           E5630  @ 2.53GHz
2013-05-14 12:13:47<brozen_zwork> Mem:         32236
2013-05-14 12:13:58<brozen_zwork> Ну это с запасом.
2013-05-14 12:48:16mode/#hangops_ru [+o nabam] by ChanServ
2013-05-14 12:49:41<evtuhovich> http://riemann.io/ - а вот эту штуку никто не пробовал?
2013-05-14 12:52:37<Jay7> в Echo пробуют, если я правильно понял по домену, что это :)
2013-05-14 12:53:17<Jay7> а, но там оно, скорее, как агрегатор статистики используется
2013-05-14 12:53:40<Jay7> правда, когда я там работал, оно не особо хотело работать под теми нагрузками
2013-05-14 13:03:47<nabam> блин тяжко без истории
2013-05-14 13:04:03<nabam> у меня ноут ребутнулся и все, никаких ссылок ((