#fluentdcasual #3 に参加してきた
昨日2013/12/13、DeNAさんにて開かれたFluentd Casual Talks #3に参加してきました。今回発表してないんですが、自分のスライドが3枚くらい画面に映ったのでだいたい満足しています。以下気になった発表の感想とかメモとか。
fluent-plugin-norikra
ずっと追っていると特に新しいことはなかったけど、EPLってやっぱ結構複雑だよなーと思った。ぱっとみSQLだけど、結構SQLじゃない。あと、Fluentdのニーズってログ転送と可視化のところが大きくて、その基盤がある程度できないと、ストリームでのデータ加工の重要性とかは見えてこないのかなーと思った。
ちなみに、NorikraとFluentdの連携方法とか使い方についてはQiitaにすごく丁寧な記事を書いたので参照にするとよいです。
FluentdでShadowサーバ用意したら捗った話(と性能検証の話)
buffer_chunk_limit周りのチューニングの話。ここらへんはFluentdで大量のログ流しはじめるとよく起こる話な気がするけど、ちゃんと検証したことなかった。自分がよく使っているのは次の様な設定。
flush_interval 1s buffer_chunk_limit 2m buffer_queue_limit 256
flush_interval
は1sに固定。buffer_chunk_limit
は1秒で入力されるログが入るサイズで、最小にしている。buffer_queue_limit
は最大メモリ使用量と相談しながら、何秒ログをバッファリングできるかを考えて決める。flush_interval 0s
は試したことなかったので今度やってみよう。
Alternative Fluentd implementation in Go
FluentdのGo実装について。Fluentdプロトコル喋るGo実装ずっとつくりたいと思ってたのであとで参考にする。
Treasure Agent Monitoring Service
Treasure Dataが提供するモニタリングサービスについて。Fluentdの監視はバッチとかで行っているのだけど、各Fluentdにプラグインを入れておいて、そいつが監視サーバに情報を送るというアイデアは良いなーと思った。
Fluentd v11について
Fluentd v11について。マルチプロセスの標準対応とか、ラベルルーティングとか、タグ数珠つなぎしなくてよくなった点とかとても良い。ラベルルーティングとかどの程度使いこなせるのかなー、とか思いつつ期待している。