BLOG::はるかさん

はるかさん のブログです。近況情報や技術的な話題など。

#fluentdcasual #3 に参加してきた

昨日2013/12/13、DeNAさんにて開かれたFluentd Casual Talks #3に参加してきました。今回発表してないんですが、自分のスライドが3枚くらい画面に映ったのでだいたい満足しています。以下気になった発表の感想とかメモとか。

fluent-plugin-norikra

ずっと追っていると特に新しいことはなかったけど、EPLってやっぱ結構複雑だよなーと思った。ぱっとみSQLだけど、結構SQLじゃない。あと、Fluentdのニーズってログ転送と可視化のところが大きくて、その基盤がある程度できないと、ストリームでのデータ加工の重要性とかは見えてこないのかなーと思った。

ちなみに、NorikraとFluentdの連携方法とか使い方についてはQiitaにすごく丁寧な記事を書いたので参照にするとよいです。

FluentdでShadowサーバ用意したら捗った話(と性能検証の話)

buffer_chunk_limit周りのチューニングの話。ここらへんはFluentdで大量のログ流しはじめるとよく起こる話な気がするけど、ちゃんと検証したことなかった。自分がよく使っているのは次の様な設定。

flush_interval 1s
buffer_chunk_limit 2m
buffer_queue_limit 256

flush_intervalは1sに固定。buffer_chunk_limitは1秒で入力されるログが入るサイズで、最小にしている。buffer_queue_limitは最大メモリ使用量と相談しながら、何秒ログをバッファリングできるかを考えて決める。flush_interval 0sは試したことなかったので今度やってみよう。

Alternative Fluentd implementation in Go

FluentdのGo実装について。Fluentdプロトコル喋るGo実装ずっとつくりたいと思ってたのであとで参考にする。

Treasure Agent Monitoring Service

Treasure Dataが提供するモニタリングサービスについて。Fluentdの監視はバッチとかで行っているのだけど、各Fluentdにプラグインを入れておいて、そいつが監視サーバに情報を送るというアイデアは良いなーと思った。

Fluentd v11について

Fluentd v11について。マルチプロセスの標準対応とか、ラベルルーティングとか、タグ数珠つなぎしなくてよくなった点とかとても良い。ラベルルーティングとかどの程度使いこなせるのかなー、とか思いつつ期待している。