BLOG::はるかさん

はるかさん のブログです。近況情報や技術的な話題など。

可視化ツール現状確認会に参加してきました。 #可視化

昨日2014年6月4日に開かれた可視化ツール現状確認会に参加してきました。会場のVOYAGE GROUPさんカジュアルウォーターの提供ありがとうございました。

20140605095555

上の画像はジョークですよ、もちろん。Keynoteはすばらしい3Dグラフの数々を描画できることをはじめて知りました。

さて、いつもだったら発表スライドを貼るんだけど、あまりに短い時間でつくったので、スライドを貼らずに要点だけかいつまんで説明しようと思います。だいぶエモいかんじになったんですが、言いたかったことはこの1枚のスライドです。なお分類は適当なので適宜修正してください。たぶんETLとかBIとかに強い人だと、スライド上方のレイヤーをきちんと分類できる気がします。

20140605012005

何が言いたかったかと言うと、僕らが本当に知りたいことには距離があって、それを知るには"可視化ツール"という単一のツールを考えるのではなくて、保存するログの内容から形式、転送方法、集計方法、グラフ描画まで様々なレイヤーのことを考えないといけないよね、ということです。要は考えることはたくさんあって、そのなかから最適解を選ばないといけないというのが、可視化ツールの現状じゃないかと思っています。様々なツールが出そろってきて、そろそろサーバにログインしてログをtail | grepする時代じゃないよね、というのは良い方向だと思います。

可視化というと、僕らに近いレイヤー、それこそKibana/Esのようなフルスタックの分析ツールであったり、RRDTool、D3.jsといった技術に目が行きがちですが、本当にほしかったものは単にログが転送されて、それが目に付くところにある、という事実です。分析やグラフ描画はExcelでやってるのが実際だったりするのです。

さて、自分はインフラチームのエンジニアで、サーバモニタリングを行うことはあっても、ビジネスロジックに近い分析を行うことはあまりありません。では、モニタリングだけのためにデータを集めているかというとそんなことはなく、ビジネスロジックにも十分に使用できる基盤の構築を目指しています。となると一番意識しないといけないのは、自分が使いやすいツールを用意するとかではなく、本当にデータが欲しい人の手元に、欲しい形式でデータがあるということになります。Kibana/Esの構成はある程度のログ量までであれば、ログを全文検索し、簡単な集計グラフを描くこともできておすすめですが、すべてのケースに当てはまるわけではありません。

ということで、現在は単にグラフにできて便利だね、ではなく、必要としている人のところに如何にデータを届けるかを考えて設計するようにしています。このような観点からインフラを見ているエンジニアの方がいらっしゃれば知見をお伺いしたいところです。

確認した現状

どこまで書いて良いのかわからないので、適当なメモ。発表に関しては下記ページがよくまとまっています。

Kibanaかっこいい

弊社ではLightが主流なので、Kibanaに対して"黒い"というイメージをあまり持っていなかった。黒いのそんなにみやすいと思わないけど、社内でも一定の支持を得ているので、黒ベースでも良いのかもしれない。

RRDtoolすごい

RRDtoolすごそうなのうすうす気づいていたけど、本当にすごかった。こういうのが気軽にHTTP APIで実現できるとうれしい。某社は実現している模様だった。GrowthForecastもより多彩なグラフを描けるAPIになるとうれしい。

Pentaho CE 便利そう

Pentaho試そうと思っていたけど、勝手に無償版だと機能少ないようなイメージを持っていたけど、そんなことなく、普通に便利そうだった。ちゃんと試したい。

現状としては、どの分野においても高度化が進んでいて、もはや人間がどうこうできるレベルじゃない感じでした。もうプログラミング言語がどうだとか、PerlとかPythonだからいやだとか言ってる場合じゃないです。無理だったら外に投げるしかありません。

眠いのでこのあたりで終わりにします。