MuninでConnections through firewallのグラフでESTABLISHがじゃんじゃん増えてた件

とあるサービス向けにサーバーを借りていて、サーバー監視もしないとね！ってことでMuninをちょろろっと入れて気づいたらグラフ見てみるなんてことをしているのですが、先週金曜にグラフを見たときにConnections through firewallのグラフがえらいことになっていることに気づきました。

ESTABLISHの値がどんどん増えていっているのです。それも毎日14時に5ずつ上がっている感じ。そんなにアクセスが多いサーバーではないので、なんだろうという感じです。

最初はnetstatで調査するもののよくわからず、root宛てに来ているメールを見てみたら、336件…。なにごと？！と思って開いてみると、logcheckで読もうとしてるログファイルが開けないという内容。どうやら全件同内容。logcheckは誰が叩いているんだと調べてcronが叩いてると判明。2分間隔。まぁこれはそういうモンですよね。

原因がきちんと判明しないままではあるけれども、とりあえずlogcheckのcron定義ファイルを移動して、動かないようにして土日様子見をしたら、Connections through firewallのグラフを見るにESTABLISHの数値は増えていない。どうやら、logcheck失敗でメール送りまくってるのが原因だったのか…？という感じ。

そのあとはConnections through firewallのグラフを作っているプラグインfw_conntrackのソースを読んで、どういうことしてるのかなーって調べてみて、conntrackコマンドの結果*1からグラフを起こしてるんだなーって知ったり、logcheckで開けないっていってるファイルの権限を変えたり、conntrackコマンドがないからCentALTリポジトリーからconntrack-toolsをインストールしたりしました。

これでまた様子見をしようかなと思います。

しかし、一度増えたESTABLISHがずっと減らないのは気持ち悪いなーと思ったりします。iptables再起動とかでリセットされるのかしら…。

*1:conntrackコマンドがないとき、CentOS6の場合は /proc/net/nf_conntrack をcatするみたい。ご参考: conntrackコマンド | ツチノコブログ