fluentdtl;drタイトルのまま前置きfluentdクラスタのあるノードにだけ、そのノードに送信しているout_forwardがdetachされ続けるという症状が出ました。調査したところ、外部への通知用に追加したhipchatプラグインを追加したところで症状が発生するようです。メソッドでのスタックトレースはこんな風になります。メソッドでのスタックトレースはこんな感じ。(複数のメソッド呼び出しを経て)直接呼び出されています。ブロックする処理が入ると、その間in_forwardのイベントループがブロックされることになります。packetへの返信にも用いられているため、イベントループがブロックされることでheartbeatを返せなくなり、detachされるというわけです。行っている処理の時間を測ったところ、平均で0.7sec、たまに3secを超えてタイムアウトする、という状況でした。これ位の値だとOutputではダメで、BufferedOutputにすべきなのでしょう。解決方法BuffereOutputに変える。Outputプラグインのまま回避するなら、ブロックしない処理に変えるか、out_forwardのheartbeatまわりのパラメータを調整すれば何とかなるかもしれません。通知系のプラグインでは通知の即時性を担保するためかOutputプラグインを用いているケースが多いようですが、この問題にはまりやすいように思うので気をつけて下さい。使うと、Outputプラグインはそのままでも、前段にbufferを挟むことができます。痒いところに手が届く素晴らしいプラグインですね。