diaryこの広告は、90日以上更新していないブログに表示しています。まとまっているのでこれをみるのが良いです。https://togetter.com/li/1375730ここでは上記に書かれてないことを思い出してメモっときます。APIprestoには大きく以下3つのAPIがあります。これが変わることはそんなに無いと思いますが、個人的経験では/v1/executeが消えてshibを直したことがあります。CLIコマンドから使われることを想定しているので、それ以外の用途で使うことは推奨されていないと思います。いえ、うちの環境では普通に使われてますし、TDでも使われてると言ってたような。2だけでなく1を使う理由はクエリの進捗状況を取得したり、クエリをキャンセルしたり、構文エラーの時に行番号をハイライトしたりするためです。進捗状況やキャンセルに関しては3のjdbcでもできると思うんですが、エラー行ハイライトは出来ないと思います。本来はjdbc使うのが正しいし壊れにくいと思いますが、そうはいってもエラー情報をクライアントに提供するなどのきめ細やかなことをやろうとするとjdbcでは不十分なのかなと。Zeppelinのような高機能でjdbcさえあればあらゆるdbにつなげることを想定するなら上記1,2のようなプロダクト特有の機能を使うのは望ましくないです。それはそれで、きめ細かな機能を提供出来ないので使い勝手が悪くなりがちです。pros/consありますね。Java並行処理プログラミングが良い書籍として紹介されていました。YourKitだと言ってました。JMCが出てこなかったのはまだJava8がメインだからかなあ。BatchFacebookではprestoでバッチ書いてたみたいで、impersonationどうしてたの?って聞いたら使ってなかったとのこと。安定性に関してはpresto専用クラスタでリソースをフルに使える環境だったからそんなに問題出なかったらしい。試してみると良いのではと言われました。writeして切り替えました。うちの環境だとfluentd→kafka→kafka-fluentd-consumer→fluentd→Elasticsearchという経路でElasticsearchに書き込んでいます。行くかと思いきや結構難航しました。今回問題に遭遇したのはElasticsearchではなくそこに入れるfluentdのところでした。6にデータを入れていました。templateで_default_をなくす必要があります。入ってないので下記のWARNが大量にでます。影響でCPU使用率が高くなります。これで解決と思いきやElasticsearchを再起動するとfluentd側でdeadlockが起きてログ送信に失敗し続けます。rubyの問題なのか判断がつかなかったので両方にissue登録しました。7.1.0にあげたらこの問題が起きなくなったのでこのissueはcloseしました。最終的なGemfileのbefore/afterは下記です。Management(ILM)を使うようにしました。templateを指定します。templateをいじるときはcerebro使ってます。search.max_bucket増やして一瞬解決したと思ったけど、結局Kibanaのbugらしい。1000と増やしてもやっぱり下記のようなエラーがたまに出る。増やす必要があるのかなあ。Kibanaを6.7.1から7.1.1にupgradeしたTweet広告を非表示にするもっと読むコメントを書く2019-06-09南魚沼グルメマラソン6年連続6回目の参加です。結果はネットタイムで1時間54分41秒でした。去年とは違って8:26に浦佐駅につく一本遅い新幹線で来たけど9:00のスタートに普通に間に合ったので来年参加する場合もこれでいこうかな。今年は荷物預かりの場所が変わって、グルメ村から少し遠くなって、預け入れ・受け取りに時間がかかるようになってた。それ以外はいつも通りの素晴らしい大会でした。いつものようにゴール後はごはんとつまみとビール。この後、鮎の塩焼きと汁物とビール2杯目もいっちゃった。鶏肉を焼いてるのがすげーうまそうだったけど、並んでたので断念。16:24南魚沼グルメマラソンTweet広告を非表示にするもっと読むコメントを書く2019-05-27黒部名水マラソンで走ってきた去年申し込んだけど諸事情で参加できなかった大会に行ってきました。感想は、ともかく暑かった。常時30度超えのなかネットタイムで4:31:59はまあよく走った方でしょう。2kmごとに給水があるのでそれで完走できました。36kmのエイドではアイスがあってしかもベンチもあったのでちょっと座ってゆっくり食していました。ついでにトイレも行ってスッキリして残り頑張れました。10:23黒部名水マラソンで走ってきたTweet広告を非表示にするもっと読むコメントを書く2019-04-15掛川・新茶マラソンで走ってきた去年に続いて5回目の参加です。https://wyukawa.hatenablog.com/entry/20180415/1523793968結果はネットタイムが4時間7分58秒でした。前半はよかったけど30km以降失速。おにぎり、戦国汁、バナナ、メロン、いちご、オレンジいただきました。今年は更衣室と荷物預かりの場所がスタート、ゴール地点の近くになってて良かった。この大会は坂がきついもののエイドも充実してるし、関東近辺なら日帰りで行けるし、人数がそこまで多くないせいかスタート前のトイレもそんなに混んでなくて、良い大会だと思うんだけど、runnetの評価があんまり高くないのはなんでだろう。20:51掛川・新茶マラソンで走ってきたTweet広告を非表示にするもっと読むコメントを書く2019-03-11鳥取マラソン鳥取マラソンで走ってきた。www.nnn.co.jp記録はネットタイムでギリギリサブ4の3:59:31シーズンに1回はサブ4出したいと思っててなんとか達成できた。代償としてエイドのうどん食いそびれたw大会としては良い大会なんだけど、もうちょっと給水を増やしていただけるとありがたい。鳥取砂丘のそばからスタートして県庁、とりぎんバードスタジアムを通り陸上競技場がゴール。地味にアップダウンがあり雨も降っててちょっと大変だったけど、最後までペースは保ててゴールできた。serverが不安定でOutOfMemoryになったりしてたんでJVMオプションをいじってた。spark2-envのspark_daemon_memoryを増やせばOKです。ちなみにデフォルトは1GBです。それ以外はSPARK_DAEMON_JAVA_OPTSを設定します。serverでも有効になります。-XX:+PrintGCDateStamps"で、GCログを見ると以下のようになってる。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。