元データ分析の会社で働いていた人の四方山話スマートフォン用の表示で見る元データ分析の会社で働いていた人の四方山話この広告は、90日以上更新していないブログに表示しています。2014-12-29Sparkへの貢献コトハジメ2015年はSparkだ、と勝手に思っています。社内で自分の関わるサービスの裏側で利用する箇所をどんどん増やしていくのももちろんですが、これまでまともにOSSに貢献していなかったので、これを気にOSSへの貢献にもチャレンジしてみようかと思ったりしたので、色々調べてみた備忘録です。読んで適当に要約してみます。Issuesバグとか質問する時はJIRAでissueをopenするかMLにて。Requestで受け付けている。JIRAでissueをopenにした上でgithubのsparkリポジトリでのPRでレビューを行う。大きな変更を提案しようとしているなら、設計のドキュメントをJIRAに添付して、dev用のMLで議論をしてgithubのPRでpatchを提出。forkのチュートリアルとPRのチュートリアルSparkのコード規約を守って(ScalaとPythonのチェッカーが付属しているのでかける)自動テストに通って追加のコード用のテストを加え、ScalaTestでテストを行ってもし必要ならドキュメントを更新するという感じでしょうか。PatchesSparkの正しさ(バグフィックスとか?)に関するパッチであり、小さく、多くのユーザーにとって有益であるものは即座にレビューされ、マージされる。ないもの(以下のもの)は時間がかかったり、場合によっては拒絶される。変更が多いコードや正しさの確認が難しいものSparkそのものよりもサードパーティに手を入れているようなケース複雑過ぎるもの明示的にせよ、暗黙的にせよユーザーに依存するような振る舞いをするもの(退化と表現されている)新しいAPIを追加しようとするもの依存関係を追加するもの小さなパッチはほぼリジェクトされない。MLLibMLLibの重要なゴールはアルゴリズムをたくさん揃えていることである一方で、プロジェクトのメンテナンス性や一貫性、品質が第一の要求のため、実装されるアルゴリズムはよく知られている利用され、受け入れられている高いスケーラビリティがあるよくドキュメント化されている他のアルゴリズムとAPIの一貫性を保たせる開発者のサポートが得られるであるべき。Testing全てのパッチには自動テストが行われる。SetupIntelliJSBTやMavenコマンドをよく使うので一番よく使わえれているIDEはIntelliJなので早速コミュニティエディションをゲットする。EclipseEclipseも使われているよ〜という話だけどもういいや。調べたり勉強したりしないといけないものが色々増えました。World参...2015-02-05Sparkの2015年の展望こんな動画がありました。Entriesはてなブログをはじめよう!rindai87さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。