ファイルI/O操作およびレプリカの管理ファイルの読み書きファイルシステムはファイルのデータを格納できてナンボのものだ。http://x68000.q-e-d.net/~68user/unix/pickup?limitハードリミット(1時間)を超えてからクライアントがファイルのクローズやリースの更新に失敗すると、HDFSはそのクライアントが終了したものとみなすクライアント側でバッファリング→バッファがいっぱいになるとデータをパイプラインへ送る受領通知を受け取る前にパイプラインにデータを送ることが出来る他のクライアントからのファイルの読み込みは可能である。何千ものノードからなるクラスタでは、どれかひとつのノードに障害が発生する(たいていはストレージ障害)なんてことは日常茶飯事HDFSでは、HDFSファイルの各データブロックのチェックサムを計算して保存http://ja.wikipedia.org/wiki/%E3%83%81%E3%82%A7%E3%83%83%E3%82%AF%E3%82%B5%E3%83%A0HDFSのI/Oの設計はMapReduceのようなバッチ処理システムに最適化されており、シーケンシャルリード/ライトについては高いスループットを要求ブロックの配置よくある方法は、複数のラックにまたがってノードを展開する方法である多くの場合、同一ラック内のノード間のほうが異なるラックの場合よりもネットワーク帯域が広いデフォルトのHDFSブロック配置ポリシーは、書き込みのコストを最小化することとデータの信頼性や可用性の最大化や読み込み帯域の集約とのトレードオフすべてのターゲットノードが選べたら、ノード群をパイプライン化する。その順番は、最初のレプリカに近い順となる。データはこの順でノードに送られていくこのポリシーに従えば、ラック間やノード間の書き込みトラフィックを軽減でき、一般に書き込みのパフォーマンスが向上する。-ビッグデータのデータ処理入門-レプリケーションの管理NameNodeは、各ブロックが常に十分な数のレプリカを確保できているように努めるあるブロックのレプリカが少なすぎたり多すぎたりしないかどうかを、NameNodeはDataNodeからのブロックレポートで判断するあるブロックのレプリカが多すぎる場合、NameNodeはどのレプリカを削除するかを選択する可用性と使用量のバランス新たなレプリカの作成コストを削減しつつ、ルールに基づいてレプリカを作成していく。RiakとErlang/OTP前置きRiakはオープンソースのデータベースで、Erlangがサポートされている。http://ja.wikipedia.org/wiki/RiakRiakは分散型の耐障害性を備えたオープンソースのデータベースで、Erlang/OTPを使って大規模システムを作るよい例にもなっている。[X|Xs]という表記はヘッドがXでテールがXsの空でないリストにマッチする。小文字で始まる識別子はアトム(それ自身を表わすもの)を示す。プロセスの骨格いろんな役割のプロセスを作ることが出来て、それはライブラリでごにょごにょ出来る。プロセスは生成する必要があり、必要ならばその別名を登録しておくこともできる。新しく生成されたプロセスの最初の動作は、プロセスのループ・データの初期化だ。実際の処理を行なうワーカ・プロセスサーバイベント・ハンドラ有限状態マシンがある。同期または非同期の呼び出しによるクライアント・メッセージの送受信。日)web系エンジニアの速記的備忘録。メモ書き故、中身については保証致しません。実在している団体等とは一切関係ありません。月別アーカイブブックマーク数はてなブログをはじめよう!shigemk2さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。