研究開発グループの前坂です。前回の記事でmemcachedは分散に長けた高速なキャッシュサーバであることが紹介されました。今回はmemcachedの内部構造がどう実装されているのか,そしてメモリがどう管理されているのかをご紹介します。memcachedの内部構造の事情による弱点も紹介します。Allocatorというメカニズムを使ってメモリの確保・管理を行っています。このメカニズムが登場する以前のメモリ確保の戦略は,単純にすべてのレコードに対してmallocとfreeを行うといったものでした。しながら,このアプローチではメモリにフラグメンテーション(断片化)を発生させてしまい,OSのメモリマネージャに負荷をかけ,最悪の場合だとmemcachedのプロセスよりも重くなってしまうという問題が発覚しました。Allocatorです。Allocatorの仕組みを見てみましょう。Allocatorの基本は確保したメモリをあらかじめ決められたクラスサイズに応じた固定長の固まりに分けて,フラグメンテーション問題を完全に克服するということです。Allocationの仕組みは簡素で,確保したメモリをさまざまなサイズの固まり(chunk)に分けて,同じサイズの固まりをクラス(chunkの集合,またはchunkのサイズを定めるクラス)に整理します(図1⁠)⁠。allocatorには「確保したメモリは再利用する」という目標もあります。したがって,memcachedは一度確保したメモリは解放せず,常にchunkを再利用します。Allocatorの主な用語Pageデフォルトで1MB確保され,Slabに割り当てられるメモリ領域。Slabに割り当てられた後に,slabのサイズに応じたchunkに切り分けられる。Chunkレコードをキャッシュするためのメモリ領域。Class特定のサイズのchunkをまとめるクラス。Slabにレコードをキャッシュする仕組みクライアントから送信されたデータを,memcachedはどのようにslabを選び,chunkにキャッシュするかを説明します。memcachedは受けとったデータのサイズを参照し,データサイズにもっとも適したslabを選びます(図2⁠)⁠。memcachedはslab内の使用可能なchunkのフリーリストを保持しているので,このリストを基にchunkを選び,そこにキャッシュします。Allocatorですが,利点ばかりではなく弱点も存在します。次はその弱点を説明します。研究開発グループにて,オープンソース技術の開発・検証を担当しています。memcachedの開発コミュニティのメンバーでもあり,現在は1.3シリーズの開発に携わっています。2019」を開催しました。DAY1・DAY2の様子を注目セッションとともにお伝えします。LINEのエンジニア3名がイベントに先駆けて見どころを紹介します。業務を改善する情報共有の仕掛け~DevOpsの実現,RPAの導入に向けて~ソフトウェア開発の業務改善をテーマに,DevOps実現の手順やそれを助けるツールとの連携,RPAによる社内ドキュメントの管理や効率化について解説します。若者世代から圧倒的な人気を誇るライブ配信&動画投稿コミュニティアプリ「MixChannel」(ミクチャ)の裏側(レコメンドシステムやサーバサイド開発など)について解説していきます。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。