Shareゲノムシーケンスのコストは急速に低下し、公的に利用可能なゲノムデータ量はここ数年間で上昇しています。新しいコホートおよび研究では、100,000を超える個人で構成される膨大なデータセットが生成されています。同時に、これらのデータセットは、各コホート向けの様々なデータの膨大な量を生成する人口の中で遺伝的変異を抽出するよう処理されています。ようなツールはラージデータセットのバッチ処理向けの使いやすいプラットフォームを提供してきました。現在のバイオインフォマティクスパイプラインへの十分な代替としてこのようなツールを使用するには、ゲノムデータ処理向けのアクセス可能かつ包括的なAPIが必要になります。これらの処理されたデータセットの相互探査向けのサポートも必要です。Sparkにおけるラージゲノムデータセットを処理、フィルタリング、視覚化するための統合環境を提供します。SQL、SQLインターフェイスを使用して、未加工のゲノムおよび各種データをプログラム的にロード、処理、選択することができます。Mangoは、Jupyterノートパソコン環境において、未加工および収集されたゲノムデータの視覚化をサポートしています。複数の解像度のラージデータセットから結果を出すことができます。ADAMおよびMangoの組み合わせにより、統合環境におけるデータセットをロード、参照、拡張することができます。単一ノードのバイオインフォマティクスツールを使用して以前には不可能であったゲノムデータを相互に調べることができます。EMRにおけるADAMおよびMangoを設定および実行する方法を説明しています。Genomesデータセットを調べるために、対話型のノートブック環境内でこれらのツールを使用する方法を実証します。最初に、EMRクラスターを起動し、構成します。EMRで簡単に実行します。クラスターの起動により、EMRでは以下のブートストラップアクションを使用して、Dockerおよび必要な起動スクリプトをインストールします。EMRのDockerでMangoを実行する必要がある環境変形の全てをセットアップします。ターミナルで、Mangoノートブックセッション向けのポートおよびJupyterノートブックトークンを確認します。URL上のこのポートへ進みます。Projectからデータをロード作業環境が整うと、ADAMおよびMangoを使用して、トリオ(母、父、子からのデータ)のゲノムシーケンスデータから子の中に興味深い変形を発見します。公開データセットから利用可能です。NA19661、およびNA19660)を表示し、親内に存在しないが子内に存在する変形を検索します。デノボ変形として知られている、親内ではなく子内に存在する遺伝子変数を特定したいと考えています。興味深いリージョンがあります。複数の混乱が継続する可能性があるデノボ変形のサイトを示すことができます。内にこれらの例が含まれているJupyterノートブックがあります。Mangoモジュール、必要なSparkモジュールをインポートします。sf次に、Sparkセッションを作成します。変形でSQLクエリを実行するためにこのセッションを使用します。genotypes.toDF()データフレーム内のカラムをプリントすることでスキーマで見ることができます。Projectからの全てのサンプルが含まれています。トリオ内にあるサンプルのみを考慮した下のタイプをフィルターし、メモリ内に結果をキャッシュします。genotypes_df.filter(genotypes_df["sampleId"].isin(IDs))trio_df.cache()trio_df.count()次に、各変形のゲノムロケーションを決定するデータフレームに新しいカラムを追加します。変形の開始や終了位置により定義されます。sf.col('end')))現在、デノボ変形を発見するためにデータセットを参照できます。データフレームを登録しなければなりません。SQLtrios_with_referenceRegion.createOrReplaceTempView("trios")データフレームが登録されると、SQLクエリを実行できます。対立遺伝子があるサンプルNA19685に所属する変形の名前を選択します。alternate_variant_sites.collect())次のクエリでは、親が参照対立遺伝子があるサイトをフィルターします。次に、子から事前に生成されたセットによりこれらの変形をフィルターします。sublist]denovo_snps[:10]興味深い変形がいくつかあります。メモリからゲノタイプが存続しないようにできます。多くの潜在的なデノボ変数サイトを見つけました。次に、未加工のアラインメントがデノボヒットに一致することを確認するために、このようなサイトで視覚的に検証できます。使用することに注意してください。NIOを使用するためです。203実装を使用しています。レポジトリ内の実装を表示できます。トリオ内に3つの個人向けのデータアラインメントデータがあります。データはメモリへロードされていません。95634679アラインメントデータの品質コントロールゲノムアラインメントデータの品質を視覚的に再確認するための1つの一般的な分析は、範囲分布を表示することです。範囲分布では、サンプルにある読み込み範囲のアイディアを提供します。次に、染色体17で子アラインメント向けのサンプル範囲分布を作成します。内の進捗を確認できます。アプリケーションの現在の実行をクリックします。labels="NA19685")これは、表示しているデータexomeデータであるため、非常にスタンダードに見えます。そのため、低範囲の多数サイトおよび100リード以上の少数のゲノムポジションを見ることができます。範囲で実行すると、次の分析向けのメモリ内のスペースをクリアするためにこれらのデータセットを存続しないようにできます。childCoverage.unpersist()発端者内のミスセンス変形でサイトを表示アラインメントデータを検証し、変形をフィルターした後に、YBX2、ZNF286B、KSR1、GNA13などを含む、発端者内に潜在的なミスセンス変形がある4つの遺伝子があります。子および親の未加工読み取りのフィルターおよび表示によりこれらのサイトを視覚的に確認できます。最初に、子の読み取りを表示します。end)この位置に変形があり、代替対立遺伝子Aがあるヘテロ接合SNPの可能性があります。end)これにより、この変形が、発端者のみでなく親でもあるというフィルターが確認されます。EMRのADAMおよびMangoを設定および実行する方法を実証しました。Genomesデータセットを探索するために、対話型のノートブック環境内でこれらのツールを使用する方法を実証しました。Genomesデータ品質の検証、ゲノム内の興味深い変形の検証、未加工データの視覚化を通した結果の検証にこれらのツールを使用しました。Mangoに関する詳細は、Mangoユーザーガイドをご覧ください。ご質問またはご提案については、以下でコメントを残してください。(パート4-1)をご覧ください。彼女の研究は、主にシステムの交差およびコンピュータを利用した生命工学です。これには、オミクスデータの処理およびコンピュータ計算するための拡張可能なシステムの構築および簡単な並行処理アルゴリズムが含まれています。機会均等法を順守しています。平等に採用しています。