Guide本書では、KAMONOHASHIを導入する際の設定や使用中のシステム設定変更をスムーズに行う為に各機能や手順を説明します。Directoryの基本的な知識を持つことを前提としています。事前準備KAMONOHASHIを利用するにあたり、事前に設定しておく内容は以下です。Directory(AD)を使用する場合、以下がADに設定されていることを確認します。ADのLDAP認証の許可テナントテナントはKAMONOHASHIの管理単位です。テナント毎に、ユーザの管理、クォータ(リソースの使用量制限)の設定が行えます。Registryおよびオブジェクトストレージが関連付けられ、それぞれ複数のテナント間で共有可能です。Registryは1テナントに複数登録することが可能です。Cloudテナントの作成テナントの作成は以下のフローで行います。Registry情報については、過去に登録したものを再度利用する場合、改めて登録しなおす必要はありません。ストレージ情報の新規登録テナントが利用するストレージの情報を登録します。ストレージの登録には、オブジェクトストレージへ以下の操作を行う権限を持ったユーザのアクセスキーおよびシークレットキーが必要です。追加したバケットに対するオブジェクトの追加・取得・削除ストレージ情報の新規登録は、以下のフローで実行できます。KAMONOHASHIに登録する名前。管理者が各登録情報を識別しやすいような、任意の名前を入力する。マウントする際の共有ルートディレクトリポイントGit情報の新規登録テナントが利用するGitリポジトリの情報を登録します。Git情報の新規登録は、以下のフローで実行できます。管理者が各登録情報を識別しやすいような、任意の名前を入力する。GitLabやGitHubなど、Gitサービスのプロバイダを選択する。リポジトリにgitコマンドでアクセスする際の基底URLを入力する。APIでアクセスする際の基底URLを入力する。リポジトリURLと同様のものが自動入力されるため、変更の必要がある場合はトグルボタンを選択し、編集する。GitHubについては、初期構築時に編集不可として自動登録されます。Registryの情報を登録します。Registryの条件は以下の通りです。APIインターフェースがあるKAMONOHASHIから信頼されたHTTPS通信が可能ProxyないしNoProxyが適切に設定されている信頼された証明書が設定されているRegistry情報の新規登録は、以下のフローで実行できます。API互換の場合で、入力項目が異なります。管理者が各登録情報を識別しやすいような名前を入力する。英数字およびハイフンのみが使用可能。DockerHubを選択する。イメージ名に使用されるレジストリのFQDNまたはIPアドレスを入力する。イメージ名に使用されるレジストリのポート番号を入力する。APIでアクセスする際の基底URLを入力する。https://ホスト名:ポート番号のように自動入力されるため、変更の必要がある場合はトグルボタンを選択し、編集する。レジストリにdockerコマンドでアクセスする際の基底URLを入力する。https://ホスト名:ポート番号のように自動入力されるため、変更の必要がある場合はトグルボタンを選択し、編集する。管理者が各登録情報を識別しやすいような名前を入力する。英数字およびハイフンのみが使用可能。GitLabを選択する。イメージ名に使用されるレジストリのFQDNまたはIPアドレスを入力する。イメージ名に使用されるレジストリのポート番号を入力する。APIでアクセスする際の基底URLを入力する。https://ホスト名:ポート番号のように自動入力されるため、変更の必要がある場合はトグルボタンを選択し、編集する。レジストリにdockerコマンドでアクセスする際の基底URLを入力する。URLではなくレジストリのポート番号となる。https://ホスト名:ポート番号のように自動入力されるため、変更の必要がある場合はトグルボタンを選択し、編集する。プロジェクトパスを、”オーナー名(ユーザ名またはグループ名)/プロジェクト名”の形式で入力する。(例)kamonohashi/sampleテナントの新規作成テナントを作成します。テナントの新規作成は、以下のフローで実行できます。[テナント管理]を選択し、テナント一覧画面を表示する画面右上の新規作成ボタンを押下する画面に下記の情報を入力し、新規テナントを作成する。テナントを表す識別子を入力する。英数字およびハイフンのみが使用可能。画面等への表示名称を入力する。ノートブックの無期限実行を許可するかどうかを設定する。無期限実行を許可すると、ノートブック実行画面で起動時間設定のON/OFF選択が可能となる。データファイルを格納するストレージを選択する。選択肢は事前にストレージ情報の新規作成で設定が必要。学習実行時のユーザスクリプトを格納するGitを一つ以上選択する。その中で既定で選択されるGitを一つ選択する。選択肢は事前にGit情報の新規作成で設定が必要。学習実行時のDockerイメージを格納するレジストリを一つ以上選択する。その中で既定で選択されるレジストリを一つ選択する。選択肢は事前にRegistry情報の新規作成で設定が必要。テナント情報の更新テナント情報、ストレージ情報、Git情報、Dockerレジストリ情報は、各管理画面からそれぞれ更新できます。一覧に表示されている各項目をクリックして更新画面を表示し、必要な情報を入力します。テナントの削除テナント編集画面の削除アイコンを押下することで、テナントが削除されます。テナント内データの削除は時間がかかるため、削除用コンテナを別途デプロイすることで行われます。このコンテナはkqi-adminテナントで実行され、実行状況はリソース利用状況画面のテナント別状況を見ることで確認できます。削除終了後はコンテナステータスがSucceededとなり、リソースが占有された状態が維持されます。リソース占有状態を解除するため、この状態を確認した後は該当コンテナを手動削除してください。ユーザユーザはKAMONOHASHIの利用者を表し、テナントに関連付けられます。ユーザは複数のテナントに所属できます。ユーザは使用する認証方式の種類によってローカルユーザ、LDAPユーザの2種類に分けられます。ユーザの追加とテナントへの関連付けKAMONOHASHIではローカルユーザか、LDAPユーザかによって、ユーザの追加フローが異なります。ユーザの種類によらず、ユーザ名はシステム内で一意である必要があります。ローカルユーザの追加ローカルユーザの場合、KAMONOHASHI内部で認証情報を管理されます。ユーザの新規作成は、以下のフローで実行できます。[ユーザ管理]を選択し、ユーザ一覧画面を表示する画面右上の新規作成ボタンを押下する画面に下記の情報を入力し、ローカルユーザを新規に追加する。※ローカルユーザの場合、初期テナントの関連付けを作成時にまとめて行う。システム内で一意である必要がある。英数字およびハイフンのみが使用可能。ユーザ認証に用いるパスワード。上記パスワードと一致している必要がある。追加ユーザに付与するシステムロールを選択する。ユーザを関連付けるテナントを選択する。上記テナント項目で選択した分のテナントについて、ユーザが所有するテナントロールをそれぞれ選択する。LDAPユーザの追加LDAPユーザの場合、認証情報の管理にKAMONOHASHI外のLDAP認証サービスを利用します。パスワード変更など、LDAPユーザの管理はKAMONOHASHI上では行えません。LDAPユーザは、管理者ではなく、LDAPユーザ自身がKAMONOHASHIにログインすることで追加できます。ユーザがLDAPサービスに登録されているユーザ名とパスワードでKAMONOHASHIにログインすると、KAMONOHASHI内にユーザ情報が登録され、Sandboxテナントに自動で関連付けられます。LDAPユーザに対して、システムロールの付与や、Sandbox以外のテナントへの関連付けを行う場合、下記の処理を実行します。[ユーザ管理]を選択し、ユーザ一覧画面を表示する追加されているLDAPユーザ名を一覧から探し、列を選択する表示されたユーザ編集画面で、ローカルユーザの場合と同様に、システムロールと関連付けるテナントおよびそのテナントロールをそれぞれ選択するロールユーザにロールを付与することで、操作可能な機能を制御できます。一人のユーザには複数のロールを関連付けられます。ロールは大きく以下の2種類に大別されます。データの追加・削除、およびデータセットの作成・変更を行う権限を持つ。学習の実行、結果の評価を行う権限を持つ。そのテナント内で使用する計算リソースや権限の管理を行う権限を持つ。既定されているロールに加え、独自のロールを追加することができる。追加されたロールは、全テナントで利用可能になる。ロールの新規作成画面は、以下のフローで表示できます。[ロール管理]を選択し、ロール管理画面を表示する画面右上の新規登録ボタンを押下する画面に下記の情報を入力し、カスタムロールを新規に追加する。システム内で一意である必要がある。英数字およびハイフンのみが使用可能。ユーザに表示される名前。任意の文字を使用可能。テナントロールの場合は”テナント”、システムロールの場合は”システム”を選択する。小さいほど前に表示される。一意である必要はないが、同じ値の場合のソート順は変動する可能性がある。追加したカスタムロールの権限設定は、メニューアクセス管理で行います。ノードノードとは、KAMONOHASHIに管理される物理的あるいは仮想的な計算用コンピュータを指します。KAMONOHASHI自体を構成する管理サーバ群は含みません。ノードの追加KAMONOHASHIの管理下に新しくノードを追加します。masterノード上での作業および、KAMONOHASHIのWeb画面上での作業が必要となります。利用しているGPUのホスト名がgpu1、追加するGPUのホスト名がgpu2の場合、以下のようにgpu2を追記します。システム内で一意である必要がある。英数字およびハイフンのみが使用可能。管理用のメモを自由に入力できる。ノードにパーティションを設定できる。パーティションについての詳細は後述。ノードへのアクセスレベルを設定できる。アクセスレベルについての詳細は後述。Privateを選択した場合、アクセスを許可するテナントを選択するUIが表示される。指定しなかった場合はDisabledが設定される。ノード上でTensorBoardコンテナの実行を許可するか指定できる。ノード上でNotebookコンテナの実行を許可するか指定できる。パーティションパーティションを設定することで、学習を実行するノードを指定することができます。学習の実行時にパーティションを指定すると、そのパーティションが付与されたノードでのみ、学習が実行されます。パーティションとして指定できる文字は、英数字及びハイフンのみです。アクセスレベルアクセスレベルは、テナント単位で利用可能なノードを設定するための仕組みです。アクセスレベルには以下の3種類があります。Disabledどのテナントも、そのノードを利用することができないノードのメンテナンスを行う際などに指定するPrivate指定されたテナント(複数可)のみが、そのノードを利用することができるPublicすべてのテナントがそのノードを利用することができる。クォータクォータはテナントがクラスタで利用できる最大のCPUコア数、メモリ容量、GPU数の上限を表します。クォータを利用することで、特定のテナントがクラスタのリソースを大量に利用することを抑制できます。[クォータ管理]を選択し、クォータ設定の一覧画面を表示します。各テナントに対して、次の情報を入力します。クォータの各項目に0を設定した場合、無制限に利用できます。テナントが利用できる最大CPUの量。CPUのコア数で入力する。テナントが利用できる最大メモリの量。ギガバイト(Gi)単位で入力する。テナントが利用できる最大GPUの数。GPUの枚数で入力する。リソースリソースとは、クラスタを構成する各ノードの計算リソース(CPU、メモリ、GPU)を表します。リソース管理クラスタの各ノード上に現在配備されているコンテナと、それらに割り当てられたリソースを一覧で確認する事ができます。これによって、ノード単位の負荷状況や、リソースを大量消費しているテナントやユーザを把握することができるので、必要に応じて、不要なコンテナを削除し、リソースの解放処理を行えます。選択し、リソース管理の一覧画面を表示し行います。この画面には、以下三つの表示形式があります。全コンテナの一覧と、その利用リソースが表示されるメニューメニューとは、”データ管理”や”テナント管理”など、KAMONOHASHIが提供する各機能セットを表します。メニューには、以下の4つの種別があります。テナント管理)テナントを横断する、システム全体に関連した情報を取り扱うメニューアクセス管理メニューアクセス管理画面では、全メニューを一覧で確認できます。加えて、種別がTenantあるいはSystemであるメニューに対しては、公開先のロールを編集することができます。[メニューアクセス管理]を選択します。メニューの種別がTenantあるいはSystemである場合、以下の手順でそのメニューを利用可能なロールを改廃できます。ロールを改廃したいメニューの右側に表示されているボタン群を確認する。青く塗られているロールがアクセス権があるロール、白く塗られているロールがアクセス権がないロールである。アクセス権を付与したいロールをクリックし、背景を白から青に変える。アクセス権を削除したいロールをクリックし、背景を青から白に変える。全ての変更が完了したら、右下の「更新」ボタンを選択するストレージ学習に使用するデータや学習結果を保存するためにストレージが必要です。ストレージの編集KAMONOHASHIに登録しているストレージの情報を変更します。masterノード上での作業が必要となります。PolicyKAMONOHASHIは日鉄ソリューションズ株式会社の登録商標です。日鉄ソリューションズ株式会社の登録商標です。その他、本文記載の会社名および製品名は、それぞれ各社の商標または登録商標です。Corporation.。