[0001]【産業上の利用分野】本発明はマルチメディアデータの検索方式に係り、更に詳しくはマルチメディアデータの一部分のデータに対応するビューオブジェクトを利用して、マルチメディアデータの一部分を検索し、またマルチメディアデータの特徴を生かしてその一部分のデータを表示するマルチメディアデータ検索システムに関する。[0002]【従来の技術】テキスト、音声、静止画、およびビデオデータなど、様々な種類のデータを取り扱うマルチメディアデータベースシステムは、近年著しい発展を果たしつつある。マルチメディアデータの特徴はデータ量が膨大であること、データの種類が豊富であることなどである。rich.【0003】このため大量のデータから簡単に必要な情報のみを取り出すことができ、またユーザ毎に異なる視点からデータを検索できる必要があり、更にデータの種類が追加された場合にもそれに容易に対応できる機能が必要である。膨大なデータを利用することから、取り出されたデータの情報をうまく格納してそれを再利用する方式が必要であり、部分的なデータを利用するためには、特に連続データに関して、その部分データの前後や全体の中の位置づけを知る必要もある。overall.【0004】従来のデータベース検索システムでは、主としてキーワードによる検索が用いられている。data,検索できるデータのフォーマットは固定されていた。取り出されたデータの再利用に関しては、編集したデータを保存することができる程度に限られていた。連続データの一部分の表示に関して特に工夫された検索方式は存在していなかった。[0005]【発明が解決しようとする課題】従ってマルチメディアデータに対する検索においては、検索されたデータ自体が膨大な量となるため、それを閲覧すること自体が困難であり、全てのユーザに対して画一的な見方のデータしか提供できず、更に新たな種類のデータが追加された場合には、システムの再構築が必要であるという問題点を生じていた。編集されたデータを保存することにより更に膨大なデータが発生するという問題点や、元のデータに変更が加わった場合に、変更前のデータを編集した結果のデータを書き替えることができないという問題点もあった。部分データを利用するに際して、特に連続データの中の部分データの位置づけを知ることができないという問題点もあった。data.【0006】本発明は、連続データの一部分を容易に検索することができ、ユーザ毎に異なる視点から検索可能であり、種類の異なるデータを追加した場合にもシステムを柔軟に拡張でき、検索して編集した結果のデータに対して検索前のデータの表示手順を基にした編集後のデータの表示手順を格納することができ、連続データについては検索された部分データの前後や全体からの位置づけを表示することができるデータベース検索システムを提供することを目的とする。[0007]【課題を解決するための手段】図1は本発明の原理構成ブロック図である。同図は、マルチメディアデータを格納するマルチメディアデータベースから、データを検索するマルチメディアデータ検索システムの原理構成ブロック図である。data.【0008】図1においてビューオブジェクト格納手段1は、例えばビューオブジェクト格納部であり、一連のデータのうちの一部分を時間および/または空間の観点から切り取った結果としての部分データの特徴、例えばキーワードと、その部分データを特定するデータ、例えばテキストデータではファイルの先頭から何バイト目から何バイト目までというような部分データを特定するデータを記述するビューオブジェクトを格納するものである。従ってこのビューオブジェクトは、部分データ毎にキーワードに対応して生成され、生成されたビューオブジェクトがこのビューオブジェクト格納手段1に格納される。features,例えばキーワードのユーザなどによる指定に応じて、ビューオブジェクト格納手段1に格納されているビューオブジェクトを検索するものである。1.【0010】更にマルチメディアデータ表示・再生手段3は、例えばマルチメディアデータ表示・再生部であり、ビューオブジェクト管理手段2によって検索されたビューオブジェクトに対応する部分データ、またはその部分データを含むマルチメディアデータを表示・再生するものである。[0011]【作用】本発明においてはマルチメディアデータのうちの一部分、例えば静止画、すなわちイメージデータの画面の一部のみの部分データがキーワードと対応させられて、そのキーワードと、その部分データを特定するデータを記述するビューオブジェクトが、例えばビューオブジェクト生成部によって生成され、ビューオブジェクト格納手段1に格納される。1.【0012】このビューオブジェクト格納手段1にはテキストデータ、イメージデータ、オーディオデータ、ビデオデータなどのメディア毎に、またキーワードに対応させられて作成されたビューオブジェクトが多数格納され、部分データの特徴、例えばキーワードのユーザによる指定に応じて、ビューオブジェクト管理手段2によって対応するビューオブジェクトが検索される。このようなビューオブジェクトは、本発明においてはオブジェクト指向データベースにより管理されるもので、マルチメディアデータの本体とは独立して格納、管理されるものである。)”を起動することによって、マルチメディアデータ表示・再生手段3によって表示されるが、この部分データの表示にあたってはビューオブジェクトによって特定されるデータのみでなく、例えばビデオデータであれば時間的に部分データの前、または後のデータを追加して表示したり、また例えばイメージデータであれば画面上で指定された部分のみでなく、その他の部分のデータを粗く表示することもできる。of.【0014】以上のように本発明によれば、部分データをビューオブジェクトに対応させることによって、連続データからその一部分を取り出すことができる。[0015]【実施例】図2は本発明のマルチメディアデータ検索システムの基本構成ブロック図である。image,オーディオ、およびビデオなどのマルチメディアデータを格納する。ビューオブジェクト格納部12は、マルチメディアデータの一部分に対してユーザ独自の情報、例えばキーワードと、その部分データを特定するデータを記述したビューオブジェクトを格納する。media再生するものである。11に格納されている該当のマルチメディアデータを参照して、ビューオブジェクト生成のために必要なデータに変換し、新たにビューオブジェクトを生成するものである。object.【0017】図3は図2の基本システム構成を実現するためのコンピュータシステムの構成を示すコンピュータ環境図である。同図は一般的なコンピュータシステムの構成を示しているが、図2のビューオブジェクト管理部13、マルチメディアデータ表示・再生部14、およびビューオブジェクト生成部15はCPU20によって実現され、マルチメディアデータ格納部11、およびビューオブジェクト格納部12は、ハードディスクドライブ(HDD)21によって実現され、表示部16はディスプレイ23によって、入力部17はキーボード24によって実現される。24.【0018】図4は本実施例におけるビューオブジェクトのクラス構造を示す。ビューオブジェクトは、このようなクラス構造を持つオブジェクト指向データベースによって管理される。このようなオブジェクト指向データベースを利用することの特徴を次に述べる。database.【0019】マルチメディアデータを取り扱う場合、メディアの異種性の統一と、大規模データの扱いが問題となる。オブジェクト指向データベースでは、種類の異なるデータをオブジェクトとして統一的に扱うことができ、マルチメディアデータベースに適している。ポリモルフィズムによって、メディアやフォーマットの違いを意識せずに同じメソッドを使うことができる。異なるフォーマットを持つデータを追加する場合には、新たなビューオブジェクトのクラスを設ければよく、異なるフォーマットを持つデータに対しても柔軟に拡張できる。)”を起動することにより、そのメディアのデータのフォーマットに適した表示の手続きが実行される。executed.【0020】図5〜図8にテキスト、イメージ、オーディオ、およびビデオのそれぞれのメディアに対するビューオブジェクトの例を示す。()”というメソッドを起動することによって生成される。このメソッドは起動されたクラスの構造を持つオブジェクトを新たに生成するための手続きであり、引き数として属性の値を指定すると、指定された値を属性の値とし、指定されていない属性の値はデフォルト値を持つオブジェクトが生成される。generated.【0021】次にこれらのビューオブジェクトの生成について次の〜で具体的に説明する。ウィンドウ上に表示されたテキストデータに対し、ユーザが(マウスでドラッグ、あるいはタブレットでマークする等して)登録したい部分を選択し、キーワードを(キーボードから、あるいは予めキーワードが登録されているメニューから選択して)入力する。)”メソッドを起動し、その結果テキストビューオブジェクトが生成される。選択部分の最初の位置のファイルの先頭からのバイト数をa、最後の位置のファイルの先頭からのバイト数をbとすると、図5のようなテキストビューオブジェクトが生成される。ウィンドウ上に表示されたイメージデータに対し、ユーザが(マウスでドラッグ、あるいはタブレットでマークする等して)登録したい部分を選択し、キーワードを(キーボードから、あるいは予めキーワードが登録されているメニューから選択して)入力する。”メソッドを起動し、その結果イメージビューオブジェクトが生成される。選択部分の左上座標を(x1,y1)、右下座標を(x2,y2)とすると、図6のようなイメージビューオブジェクトが生成される。図9に示すようなGUI(入力用画面におけるグラフィックユーザインタフェース)を利用して、スピーカから再生されたオーディオデータに対し、ユーザが最初と最後のタイミングを画面上に表示された部分設定ボタンを押すことで、あるいは、スピーカからの再生と同時に表示される音声波形用ウィンドウ上の波形を参考にして部分設定バーをマウス等でドラッグすることで、登録したい部分を選択し、キーワードを(キーボードから、あるいは予めキーワードが登録されているメニューから選択して)入力する。”メソッドを起動し、オーディオビューオブジェクトが生成される。t2とすると、図7のようなオーディオビューオブジェクトが生成される。ビデオデータの部分データの設定では、ビデオデータのうち複数枚の代表的なフレーム(最初、最後、中間フレーム)をユーザが選出し、それらのフレームに対して選択部分を指定することにより設定する。具体的には、図10に示すようなGUIを利用して、ビデオ表示用ウィンドウ上に再生されたビデオデータに対して、ユーザが登録したいフレーム近辺で画面上に表示されたコマ送りボタンを押してコマ送りをし、登録するフレームにおいて一時停止ボタンを押して一時停止させる。その一時停止したフレームに対し、(マウスでドラッグ、あるいはタブレットでマークする等して)登録したい部分を選択し、部分設定ボタンを押す。button,登録したい全てのフレームに対して以上を繰り返す。キーワードを(キーボードから、あるいは予めキーワードが登録されているメニューから選択して)入力する。”メソッドを起動し、その結果ビデオビューオブジェクトが生成される。すると、図8のようなビデオビューオブジェクトが生成される。nの部分が設定部分とされる。次に、ビューオブジェクトの生成処理について、一般的に説明する。図11はビューオブジェクト生成処理のフローチャートである。同図において処理が開始されると、まずステップS1においてユーザは図9、または図10で示したような入力用ウィンドウ上で表示・再生させるマルチメディアデータが格納されているファイル名を指定し、ステップS2でマルチメディアデータ表示部14は指定されたファイルをウィンドウ上に表示・再生し、ステップS3でユーザはグラフィックユーザインタフェース(GUI)を利用してオブジェクトに対応する部分データの設定を行い、キーワードを入力する。”を実行してビューオブジェクトを生成し、ステップS5でその生成されたビューオブジェクトがビューオブジェクト格納部12に格納されて処理を終了する。12.【0027】次にビューオブジェクト格納部12に格納されているビューオブジェクトの検索について説明する。図12はビューオブジェクトの検索処理のフローチャートである。同図において処理が開始されると、まずステップS6においてビューオブジェクト管理部13がキーワードの指定に応じて対応するビューオブジェクトを検索する。このキーワードは、例えばキーボードから入力されるか、あるいは予めキーワードが登録されているメニューからユーザによって選択される。registered.【0028】続いてステップS7で検索結果の表示が行われる。この検索結果の表示もビューオブジェクト管理部13によって制御される。検索結果としては、例えば図13に示されるようにビデオ、オーディオ、イメージ、およびテキストの各メディア毎にビューオブジェクトが何件検索されたかが表示され、ビデオビューオブジェクトと、オーディオビューオブジェクトについてはそれぞれ再生時間の合計が表示される。1の合計が表示される。)”が起動され、各ビューオブジェクトに対応する方法でデータの表示が行われ、処理を終了する。ends.【0030】図14はビューオブジェクトに対応する部分データの表示処理のフローチャートである。)”のメソッドが実行され、ステップS13で他に表示すべきビューオブジェクトがあるか否かが判定され、ある場合にはステップS11の処理に戻り、表示すべきビューオブジェクトが存在しない場合には処理を終了する。side,一方、図12はユーザ側の利用方法としてデータの検索・表示のフローを記述したものである。単なる表示と検索・表示とは、その処理は当然同じであるが、検索せずに表示することもある。〜(14)で具体的に詳細に説明する。テキストデータの部分表示では、ビューオブジェクトで指定された部分を表示する。分をファイルから読み込んで表示する。イメージデータの部分表示1では、ビューオブジェクトで指定された部分を整数倍に拡大してウィンドウ上に表示する。in,y軸方向にn倍にして表示する。イメージデータの部分表示2では、ビューオブジェクトで指定された部分を予め設定された長さだけ上下左右大きめに切り取って整数倍に拡大してウィンドウ上に表示する。同様の手法で拡大表示する。イメージデータの部分表示3では、ビューオブジェクトで指定された部分をウィンドウの中央部に整数倍に拡大して表示し、指定されない部分をウィンドウ上の残りの部分にデータを間引いて縮小表示する。同様の方法で拡大率nを求める。それぞれデータを間引いて表示する。]毎にデータを表示する。]毎にデータを間引いて表示する。y軸方向に関しても同様である。以下の最大の整数値を意味する(以下同様)。n倍に拡大して表示しても、nが整数であるため、一般にxまたはy方向に画面が一杯にはならないが、一杯になる場合はnをn−1として縮小表示用の部分を残すことにする。n=1のときはそのままとする。次のようにnを決定する。オーディオデータの部分再生1では、ビューオブジェクトで指定された範囲を再生する。オーディオデータの部分再生2では、ビューオブジェクトで指定された範囲に加えて、予め設定された時間分だけ前後のデータを取り込んで再生する。オーディオデータの部分再生3では、ビューオブジェクトで指定された範囲は通常速度で、指定されていない範囲は予め設定された速度で早送りして再生する。PCMデータに変換された音声データをn個毎に再生することによってデータを間引く。(tm-t2)/n秒間早送り、で再生する。オーディオデータの部分再生4では、ビューオブジェクトで指定された範囲は通常速度で、指定されていない範囲は無音部分のデータを飛ばして、予め設定された時間内に収まるように再生する。音声の振幅がある一定レベル以下の部分が予め設定された時間以上続く部分を無音部分とみなし、そのレベルを順次あげることにより、全再生時間が設定された時間内に収まるようにする。