[0001]【発明の属する技術分野】この発明は、機器制御を行うマイクロコンピュータの組み込み型プログラムの評価を行うプログラム評価システムに関するものである。評価対象プログラムが使用するメモリ上の入力情報及び出力情報に着目した評価試験の実施方法と評価試験の自動実行可能なプログラム評価システムに関するものである。[0002]【従来の技術】従来のプログラム評価システムについて説明する。trace,入力デバイスを操作した時に生じる信号パターンを評価システム本体で発生させ、その結果として生じる出力信号をトレースして、期待値と比較することにより、実際に周辺デバイスを操作又は目視による動作確認を行うことなく試験を自動的に実行している。test.【0003】このような従来のプログラム評価システムは、プログラムの開始から終了までの一連の動作を確認する試験(複数の試験項目からなる試験)などを行う場合、試験を中断した際には試験項目の初めからやり直すことにより再試験を実行していた。of.【0004】また、特開昭64−58027号公報では、中断時のレジスタ内容をメモリに記憶、表示する機能により中断時の実行状態の確認のみが行われていた。performed.【0005】さらに、評価対象プログラムの変数値を評価するだけでなく、その変数値の範囲を評価するプログラム評価システムとしては、特開平6−148283号公報に示すように、メモリ評価パターンのアドレススキャン範囲を指定し、指定された範囲のデータを表示するメモリテスタによって実現し、評価試験実施者は表示されたデータを目視により評価していた。[0006]【発明が解決しようとする課題】上述したような従来のプログラム評価システムでは、プログラムの開始から終了までの試験を行うような複数の試験項目から構成されるテストシーケンスなどの試験を中断した場合、中断した以降の試験項目を行うには、再びテスト項目の初めから実施しなければならないため、無駄な評価時間が発生してしまうという問題点があった。occurs.【0007】また、他の従来のプログラム評価システムは、試験中断時のレジスタ内容をメモリに記憶し、表示する機能は持っているが、この情報を試験の再実行に利用することができないという問題点があった。point.【0008】さらに、他の従来のプログラム評価システムは、試験の期待値として評価対象プログラムの変数値を評価することができるが、変数値の範囲の評価についてはデータ表示機能により目視によってのみ行われているため、評価ミスが発生しやすいという問題点があった。試験を行うことができるプログラム評価システムを得ることを目的とする。capable.【0010】また、この発明は、評価対象プログラムの変数値の評価だけでなく、変数値の範囲の評価を行うことができるプログラム評価システムを得ることを目的とする。再試験実行部とを備えたものである。試験項目から行うものである。test.【0013】また、この発明に係るプログラム評価システムは、前記試験装置が、前記ホストコンピュータと通信を行うホストコンピュータ通信I/Fと、前記評価対象プログラムを格納するエミュレーションメモリ部とを含むものである。program.【0014】また、この発明に係るプログラム評価システムは、前記試験装置を、対象とするマイクロコンピュータのICEとしたものである。the.【0016】また、この発明に係るプログラム評価システムは、前記ホストコンピュータが、さらに、前記指定されたテストケースに記述されたトレースタイミングに基づいて割込みを発生し、その時のトレース情報を取得してレポートするデータトレース部を備えたものである。for.【0017】また、この発明に係るプログラム評価システムは、前記データトレース部が、前記指定されたテストケースに記述された出力情報のトレースタイミングに基づいて割込みを発生する割込み制御部と、割込み発生時にトレースしたデータを取得するデータ取得部と、前記トレースしたデータをトレース情報としてトレース情報記憶手段に格納するデータ格納部と、前記格納されたトレース情報をレポートするデータレポート部とを含むものである。前記評価試験の結果を試験履歴として作成する試験履歴作成部と、前記作成した試験履歴を格納する試験履歴格納部と、前記格納した試験履歴をレポートする試験履歴レポート部とを含むものである。この発明の実施の形態1に係るプログラム評価システムの構成について図1を参照しながら説明する。図1は、この発明の実施の形態1の構成を示すブロック図である。同一又は相当部分を示す。parts.【0021】図1において、1は入力手段、2は表示手段、3はプリンタである。取得タイミング、参照アドレス、期待値、メモリサイズが記述された後述するテストケース群や実行すべきテストケースの組合せと実行回数を入力する。2は、後述するホストコンピュータから評価試験の実行結果を表示する。プリンタ3は、評価試験の結果に関する情報を出力する。unit.テストケース群5は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の組、メモリサイズからなるテストケースを複数記述したものである。テストケース解析部6は、テストケース群5から指定されたテストケースを解析し、評価試験の実行を制御する。試験結果判定部7は、後述する評価対象機器のメモリから、後述する試験装置を制御して取得した出力情報と、テストケースに記述された期待値を受け取り、両者を比較することによってテストの合否を判定する。8は、評価値だけでなく結果データの値の範囲を判定する。unit,12は試験履歴レポート部である。8によって判定された結果を取得し、試験実施日時や試験結果をまとめた試験履歴情報として作成する。試験履歴格納部11は、作成した試験履歴情報を格納する。試験履歴レポート部12は、蓄積された試験履歴情報からバグの収束レポートや過去の試験履歴の表示を行う。14は試験装置制御部である。記憶手段13は、試験履歴格納部11により試験履歴情報を蓄積する。ためのタイミングとアドレス、期待値、メモリサイズを受け取り、後述する試験装置を制御する。18はデータレポート部、19はデータ格納部、20は記憶手段である。割込み制御部16は、指定した評価対象プログラムの変数やラベルを一定時間毎にトレースする。intervals.データ取得部17は、割込み発生時にトレース情報を取得する。データレポート部18は、取得したトレース情報から平均値や最大値、最小値などをレポートする。データ格納部19は、取得したトレース情報を格納する。記憶手段20は、トレース情報を格納する。unit,24は実行状況格納部、25は記憶手段である。実行状況取得部22は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持する。実行状況ロード部23は、試験再実行時に試験中断時の情報を後述するエミュレーションメモリ部にロードする。実行状況格納部24は、実行状況を格納する。25は、実行状況を実行情報として格納する。information.【0027】また、同図において、26は後述する評価対象機器に接続された試験装置、27はホストコンピュータ通信I/F、28はエミュレーションメモリ部である。ホストコンピュータ通信I/F27は、ホストコンピュータ4と通信を行う。28は、後述する評価対象機器中にある評価対象プログラムとそのプログラムが使用する変数などを格納するメモリをエミュレーションする。30は出力情報、31は評価対象プログラム、32は入力ドライバ部、33はプログラム本体部、34は出力ドライバ部である。入力ドライバ部32は、後述する入力デバイスからの信号をプログラム本体部33で使用できる入力情報29に変換してメモリ上に配置する。プログラム本体部33は、プログラムの機能の本質(仕様部分)を実現する。出力ドライバ部34は、プログラム本体部33の処理結果としてメモリ上に配置された出力情報を後述する出力デバイスに出力するための信号に変換する。33.【0029】さらに、同図において、35は評価対象機器、36はマイクロコンピュータ、37は入力デバイス、38は出力デバイスである。device.【0030】つぎに、この実施の形態1に係るプログラム評価システムにおける作業の動作手順について図2を参照しながら説明する。図2は、この発明の実施の形態1における評価試験実行の再試験実行に関する動作手順を示すフローチャートである。from.【0032】次に、ステップS102において、ホストコンピュータ4は、入力されたテストケース群5を解析する。memory0の照合を行い、評価試験を実行する。test.【0034】次に、ステップS104において、ホストコンピュータ4は、何らかの事情により入力手段1から試験中止の指示が出されたか否かを判断する。試験中止の指示が出されない場合は処理を終了し、試験中止の指示が出された場合には次のステップへ進む。issued.【0035】次に、ステップS105において、ホストコンピュータ4の再試験実行部21内の実行状況取得部22は、もし、何らかの事情により入力手段1から試験中止の指示が出された場合には、指定されたメモリサイズに基づき、プログラムの実行状況をエミュレーションメモリ部28から取得する。28.【0036】次に、ステップS106において、ホストコンピュータ4の再試験実行部21内の実行状況格納部24は、取得したデータ(実行状況)をハードディスクなどの2次記憶装置(記憶手段)25に実行情報として格納する。information.【0037】次に、ステップS107において、ホストコンピュータ4は、入力手段1から試験再実行の指示が出されたか否かを判断する。試験再実行の指示が出されない場合は処理を終了し、試験再実行の指示が出された場合には次のステップへ進む。tested.【0038】次に、ステップS108において、ホストコンピュータ4の再試験実行部21内の実行状況ロード部23は、入力手段1から試験再実行の指示が出された場合には、プログラムの実行状況を記憶手段25から読み出し、エミュレーションメモリ部28上にロードする。28.【0039】最後に、ステップS109において、ホストコンピュータ4は、試験装置26を制御して、評価対象プログラムを実行し、再試験を開始する。38,メモリ内容の参照タイミングと変更タイミングに基づいて試験装置26に対しメモリ内容の変更と参照を指示するホストコンピュータ4と、試験装置26とから構成されている。出力である出力情報のメモリ参照タイミングと参照アドレス、及び期待値の組、メモリサイズを記述したテストケース群5を解析するテストケース解析部6と、試験装置26を制御する試験装置制御部14等とを備え、試験装置26は、ホストコンピュータ4との通信を行うホストコンピュータ通信I/F27と、エミュレーションメモリ部28とを備える。332と、プログラム本体部33による処理結果を出力デバイス38において出力制御するための信号に変換する出力ドライバ部34と、評価対象となるマイクロコンピュータ機器のプログラム本体部33とを含む。evaluated.【0043】また、ホストコンピュータ4は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持するための実行状況取得部22と、実行状況を格納するための実行状況格納部24と、試験再実行時に試験中断時の実行情報をエミュレーションメモリ部28にロードするための実行状況ロード部23とを含む再試験実行部21をさらに備える。again.【0044】すなわち、この実施の形態1は、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験の実行時に先に保持しておいた実行状態をエミュレーションメモリ部28にロードすることにより、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験が可能になり、評価時間を短縮することができる。Emulator)に代えたものである。Emulator).【0046】この場合、ホストコンピュータ4は、入力されたテストケース群5を解析し、ICEを制御してメモリ中の入力情報の変更や出力情報の照合を行い、評価試験を実行する。これにより、評価対象機器35の操作及び動作確認試験を市販のツールによっても実施することができる。tools.【0047】この実施の形態2は、試験装置26として対象とするマイクロコンピュータのICEを使用し、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験の実行時に先に保持しておいた実行状態をエミュレーションメモリ部28にロードすることにより、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験が可能になる。26の代わりにICEを使用することにより、入手が容易な既存ツールによっても、試験中断時に中断時の実行状態(メモリやレジスタの内容)を保持し、再試験実行時に試験中断時の情報をエミュレーションメモリ部28にロードすることにより、試験中断時点からの評価試験を行うことができる。このため、柔軟性のあるプログラム評価システムを構築することができる。この発明の実施の形態3に係るプログラム評価システムについて図3を参照しながら説明する。図3は、この発明の実施の形態3における評価試験実行の変数値の範囲についての評価に関する動作手順を示すフローチャートである。構成は上記実施の形態1と同様である。embodiment.【0050】まず、ステップS201において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の範囲などから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。4.【0051】次に、ステップS202において、ホストコンピュータ4は、入力されたテストケース群5を解析する。5,評価対象プログラムを実行する。program.【0053】次に、ステップS204において、ホストコンピュータ4の試験装置制御部14は、入力により発生した出力情報を取得タイミングと参照アドレスに基づいて試験装置26を制御することにより取得する。8は、取得したデータと期待値の範囲を比較することにより評価を行う。valueつ、または2つの値を指定し、その値の範囲と実行結果を比較することによって行う。Bの範囲内として指定したとすると、評価試験の入力によって発生した出力情報が、この範囲内なら試験合格、そうでなければ試験不合格として判定される。to,Aより大きい、Aに等しくない、などの範囲指定ができる。such.【0057】このように、評価試験を変数値の範囲を指定することにより、評価対象プログラム実行時に指定した変数値の範囲である上限値や下限値についての評価を行うことができる。8をホストコンピュータ4に備えたものである。4.【0059】この実施の形態3によれば、評価試験を変数値の範囲を指定することにより、評価対象プログラムの指定した変数値の範囲である上限値や下限値についての評価を行うことができる。この発明の実施の形態4に係るプログラム評価システムについて図4を参照しながら説明する。図4は、この発明の実施の形態4における評価試験実行のプログラムの変数やラベルを一定時間毎にトレースする評価に関する動作手順を示すフローチャートである。構成は上記実施の形態1と同様である。embodiment.【0061】まず、ステップS301において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報をトレースするタイミングとトレースするアドレスなどから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。4.【0062】次に、ステップS302において、ホストコンピュータ4は、入力されたテストケース群5を解析する。5,評価対象プログラムを実行する。program.【0064】次に、ステップS304において、ホストコンピュータ4のデータトレース部15内の割込み制御部16は、テストケース群5で記述された出力情報のトレースタイミングに基づいて割り込みを発生する。5.【0065】次に、ステップS305において、ホストコンピュータ4のデータトレース部15内のデータ取得部17は、トレースするデータを取得する。traced.【0066】トレースするタイミングとしては、時間単位または取得する変数が評価対象プログラムによりアクセスされる毎にトレースする単位の指定を行うことができる。program.【0067】次に、ステップS306において、ホストコンピュータ4のデータトレース部15内のデータ格納部19は、トレースしたデータをハードディスクなどの2次記憶装置(記憶手段)20にトレース情報として格納する。printing.【0069】この実施の形態4は、指定した評価対象プログラムの変数やラベルを一定時間毎にトレースするための割込み制御部16と、割込み発生時にデータを取得するデータ取得部17と、取得したデータを格納するためのデータ格納部19と、取得したトレース情報をレポートするデータレポート部18とを含むデータトレース部15をホストコンピュータ4に備えたものである。4.【0070】この実施の形態4によれば、指定した評価対象プログラムの変数やラベルの値を一定時間毎にトレースすることにより、トレースした値の平均値や最大値、最小値をレポートすることができる。この発明の実施の形態5に係るプログラム評価システムについて図5を参照しながら説明する。図5は、この発明の実施の形態5における評価試験実行の試験履歴作成に関する動作手順を示すフローチャートである。構成は上記実施の形態1と同様である。embodiment.【0072】まず、ステップS401において、評価試験実施者は、評価試験の入力に相当する入力情報のメモリ変更タイミング、変更アドレスと変更値、その入力により発生する出力に相当する出力情報の取得タイミングと参照アドレス、期待値の組などから構成されたテストケースを複数記述したテストケース群5を、ホストコンピュータ4の入力手段1から入力する。4.【0073】次に、ステップS402において、ホストコンピュータ4は、入力されたテストケース群5を解析する。5,評価対象プログラムを実行する。8によって、テストケース群5に記述された期待値と取得された出力情報とを比較することにより評価試験を実行する。9内の試験履歴作成部10は、試験結果を試験履歴として作成する。エラー情報(期待値、結果)が記述された情報であり、試験実行毎に試験履歴情報13が更新(追加)され、過去に実施した試験履歴が蓄積される。9内の試験履歴格納部11は、作成された試験履歴をハードディスクなどの2次記憶装置(記憶手段)13に試験履歴情報として格納する。2あるいはプリンタ3により表示あるいは印刷する。3.【0080】従って、ステップS408〜S409において、評価試験実施者は、表示あるいは印刷された試験結果がOKか否かを判断する。評価試験実施者は、試験結果を見ることにより、プログラムが正常に動作しているかを確認することができる。出力情報が期待するものと異なっていた場合には評価対象プログラムを修正する。expect.【0081】このような手順を複数の試験項目に対して繰り返して行うことでプログラムの評価試験を実行する。ここで、作成した試験実施日時を蓄積することによってバグの収束レポートや試験成績書などのドキュメント作成に利用することができる。9を備えたものである。history.【0083】この実施の形態5によれば、試験実行結果を試験履歴として作成し、試験履歴情報を蓄積することにより、評価対象プログラムのバグの収束レポートや過去の試験履歴の出力(表示、印刷)を行うことができる。試験履歴出力により試験履歴情報を試験成績書などのドキュメント作成に利用することができる。ドする再試験実行部とを備えたので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。試験項目から行うので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。time.【0086】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記試験装置が、前記ホストコンピュータと通信を行うホストコンピュータ通信I/Fと、前記評価対象プログラムを格納するエミュレーションメモリ部とを含むので、再試験実施時に試験項目の初めから実行する必要が無く、試験中断時点の試験項目からの試験ができ、評価時間を短縮することができるという効果を奏する。time.【0087】また、この発明に係るプログラム評価システムは、以上説明したとおり、前記試験装置を、対象とするマイクロコンピュータのICEとしたので、柔軟性のあるシステムを構築することができるという効果を奏する。備えたので、評価対象プログラムの変数値の範囲について上限値や下限値の評価を行うことができるという効果を奏する。レポートすることができるという効果を奏する。レポートすることができるという効果を奏する。also,試験成績書などのドキュメント作成に利用することができるという効果を奏する。前記評価試験の結果を試験履歴として作成する試験履歴作成部と、前記作成した試験履歴を格納する試験履歴格納部と、前記格納した試験履歴をレポートする試験履歴レポート部とを含むので、評価対象プログラムのバグの収束レポートや過去の試験履歴の表示を行うことができ、また、試験成績書などのドキュメント作成に利用することができるという効果を奏する。この発明の実施の形態1に係るプログラム評価システムの構成を示す図である。この発明の実施の形態1の評価試験実施の作業手順を示すフローチャートである。この発明の実施の形態3の評価試験実施の作業手順を示すフローチャートである。この発明の実施の形態4の評価試験実施の作業手順を示すフローチャートである。この発明の実施の形態5の評価試験実施の作業手順を示すフローチャートである。