効果的プログラムモデル形成・発展させるためには、プログラム評価の2つの要素、すなわりプログラムゴール・プログラムアウトカムと、効果的プログラム要素・プログラムプロセスの双方に焦点を当て、それぞれの相互関連の中から、エビデンスにもとづく有効な効果的プログラムモデルを構築するための知識を生成する必要がある。反映するチェックボックス形式を用いた効果的援助要素リストと、それを尺度化したフィデリティ尺度を用いて、プログラムゴール・アウトカムと効果的プログラム要素・プログラムプロセスの関連を実証的に明らかにし、科学的根拠を構築することをめざしている。アウトカムモニタリング評価調査」を用いることを推奨している。効果的プログラムモデルの実施マニュアル」が構築されることが期待される。同時に、より有効性の高い「プロセス理論(サービス利用計画)」「プロセス理論(組織計画)」に反映され、より効果的なプログラムモデルに発展させるために役立てられる。関連性の検証、評価結果の活用」の課題処理フローチャートを示した。関連性の検証、評価結果の活用の実施手順は、図II3-5-2に示した。リスト、実施マニュアル、フィデリティ尺度に準拠して行われる量的評価調査。暫定最終版]プログラム理論などが構築されることが期待される。効果的な効果的プログラムモデル形成のための重要な評価調査である。参加事業所と評価調査で使用する評価デザイン基本的には研究枠組みで実施し、効果的プログラムモデルを構築することに意欲を持つプログラム実施事業の参加を全国的に募って実施。15施設~30施設程度を対象に実施。各プログラム実施事業所における効果的援助要素の実施状況をフィデリティ尺度で測定し、フィデリティ項目の高い実施状況が、プログラムゴールに関わるアウトカム指標の改善に貢献していることを検証する。アウトカム評価調査の実施とその評価結果の活用(23-2-01)」の「効果的プログラムモデル試行評価調査(23-2-11)」と並行して実施できるが、そこで使用する評価デザインであるRCTや準実験法、その他と独立して分析する。多施設共同実施が前提にはなる。目的と意義これまで検討して来た効果的プログラムモデル、およびその効果的援助要素の全国での(あるいは広域での)実施状況を明らかにする。それとともに、効果的プログラムモデルおよび効果的援助要素の実施に関わる社会的背景にどのような要因が関わっているのか、プログラムモデルの実施状況とアウトカムにはどのような関連があるのかについての検討する。プログラムモデルや効果的援助要素の改善を検討し、効果的プログラムモデルの将来的な実施・普及のための資料として活用することが期待できる。全国、あるいは地域ブロック(関東、東北、近畿など)、都道府県など広域地域において、対象となる実践プログラムに取り組む事業所を対象に評価調査を実施する。対象事業所数が多い場合は無作為サンプルを抽出しても良いが、可能な限り全数調査を実施する。加えて、実施状況に応じて事業実施自治体の担当部署から管轄する事業所情報をリスト等の形で入手して対象事業所とする。これらのリスト入手が困難な場合は、ウェブ上で公開されているリストを使用したり、プログラム関係団体が発行する事業所名簿を参照する。フィデリティ評価尺度」(23-3-22)を使用する。これは、事業所の担当者によって評価できる簡便なフィデリティ評価尺度である。実施に関わる社会的背景に関するな要因、成果(アウトカム)に関する指標、効果的プログラムモデルの理念や事業所内での位置づけに関わる項目などを把握する施設票を用いる。うち優先しておこなわれている項目や実践に取り入れることが困難と感じる項目などの事業所の実情を把握する項目が含まれる。施設票はできるだけ簡便に、可能であれば2頁程度に留めるように配慮する。多い場合には、ハガキ等を用い、次の段階では同領域、先行した報告書などを同封するなどし、評価調査がどのような改善につながるのかを理解いただく。督促の最終段階では電話連絡を取るなどし、必要に応じては聞き取りの形で実施する。調査票に自由記述欄を設けることにより、フィデリティ尺度得点が低い事業所であったとしても実践の工夫や配慮についての記載ができることで回答が得られやすくなる。実施状況と事業所属性等、また、事業所属性ごとのフィデリティ尺度得点とアウトカムの関連が相関分析結果によって示され、プログラムモデルを実践に導入する際の課題や可能性についても提示する。モニタリング評価調査の目的と意義これまで検討して来た効果的プログラムモデル、およびその効果的援助要素が、実践現場のレベルで取り組み可能なものであるか、そして効果的援助要素を取り入れた実践が、成果(アウトカム)に結び付くものであるのか、効果的プログラムモデルの構築に関心をもつ事業所の参加を得て、時系列的に実施状況を確認しながら明らかにする。その結果、プログラムモデルや効果的援助要素の改善を検討したり、プログラムモデルの将来的な普及のための資料として活用することが期待できる。効果的プログラムモデルの構築に関わるはプログラム評価研究の一環として、当該の実践プログラムを、事業所の事業内容に取り入れることに賛同する事業所を公募の形で集めて実施する。プログラム評価研究によって構築されたプログラムモデルに関心をもち、研修会に参加した上で1年間の試行的介入実践と数回の評価調査に協力の意向を表明した15~30事業所を対象として選定する。使用するフィデリティ尺度は、「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画」(23-3-31)に示した、第三者評価用フィデリティ尺度と自己評価フィデリティ尺度である。使用するアウトカムモニタリング評価用具は、「アウトカムモニタリング評価調査で使用するアウトカム尺度・指標とその活用計画」(23-1-32)に示した。アウトカムモニタリング評価調査の用具は、「プログラム実施事業所用」と「プログラム利用者用」に分けられ、事業所への訪問、担当者や関係スタッフへの聞き取り、記録の閲覧などによって実施する。実施上の配慮点それぞれのプログラムゴールに関わる5~10の簡便なアウトカム指標を設定し、各指標について毎月(もしくは数か月)測定をおこない。測定期間は1年以上とする。プログラム実施事業所の効果的援助要素の実施状況をフィデリティ尺度で測定し、フィデリティ尺度得点が高いこと、すなわちプログラム評価研究によって構築されたプログラムモデルに近いことがプログラムゴールに関わるアウトカム指標の高い評価結果に関連することを検証する。訪問時の聞き取りや調査票の自由記述欄において事業所で行われている実践の工夫や配慮についての情報を得られるように留意する。実施結果のフィードバック評価調査で得られた結果については報告書をまとめ、参加事業所へのフィードバックする(23-5-31、23-5-32)。各事業所から報告のある、モニタリング評価調査時の事業所からの報告には、事業所の創意・工夫により成果に結びついた取り組み、効果的援助要素の取り組みを十分に実施したにも関わらず成果に結びつかない事例などは取りまとめて報告書に反映する。このような実践現場からのフィードバックに基づいて、より効果に結びつくプログラムモデルや、効果的援助要素が抽出されることが期待される。アウトカム評価尺度・指標の設定と活用計画」の「1アウトカム評価調査で使用するアウトカム尺度・指標とその活用計画(23-1-31)」にその基本的な設定方法を示した。インプット「3アウトカムモニタリング評価調査の実施(23-5-13)」のアウトカム評価で使用する尺度・指標の選定は、「2アウトカムモニタリング評価調査で使用するアウトカム尺度・指標とその活用計画(23-1-32)」にその基本的な設定方法を示した。効果的プログラムモデルのフィデリティ尺度作成と活用計画(23-1-01)」の「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画(23-3-31)」に示した。フィデリティ評価調査の実施と評価結果の活用(23-4-01)」の「効果的プログラムモデルのフィデリティ評価調査(23-4-11)」に示した。効果的プログラムモデルのフィデリティ尺度作成と活用計画(23-1-01)」の「効果的プログラムモデル・フィデリティ尺度および改訂版の作成とその活用計画(23-3-31)」に示した。フィデリティ評価調査の実施と評価結果の活用(23-4-01)」の「自己評価によるフィデリティモニタリング評価調査(23-4-13)」に示した。インプット「1多施設共同・効果モデル試行評価調査(23-5-11)」におけるプログラム評価調査を適切に行うためには、想定したプログラム理論に基づき、効果的援助要素を盛り込んだ適切なプログラム運営を行った上で、アウトカム評価とプロセス評価を行う必要がある。効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に示した。実施マニュアルの必要性は、アウトカム評価調査を、多施設共同研究で行う場合に特に高まる。実施マニュアルを適切に理解し、実施マニュアルに沿ってプログラムを実施するために、実施マニュアルをテキストにスタッフ研修会を行う。スタッフ研修会は、通常1日、半日、あるいは1泊2日で行う。スタッフ研修会の中では、プログラムに参加するプログラム関係実践家との意見交換グループが、実践現場との貴重な情報交流の機会になる。フォーカスグループ、意見交換会(23-2-21)」に示した。多施設共同で効果モデルを試行した場合,単一施設で実施した場合(23-2-22)と同様に,分析の焦点は「効果モデルに沿ったプログラムではより良い効果が得られる」ことの検証に当てられる。多施設共同による効果モデルの試行は,モデルの外的妥当性を検討することが目的に加わるため,単一施設の場合に加えて,複数の施設で狙いとした効果が得られること,得られない場合の背景要因を明らかにし,モデルの汎用可能性および普及可能性を検討することが,分析の焦点となる。ここでは,施設間で効果の現れ方に違いが生じた場合,その違いがどのように生じたのかを,施設間の試行開始前のアウトカム指標の違い,施設特性の違い,取り組み状況の違いの3点に主に焦点を当てて分析する。これらを,効果モデルを試行していない「対照群」が設定されている場合と,全ての対象施設で効果モデルを試行した場合に区別して,分析の進め方について概説する。○アウトカム指標に影響する特性を明らかにする。アウトカム指標のなかには,施設やスタッフ,利用者の特性による影響を受けるものが含まれている可能性がある。その特性は効果モデルを試行した施設の間で異なるかもしれない(例:あるアウトカム指標は利用者の年齢の影響を受け,効果モデルを試行した施設間で利用者の平均年齢に差が認められる)。そこで,試行開始前のアウトカム指標得点と施設,スタッフ,利用者の属性との関連の有無を明らかにし,関連のある特性の施設間の差の有無を明らかにする分析を行う。○施設の取り組み状況を明らかにする効果モデルを試行するよう各施設に求めても,施設によって効果モデルの実施状況は異なる可能性がある。そこで,試行期間中の各施設の効果モデルの実施状況をフィデリティ尺度によって測定し,フィデリティ尺度得点のバラつきを明らかにする分析を行う。<分析の方法>★全体のフィデリティ得点の記述統計:平均値,標準偏差,中央値,パーセンタイル順位など★フィデリティ得点にバラつきが認められる場合の群分け:平均値や中央値,基準となる得点(4点以上/未満等)で2~3群(高[中]低群など)に分け,各群のフィデリティ得点の記述統計を算出する。○上記2つで明らかにした,効果モデルの実施状況とアウトカムに関連する特性を考慮し,効果モデル試行によるアウトカム指標の変化,差を検討する。※フィデリティ尺度得点で群分けができるほど十分な施設数が確保できなかった場合は,試行前後のアウトカム指標得点の差とフィデリティ尺度得点との間の相関分析によって,検討する。※アウトカムに関連する効果的援助要素を同定するために,領域や効果的援助要素ごとのフィデリティ得点と試行前後のアウトカム指標得点の差との間の相関分析を行うこともできる。十分な施設数が確保できる場合,重回帰分析やロジスティック分析によってアウトカムに影響する効果的援助要素を絞り込むこともできるが,多重共線性の問題が生じる可能性が高いので,留意が必要である。比較対照試験:効果モデルを試行しない施設(対照群)を設定し,対照群の施設でもアウトカムを測定している場合。※十分な数の施設を対象に効果モデル実施施設(介入群)と対照群に無作為に割り付けた場合(無作為化比較試験[RCT]),理論上は,施設・スタッフ・利用者特性は介入群と対照群の間で均質化され,両群間の諸特性の平均は同じである(有意な差は認められない)ことが仮定される。福祉実践の場合には十分な数の施設数(200施設程度)を無作為に割り付けることが現実的に困難なことが多く,また,多くの施設を確保できた場合でも,諸特性が均質化されない可能性がある。そこで,RCTデザインを用いた場合でも,コホート研究で記載したように,アウトカム指標と関連する諸特性および介入群と対照群との間で諸特性の均質性を検討し,該当する諸特性が存在する場合は,それらを共変量に組み込んだ共分散分析を行うことが推奨される。ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群の間で,試行後のアウトカム指標得点を比較する。ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群と対照群との間で,試行後のアウトカム指標得点を比較する。比較的多くの施設数が確保されていること(各群10施設以上を目安)が望ましいが,効果モデル実施・非実施だけではなく,効果モデルの実施の程度も加味したアウトカム達成の違いを検証することができる。※十分な数の施設を対象に効果モデル実施施設(介入群)と対照群に無作為に割り付けた場合(無作為化比較試験[RCT])、理論上は、施設・スタッフ・利用者特性は介入群と対照群の間で均質化され、両群間の諸特性の平均は同じである(有意な差は認められない)ことが仮定される。福祉実践の場合には十分な数の施設数(200施設程度)を無作為に割り付けることが現実的に困難なことが多く、また、多くの施設を確保できた場合でも、諸特性が均質化されない可能性がある。そこで、RCTデザインを用いた場合でも、コホート研究で記載したように、アウトカム指標と関連する諸特性および介入群と対照群との間で諸特性の均質性を検討し、該当する諸特性が存在する場合は、それらを共変量に組み込んだ共分散分析を行うことが推奨される。ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群の間で、試行後のアウトカム指標得点を比較する。ケース研究」で記載した方法によってフィデリティ尺度得点で分割した各群と対照群との間で、試行後のアウトカム指標得点を比較する。比較的多くの施設数が確保されていること(各群10施設以上を目安)が望ましいが、効果モデル実施・非実施だけではなく、効果モデルの実施の程度も加味したアウトカム達成の違いを検証することができる。効果モデルの効果モデル試行評価調査に参加した15~30事業所の事例表を作成し、効果的援助要素の実施状況とアウトカム指標の状況を対比させながら分析する。事業所属性によって、効果的援助要素とアウトカム指標の相関・関連が直線的でない場合のグループ別分析や、新たな効果的援助要素の抽出などという探索的な関係性の発見に有効である。全国事業所を対象とした効果的援助要素の実施状況の調査結果は、作成した効果的援助要素の全国的な実施状況を整理すること、効果的援助要素の促進・阻害要因を検討すること、成果と効果的援助要素との関連を検討することを主な焦点として分析を行う。領域、項目ごとの平均値は、それぞれレーダーチャートグラフ等の形で、視覚的に実施状況が把握しやすいように示す。平均得点が高い領域・項目、低い領域・項目を記述する。用いる自記式フィデリティ尺度(S23-0006?)は、効果モデル試行施設のフィデリティ尺度(23-3-31)とは得点が表す取り組み状況は必ずしも一致しないので、両者の絶対値の比較は慎重に行う必要がある。領域間あるいは項目間の得点の高低といった相対的な状況は、両者を比較することで、有用な情報が得られる可能性がある。ア)とイ)で用いたフィデリティ尺度が異なるので、効果モデル試行施設が全国事業所よりも実施度が高いと解釈するのは慎重になる必要がある。他方、ア)もイ)でも、B領域よりもA領域の方が平均得点が2点高いことから、B領域の効果的援助要素はA領域よりも実施度が低く、この傾向は、効果モデル試行施設だけではなく、全国の事業所でも共通した特徴として解釈することができるかもしれない。施設特性と自記式フィデリティ尺度(S23-0006?)の得点との関連を検討する。項目得点の順にそれぞれ関連を検討することで、効果的援助要素の実施を促進・阻害する施設特性が検討できる。種類などがあげられる。※分析は、施設特性の変数属性によって、フィデリティ尺度の得点との相関分析、またはカテゴリー間での差の検定(t検定、分散分析など)を用いる。※予備的な検討となるが、フィデリティ尺度の得点が高い(低い)施設が有する特性は、実施の促進(阻害)要因である可能性が示唆される。※検定が多く用いられることによって第1種の過誤率(タイプIエラー)が大きくなるため、ボンフェローニ(Bonferroni)の修正を行う等の工夫や、結果の解釈には留意が必要となることが多い。主には客観的アウトカムに位置付けている指標の過去の実績(成果)を聴取している場合、過去の実績とフィデリティ尺度の得点との関連を検討する。これによって、大規模なサンプルからアウトカムに影響する可能性を有する効果的援助要素を“予備的に”示すことができる。検討方法の1~3を踏まえて、プロジェクト研究班事務局が中心となって、それぞれの評価調査結果を分析して、その結果を報告書案にまとめる。フィードバックする方法を検討する。検討方法の「5組織的キャパシティ分析」の結果も踏まえて、現実的で改善可能な問題提起と提案(案)を作成する。利害関係者に集まって頂き、グループ討論を行って内容を検討する。報告書の事務局たたき台案において、課題となる点が明確な場合は研究者間でフォーカスグループを開催する。課題があいまいな場合はブレーンストーミング的なグループ発想技法を用いても良い。モデル試行評価調査の結果は、できるだけ早期に報告書にまとめる。この報告書は、効果モデルの効果的援助要素の実施が、狙いとしたアウトカムの達成に十分機能しているかを説明するために作成され、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成(31-1-01)において活用される。想定される読者対象ここで作成する報告書の想定される読者対象は、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成に関わる人たちであり、主に研究者、実践家となる。資金助成・補助を受けて行われた場合、その助成元が対象となる。前者の場合は、試行した効果モデルが狙いとしたアウトカムを達成するために十分機能しているか、アウトカム達成を促進・阻害する諸特性を踏まえた効果モデルの追加・修正、あるいは、効果モデルを実施・普及する際の配慮・工夫点などを検討する際の資料として活用されることが期待される。報告書の構成と記載上の留意点ここで作成する報告書には、以下の項目を含むことが推奨される。扱うプログラムが対象とする社会問題のニーズの状況、標的集団など、現状の概要((11-1-31)(11-1-32)を活用)。効果モデル作成の過程の概要((21-1-31)(21-2-31)(21-3-31)(22-1-31)を活用)効果モデルのプロセス(フィデリティ)とアウトカムの関連を検証する目的であること検証結果によって、効果モデルがアウトカム達成に果たす役割、アウトカム達成のために必要な効果モデルの修正点を明らかにすることができる意義を有すること。共分散分析の結果の概要:効果モデルの実施程度が狙いとしたアウトカム達成にどの程度関連していたか。)フィデリティとアウトカムとの間に十分な関連が認められた場合、その妥当性の解釈。フィデリティとアウトカムとの間に十分な関連が認められなかった場合、その原因や解決の可能性に関する考察。効果的プログラムモデル構築への示唆この評価調査によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。結果は、できるだけ早期に報告書にまとめる。この報告書は、効果モデルの効果的援助要素が、現時点で全国的にどのような実施状況にあるのか、効果モデル試行施設が全国の状況と比べてどのような位置づけにあるのかを明確にすることに加え、全国で実施する際に課題となる点を明確にしたり、アウトカムと関連する効果的援助要素を大規模なサンプルから予備的に明らかにすることが目的となる。段階(31-1-01)で活用される。想定される読者対象ここで作成する報告書の想定される読者対象は、効果的プログラムモデルの実践現場への移転、実施・普及モデルの作成に関わる人たちであり、主に研究者、実践家となる。資金助成・補助を受けて行われた場合、その助成元が対象となる。課題を明確に記述することが求められる。報告書の構成と記載上の留意点ここで作成する報告書には、以下の項目を含むことが推奨される。・扱うプログラムが対象とする社会問題のニーズの状況、標的集団など、現状の概要((11-1-31)(11-1-32)を活用)。・効果モデル作成の過程の概要((21-1-31)(21-2-31)(21-3-31)(22-1-31)を活用)・効果モデルの全国での実施・普及状況および実施に関連する施設特性等を明らかにする目的であること。・実施状況把握によって、効果モデルの普及の必要性および普及の促進・障壁要因を明らかにすることができ、普及の課題克服のための有用な資料となる意義を有すること。・施設特性との関連分析結果:フィデリティ尺度得点と関連する施設特性に関する考察。フィデリティ得点を高めるために、変容可能な施設特性であるか。当該特性を有する施設がフィデリティ得点を高めるために必要な配慮・工夫点。関連分析結果:フィデリティと成果との間に十分な関連が認められた場合、その妥当性の解釈。効果的プログラムモデル構築への示唆この評価調査によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。効果的プログラムモデル、効果的援助要素の実施が、プログラムゴールの実現に貢献し、適切なアウトカム(成果)をあげているのかを、実践レベルで検証することがこの報告書の目的である。プログラムゴールとなるアウトカム指標と効果的援助要素の関連性の日常的な実践的検証の結果、効果的プログラムモデル構築・再構築に貢献することを目ざしている。報告書には、プログラム実施事業所が1~3ヶ月おきに定期的に実施して来た自己評価フィデリティ評価モニタリング(23-4-33)、およびアウトカムモニタリング(23-2-13)の結果をまとめるとともに、年間数回にわたり評価者が評価訪問をして実施した、第三者によるフィデリティ評価結果も同時に整理する。努力、実践的な気付きなどが報告される。差異分析、バリアンス分析の結果からアウトカム(成果)に結びつきにくい効果的援助要素やその他の取り組みについても整理して示される。最後に、効果的プログラムモデル構築・再構築への示唆がまとめられる。まとめて報告する場合がある。報告書に盛り込む具体的な内容としては、以下の項目を含める。ごとの取り組みの成果をまとめる。共有化され、その意味について日常的に意見交換されることが望ましい。これらの結果をまとめる際には、関係した事業所関係者に集まって頂き、意見交換の場を経て報告書にまとめることが望ましい。効果的プログラムモデル構築への示唆モニタリング評価調査分析によって明らかになった、狙いとするアウトカムの達成に良い影響をもたらす効果的援助要素の分析から、効果的プログラムモデルの構築・再構築について得られた知見を提示する。