プログラムが、常に効果的なプログラムとして機能し、より効果的なプログラムモデルに発展することをめざすためには、実践現場においてプログラム効果を生み出す効果的援助要素が適切に実施されているかどうかを、日常的にモニタリングすることが求められる。CD-TEP法では、2種類のフィデリティ評価尺度、すなわち第三者が訪問面接によって評価するための尺度と、自己評価に基づく尺度を用意している。これらフィデリティ評価尺度の評価結果は、実践現場との対話によって、より効果的なプログラムモデル構築のために役立てる必要がある。この課題プロセスでは、2種類のフィデリティ評価尺度を用いて、プロセスモニタリング評価を行って、その結果をプログラム関係実践家と協議し、より効果的なプログラムモデルに発展させるためのアプローチ法を提示する。図II3-4-1には、「フィデリティ評価調査の実施と評価結果の活用」の課題処理フローチャートを示した。効果的援助要素リスト」がどのように実施されているのかを、確認することを通して行われる。プログラム理論:プロセス理論(組織計画)」があることは言うまでもない。効果的プログラムモデルの実施マニュアル」の検討も不可避である。(組織キャパシティ)が問われてくる。これらの条件を総合的に勘案して、適切なフィデリティ評価調査を行う評価デザインを構築する必要がある。効果的プログラムモデルの実施マニュアル」の改善に役立てられるとともに、「プロセス理論(サービス利用計画)」「プロセス理論(組織計画)」に反映され、より効果的なプログラムモデルに発展させるために役立てられる。フィデリティ評価調査の実施と評価結果の活用の実施手順は、図II3-4-2に示した。目的と意義フィデリティ評価調査は、福祉実践プログラムが、効果的なプログラムとして機能し、より効果的なプログラムモデルに発展することをめざして、実践現場においてプログラム効果を生み出す効果的援助要素が適切に実施されているかどうかを、日常的にモニタリングするために行われる。プログラム実施現場で自己評価で、サービスの質を維持・向上するための取り組みとともに、第三者によるモニタリング評価によって行う。この「効果的プログラムモデルのフィデリティ評価調査」は、主に第三者による評価調査によって行われる。フィデリティ評価調査の対象事業所の設定フィデリティ評価調査は、評価担当者がプログラム実施事業所を訪問し、実践現場との意見交換によって評価をおこなう。フィデリティ評価調査の実施は、実施されているプログラムの状況や提供されているサービスについてモニタリングを希望する事業所である場合もあれば、効果的プログラムモデル構築のためのプログラム評価研究の一環として行われる場合もある。効果モデル構築のためのプログラム評価研究として実施する場合は、1関係団体などの紹介により評価調査に協力の得られる事業所を対象にすること、2公募によって、効果の上がるプログラムモデル形成に関心を示し、参加を希望する事業所を募ることがある。参加事業所数は、評価研究のデザインによってさまざまである。一般的に、アウトカム指標との関係で効果的援助要素を検討する研究では、量的分析とともに質的検討を行うために20事業所程度を対象にすることが多い。評価調査の具体的な進め方は、「フィデリティ評価モニタリング調査の進め方ガイドライン(T23-004)」に示した。以下に、フィデリティ評価調査プロセスの概要を示す。評価調査に先立ち、評価者側は、可能な限り事前に事業所に関する情報を収集・検討しておく。業務の妨げにならない最大の配慮をおこない、関係作り、関係性を大切にし、実践現場との意見交換を通した評価を心がける。対象事業所の地域特性や事業所背景について、周辺状況や他関係機関との関係性、地域での対象事業所の位置づけなどについて情報を得るようにする。聞き取りながらチェックシートのうち、該当する項目としない項目を共有する。関係機関とも意見交換できることが望ましい。自己評価チェックリスト以外の調査票の確認と必要に応じた説明をおこなう。整合性が取れない事情が生じた場合には、電話などによる追加調査をおこない、評価調査終了後すみやかに評価結果を返すようにする。調査内容や評価結果に間違いがないかを確認し、調査報告書への記載の了解と確認の依頼をおこなう。後日、フィデリティ評価調査の結果は、評価対象事業所にフィードバックする。概要説明と異なる部分や、対象事業所の自己評価と評価者のおこなう評価が一致しない項目については、色ペンなどで区別し、担当者に丁寧に確認する。チェックシートをその場で確認し、チェックがつく項目やつかない項目を共有する。項目ごとにその事業所での配慮点、工夫点を具体的に確認する。チェックシートにチェックがない項目については以下の点を項目ごとに確認する。その項目に積極的に取り組む必要性を感じているか。達成できていないと考えるか。その障壁となるもの何だと考えているか。その障壁を取り除くためには何が必要だと考えているのか。訪問調査時の即時フィードバック対象事業所の取り組み状況を確認したうえで、事業所のストレングスと思われる点を担当者に伝える。達成が困難な項目については、その理由として考えられるものを一緒に検討し、他事業所の取り組みの工夫を情報提供することで、サービスに取り入れることができるかを検討する。対象事業所では改善できない要因も考えられるため、他の項目で補完することについての可能性や方法をともに考える。プログラム実施の経過とともに達成可能な項目に変化があるか、その理由についても検討をおこなう。訪問調査時の意見交換フィデリティ評価調査訪問時には、面接票・インタビューガイドに設定された質問だけでなく、訪問した事業所の実例に即して意見交換を行う。プログラム関係実践家がフィデリティモニタリング評価調査に何を望んでいるのかについても可能な方法で考えを伺う。自らフィデリティ評価調査を希望した事業所に対しては、評価調査を必要とした理由なども確認できると良い。それにより、適切な調査結果のフィードバックと必要なコンサルテーションが可能になる。評価調査から戻ったら、できるだけ速やかに事例報告書をまとめる。2フィデリティ評価モニタリング調査・訪問時における意見交換フィデリティ評価モニタリングでは、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。できる掛け替えのない貴重な機会となる。21-2-32],組織計画[21-3-31])をどの程度踏まえて実施できているかを,実践家(または実施機関の管理部門)が定期的に確認し,日々の実践に活かすことを目的として行う。フィデリティ評価を自己評価で定期的に行うことによって,自分たちの取り組みを細やかに確認することができ,継続的な質の実践の向上に役立てることができる。継続的なアウトカムモニタリングとの関連で検討することにより,効果を上げているとき,および効果を上げられていない時の効果的援助要素の実施度の違いを,自分たちで確認し,実践の見直しに役立てることができる。第三者が評価するフィデリティ評価調査(23-4-11)のための資料として用いることもできる。フィデリティモニタリング評価調査の方法フィデリティモニタリング評価調査は,効果的プログラムモデルの効果的援助要素リスト(22-1-13)およびフィデリティ尺度(22-1-33)を用いて行う。自機関の過去の取り組みについて,効果的援助要素リストのチェックボックスに示される下位要素がどの程度満たしているかをチェックする。次に,フィデリティ尺度の各アンカーポイントを参照しながら,尺度の各項目の得点を決定する。調査の詳細な進め方は「自己評価によるフィデリティ評価モニタリング調査の進め方ガイドライン」(T23-005)を参照。自己評価によるフィデリティモニタリング評価は,第三者を交えずに行うことができるという点で,実施が容易である。そのため,可能であれば3ヵ月に1回程度の頻度で自己評価を行うことが望ましい。フィデリティモニタリング評価調査のまとめフィデリティ評価調査の結果は,第三者が行う場合と同様の方法でまとめておく(23-4-11)。効果的援助要素の各項目および各下位領域の得点を,レーダーチャート等の全体像が分かりやすい方法でまとめる。そのうえで,実施度の高い要素・領域,実施度の低い要素,領域をまとめる。継続的に実施した場合,ひとつのシートでフィデリティ得点を時点ごとにまとめておくと,継時的な実施度の変化が把握しやすい。効果的プログラムモデルの実施マニュアルの作成(22-2-01)」に提示されている。フィデリティモニタリング評価調査結果の分析の方針フィデリティモニタリング評価調査の結果は、評価対象となった実践プログラムをより良いものにするために、実践家参画型で分析・検討される。達成が困難な項目については、困難の原因を探ることで課題を抽出する。どのような条件が整い、どのようにすれば達成が可能になるかの工夫や配慮について、実践現場との対話を通して検討する。実施可能なもの、実現可能性の高い改善案をまとめる。検討方法1「効果的援助要素リスト・チェックボックスを用いたフィデリティ尺度作成の手引き」(23-3-21)に示したように、通常、5件法(1点~5点)に整理する。フィデリティ総合尺度や下位尺度は、リッカート法で尺度構成するが、それぞれの尺度は尺度項目数で除して、1点から5点の項目平均得点を求めておく。フィデリティ尺度のアンカーポイント(全般評価)は、「3点:効果的な支援内容が中程度に行われている」「4点:効果的な支援内容が一定レベルで適切に行われている」「5点:日本の現状から見て、現時点で望まれる効果的な支援内容」(23-3-21)であり、項目平均4点を基準に、評価結果を分析する。同時に、取り組み施設全体の平均値や全国平均値があれば参考にする。(領域)尺度得点(項目平均値)、全体スコア・総合尺度得点(項目平均値)別に整理して、1点から5点のレンジのレーダーチャートとして表示する。あればその値を表示して、比較分析を行う。前項で触れたように、項目平均値4点を基準に、さらには取り組み施設の平均値や全国平均値を基準に、評価対象事業所のフィデリティ評価点を検討する。視覚的に容易に比較可能になる。達成が困難な項目については、事例分析等を用いてその原因を探り、課題の抽出を行う。なる実践プログラムにおいて、効果的援助要素とされるサービスやプログラム要素の実施を困難にする条件や要因は、実施事業所の属性別に共通することがある。される地域類型などである。(領域)尺度得点、全体スコア・総合尺度得点の平均値(標準偏差)を算出して企画検討する。この分析によって、事業所属性別に共通する、実施困難要因や障壁条件、取り組み課題が明らかになる。2フィデリティ評価モニタリング調査・訪問時における意見交換フィデリティ評価モニタリングでは、評価担当者が訪問して、プログラム関係実践家と意見交換しながら評価を行う。できる掛け替えのない機会となるだけでなく、評価結果を分析し、結果の理解を深めるための貴重な情報・知識を入手する場となる。プログラム関係実践家がフィデリティモニタリング評価調査に何を望んでいるのかを知る機会にもなり、そこでの情報に基づいて、適切な調査結果のフィードバックと必要なコンサルテーションが可能になる。検討方法の12を踏まえて、プロジェクト研究班事務局が中心となって、評価調査結果を分析して、その結果をフィードバックする方法を検討する。検討方法の「5組織的キャパシティ分析」の結果も踏まえて、現実的で改善可能な問題提起と提案(案)を作成する。利害関係者に集まって頂き、グループ討論を行って内容を検討する。フィードバック報告書の目的フィデリティ評価調査の評価結果を報告書としてまとめ、評価を受けた事業所にフィードバックすることは、事業所サイドでは、プログラム実施状況を確認するとともに、外部評価者による評価結果をプログラムの改善のために活かす材料にして頂くことを目的としている。フィデリティ評価調査を実施する、プログラム開発者側では、評価結果をフィードバックし、実践現場からその結果に対する反応を受けて、討議することによって、効果的援助要素やフィデリティ尺度、さらには、プログラム理論の再構築の必要性まで検討することができる。CD-TEP評価アプローチ法の円環的対話の主要な場とすることができる。フィードバック報告書に盛り込むべき内容、構成フィデリティ評価モニタリング調査のフィードバック報告書は、評価対象となった事業所ごとに作成される。その状況を、取り組み施設全体の平均値や全国平均値との比較から、視覚的にレーダーチャートで明らかにする。同時に、実践家参画型で事業所におけるプログラムの実施内容を改善し、より良い効果的プログラムモデルを構築するために、事業所のストレングスに焦点を当てたフィードバックと、改善点の主体的取り組みを促すコメントを報告書の内容に加える。具体的な内容としては、以下のとおりである。評価内容を文章で示すとともに、グラフなどを用いて視覚的に分かりやすく提供する。取り組み施設全体の平均値や全国平均値を示すことで、取り組み事業所全体の中での相対的な位置づけが明確になり、効果的援助要素の達成度を項目ごとに一目で把握することができる。一方で、他の評価対象事業所よりも明らかに評価が低い事業所に対しては、事業所の状況に応じた理解と、その中での改善方策が、事業所の主体的な取り組みによって志向されるように配慮あるコメントが必要である。実践プログラム全体への示唆、個別報告書と全体報告書の関連フィードバック報告書は、原則的には評価対象となった個別事業所ごとに作成される。一方で、フィデリティ評価モニタリング調査全体の報告書も、特に研究目的でフィデリティ評価調査が行われる場合にはまとめる必要がある。個別のフィードバック報告書を取りまとめる過程、さらにはフィードバック報告書を対象事業所にフィードバックし、その事業所から評価結果に対する反応を受けて、討議する過程の中で、効果的援助要素やフィデリティ尺度、プログラム理論の再構築の必要性まで検討することができる。提示とともに、これら効果的プログラムモデル構築に関わる検討結果についても提示する必要がある。2フィデリティ評価モニタリング調査のフィードバック、意見交換の方法プログラム実施事業所に訪問してフィデリティモニタリング調査が終了したら、その場で、対面的な即時フィードバックを行う。このために、フィデリティモニタリング調査では、可能な限り即時フィードバックの時間(30~60分程度)を確保できるよう、訪問前に調整をしておくこと必要がある。即時フィードバックは、フィデリティ尺度の得点、フィデリティ評価モニタリング調査・訪問時における意見交換(23-4-22)を踏まえて、以下のa~dの順に行う。プログラムの取り組みで優れた点、ストレングスを10項目程度フィードバックする。・フィデリティ尺度の項目や領域得点で、4点以上のものを指摘する。その項目や領域が4点以上であることの利点を合わせて伝える。※フィデリティ尺度の項目や領域得点で、4点以上のものがない、あるいは10項目に満たない場合、項目や領域のなかで相対的に得点が高い項目や領域を指摘する。その項目や領域が高いことの利点を合わせて伝える。・調査訪問の間のジョブシャドウや聴き取り、意見交換時に確認された、フィデリティ得点やアウトカムを高めるために工夫されている取り組みを指摘する。フィデリティ尺度の得点のみで10項目以上確認された場合でも、この工夫点はフィードバックに含めることが推奨される。取り組みにおける課題点、次のステップになる点を2~4項目フィードバックする。・フィデリティ尺度の項目や領域得点で4点未満のものを指摘する。その項目や領域が4点以上であることの利点を合わせて伝える。※フィデリティ尺度の項目や領域得点で4点未満のものが多い場合、項目や領域のなかで相対的に得点が低い項目や領域、あるいは短期的に改善が可能と思われる点を指摘する。その項目や領域が高いことの利点を合わせて伝える。・調査訪問の間のジョブシャドウや聴き取り、意見交換時に確認された課題点を指摘する。ここでは、できるだけ短期的に変化可能な点に焦点を当てる。それを踏まえて長期的に変化・達成が求められる点を合わせて伝える。課題、次なるステップとなる点の改善・克服方法を検討する・bで指摘した課題点を、aで指摘したストレングスを活かしてどのように改善・克服できるかについて、施設担当者・スタッフの考えを求める。施設担当者、スタッフの改善・克服に向けた考えは、肯定的に支持する。・フィデリティモニタリング調査実施者が考える改善・克服の提示し、それに対する施設担当者、スタッフの考えを求める。・上記を踏まえて、具体的な次の実施計画に関する意見交換を行う。可能であれば、その場でいくつかの案を作成することを支援する。即時フィードバックの終了と報告書送付の後日送付を伝える・ここで行った即時フィードバックは暫定的なものであり、後日、改めてフィデリティモニタリング調査結果を検討して、フィードバック報告書(23-4-31)を送付することを伝え、即時フィードバックを終了する。自己評価モニタリング報告書は、プログラム実施事業所が、1~3ヶ月おきに定期的に実施して来たフィデリティ評価モニタリングの結果を、年度ごとに事業所の取り組みを振り返る目的でまとめられる。報告書は事業実施年報のような形でまとめられる。プログラムの運営資金を出資する主体などの関係者と共有するとともに、同じ実践プログラムに取り組む関係者やプログラムに関心をもつ関係者に配布する。報告書には、アウトカムモニタリングの結果(23-2-13)と併せてまとめることが望ましい。それによって、事業所の取り組み経過が確認されるとともに、成果(アウトカム)との関連で効果的援助要素がどのように反映しているのかを、事業所レベルで把握し、次なる改善への示唆を得ることができる。報告書は、前項で述べたとおり、プログラム実施事業所のプログラム実施に関わる多くの関係者に実施の成果を共有するために作成されるため、多様な関係者にプログラムの背景と取り組みの歴史、現状と課題が分かりやすくまとめられる必要がある。実施事業所の中でそのプログラムに取り組むようになった背景と経緯、プログラム導入の目的を示すとともに、現状の取り組みを年度単位の経緯とともに記述する。アウトカムモニタリングの結果(23-2-13)と併せて掲載することが望ましい。今後の課題と改善点を、プログラムの成果(アウトカム)との関連から、プログラム取り組み状況を検討する中で提示する。具体的な内容としては、以下の項目を含める。報告書は、プログラム実施に関わる多くの関係者がプログラムの背景と取り組みの歴史、現状と課題を共有できるよう、分かりやすく、グラフなど視覚的に理解できるようまとめる必要がある。今後の課題や改善の課題を、関係者全体で共有できるよう説得力ある形で論点を絞って提示することが求められる。