―質の高い「エビデンス」のための指標粒度の在り方エビデンスに基づく政策形成(EBPM)が注目を集めている。人口減少や少子高齢化が進展していく中、基礎自治体では財政制約がより厳しくなることが予想され、EBPMの重要性は今後さらに高まると考えられる。質の高い「エビデンス」を創出するための指標粒度の在り方について考察を行う。※本記事は、政策研究(2019年2月号)(新・地方自治フォーラム)に掲載したものを一部修正したものです。EBPM)」の重要性・注目度が高まっている。(経済産業行政におけるエビデンスに基づく政策立案・評価に関する調査)報告書」によると、「エビデンス」の質には「専門家や実務家の意見」や「少なくとも1つのRCT」などの段階があることが指摘されている。RCT)などによる質の高い「エビデンス」が求められる場合もあるが、「EBPM(エビデンスに基づく政策立案)に関する有識者との意見交換会報告(議論の整理と課題等)」において、「(研究者として)エビデンスづくりや政策評価を頼まれたとき一番困るのが、政策の実施は、それが評価できるような形には必ずしもなっておらず、とても複雑な政策が実行されること。関連する政策が同時に始まるので、1つの政策の効果の測定はほとんどできないし、無理矢理やったとしても局所的な情報しか出せない。よっては厳密な政策効果の測定によって質の高い「エビデンス」の創出(統計的手法を用いた厳密な政策効果の測定)が難しい状況となっている場合がある。本稿では、質の高い「エビデンス」の創出が難しくなる要因として、指標の設定方法、特に「政策効果を測定するための指標の対象(政策効果の測定対象)」と「政策の直接的な対象(介入の対象)」の違いに注目して考察を行う。評価手法等の情報提供等の支援に関する調査研究」では、地方自治体の行政評価における課題として「評価指標の設定」が挙げられており、その要因として「施策・事務事業の目的・成果を具体化・明確化できていない」ことが指摘されている。質の高い「エビデンス」を創出するための指標設定においても、地方自治体における行政評価の成果指標の設定と同様に目的・成果の具体化・明確化(対象や対象をどのようにしたいかの具体化・明確化)は必須であると考える。本稿では、目的・成果の具体化・明確化に取り組んでいるものの、質の高い「エビデンス」を創出するための適切な指標設定が困難となる要因として「介入の対象(政策の直接的な対象)<政策効果の測定対象(政策効果を測定するための指標の対象)」としている場合を取り上げる。効果を測定するための指標よりも小さくなっていることを意味している。具体的には【図表1】のような政策・事務事業等(介入)および政策・事務事業等(介入)の直接的な対象、政策効果の測定対象(指標)などがある。具体例として、「ごみ減量相談窓口の設置」を用いて「介入の対象<政策効果の測定対象」の説明を行う。「ごみ減量相談窓口の設置」とはごみの排出量の削減に取り組んでいるものの実施方法で悩む住民を対象とした相談窓口であり、相談者に対してアドバイス等の支援(介入)を実施して、相談者のごみ排出量の削減を支援するものである。達成などのより大きな目標の実現に向けて実施されている。環境保全基準の達成という大きな目的に向けて地域のごみ排出量の削減に取り組んでいるため、取り組み(介入)の成果として「(地域全体の)ごみ排出量の削減率」を設定することは一見妥当にも思われる。「ごみ減量相談窓口」によって直接的に支援(介入)する対象は「ごみ減量相談窓口の利用者」であり、地域全体の住民に対する支援(介入)は実施されていない(仮に地域住民の全員がごみ減量相談窓口を利用する場合には、この限りではない)。そのため「ごみ減量相談窓口の設置」という取り組み(介入)の成果を測定するための指標として「(地域全体の)ごみ排出量の削減率」を設定すると、その指標は「ごみ減量相談窓口による支援(介入)対象者」の行動に加えて、ごみ減量相談窓口を利用していないその他大勢の住民の行動も測定していること、つまりは「介入の対象<政策効果の測定対象」としていることとなる。「介入の対象<政策効果の測定対象」とすることで、質の高い「エビデンス」の創出(厳密な政策効果の測定)が困難になる点を確認する。「ごみ減量相談窓口の設置」の厳密な政策効果の測定を試みる場合には、【図表3】のとおりAグループが「ごみ減量相談窓口」を利用した場合の「ごみ排出量の削減率」と、Aグループが「ごみ減量相談窓口」を利用しなかった場合に類似する「ごみ減量相談窓口」を利用していないBグループを比較するなど、適切な比較対象を設定する必要がある。【図表3】政策効果測定のための比較対象の設定についてしかし、「介入の対象<政策効果の測定対象」として政策効果の測定対象を「対象地域全体のごみ排出量の削減率」とした場合には、比較対象として「異なる地域におけるごみ排出量の削減率」を設定することになる。関連した事件、個人の行動特性、地域の特性などの多くの要素の影響を受けている。質の高い「エビデンス」の創出のためには、「ごみ減量相談窓口の利用」に関連するこれらの要素を適切に考慮(コントロール)する必要がある。行動のみに焦点を絞っても地域内では同時並行的に同一・類似目標に向けた複数の取り組みが実施されている場合が多くある。そのため地域間を対象としてそれらの要因を適切に考慮(コントロール)することは難しい場合が多い。政策効果を測定するための指標を「対象地域全体のごみ排出量の削減率」とした場合にその指標は、「ごみ減量相談窓口の利用者」のごみ排出量の状況のみでなく、その他の住民のごみ排出量の状況の影響を受けており、その中から「ごみ減量相談窓口の利用者」の変化状況を抽出して把握することは極めて困難となる。「対象地域全体のごみ排出量の削減率」を成果測定のための指標として設定している場合には、直接的な取り組みの対象者への変化が地域全体にも波及することが所与のものとされている場合がある。介入の直接的な対象における変化が介入を受けていない主体にも必然的に生じ得るという仮定を無条件に設定することは、「証拠に基づく政策形成(EBPM)」の考え方に照らして適切ではない。「介入の対象<政策効果の測定対象」とすることで、質の高い「エビデンス」の創出において問題が生じることを確認したため、本節では問題への対処方法として以下の3つの取り組みを検討する。成果を測定するための指標を設定する場合には、「介入の対象≧政策効果の測定対象」とすることが重要となる。類型に応じた取り組み(介入)の直接的な対象者を適切に位置付ける必要がある。よっては「介入の対象≧政策効果の測定対象」とすることが困難な場合が考えられるが、成果を測定するための指標設定の段階では政策・事務事業等による取り組み(介入)の粒度と、成果を測定するための指標の粒度を考慮することが重要だと考える。直接的な効果と波及効果を混同するのではなく、それぞれを切り離して別々に取り扱う必要がある。直接的な効果と波及効果を別々に測定する場合には少なくとも1直接的な介入対象の変化(直接的な効果)、2介入を受けていない対象への波及経路、3介入を受けていない対象の変化(波及効果)の3段階に分けて測定することが望まれる。直接的な対象者の変化が対象となっていない住民・事業者等にどのように影響するのか(波及経路)を事前に想定したうえで、その波及状況を測定する必要がある。波及経路は取り組みの内容により異なってくるが、「ごみ減量相談窓口」の場合には、「ごみ減量相談窓口の利用者」による情報発信状況などが考えられる。直接的な介入対象に関する指標の測定が困難であり、事業の直接的な介入の対象者の変化状況について地域全体を対象とした指標で測定することを試みる場合には、1の直接的な効果、2の波及経路を具体化・明確化したうえで、地域全体に占める直接的な対象者の割合を考慮する必要がある。住民が20万人規模の地方自治体において「ごみ減量相談窓口の利用者」が仮に2,000人/年いた場合には、直接的な対象者の占める割合は1%であることを踏まえておく必要がある。背景としてデータ収集等が困難となる場合が想定されるが、税金を用いて政策・事務事業等の取組を実施している以上、効果の有無の検証が実施されない、また適切な効果検証の実現が困難な状態で継続することは望ましくない。下での指標収集時には、例えば既存の満足度を測定するアンケート調査等に対象者の属性等を追加することなど、既存の指標収集手段の改善・見直し等により対応することも考えられる。実施に伴う変化として意識・雰囲気の変化などの主観的な考え等のみが重視され、客観的な変化が考慮されていない場合がある。意識・雰囲気の変化の先には行動の変容が想定されるために、期待される行動変容を具体化・明確化することで行動変容を定量的に測定するなどの取り組みを実施することが望ましい。質の高い「エビデンス」の創出のためには定量的な分析が必須と考えるが、定性的な側面の分析も非常に重要となる。おわりに本稿では、質の高い「エビデンス」を創出(厳密な政策効果を測定)するための指標設定において、「介入の対象<政策効果の測定対象」としていることの問題点および対応方法についての考察を行った。質の高い「エビデンス」の創出のためには本稿で取り上げた事項以外に、様々な取り組みが必要であり、「介入の対象≧政策効果の測定対象」などの取り組みは質の高い「エビデンス」の創出に向けた一取り組みであると考える。平成29年4月に「EBPM推進委員会」が設置され、政府横断的なEBPMの取り組みが開始されるなど、「EBPM」という名称の取り組みは緒についたばかりである。中央政府における政策評価や地方自治体における行政評価など政策・事務事業等の成果を測定するための指標の設定や、その指標の分析等については従前から取り組まれており、決して新しいものではない。成果を測定するための指標設定において課題が生じている。自治体経営に関するコンサルティング業務を手掛ける。サービス公共行政機関は、国民・住民の生活、福祉の向上に向けて、さまざまな課題を解決する必要があります。行政機関の抱える課題解決を支援します。入力フォーム当社はセキュリティ保護の観点からSSL技術を使用しております。