4.1.1 監測與評價的概念解析及功能比較
縱觀西方發達國家及國際組織的實踐，監測與評價成為政策管理最重要的工具之一，它覆蓋了從政策提出到完成的全部環節。通過引入監測與評價，政策的推行與完善並行，不僅能保證政策目標最大程度得以實現，還能從已有政策製定與推行中總結經驗和教訓，提高未來教育政策的成效。盡管監測與評價往往同時提及，但它們在概念和功能上有著本質區別，因此有必要厘清這兩個概念的區別和聯係，這也是正確使用監測與評價的基礎。
4.1.1.1 監測
監測（monitoring）是由政策實施機構所主導的內部管理活動，是一個收集和分析有關政策進展、政策預期目標達成度等方麵信息的動態持續過程。通常借助連續性的、關鍵性產出指標對政策覆蓋對象進行連續性的數據收集，比較實際產出和預期產出，考察政策覆蓋對象的發展變化，以監督政策是否按照預期開展和實施，政策的預期目標是否實現。
監測主要回答以下五個關鍵問題[1]：（1）政策是否按照計劃推行與實施？（2）政策的投入是否很好地指向了目標人群？（3）預期產出是否有效完成？（4）在實現政策結果的過程中，我們麵對哪些問題、風險及挑戰？（5）針對政策執行過程中發生的變化，需要做出什麽調整？
通過回答以上問題，管理者可以及時發現並改正不足，並做出調整方案或出台配套措施。一方麵，可以有效地幹預政策實施；另一方麵，還能促進政策製定者、實施者之間達成一致意見，明確政策實施的工作重心，強化各方責任，提高政策資源配置的合理程度。同時，高質量監測所獲得的信息也是政策評價重要的信息來源[2]。
4.1.1.2 評價
評價通常由獨立的第三方評價機構實施，是對計劃中的、正在實施的或已經完成的政策的係統地、客觀地評價，包括對它們的設計、實施及結果的評價。其目的在於確定政策預期結果與實際結果的關聯度和達成度，評估政策的效率、效益及影響力和可持續性。
評價主要回答以下四個關鍵問題：（1）結果實現或不能實現的原因是什麽？（2）政策的實施對覆蓋人群的具體貢獻（影響）是什麽？（3）我們怎樣才能改進政策的結果？（4）從該項政策中，我們獲得哪些經驗和教訓？
高質量的評價能給政策受益者和資金提供者提供可靠和有用的信息，使雙方獲得政策實施教訓和經驗，以改進行為決策，更進一步，評價是對政策執行實施問責、合理性論證的重要基礎[3]。
4.1.1.3 監測和評價的互補性
表4-1呈現了監測與評價互補的特點，從表中可以看到，為保證政策取得最大成功，監測與評價應與政策的籌劃同步進行，二者缺一不可：（1）監測能及時提供政策執行過程中的相關信息及管理者執行政策所需的信息，同時也提供政策預期效果及其成因方麵的信息，因此評價中的大部分信息來源於監測；（2）監測給評價提供了必要的信息，但這些信息並不充分，評價還需要利用其他數據收集工具及係統的分析框架對政策進行評價；（3）監測的設計和實施必須充分考慮評價的需要，因為清晰的政策目標、監測指標等是評價能否獲得成功的前提[4]。
表4-1 監測和評價的角色
4.1.2 教育政策的監測與評價係統
監測和評價是政策製定與推行過程的重要部分，從本質上而言，監測是評價的信息基礎，如果忽略對政策過程的監測，評價的作用也會大打折扣。教育政策的監測係統是可以識別政策目標、監督政策實施過程及改進政策實施結果的信息管理係統，它用於評估政策的有效性和報告政策實施進展情況；教育政策的評價係統則是給政策受益者和資金提供者提供可靠和有用的信息，使雙方獲得政策實施教訓和經驗，以改進行為決策，是對政策執行實施問責、評估政策的效率、效益及影響力和可持續性的信息係統。建立一個有效的監測與評價係統需要政策製定者的支持和相關技術準備。監測與評價係統的構建通常包括五個方麵：（1）監測與評價指標體係建構；（2）數據信息采集；（3）數據管理與分析；（4）信息公告和發布係統；（5）關鍵執行者間（數據采集者、數據分析者、政策製定者及政策實施者）的組織安排。
4.1.2.1 教育政策監測與評價的指標體係
1.監測與評價指標的類型
建立良好的指標體係（indicator system）是實施政策監測與評價的基礎與核心，一個良好的指標體係應當是富有邏輯的、具有針對性的完整體係，組成這一指標體係的指標應當具備針對性、可得性、可跟蹤性和時效性四個特征[5]。根據指標測量的對象及用途不同，可以將監測與評價指標分為投入、產出、結果和影響指標四類（詳見表4-2）。其中，監測主要關注政策的投入（input）、產出（output）及結果（outcome）；評價既關注政策結果（outcome），同時更關注政策的影響（impact）。這裏，投入是指獲得產出所需要的人力、物力、財力及相關資源，通常用來分析政策的資源是否嚴格按照預期規劃分配；產出是指實現預期結果的必要基礎，設立產出指標的目的是測度政策幹預給覆蓋群體帶來的直接變化——不受政策外因素影響；結果是指政策覆蓋群體的實際結果達到預期結果的狀況——受政策幹預外因素影響，設立結果指標的目的是測度政策推行對目標群體產生的短期或中期效應（short-term and medium-term effects）；影響指標主要描述政策實施給目標群體生活、發展狀況帶來的正麵或負麵影響（如政策對目標群體教育公平等方麵的影響），它通常用來測度政策推行的長期效應（long-term effects），包括預期或非預期的直接、間接效應，所選指標一般是就結果指標對政策目標群體所進行的橫向、縱向比較。投入與產出指標屬於中間指標（intermediate indicator），結果和影響指標屬於終極指標（final indicator），終極指標與某一政策目標直接關聯，是目標達成度的直接或間接測度；中間指標是對如何達到終極指標的測度，其測量的是政策幹預情況及這種幹預直接的產出。兩者的根本區別是中間指標僅受政策單一因素影響，而終極指標受政策外其他因素影響。以“兩免一補”政策為例，中小學的財政和資源投入指標及在校生數、校舍建築麵積等由投入產生的產品或服務指標都屬於中間指標；而入學率、識字率、學業成績等反映政策目標達成情況及政策目標對覆蓋人群產生影響的指標屬於終極指標。
表4-2 教育政策監測與評價指標分類
2.構建監測與評價指標體係的意義
構建監測與評價指標體係是為了後續監測與評價的順利展開，獲取政策實施、推進、目標達成情況的信息，是為政策監測與評價的研究設計、經驗研究等方麵服務的。總體來看，構建監測與評價指標體係意義主要體現在以下三個方麵。
第一，有助於理清政策實施與政策效果之間的邏輯關係。良好的監測與評價指標體係能夠體現政策實施過程中投入、產出、結果之間的邏輯關係，有助於政策管理者理清政策實施與效果之間的相關關係或因果關係，這對於政策評價來說至關重要。
第二，有助於政策監測與評價的順利開展。指標體係的構建是監測與評價的核心，它引導著後續的研究設計、數據收集、分析及報告撰寫等工作。因此，良好的監測與評價指標體係有利於政策監測與評價的順利開展，決定著政策監測與評價的科學性、客觀性。
第三，有助於政策決策科學化，提高政策實施的績效和效率。監測與評價指標體係構建的過程也是深入認識政策本身、細化政策幹預活動的過程，是對政策的重新審視。與此同時，通過監測與評價指標體係收集的數據也可以反映政策存在的問題。因此，監測與評價指標體係的構建，綜合了政策文本分析和數據反饋的雙重信息，有利於政策決策的科學化，從而提高政策實施的績效和效率。
4.1.2.2 教育政策監測與評價的數據信息采集
完備、充足、有效的資料是進行監測與評價的前提。同時，監測與評價資料的收集必須緊扣政策監測與評價指標體係。目前，教育政策監測與評價的數據信息采集渠道主要有兩種：調研資料及管理者現有的第二手資料。
1.調研資料
通過調研采集資料是監測與評價資料獲取的重要途徑。通過調研，能夠根據監測與評價的需要，有針對性地收集相關的資料信息，為政策監測與評價提供強有力的數據支持，是監測與評價資料收集最重要的途徑之一。調研材料的收集一般來說是一項比較浩大的工程，需要耗費相當大的人力、物力和財力。
目前調研資料的獲取可以通過實地調研、網絡調研等方式進行。實地調研是最常用的一種方式，這種方式直觀、易操作，但卻耗時、耗力、耗財。近年來，隨著電腦的普及和信息化的發展，網絡也成為一種高效、低耗的調研方式，比如基於網絡的輿情調查等。基於調研獲取監測與評價信息時需要注意以下幾個問題。
第一，使用科學的抽樣方法，確保所選擇的樣本具有較好的代表性。根據監測與評價設計的需要，樣本的選擇有所不同，主要可分為三類。（1）全麵調查。即將特定時間、特定範圍的所有樣本都列入調查範圍。（2）抽樣調查。在任何抽樣調查中，抽樣技術的選擇與應用是不可避免的。一般而言，樣本抽取的方法分為簡單隨機抽樣、分層隨機抽樣、多階段抽樣、整群抽樣、係統抽樣、非概率抽樣等。在實際的操作中，應當根據監測與評價設計和需要進行選擇或結合使用。（3）個案調查。通過對一個或多個樣本進行分析，從中收集各種信息，這是定性方法收集資料的重要途徑。個案調查對於研究者的能力具有較高要求。
第二，量化方法與質性方法相結合，確保獲得全麵的監測與評價資料。量化方法和質性方法是社會科學領域從對立走向融合的兩大重要研究方法，兩種方法在方法論基礎、目的、表現形式、抽樣方法、數據收集方式、用途等方麵都存在很大的差異。在實地調查中，應當堅持量化方法和質性方法相輔相成，相互結合的原則，最大程度地挖掘數據所蘊含的價值，通過量化研究方法獲得關於政策實施情況的相關量化數據，客觀、說服力強，輔之以質性方法可以挖掘更複雜的問題，比如調查對象產生某種行為結果的原因、過程及對政策的態度和觀點。兩種方法相結合才能確保監測與評價資料的全麵和深入。
量化方法收集資料具有標準化的格式，研究者從整體的研究設計出發製定資料收集方法，主要通過問卷調查、訪談、觀察等手段獲得。每一個調查對象都采用統一格式記錄信息，並將研究問題數量化，結論明確，更有說服力。量化方法的基本邏輯是調查樣本對總體的代表性。量化方法收集資料的質量與抽樣設計緊密相關，被認為是一種最常用的數據收集方式。定量方法收集資料需要豐富的統計知識支撐，可以在廣泛的目標群體中進行，在量化分析中對影響力的規模和分布進行調整，進而使評價結果更具有說服力。其最大的不足在於，盡管能收集大量的數據，但收集、錄入、統計、分析數據往往需要耗費很長的時間，這往往會影響監測中對於時效的要求；同時在這些環節中對於抽樣技術、軟件使用技術的要求往往較高。
質性方法主要包括觀察法和訪談法等。采集資料的途徑比較多元，主要有知情者訪談（key informant interview）、焦點小組討論（focus group discussion）、直接觀察（direct observation）等，在現場對研究對象進行直接或間接的觀察，通過感知或記錄獲取有關感性資料。質性方法收集資料重點在於與相關群體的深入接觸，對項目實施有廣泛、細致的了解。通過質性的、參與式調查的方法可以研究比較複雜和富有爭議的問題，而且可以同時研究問題的原因和結果，但其成本較高，難以進行大樣本調查，代表性和外推性較小。
兩種資料收集方法各有所長，將兩類方法結合起來，揚長避短，可以起到相互補充和相互驗證的作用，以保證研究結果的客觀真實性。
此外，在調研資料收集過程中，應當盡可能地通過嚴格規範的監測過程，使用科學嚴謹的調研工具，收集相關的資料和信息，為全麵把握政策實施情況、診斷政策問題、提出改進方案提供參考信息。
2.二手資料
二手資料通常是相關部門或單位因為其他目的已經收集好的資料，資料是對原始調查信息處理後的內容，如統計年鑒、相關地區政府機構的報告、管理者的執行報告等。二手資料的收集相對比較容易和便捷，成本較小，並且有些資料並非實地調研能夠獲得的。相對於調研資料，其不足之處在於，針對性、時效性、全麵性和客觀性都有待評估。因此，有必要對二手資料信息進行相關評估。此外，二手資料也可以劃分為定性資料和定量資料。
總之，每一個監測與評價指標都需要有清楚的、確定的數據來源。通常來說，數據信息采集是官方統計機構數據庫、政策執行部門日常管理數據庫及實地調查數據庫的有機結合。但是，在具體的數據采集和使用過程中需要做出一定的調整。因此，最初的數據收集工具在某些情況下（尤其是在評價某項重要政策時）需要執行特殊的調查而做出相應的修改和補充。
4.1.2.3 教育政策監測與評價的數據管理與分析
數據的管理同樣非常重要，必須以數據庫的形式對數據進行管理，以方便和保證研究人員對數據進行相關的統計分析。數據的管理涉及四個步驟。
第一，數據錄入軟件的選擇。數據錄入軟件的選擇對於數據質量的保證非常重要。隨著數據管理水平的不斷提升，產生了專門的數據錄入軟件。如“西發”項目監測與評價調查數據錄入采用的是CSPro軟件。CSPro是由美國普查局開發、中國國家統計局計算中心進行漢化移植的。它可以讓用戶在單一的集成開發環境中創建、修改和運行數據錄入、批量編輯及交叉製表應用程序，它可按照每個觀察單位（一個或多個調查問卷）來處理數據，其中每個觀察單位可以由一個或多個數據記錄組成。
第二，數據錄入模板的建立。數據錄入模板建立的關鍵在於編碼，包括樣本的編號、變量名的編寫、變量的取值等方麵。
第三，數據的錄入。數據錄入最重要的是培訓數據錄入人員，確保其熟悉數據編碼和軟件及相關要求。從保證數據錄入質量的角度，雙份錄入校對及錄入數值範圍設定等措施非常重要。EpiData軟件具有雙份輸入校對的功能，可以打印出雙份獨立錄入後的不一致部分，數據管理者可以較為容易地進行修改，從而有效地減少錄入錯誤的發生。
第四，數據的清洗。大規模的數據調查中，調查者填寫錯誤、數據錄入錯誤等情況在所難免，數據錯誤對數據分析的準確性會產生很大的影響。因此，在數據管理中有必要對數據進行清洗。數據清洗主要是針對異常值、缺失值等進行處理，目前主要使用樣本刪除、均值替代、邏輯插補、回歸分析插補等方法。
明確相關機構在數據分析中的責任非常重要，數據分析不僅包括對指標的簡單描述性分析，還包括通過計量模型探究指標間的關聯性及進一步挖掘其背後的深刻含義。
4.1.2.4 教育政策監測與評價的信息公告和發布係統
監測與評價報告應當恰當地發布。其中，最為重要的是確定發布的時間及發布的方式，進而確保關鍵信息能夠有效地傳遞給政策管理者與決策者。此外，為應對公眾問責，也要向公眾及相關學術界發布政策執行效果方麵的信息。
4.1.2.5 關鍵執行者間的組織安排
由於監測與評價係統包含不同的機構，確定關鍵執行者（參與者）之間的責任非常重要。同時，需要在不同執行者之間構建一個清晰的、高質量的、便捷的信息交流機製。
監測與評價係統的組織架構由三部分組成（見圖4-1），分別是負責政策製定的中央政府及相關部委（如教育部、財政部、科技部等）、省政府及市（縣）政府；負責政策分析的監測和評價機構；負責數據采集工作的統計局及下屬城調隊、專項數據收集人員等。在這一組織係統中，各層級的監測與評價機構居於核心地位。這些機構設計監測和評價方案，對下要與統計部門溝通協調，幫助他們完成數據采集工作；對上要對上級主管部門負責，提交政策實施的監測報告和評價報告；同時，他們還需要回應社會各界、科研機構、媒體及捐贈者的問責，采納各方的合理意見和建議。
圖4-1 監測與評價係統的組織架構
4.1.3 教育政策監測與評價係統的建構
構建教育政策監測與評價係統並非一蹴而就，需要政策製定部門、政策分析部門及數據收集部門各司其職，同時，各部門還要保持溝通協調，才能按照如下步驟建立起一個結果導向的政策監測與評價係統。筆者參考國際組織政策監測與評價的工作經驗，將教育政策的監測與評價係統的構建歸納為10個步驟。
（1）協商做好建構監測與評價係統的準備工作（人員配備，資金籌措，監測與評估方案設計等）。
（2）對監測與評價的目標達成一致意見。
（3）選擇考察監測和評價目標的關鍵指標。根據政策目標設定背景指標、投入指標、產出指標、結果指標和影響指標果。研究者根據政策預期目標設立一級指標、二級指標……並用科學方法為各指標賦權重。
（4）進行基線調研，根據關鍵指標采集政策推行前、推行中和推行後的數據。
（5）基於現狀數據分析，製訂改進計劃，設立政策實施後的結果目標值。
（6）監測政策實施過程，關注結果變化。
（7）政策實施某一階段後對其效應進行評價。
（8）向上級政府相關部門匯報監測與評價結果。
（9）基於監測和評價發現的問題，提出下一輪政策實施的改進建議。
（10）保留監測與評價的三方組織機構，建立監測與評價的長效機製，為後續政策服務。
4.1.4 教育政策監測與評價的方法模式
教育政策的監測與評價涉及政策製定、試點、全麵實施的全過程，根據其在政策製定和實施中所處的階段，可以將政策監測分為過程監測和績效監測兩類，將政策評價分為政策前評價、政策中評價及政策後評價三類。以下將介紹在教育政策領域應用較為廣泛的四類監測與評價方法模式，分別是邏輯框架方法、CIPP評價模式、受益歸宿分析及影響力評價。
4.1.4.1 邏輯框架方法（Logical Framework Approach，LFA）
邏輯框架方法是美國國際發展署20世紀60年代後期用於項目規劃的一種方法，主要用於公共政策或項目的規劃、實施、監測和評估，它可以在政策或項目實施的各個階段使用，但主要在政策或項目實施後評價中使用。邏輯框架方法是指利用邏輯關係分析公共政策或項目的一係列變化過程，進而評價政策或項目的效果、效益等。其前提假設是：當必要的外部條件得到滿足時，項目活動的投入/活動、產出、目的、目標之間有著必然的因果關係，且都能通過一定的方法或手段進行度量。[6]這種方法的關鍵在於對於政策或項目邏輯關係模型的建立，即使用簡單的框架圖清晰地呈現政策或項目的投入/活動、產出、目的和目標的內涵和相互關係，呈現政策或項目的因果關係鏈條。具體來看，邏輯框架方法中的投入/活動、產出、目的、目標的含義及測評方法如表4-3所示。
表4-3 邏輯框架方法的因果關係鏈條
續表
對於“新機製”政策的監測與評價來說，理清各項內容、各個階段的邏輯關係，剖析其是否存在因果關係是至關重要的一環。通過邏輯框架方法有利於清晰地認識“新機製”各項投入活動能夠帶來受益群體的哪些變化，進而達到什麽樣的目的，實現什麽樣的目標。邏輯框架方法的理念能夠為“新機製”政策監測與評價指標體係的建立提供一個邏輯框架，通過“新機製”投入/活動、產出、目的、目標等方麵邏輯關係的界定，可以為實施政策效果評價或影響力評價的實證分析提供基礎和支撐。
4.1.4.2 CIPP模式（Context-input-process-product，CIPP）
CIPP評價模式是20世紀60年代美國教育改革運動中，在批判目標評價模式的基礎上形成的政策或項目評價模式，它由美國學者斯塔弗爾比姆（Stufflebeam）於1966年創立。與目標評價模式主要關注政策或項目的目標達成情況不同，CIPP模式同時也關注政策或項目目標的選定及其合理性問題，是對政策或項目的形成、實施及結果等方麵的全麵評價，為整個教育工作的改進服務。
CIPP評價包括了四個步驟：背景評價（context evaluation）、投入評價（input evaluation）、過程評價（process evaluation）及產出評價（product evaluation）。這種評價模式常常是決策導向或改良導向的，認為評價為管理者進行決策提供信息服務。其中，背景評價是在特定的環境、背景下評定政策或項目的需求、問題、資源等方麵，本質上是對政策或項目目標的合理性進行評價，是CIPP評價的開端和基礎；投入評價是在背景評價的基礎上，對達到目標所需的條件、資源及各備擇方案的優缺點所做的評價，本質上是對政策/方案的可行性和效用性的評價；過程評價是對政策或項目實施過程的評價，通過對實施過程持續的監督、檢查和反饋為政策製定者、管理人員等群體提供信息，以及時調整和改進實施過程，類似於對政策的過程性監測；產出評價則是對政策或項目的目標達成情況的評價，考察人們的需要滿足程度。四個步驟環環相扣，從目標合理性評價出發，通過對政策或項目的可行性分析，確定政策或項目實施方案，繼而在政策或項目的實施過程中進行長期地、持續地監測，及時反饋信息，為調整和改進政策或項目的實施提供信息，最後對政策或項目的實施結果進行目標達成評價、受益群體滿意度評價等[7]。可見CIPP模式關注了政策或項目目標設定、方案選定、政策或項目實施、效果評價的全過程，全程性的評價模式提供了更為全麵的信息和數據。
CIPP方法蘊含的改進性評價、決策導向等思想無疑對政策或項目評價的科學性、全麵性提供了很好的思路。這種方法從背景評價入手分析政策或項目目標設立的合理性，從投入評價方麵分析可行性，從過程評價角度考察政策或項目的實施過程，從目標達成情況和滿意度等方麵評判政策或項目實施的結果。
對於“新機製”政策來說，該政策的實施和推廣是以較為強大的財政實力為後盾的，政府也是在對國家財力的綜合考慮下提出來的。然而，具體到各個地區，每個地區的發展情況千差萬別，尤其是我國西部貧困地區。考慮到“新機製”政策本身對地區經濟發展的依賴，本研究在構建監測與評價指標體係時，將借鑒CIPP評價的思想，將背景作為重要的評價內容，通過地區的人均GDP、人均財政收入等指標考察各個地區“新機製”政策的背景。當然，本研究也將投入、產出及結果指標作為“新機製”監測與評價體係的重要組成部分。
4.1.4.3 受益歸宿分析（Benefit Incidence Analysis，BIA）
受益歸宿分析（又稱“受益範圍分析”）是一種分析政策或項目直接影響的工具，是對哪些群體直接受到某項政策的影響以及影響程度有多大的簡要評價[8]。該方法與公共支出歸宿分析類似，能夠反映政府對公共補助的分配情況以及目標群體的受益情況，通過公共支出歸宿分析可以回答：政策或項目的受益人是誰（who）？受益程度有多大（how）？政府是否有效地瞄準了政策或項目的目標群體（whether）？可以說，通過支出歸宿分析可以評價政府公共財政支出的公平性和目標效率。這種政策評價方法的應用範圍非常廣泛，常用來評價政府的衛生補助、教育補助分布情況，也應用於社會救助、基礎設施建設、扶貧項目及其他轉移性支付等公共財政支出的評價。
受益歸宿的分析方法很多，但基本上可以分為兩類。第一類是靜態受益歸宿分析，通常稱之為經典受益歸宿分析，研究在一段時期內，政府補助在個體和群體間的分布情況，這種分析方法經常用於評價公共支出改革的分配效應，其研究結果對公共支出改革產生重大影響。第二類為動態受益歸宿分析，即將曆史比較和邊際收益的計量經濟學評價結合起來，分析政府支出的受益歸屬。在分析過程中，首先進行曆史趨勢分析，將結果與以前的受益歸宿研究進行比較，通過比較來分析過去的一段時間內，哪些人群從政府的財政支出中獲益，然後，進一步進行邊際收益的計量經濟學評價。受益歸宿分析通過簡單的計算方法考察政策或項目資源在目標群體中的分布，具有很強的可操作性，結論簡單明了。
對於“新機製”政策的評價研究，可以通過對政府“兩免一補”受益分布的測算，評價“新機製”政策的目標實現有效性，評價“新機製”政策的目標瞄準、目標達成程度，其中“兩免一補”受益學生的目標瞄準程度與“新機製”政策減負目標息息相關。一般而言，弱勢群體對福利增加的邊際效應最大，如果“兩免一補”對底層群體的瞄準情況較好，將有利於實現政策對農村居民家庭的減負目標。
4.1.4.4 影響力評價（Impact Evaluation，IE）
影響力評價是應用最廣泛、方法最複雜、實施起來最困難同時也是功能最強大的一種公共政策監測與評價模式。它最早出現在20世紀70年代初，當時主要是對扶貧項目的評估。影響力評價基於大規模抽樣調查，收集政策或項目幹預對象在實施政策或項目前後發生變化的信息數據，以考察政策實施是否對政策覆蓋群體產生了預期的效果，而且要分析政策幹預與影響效應間的因果關係[9]。因此，影響力評價要回答的問題主要包括：政策是如何影響受益者的？特定的進步和提高是政策產生的直接結果還是其他因素引起的？是否可以通過修改政策設計來提高政策的影響力？政策效果的產生是否符合成本效益的原則？在對政策進行影響力評價時，常常需要進行嚴密的實驗設計，繼而通過官方統計數據或大規模抽樣調查收集的數據，構建嚴謹的計量模型，以評價政策的“淨”效果。
正是由於影響力評價建立在對政策宏觀把控的基礎上，研究方法精密嚴謹，能在較大程度上考察政策或項目的淨影響。這種方法近幾年在世界銀行等國際組織和發達國家得到了較為廣泛的應用。將影響力評價方法引入到公共教育政策效果的評價中無疑對於公共教育政策評價理論與方法的發展具有重要意義。
本研究也將借鑒影響力評價的思想考察“新機製”政策及其各項政策內容對義務教育質量提升、義務教育均衡發展等方麵的影響效應。主要回答政策是如何影響受益者的、政策實施是否實現了預期效果等問題。
以上根據公共教育政策的特征，借鑒國際組織和發達國家公共政策監測與評價的模式簡述了教育政策監測與評價的方法。在教育政策監測與評價領域，各種方法和模型紛繁複雜，此處並未列舉所有的方法，隻是根據方法的適切性，概述了幾種在本研究或者其他教育政策評價研究中經常使用的監測與評價方法。本研究主要探索在“新機製”政策全麵實施的背景下如何較為全麵地監測政策實施的過程、評價政策的效果。邏輯框架方法和CIPP方法所蘊含的基本理念為本研究構建“新機製”政策的監測與評價指標體係提供了理論框架，而受益歸宿和影響力評價能夠為“新機製”政策評價提供科學的方法技術。需要說明的是，影響力評價方法涉及複雜技術、模型，而本研究限於數據限製和預先沒有開展實驗研究設計，因而僅能借鑒其思想來開展對“新機製”實施效果的評價。