作者序
當我的第一本書《評鑑研究》甫於1972年出版，評鑑是當時研究領域的新工具。這段期間以來，評鑑的經驗逐漸累積。許多類型方案當時正經歷首次嚴格的檢視，今日已成為數以百計、甚至是數以千計的評鑑討論主題，我們對於方案如何有效進行運作知道的更多，我們也知道更多關於評鑑方法、統計技術和質性評鑑策略。
我們也知道要解決社會問題是困難且吃力的，需要有大量的金錢、時間、毅力及想法。本國及世界上許多其他國家的社會問題沒有什麼簡單的解決方法，沒有神奇子彈可以消滅犯罪、貧窮、疾病或是環境的敗壞。人們將持續擔心教育、暴力和社區凝聚力。改善得一步步來，而改善得需要仔細、系統化的評鑑來辨別哪種干預形式有較好的效果。伴隨著評鑑所帶來的資訊和洞察力，組織及社會將更能提升以改進人類福祉為旨的政策及方案。
本書主要鎖定三種對象：最主要是為需要評鑑入門知識的大學生或研究生。它是本非技術性的書、不需要統計知識，以簡單且容易閱讀的文字寫成。顧及新手的需求，我以淺白文字介紹研究和評鑑的概念。學生們會發覺先認識一些基礎科學的研究方法是有益的。
第二類讀者是有經驗的評鑑者們。這本書所談到哲學、基本原則和評鑑的程序，會讓已經從事評鑑工作多時（或剛踏入評鑑領域）的人感到特別有幫助。
第三類讀者是行政人員、方案主管、決策者、政府、以及基金會之方案管理人員。這些人不需要自己從事評鑑，但他們得將評鑑委託出去、檢視評鑑提案以及讀取評鑑報告。他們需要了解什麼是評鑑、評鑑可以做到什麼、以及做不到什麼、如何去辨別一個好的評鑑提案、以及好的之於壞的評鑑報告。他們必須知道如何去支持好的評鑑、以及判斷他們所讀到及贊助的評鑑有多少是值得信任的。
新增加部分
這本書是《評鑑研究》十年後的後續版本。許多討論是先前書中已提及想法的詳細闡述。比如，我依然相信評鑑者需要了解評鑑要求的背後目的，以及什麼是各方團體想要評鑑達成的使命，我相信好的設計和測量是從事評鑑所必須的，我相信評鑑有明顯的政治面向，評鑑者們需要了解方案組織內的政治，以及方案外圍的政治脈絡。
但我對幾個重要事項已有了不一樣的想法。我認知到評鑑不僅是單獨為下決定所提供的資訊。的確，讓決策者知道計畫的狀況，可以幫助他們更明智的規劃方案和政策，但這並不是評鑑的唯一功用。我已經做過關於評鑑如何被應用的研究，逐漸領悟到將評鑑發現應用於決策並不容易。除了評鑑呈現的證據以外，有許多因素會影響到做決策。當只有少部分需要改進，或是當要改變的部分符合該組織需求，來自評鑑的發現或許是最能被立即應用的。但評鑑還有許多其他重要用途，它們常對於議題、選項和意見等有長期或是間接的影響。
我也新增了主題，並針對早先版本簡約帶過的部分再加充實。我加入了一章關於質的評鑑、而且把之前僅數頁關於方案理論的部分，在這本書發展成一個完整的章節。我花了更多心力在歷程評鑑──探討方案運作中所發生事情的研究。我擴大討論評鑑者如何能透過與方案人員共同合作而獲益。在方案開始、方案進行期間、解釋結果、以及根據結果發展新方案時，合作都會相當有幫助。比起十年前、這四個主題在評鑑中變得更為重要了。
這本書也包括了方案評鑑的歷史以及它在社會當中的位置。它提供了關於測量和資料蒐集的詳細指引，而且包括了一章關於分析─在資料蒐集之後該如何處理。我也徹底地討論後設分析和成本─效益分析，也包含了討論非實驗資料的統計校正。對於整本書的論述，我也特別注意納入研究進行前、中、後階段的研究倫理議題。
綜觀
這本書的主要目的在於當作評鑑入門課程的參考用書。它提供了實用的導引、從評鑑研究執行的起始、歷經規劃階段、到研究設計、資料蒐集及分析資料、直至報告撰寫、傳播還有結果的應用。
第一章說明評鑑的定義，提供例子，以及討論數個不同的評鑑類型。它也追溯了數個世紀以前的評鑑歷史。第二章描述了哪些方案與政策參與者決定評鑑的目的，以及不同目的對後續評鑑的效果。它也探討了評鑑通常被委託執行的不同程序，以及評鑑團隊在此結構中的重要位置。
第三章討論了解方案的重要性。知道方案是什麼、如何運作、以及它被期待能達到的成效，這些將幫助評鑑者發展出一個能對重要議題有所回應的研究。第四章對於研究規劃提供具體建議。它討論了已經有的選項以及可以從中挑選的依據。它強調計畫是個不斷重複的過程，當外在條件干擾時，評鑑者需要一再地修改計畫。第五章提及利害關係人，對於評鑑及其結果有著利害關係的不同團體，而且提及何時該將這些人納入評鑑規劃與執行，並討論評鑑者如何能有效地與利害關係人合作，讓研究更合乎他們所關心的議題，受益於他們的知識，並且不犧牲更多研究的利益或可信度。
第六和第七章處理量化評鑑中關於測量和資料蒐集的議題。第六章說明方案的投入、過程、中期進展指標、結果，以及可能非預期結果的測量選擇。它列表提供了可取得測量的來源，挑選好的測量工具的依據，以及建構新測量工具的具體建議。第七章關於一系列蒐集資料的策略：非正式交談、觀察、正式訪談、問卷、已有的紀錄、檔案、已有的調查等等。它提供抽樣、不同資料蒐集方法、與資料編碼的意見，並強調（誠如前述的章節）所涉及的倫理考量。
設計是評鑑中的關鍵要素：指出哪些部分將被研究、如何選擇、將進行什麼樣的比較、以及這些探究進行的時機。第八和第九章強調設計必須符合待答問題，且指出必須考慮進去的重點。第八章呈現了各種設計──從方案參與者的非正式評鑑到比較團體的運用，包含調整比較組的方法到接近參與方案的團體。第九章描述控制實驗，根據隨機分派將參與者分配至實驗組和控制組。該章指出如何實施隨機實驗，並討論過程中可能發生的問題，也討論對於設計的批評，並且檢視什麼批評是有根據的，而什麼是需要被處理的。第十章提供三個讓設計更完善的機制：重複試作（replication）、後設分析（meta-analysis）、成本效益（cost-benefit）以及成本效能（cost-effectiveness）分析。它解釋了每個程序的作法、以及何時使用他們具正當性。
第十一章敘述質性的評鑑。它描述了幾個質性的研究類型、對資料來源、資訊的蒐集、分析策略以及在研究現場所產生的研究倫理議題提出建議。它提到如何綜合質性的與量化方法、對於質量並用的建議。第十二章提供分析及詮釋資料的導引。它提供質性與量化研究相同的指引，說明分析工作的邏輯。
第十三章聚焦在報導結果和傳播給相關的讀者。它提供報告的技巧及滿足不同大眾的訣竅。絕大部分在強調溝通和結果的傳播，它提及評鑑者的責任──尤在鼓勵評鑑結果的應用，建議應用到方案議題和政策上。第十四章歸納本書的主軸，也是我希望能受重視的。
致謝詞
無法去感謝所有的人，他們的經驗、想法、鼓勵與批判都提升我對評鑑的瞭解。我得列出所有評鑑書籍與文章的目錄（至少是那些我曾讀過的），列舉出十多個國家中、數百篇評鑑報告的作者，還得列出好幾屆在我評鑑課堂上分享他們的興趣與疑惑的學生們。雖然我感謝其他數以百計的其他人，但在此僅限於那些直接幫助過我的人。
我極其幸運地在身為行為科學進階研究中心
（CenterforAdvancedStudyintheBehavioralSciences）一員的時候，開始寫作這本書，該中心孕育著豐富且樂於助人的同事情誼。我在哈佛大學任教時完成這本書，一個能自我豐富滋養的環境。兩個具仁慈且彌足堅毅的人閱讀整個初稿而且給了很好的批評：WillShadish和JanetWeiss，而我欠此兩位的恩情至深。他們看過隱藏的內容以及寫出的文稿，使我釐清我想說的。
JohnWillett仔細地讀了四個關於設計與分析的章節，教導我、跟我辯論，而且幫我指出正確的方向。RobertT.Brennan審視關於測量與資料蒐集的章節，做了細部的建議，使得內容更正確且完整。其他讀過初稿且幫助我在內容上有所改善的還有JosephMaxwell,MercerSullivan,HarrisCooper,以及SharonRallis。LeeCronbach,DavidFetterman和JudithSinger提供參考書目、建議和洞察力。
JayBraatz在辭典及圖表上幫助甚多。也感謝 StuartYeh,ChrisMazzeo,MaryJoLarson在圖書資料的協助。謝謝 MarkAnderson-Wilk和KathyGeorge幫忙初稿的打字。
我特別感謝JohannaBirckmayer。Jo一直是資訊和建議的來源。她閱讀後續的文稿，這數月來的批評、判斷、鼓勵讓我受益匪淺。
在這本書中如果仍有任何缺失就該是一群指導教授們的責任了。（純屬虛構，只是這麼說很有趣。）
CarolHirschonWeiss
（美國哈佛大學教授）
