환경분야 공적개발원조(ODA) 사업평가 지침 마련을 위한 연구

Abstract

“The International Development Cooperation Basic Act” Article 13 states that each project implementation agency has to establish the evaluation guideline for the effectiveness and transparency of business. and “International Development Cooperation Evaluation Guidelines” published by the International Development Cooperation Committee states that all agencies shall have the internal evaluation guidelines. Therefore, the Ministry of Environment(ME) which conducted environmental ODA projects also should prepare a self-evaluation guideline for ODA projects. The purpose of this study is to offer ME a draft of guideline and give help to enact and enforce the guideline from the derived results. Furthermore, it was aimed at improving the quality of project plan by enhancing the understanding of evaluators on the evaluation and heighten the utilization. In chapter 2, The current operational status of international development cooperation was analyzed and improvement point was detected. It is derived through analysis on KEITI and KOICA’s current condition of projects evaluation operation and literature investigation. From this, five features of current ODA evaluation are obtained. First, each phase of the project should be circulated by PCM(Project Cycle Management) because evaluation is not associated with planning and performance management. Second, Korea’s ODA evaluation is focused on evaluation in each stage, particularly ex-post evaluation. So country evaluation, Thematic evaluation should be actively promoted and Clear performance goals and measures in the planning phase should be organically linked to the post-evaluation by expanding the preliminary evaluation. Third, it is required to separate evaluators from business stakeholders through the deployment of the evaluation department in each agency, so the independence and impartiality of evaluation should be secured. Fourth, the status of the recipient countries should be identified in the planning phase, and quantitative evaluation should be complemented through the objective evaluation rather than an unconditional oriented quantitative evaluation. Finally, evaluators should be able to select questions without confusion through presenting clear concept on five evaluation criteria, and the scoring system by which five criteria can be rated evenly is needed. In chapter 3, supplement points were detected through analyzing existing ODA guidelines and manuals. First, when comparing domestic institutional evaluation guidelines, most of guidelines include provisions of Office for Government Policy Coordination redundantly. And the provisions for the definition and selection of evaluation criteria, composition of evaluation committee were established to fit the way of institutional characteristics. Accordingly, the Ministry of Environment also reflects the characteristics of the organization to organize the guideline. However, provisions that overlap with Office for Government Policy Coordination's provisions were excluded. In addition, project evaluation manual for local and international ODA organizations(EDCF, KOICA, OECD DAC, JICA) was analyzed. Manuals can be classified as basic principles, guidelines, and detailed guidelines, and Each manual can be compared by seven criteria that is evaluation principles, evaluation criteria, type of evaluation, evaluation method, procedure, feedback, disclosure of information. As a result, the evaluation principles and evaluation criteria are complying with the requirements recommended by the OECD DAC in most of the agencies, some agencies added or changed the criteria. In addition, each agency recommends the active sharing of evaluation results through workshops and seminars. Based on the above analysis results, In chapter 4, a draft of International Development Cooperation Assessment Guideline for Ministry of Environment was drawn up. it was written by dividing two documents of the guideline and instruction because of the difficulty in practice with only guideline. The evaluation guideline includes core principles such as general theory, evaluation, evaluation target selection and details on the annual evaluation plan, evaluation committees, evaluation, feedback. Meanwhile, instruction includes “International Development Cooperation Evaluation Guidelines”, “International Development Cooperation Evaluation Ethical Guidelines” besides the guideline for Ministry of Environment. and this was to increase the understanding of evaluation work by attaching the cases and forms related to the provisions. The international development cooperation projects by Ministry of Environment is still in the beginning stage, so the number and the scale of projects is small, but continually expanded the size. Therefore, in this study, relatively concise guideline was derived to reflect this, and it should be changed and gradually specified in accordance with the size and characteristics of the projects.

？국제개발협력기본법？ 제13조에서는 국제개발협력 평가에 관한 기본적인 사항을 정함으로써 각 사업시행기관이 사업시행의 효과성과 투명성 제고를 위한 평가지침을 마련하도록 하고 있으며, 또한 국제개발협력위원회에서 발간한 ？국제개발협력 평가지침？에서는 모든 사업 시행기관이 기관별 내부 평가지침을 마련하도록 규정하고 있다. 이에 따라 환경 ODA를 시행하고 있는 환경부도 ODA 사업에 대한 자체평가 지침을 마련해야 한다. 본 연구는 환경부가 수행하고 있는 환경분야 ODA 사업에 대한 내부평가 지침안을 제공하고 이 연구에서 도출된 결과를 통해 환경부가 평가지침을 제정 및 시행하는 데 도움이 되고자 하였으며, 더 나아가 평가 수행자에게 평가에 대한 이해도를 제고시키고, 평가자의 활용성을 높여 원조사업 계획의 질을 향상시키는 것을 목적으로 하였다. 제2장에서는 현재의 국제개발협력 사업의 평가 운영현황을 살펴보고 평가지침 보완사항에 대해 알아보았다. 운영현황은 환경부의 산하기관인 환경산업기술원(KEITI)의 ODA 사업 운영 현황과 KOICA의 환경사업 사후평가 사례, 기타 문헌조사를 통해 도출되었다. 이로부터 얻은 현 ODA 평가의 특징과 문제점은 총 다섯 가지로 나누어볼 수 있었다. 첫 번째로 평가가 계획 및 성과관리와 연계되지 않으므로 PCM(Project Cycle Management)에 의해 프로젝트의 각 단계가 순환되어야 한다는 것과, 두 번째로 국내 ODA의 평가는 사업 시기별 평가, 특히 사후평가에만 집중되어 있어 국별, 주제별 통합 평가가 활발히 추진되어야 하며 사전평가에 대한 비중을 확대함으로써 계획단계부터 성과목표 및 측정지표를 명확하게 하여 사후평가까지 유기적 연계가 가능하도록 해야 한다는 것, 세 번째로 사업기관에서 평가부서의 배치를 통해 사업 이해관계자로부터의 독립으로 평가의 독립성과 공정성의 확보가 필요하다는 것, 네 번째로 계획 단계에서의 수원국 현황 파악이 필요하며, 평가의 정량화를 무조건적으로 지향하기 보다는 객관적인 평가를 통해 보완방안의 강구가 필요하다는 것, 마지막으로 5대 평가기준에 대한 명확한 개념 제시를 통해 평가자가 혼동하지 않고 평가질문을 선정할 수 있도록 해야 하며, 평가의 5대 기준이 균등하게 평가될 수 있는 점수산정체계의 마련이 필요하다는 것이었다. 제3장에서는 국내외 ODA 기관의 사업평가 지침과 매뉴얼을 통해 보완사항을 알고자 하였다. 우선 국내 기관별 사업평가 지침을 비교한 결과, 대부분이 국무조정실의 ？국제개발협력 통합평가지침？의 조항을 중복으로 기재하고 있으며, 기타 용어 정의와 평가대상 선정기준, 평가위원회 구성 방법에 대한 조항을 개별 사업기관 특성에 맞게 마련하고 있었다. 이에 따라 환경부도 환경부의 조직특성을 반영하여 지침을 구성하도록 하였으며, 다만 국무조정실의 지침과 중복되는 사항은 제외하기로 하였다. 또한 국내외의 ODA 기관(EDCF, KOICA, OECD DAC, JICA)의 사업평가 매뉴얼을 분석하였는데, 매뉴얼은 크게 기본원칙, 가이드라인, 세부기준의 세 가지 유형으로 분류할 수 있었으며, 각 매뉴얼은 평가원칙, 평가기준, 평가종류, 평가기법, 평가절차, 평가결과 환류, 정보공개의 7가지 기준으로 나누어 비교할 수 있었다. 비교 결과, 평가원칙과 평가기준 등은 대부분의 기관에서 OECD DAC에서 권고하는 사항을 준용하고 있었으며, 일부 기관에서는 기준을 추가 혹은 변경하여 사용하고 있었다. 그 외에도 각 기관은 워크샵과 세미나 등을 통해 평가 결과의 적극적인 공유를 권고하고 있다. 위와 같은 분석 결과를 토대로 제4장에서 환경부의 국제개발협력사업 평가지침(안)을 도출하였다. 한편, 지침만으로는 평가담당자의 실무에 어려움이 있으므로, 지침은 지침서와 해설서의 두 가지 문서로 나누어 작성되었다. 평가지침에는 지침 총론, 평가대상 선정 및 연간평가계획 수립에 관한 사항, 평가위원회, 평가실시, 환류 및 기타사항에 대한 핵심적인 원칙을 담았으며, 해설서는 환경분야 국제개발협력 사업평가지침 외에 국무조정실에서 발간한 국제개발협력 통합평가지침, 국제개발협력 평가윤리지침을 모두 취합하고 각 조항에 대한 사례와 작성양식을 첨부하여 평가업무 수행에의 이해도를 높이고자 하였다. 현재 환경부의 국제개발협력사업은 지속적으로 규모를 확장해가고 있으나, 아직은 시작단계에 있으며 사업의 개수가 많지 않고 규모 또한 크지 않다. 그러므로 본 연구에서는 이를 반영한 비교적 간결한 지침서가 도출되었으며, 앞으로의 사업규모와 특성에 맞추어 점차적으로 조항이 구체화되고 변경되어야 하겠다.