정부연구개발사업의 메타평가 STEPI 과학기술정책 포럼: (금). 국립 밀양대학교 행정학과 조교수 홍 형 득

Presentation on theme: "정부연구개발사업의 메타평가 STEPI 과학기술정책 포럼: (금). 국립 밀양대학교 행정학과 조교수 홍 형 득"— Presentation transcript:

1 정부연구개발사업의 메타평가 STEPI 과학기술정책 포럼: 2000.12.1(금). 국립 밀양대학교 행정학과 조교수 홍 형 득
STEPI 과학기술정책 포럼

2 연구배경 1) 1990년대 이후 과학기술정책의 주요 특징: 국가의 전략 프로그램을 통한 정책적인 과학기술지원 및 육성.
=> 특히 최근 연구개발프로그램들이 복합화, 대형화되고 있고 특히 과학기술에 대한 국가적인 관심의 증대와 국가간의 기술경쟁이 가속화 => 정부와 산ㆍ학ㆍ연 모든 연구개발주체가 총동원되는 국가주도의 대형연구개발프로그램들이 증가 STEPI 과학기술정책 포럼

3 2) 정부대형연구개발프로그램의 특징 장기간 대규모의 인력과 자원이 투자되기 때문에 한 프로그램의 성공 또는 실패가 국가경제에 미치는 영향이 지대하다. =>따라서 과학기술정책결정과정에서 연구개발프로그램의 평가가 그 어느 때보다 중요하게 부각되고 있다. 정부 연구개발프로그램은 과학기술정책의 기본 틀 안에서 서로 다르게 형성되고 집행되기 때문에 평가 역시 국가의 과학기술정책환경 속에서 이해되어야 함. STEPI 과학기술정책 포럼

4 정부전략연구개발사업 평가의 중요성 첫째, 기술환경이 복잡해지고, 연구비가 대규모화됨에 따라 전체적인 평가관리가 어렵고, 연구개발의 실패가능성과 실패할 경우 국가경제적 충격이 크기 때문에 상황변화에 따라 신속한 전략의 수정이 필요. 둘째, 자원의 효율적인 사용을 위한 연구영역, 연구과제 등의 우선순위를 명확히 하는 것이 필요. 셋째, 공공자금 사용의 정당성과 성과에 대한 요구가 증대되었다는 것 등. STEPI 과학기술정책 포럼

5 연구목적 및 연구대상 사업 따라서 본 연구의 목적은 선진국의 성공적인 연구개발프로그램들을 대상으로 그들의 평가시스템을 평가해 봄으로서 각각의 특징과 시사점을 얻고자 하는데 있다. 연구대상 프로그램: - Alvey프로그램(영국) - ATP프로그램(미국) Framework프로그램(유럽연합) STEPI 과학기술정책 포럼

6 연구방법 - 메타평가(Meta-Evaluation)의 방법 및 기준 연구방법 자료수집방법
- 국가간 사례비교분석(Cross National Case Study) 자료수집방법 - 각 프로그램의 평가보고서 - 각 프로그램 평가자 및 관계자와의 인터뷰 STEPI 과학기술정책 포럼

7 프로그램별 주요 인터뷰 대상자 - Alvey: Georghiou L.(Univ. of Manchester, 평가책임자),
Cameron H.(Univ. of Manchester), Hill P.(DTI) - ATP: Reugg(NIST, Director), Powell J.(NIST), Spivack R.(NIST), Etzkowitz(State Univ. of New York) - Framework Program: Fayl G.(Head of Evaluation Unit, EC), Hartley N.(Head of Unit, EC), O'Sullivan(Evaluation Unit, EC) STEPI 과학기술정책 포럼

8 II. 메타평가의 개념 및 목적 메타평가(Meta-Evaluation)에 관한 가장 일반적인 정의는 “평가에 대한 평가(evaluation of evaluations)”(Orata, 1940; Scriven, 1991). 1) 평가자체에 대한 평가(Cook & Gruder) 2) 평가시스템에 대한 평가(Larson & Berliner)-평가투입, 과정, 및 효과에 대한 평가 3) 평가종합(Evaluation Synthesis; Chelimsky)- 기존평가결과 의 재분석 STEPI 과학기술정책 포럼

9 프로그램평가가 프로그램의 가치와 공과(worth and merit)를 평가하는 반면, 메타평가는 평가의 가치와 공과를 평가하는 것.
따라서 메타평가의 주요이슈는: 1. 평가가 잘 수행되었는가? 2. 그 결과는 사용할 만한 가치가 있는가? 3. 전문적인 평가표준이나 원칙을 따랐는가? 메타평가의 목적 평가시스템이 갖는 정책결정의 가이드로서의 유용성 정도, 자원사용의 실질성 정도, 사람과 조직에 있어서의 윤리성 정도, 그리고 평가방법 등 기술적인 정확성 정도를 평가하는데 있다(Stufflebeam, 1975). STEPI 과학기술정책 포럼

10 메타평가의 방법 범주 방 법 평가설계에 대한 평가 1) 체크리스트 사용, 2) 컨설팅전문가 재검토,
3) 내부담당자의 재검토, 4) 회의, 의견청취, 패널, 5) 전문가모임에서 발표, 6) 다른 평가와 비교 평가과정에 대한 평가 1) 자료수집과정 검토, 2) 사실검증, 3)재분석, 4)모니터 과정, 5) 자료수집 및 분석에 대한 체크, 6) 관련자인터뷰, 7) 내부담당자인터뷰, 8) 문서분석 평가결과 및 결과사용에 대한 평가 1) 체크리스트사용, 2)공식적 문서에 의한 비평, 3) 컨설팅전문가 재검토, 4) 내부직원 재검토, 5) 현장조사, 6) 회의청취, 7) 전문가모임에서 발표 자료: Brinkerhoff et al., 1983: 221. STEPI 과학기술정책 포럼

11 메타평가의 모형 1) Stufflebeam의 모형 메타평가의 두가지 역할:1) 평가의 가이드역할,
2) 평가의 가치와 공과 보고 - 총괄적 메타평가(Summative meta-evaluation) <= 2) => 평가의 질은 평가표준에 대비한 결과의 점수에 따라 결정 즉 총괄적 메타평가는: 평가결과/평가표준 => 이 1에 접근할 때, 더욱 그 평가의 질은 높아진다는 것. - 형성적 메타평가(Formative meta-evaluation) <= 1) => 형성적 메타평가의 기본전제는 평가의 궁극적인 가치는 어떤 과정적인 가이드라인이 충족되고,평가함정을 내포하지 않을 때 최대가 된다는 것. : [평가계획과 운영=평가가이드라인 충족+평가함정회피] : 평가실제=[평가가이드라인충족+평가함정회피]일 때 [평가결과/평가표준]은 1에 접근. STEPI 과학기술정책 포럼

12 2) Cook & Gruder 의 모형 평가 후에 메타 자료 불 조작 단일자료 1.단일평가보고서에 대한 재검토 복수자료
2.구체적인 사업에 관한 평가문 헌 재검토 자료 조작 3.단일평가 혹은 프로그램의 경 험적 재평가 4.동일한 사업에 관한 복수자료 의 경험적 재평가 평가와 동시에 메타 자료 불조작 단일 혹은 복수자료 5.자문식 메타평가 6.원 데이타에 대한 동시재검토 7.복수의 독립적인 반복평가 STEPI 과학기술정책 포럼

13 본 연구에서의 메타평가의 방법은 3. 대표적인 평가가이드 라인들:
1. 본 연구에서의 메타평가는 Larson 등의 견해와 같이 그 의미를 넓게 파악, 평가시스템에 대한 평가로 이해 2. 많은 연구자들에게 일반적으로 받아들여지고 있는 기존의 메타평가를 위한 평가표준(Standards)들을 종합하여 평가시스템분석을 위한 구성요소와 분석모형을 도출 3. 대표적인 평가가이드 라인들: 1) 주요평가 첵크리스트(Key Evaluation Checklists, Scriven, 1991) 2) 프로그램 평가표준(The program Evaluation Standards, Joint Committee on Standards for Educational Evaluation, 1994) 3) 평가자를 위한 평가원칙(Guiding Principles for Evaluators, American Evaluation Association, 1995) 4) 평가를 위한 실천 가이드라인(Best Practice Guidelines for Evaluation, OECD, 1999) 5) 평가 질의 측정(Measurement of Evaluation Quality, Chelimsky, 1983). STEPI 과학기술정책 포럼

14 Key Evaluation Checklists(Scriven, 1991)
1. 평가대상 기술(discription): 2. 배경 및 상황(background & context): 평가관련자 파악, 정보수요 들, 3. 평가 소비자: 누가 직간접적인 평가의 영향을 받는가? 4. 자원: 비용, 전문성,과거 경험, 기술, 유동성, 5. 가치: 평가의 장점, 고객의 니즈, 관련 전문적인 표준, 적시성, 6. 과정: 평가결과, 결과의 확산 등 7. 결과: 평가의 긍정 혹은 부정적인 영향, 8. 비용: 평가비용은? 9. 비교: 선택가능한 대안과 비교 10. 일반화: 어느 정도 일반적일 수 있는지 11. 중요성: 앞의 모든 것 종합, 전체적인 중요성 12. 정책제안: 제안의 수용 혹은 거절, 집행 13. 평가의 보고서: 발표를 위한 어휘, 길이, 형식, 시간, 위치 등 STEPI 과학기술정책 포럼

15 The program Evaluation Standards(Joint Committee on Standards for Educational Evaluation, 1994)
평가 영역 세부항목(30) U. 유용성 표준(7) U1: 관련자 파악, U2: 평가자 신뢰성, U3: 정보의 범위와 선정, U4: 가치파악, U5: 보고서의 명료성 U6: 보고서의 적시성 및 확산, U7: 평가영향 F. 실행가능 성 표준(3) F1 실질적인 과정, F2 정치적인 생존, F3 비용 효과성 P. 적정성 표준(8) P1. 서비스지향성, P2 공식적인 협정, P3 인간적인 측면 보호, P4 인적인 상호작용, P5 공정한 평가, P6 결과의 공표, P7 이해갈등, P8 재정상의 책임 A. 정확성 표준(12) A1 명확한 프로그램 파악, A2 상황분석, A3 평가의 목적 및 과정 기술, A4 평가의 정보원 기술, A5 타당한 정보, A6 신뢰할 만한 정보, A7 체계적인 정보 A8 양적인 분석, A9 질적인 분석, A10 정당한 결론 A11 종합적인 보고, A12 메타평가 STEPI 과학기술정책 포럼

16 Guiding Principles for Evaluators, American Evaluation Association, 1995): 23개
평가는 체계적이고 명백한 자료에 기초해서 이루어져야 한다. B. 평가자의 능력(3) 평가자는 평가를 수행할 만한 교육, 능력 및 경험을 소유하고 있어야 하고 지속적으로 그들의 능력을 개발하고 유지해야 한다. C. 통합성과 정직성(7) 평가자는 전체 평가과정을 관리할 수 있어야 하고 정직해야 한다. D. 평가관련자에 대한 존중(5) 평가자는 그들과 협력하고 있는 응답자나 프로그램 참여자, 고객기밀 및 존엄성을 존중해야 한다. E. 일반공공복지문제에 대한 책임(5) 일반공공복지와 관련한 다양한 이해관계와 가치를 고려해야 함 STEPI 과학기술정책 포럼

17 연구모형: 평가시스템의 구성요소(Components)
1. 평가의 목적 및 시기와 평가자, 및 평가대상 을 포괄하는 평가상황(Context), 2. 평가항목, 평가방법, 의사소통, 평가지원요소 등 과정요소를 포함하는 평가메카니즘 (Mechanism), 3. 평가결과(Outcome), 그리고 4. 그 평가결과의 활용(Utilization) 등으로 구 성. STEPI 과학기술정책 포럼

18 평가시스템의 기본구조 상황 메카니즘 R&D 정책/ 프로그램 결과활용 EVALUATION 결과 00-12-1
STEPI 과학기술정책 포럼

19 메타평가를 위한 분석모형 및 구성요소 STEPI 과학기술정책 포럼

20 메타평가를 위한 구성요소I 1. 평가상황(Context) 2. 집행메카니즘(Mechanism)
평가의 상황은 대체로 평가의 배경 및 목적, 평자자, 평가에의 직간접적인 관계자(Stakeholders), 그리고 평가 자원 등 평가의 기본적인 요소들을 중심으로 한 문제. 2. 집행메카니즘(Mechanism) 집행메카니즘은 평가를 위하여 정보를 수집하고, 사용하는 과 정에서의 여러 평가활동을 중심으로 논의. 그 과정은 평가의 기 준과 평가자의 평가를 위한 데이터 수집 및 분석방법, 평가자와 관련자들간의 커뮤니케이션, 그리고 평가과정에서의 정치적인 영향 등이 주요 이슈. STEPI 과학기술정책 포럼

21 메타평가를 위한 구성요소II 3. 평가결과(Outcome) 4. 결과활용(Utilization)
- 대표적인 평가결과는 평가보고서와 정책제안(recommendation). - 평가결과에 대한 메타평가항목은 평가보고서의 구성과 정책제안사항 그리고 평가결과의 확산을 위한 평가자들의 보고(Reporting) 등의 노력 등. 4. 결과활용(Utilization) :이 영역에서의 주요 이슈들은 - 평가의 활용을 위한 구체적인 전략이 있는가? - 정책 제안들이 어떻게 정책변화에 영향을 미치는가? - 평가결과의 활용 메카니즘은 어느 정도 갖추어져 있는가? - 얼마나 공개적으로 평가결과에 관해 논의하는가? - 결과활용을 위한 커뮤니케이션 채널은? 등으로 요약된다. STEPI 과학기술정책 포럼

22 III. 프로그램의 개요 STEPI 과학기술정책 포럼

23 IV. 메타평가 및 비교분석 STEPI 과학기술정책 포럼

24 1. 평가상황(Context) I 1. 배경: 평가요구(demands for the evaluations): Alvey
-프로그램의 감독기관 혹은 프로그램관련 법에 의해 프로그램 초기에 계획 Alvey -이사회의 초대 Director의 결정에 의해 계획 => 의외의 성공, 프로그램 성공의 견인차 -이사회의 요구, 많은 부정기적 이슈별 평가 보고서 발간 <= 실시간 평가 ATP 다양한 평가시스템 개발- 생존을 위한 평가 내부적인 요구 및 규정에 의한 정기평가 특히 의회의 요구에 의한 GAO의 평가 Framework - 법에 의한 정기적인 체계적인 평가 STEPI 과학기술정책 포럼

25 1. 평가상황(Context) II 2. 평가의뢰 형태(Commissioning): 내부 평가자, 외부
평가전문가, 연구과제공모 및 대학연구지원 : Alvey: 공모에 의한 외부평가, 복수평가자 Framework: 저명한 평가책임자 지명=> 이들이 패널구성 ATP: 네가지 유형 모두 사용 Type Funding Mechanism Programme 내부평가 내부평가자 ATP 외부평가 계약 외부평가자 혹은 평가기관에 의뢰 ATP, Framework 연구과제공모 Alvey, ATP 연구 장학금 프로그램평가연구를 위한 대학지원 STEPI 과학기술정책 포럼

26 1. 평가상황(Context) III Alvey 3. 평가자: ATP Framework
-복수의 외부 평가팀(PREST, SPRU, CBS) => 학문적배경: 과학기술정책 및 기술경영전문가 -각 팀의 전문성과 선의의 경쟁 - NAO(감사원)의 두차례 프로그램평가 -DTI 소속 공무원 평가팀에 참여 ATP -내부평가팀: EAO(in ATP)/외부전문평가기관 : => 학문적배경 : 경제학자 중심 -NBER(National Bureau of Economic Research)등 교수들의 평가 이론적 지원/GAO의 ATP 평가 Framework -외부 평가전문가들로 평가패널구성 -모니터링과 평가의 각각 다른 패널 구성 학문적 배경: 자연과학과 정책전문가혼합/평가전문가 의 참여, 국가별, 성별 안배 STEPI 과학기술정책 포럼

27 Position of Evaluators
프로그램과의 관계 평가자 유형 프로그램 Internal External Independent Organisation evaluated Special evaluation units within ministries Central management agencies Commissions Management consultants Academic or research institutions Community and consumer groups National audit offices Framework(Evaluation Unit) ATP(EAO) Framework(Brite-Euram: BETA, Van Dijk Bureau), ATP(CONSAD) Alvey, ATP, Framework ATP(NBER) ATP(GAO), Alvey(NAO) STEPI 과학기술정책 포럼

28 1. 평가상황(Context) IV 4.평가비용 평가비용은 평가의 범위 및 프로그램 환경에 따라 다양
전체프로그램 예산의 몇 퍼센트가 프로그램 평가비용으로 적합할까?(25명 인터뷰 중 22명 1% 정도가 적당) Alvey 1/350 =0.28%(2000억원, 1파운드: 2000원 기준) ATP 5% Framework 0.1% STEPI 과학기술정책 포럼

29 2. 평가 메커니즘 I Alvey 1. 평가영역 ATP Framework
프로그램의 목적에 따라 다름 Alvey 프로그램 집행의 효율성, 프로그램의 영향 및 효과, 목표의 적절성 ATP 프로그램의 경제적 영향 Framework 프로그램의 적합성, 효율성, 효과성 STEPI 과학기술정책 포럼

30 2. 평가 메커니즘 II 2.평가방법 1990년대 후반 일반적인 특징은 ‘계속적이고 체계적인 평가(Continuous and Systematic Evaluation), 체계적인 평가정보수집 메커니즘, 즉 평가의 제도화 평가방법상의 특징중의 하나는 종료된 프로젝트의 평가를 통한 평가: Framework-BETA 그룹의 평가 ATP의 1999년 중간평가보고서 그 외 특징적인 방법은 Alvey: 실시간 평가(Real time), 인터뷰, Co-nomination methods ATP: 파급효과(spill-over effect)평가 Framework: BETA 방법 STEPI 과학기술정책 포럼

31 STEPI 과학기술정책 포럼

32 Framework Programme 정보수집 및 과정
STEPI 과학기술정책 포럼

33 2. 평가 메커니즘 III 3. 커뮤니케이션 메커니즘 평가자와 프로그램 관련자 및 연구자간의 커뮤니케이션이 중요
커뮤니케이션 전략 프로그램 평가관련자 참여 촉진 ATP, Alvey 자연스런 외부 참여자 초빙 Alvey, ATP, Framework 협상과 타협 정신 Alvey 책임부여 Framework 비공식적인 채널을 이용 STEPI 과학기술정책 포럼

34 Alvey프로그램 커뮤니케이션 구조 STEPI 과학기술정책 포럼

35 ATP 프로그램의 커뮤니케이션구조 00-12-1 STEPI 과학기술정책 포럼 Business Reporting System
 Real Time Monitoring STEPI 과학기술정책 포럼

36 Framework 프로그램 커뮤니케이션 구조
The Framework Programme’s complex structure and the pervasive nature of research, make the communication mechanism of the Brite-Euram programme evaluation a complicate process STEPI 과학기술정책 포럼

37 2. 평가 메커니즘 IV 4. 평가의 정치적 영향 정부의 전략적인 프로그램들의 경우 대규모의 자원이 투입되고, 산학연의 많은 연구주체들이 총동원되기때문에 그 자체로 정치적인 관심을 받음 처음부터 정치적인 영향에 의해 프로그램이 탄생된 경우, ATP 프로그램의 책임자가 정치적인 관련이 있는 경우 Alvey 평가활동 자체가 정치적인 활동인 경우 STEPI 과학기술정책 포럼

38 ATP프로그램 예산 STEPI 과학기술정책 포럼

39 3. 평가 결과 I 평가보고서: Alvey: 실시간 평가로 30여종의 평가보고서 발간, 프로그램 Director에 직접 보고
ATP: 다양한 평가자의 다양한 형태의 평가보고서, 정책제안보다는 경제적 영향평가와 학술적인 연구보고서 형태 Framework: 매년 년차별 모니터링보고서(각 세부프로그램별 그리고 전체프로그램)와 5년 단위 평가 및 모니터링보고서 발간 STEPI 과학기술정책 포럼

40 3. 평가 결과 II “사전피드백과정”: 보고서와 관련한 특징적인 사실 중의 하나
GAO의 경우: 보고서가 공개되기 전에 프로그램 관리기관인 NIST 혹은 상무성(DoC)의 평가결과에 대한 견해와 이에 동의하지 않는 경우 상무성의 견해에 대한 GAO의 의견을 함께 평가보고서에 포함시킴. Framework 프로그램의 모니터링보고서: 프로그램 책임자의 의견 평가 보고서에 첨부 보고서 공개: ATP가 가장 적극적인 공개, 모든 평가보고 서 인터넷에 공개를 원칙으로 함 STEPI 과학기술정책 포럼

41 4. 결과의 활용 Alvey 실시간 평가의 특성상 평가자와 프로그램 책임자간의 수시로 갖는 모임, 보고 등을 통해 실시간으로 평가결과가 활용 –실시간 커뮤니케이션 채널 ATP 평가의 원칙은 프로그램의 동적인 구조와 통합하여 지속적으로 프로그램 관리 개선과 연계 -그러나 실제로 평가결과가 어느 정도 정책결정에 활용되는 지는 미지수 Framework 평가보고서는 철저한 검토과정을 거쳐 정책적인 반영여부 결정 결과 활용을 위한 제도적인 메커니즘 마련 STEPI 과학기술정책 포럼

42 -Alvey: 실시간 평가의 개념 정립 및 사용, 영국(DTI의 ROAMEF) 및 유럽 등 프로그램평가 에 영향을 미침
프로그램 평가의 영향 -Alvey: 실시간 평가의 개념 정립 및 사용, 영국(DTI의 ROAMEF) 및 유럽 등 프로그램평가 에 영향을 미침 -ATP: 다양한 평가시스템에 비해 평가결과의 활용 메커니즘은 미흡 평가이론 및 경제적 영향평가기법 등 학문적 발 전에 기여 - Framework: 철저한 평가의 제도화와 결과의 활용 메카니즘 STEPI 과학기술정책 포럼

43 * ATP 평가의 논리모델(Logic Model)
STEPI 과학기술정책 포럼

44 IV. 결론: 평가상의 교훈과 전망 각 프로그램 평가시스템의 특징과 문제점
프로그램 평가는 사회적 과정이며, 국가사회적 환경의 영향을 받게 된다. 특히 국가의 전략연구개발프로그램의 경우 대부분 정치 및 언론에 많은 관심을 받아 평가 외적인 영향을 받게 되고, 이로 인한 프로그램 평가의 특성이 달라지기도 한다. 각 프로그램 평가시스템의 특징과 문제점 STEPI 과학기술정책 포럼

45 Alvey 프로그램 -Alvey프로그램 평가는 현재에도 영국을 비롯한 EU프로그램평가에 많은 영향을 미치고 있음.
통산성(DTI)의 프로그램 평가의 기본원리인 ROAMEF 시스템의 기원 역시 Alvey평가에서 비롯, EUREKA 프로그램의 1995년 이후의 새로운 평가시스템(CSE), EU Framework Programme의 1996년이후의 새로운 프로그램 평가제도 등에서 실시간 평가의 개념 적용 및 응용 문제점: 다부처 프로그램으로 부처간의 조정의 문제 평가자들의 프로그램운영 및 관리에의 지속적인 참여에 따른 평가의 공정성 의문=>기자회견을 통한 프로그램 홍보. 실시간 평가로 인한 다수 평가자들의 동원으로 과잉투자 STEPI 과학기술정책 포럼

46 ATP프로그램 ATP의 평가가 주목 받는 이유는 그 평가시스템의 우수성이나 평가방법상의 특징이라기보다는 다양하고 적극적인 평가시스템의 구축과 그 평가를 위한 엄청난 노력과 투자때문 모든 프로젝트는 ATP내부평가자에 의한 실시간 모니터링(Real time monitoring)을 통한 연구자와 원활한 의사소통 문제점 ATP평가의 한계는 프로그램의 정치적인 생존(survival)을 위한 평가에 많은 비중을 두고 있어 프로그램에 대한 계량적인 성과 혹은 효과측정에 초기부터 과잉측정을 한다는 비판 프로그램의 긍정적인 면만 지나친 부각, 특히 GAO의 ATP의 평가와는 많은 견해차이 존재 STEPI 과학기술정책 포럼

47 Framework 프로그램 그 평가시스템이 이론적 실제적으로 철저하다는 것이다.
이러한 배경에는 우선은 국제적인 프로그램으로 많은 관련 EU국가들의 관심이 쏠려 있기 때문에 거기에 부응해야 하고, 두 번째는 유럽전역의 풍부한 평가 전문가들이 프로그램 평가에 참여하여 체계적인 평가제도 구축. 문제점 국제적인 프로그램으로서 갖는 일반적인 문제와 특성들을 내포하고 있다. 특히 연구비, 참여연구자 등 모든 측면에서 국가별 안배가 중요하게 고려하고 있고, 실질적인 연구성과에 앞서 국가간 공동연구를 강조하고 있다는 것 등이 단일국가의 전략적인 프로그램과 그 평가구조와는 차이가 있다. STEPI 과학기술정책 포럼