기초연구의 성과 평가 방안 2011.11.10 전승준 (고려대 화학과).

Presentation on theme: "기초연구의 성과 평가 방안 2011.11.10 전승준 (고려대 화학과)."— Presentation transcript:

1 기초연구의 성과 평가 방안 전승준 (고려대 화학과)

2 연구개발관점에서 연구로부터 산업화 과정(선형모형)
성과 결과(OUTPUT) 산출(OUTCOME) Idea R&D Proto- type Scale-up Product Market Social impact Linkages Actors Profit 정부 (안보,경제) 기업(이윤) 대학 공공(정부) 공공연구소 벤처 사적(기업) 대기업 Science base Technology base 1

3 연구개발투자의 성과들 연구성과의 개념과 분류 Impact가 큰 연구결과 창출 성 과 Input Output Outcome
연구개발투자의 성과들 연구성과의 개념과 분류 성 과 Input Output Outcome Impact 연구비/연구인력 교육연구환경 논문 특허 기술이전 사업화 실적 국민경제 기여 국가경쟁력 제고 소요기간 단기 중기 장기 시간측면 1차적 성과 2차적 성과 파급범위 점점 넓어짐 생산성이 높은 성과 : 장기적 Impact가 큰 성과 1. Impact 높은 연구분야 도출을 위한 연구기획 Impact가 큰 연구결과 창출 2. 우수한 Output 창출 3. 효율적 파급을 위한 파이프라인 정비 3

4 연구개발투자의 특성 비특유성(non-specificity): 경제 전반에 공유 시차(time lag): 장시간 소요
연구개발투자의 특성 비특유성(non-specificity): 경제 전반에 공유 시차(time lag): 장시간 소요 불확실성(uncertainty): 실패가능성. 당초목적 상이한 결과 고비용(costliness): 많은 실패가능성 투자 Kay, N, (1988), The R&D Function: corporate strategy and structure. in Technical Change and Economic Theory. ed. by Dosi. G. C. Freeman. R. Nelson. G. Silverberg and L. Soete. Pinter Publishers 성과측정 어려움 ! (output, outcome, impact, 우수인력, 산업인프라… ) 정부투자 : Intellectual Curiosity (학계) Vs Mission- Oriented(정치계) 2

5 기초연구란? 기초연구의 정의 기초연구의 필요성
기초연구의 정의 특정한 응용이나 사용을 목적으로 하지 않고, 주로 관찰 가능한 사실이나 자연현상의 근본원리에 대한 새로운 지식을 획득할 목적으로 수행되는 이론적 또는 실험적 연구활동 (출처 : OECD Frascati Manual 2002) 기초연구의 필요성 기초연구는 신지식을 창출하고, 창조적 인력을 양성하는 과학기술의 근원으로 작용하며, 다양한 사회경제적 파급효과 창출 지식기반사회에서 기초연구는 원천기술 개발과 고부가가치 산업 창출의 핵심으로 부상 자본투입형 경제성장 단계에서 기술혁신주도형 경제성장 단계로 전환됨에 따라 기초연구 진흥 및 연구경쟁력 강화 필요

6 기초연구부터 산업적 활용까지 기초연구성과평가 :비특유성, 시차, 불확실성, 고비용 고려 『연구』와 『연구결과의 효과』간의 간격
- 기초연구로부터 파생된 새로운 지식이 결과물(상품 등)에 영향을 주기까지는 10-20년 혹은 수십년의 장시간이 흐르는 경우가 많음 예) 레이저의 탄생과 산업적 응용 Stimulated Emission 이론 작성 마이크로웨이브 Beam 창출방법 발견(MASER) Hughes 연구소에서 최초의 레이저 (루비레이저)시현 아이슈타인(1917) Charles Townes(1953) Theodore Maiman(1960) Laser Diode 대량생산 1976 Sony CD P 시현 상온에서 작동하는 최초의 Diode Laser 시현 GE 연구소에서 최초의 Diode Laser시현(저온작동) SONYCDP판매(1982) Zhores Alferov(1970) Robert Hall(1962) 기초연구성과평가 :비특유성, 시차, 불확실성, 고비용 고려

7 연구개발 관련 평가에서 고려사항 평가는 상벌을 위한 것이 아니라 과제나 사업을 잘되게 하는데 목적이 있어야 함. 평가를 수행하는데 권한과 책임을 명확히 해야 함. 평가가 과제나 사업 시행에 방해가 되지 않아야 함.

8 평가의 방법 문제점 : 사업특성고려, 불공정 , 비효율적 평가 누가 : 평가자 풀관리, 선정, 이력관리
어떻게 : 절대 평가 vs 상대 평가 평가항목과 지표 : 정량 평가 vs 정성 평가 평가 vs 판정 평가시스템 의 효율화(피평가자/평가자 자료, 관리 등) 언제 : 사업 – 사전평가, 중간평가, 결과평가, 사후관리 기관 – 항상 중간평가 왜 , 무엇을: 목적 에 맞는 활용 문제점 : 사업특성고려, 불공정 , 비효율적 평가

9 사업특성고려 : 기초연구 투자의 성과 목적과 단계에 맞는 지표와 평가 : 기초연구 수행 결과 기초연구 투자 부수적 결과
성과물 - 단기적 : 논문, 특허. - 중기적 : 기술이전,사업실적. - 장기적 : 사회적, 경제적 효과 인력양성 - 직접적 : 과학자, 기술자 . - 간접적 : 산업인력 기초연구 투자 부수적 결과 제도, 기관 등 인프라 : 명성을 가진 연구소, 연구-산업 장비 인프라 등 문화적 자긍심 : 노벨상, 국제기관 또는 학회 장 등 목적과 단계에 맞는 지표와 평가 : 목적(과제,사업,기관), 시기(사전, 중간, 결과,사후), 분야

10 불공정1 평가결과에 대한 궁극적 책임과 권한 문제: “책임은 최소화하고 권한은 최대화하려는 경향”
해소방안 – 책임과 권한은 항상 같은 수준 유지 평가와 판정의 분리: 평가자선정권, 평가권, 판정권 현재는 판정권자가 판정을 안하고 평가자선정권으로 권한을 행사하면서 책임을 회피. 책임을 다수의 평가자에게 분산시킴. 예: 한국연구재단 PM 제도의 의도 평가자선정권 – 무작위 평가자 – 동료 평가(질적지표 활용 상대평가) PM - 판정권

11 미국 과학재단의 평가점수와 판정 결과

12 불공정2 사업중심 운영에 의한 문제 “사업내 학문분야간의 경쟁”
해소방안 – 사전 예산 배분에 의한 학문분야 중심 운영 및 평가 정당한 평가를 할 수 있는 전문가에 의한 평가 현재는 정당한 평가를 할 수 있는 평가자와 그렇지 않은 평가자가 함께 평가 하는 구조. 예: 한국연구재단 대형사업 평가에서 공정성의 문제제기. 사업내의 여러 학문분야를 경쟁시키는 것이 아니라 학문분야별 사전예산 배분에 의하여 그 학문분야에 적당한 사업을 구성하고 평가도 그 학문분야의 전문가가 평가하도록 함. 학문분야별 사전예산 배분은 정책적으로 결정.

13 과도한 평가준비와 비효율적 평가 과정 평가를 포함하여 과제/사업관리시스템 자동화 BPM 유사 시스템 구축
평가과정, 사업과정, 사후관리 등의 모든 자료 관리를 모두 전산 처리하는 시스템 피평가자/평가자/과제/사업 이력관리 피평가자 = 평가자 과제모음 = 사업 우수하고 공정한 평가자 발굴 평가에 적극 참여 유도 방안 평가가 자신과 학계에 모두 도움이 된다는 태도

14 한국 연구재단 과제 관리 전산시스템 (가칭) 질적 성과 분석 활용시스템 개념도 외부(입력/연동)정보 내부 시스템 외부활용
S C I 내부 사용자 경영진 관리자 사업담당자 외부 사용자 조사분석담당자 N C R 서지정보 계량정보 연구개발사업관리 논문명 Times Cited 저자명 Impact Factor 연구자 소속기관명 I/F-5 연구사업관리시스템 기관주소 Percentile 일괄반입 (연1회) 한국연구업적통합정보 (KRI) 국가명 Crown Index 저널명 Total Cites 연구마루 오름 ESI S/C 전략기획 XCR 연구인력DB 관리자 WoS S/C RATIO BK21 WCU 국제협력 최근 피인용회수 성과관리 사업관리 일괄갱신 (월1회) 정책연구 사업기획 연구성과관리 심사자/평가자 ISI_LOC Times Cited 인용색인정보DB 연구조사 공고/접수 기술료관리 연구사업기획 선정/평가 추적평가 J C R 연구성과관리시스템 저널명 Impact Factor 일괄반입 (연1회) 일반사용자 출판사/국가 Times Cited (가칭)질적성과분석활용시스템 Web of Science SCI 3 Files Online 교과부 SCI 데이터 반입 각종 지수 일괄 추출 조회 통계 추출 기타관리 실시간조회 NCR 일괄 반입 총피인용회수 평균피인용수 서명검색조회 연구자번호검색 주제코드 SCOPUS 피인용회수 업데이트 h-지수 hs-지수 사업별추출 엑셀반입반출 연도별 JIF 대학별 연구업적정보 SCOPUS Online Custom Data JCR 일괄 반입 평균 I/F 상위 1%,10% 주제별통계 연도별통계 PERCENTILE

15 기초연구 성과평가 방안 참고자료 자료제공 :한국연구재단 이한진 평가전략팀장

16 I. 기초연구 성과평가의 문제점 양적평가 중심으로 질적 우수성 평가방법 미흡
- 논문, 특허 및 계량적 인력양성 수 등 단기적·계량적 데이터에 중점을 둔 평가 수행 - 기초연구사업별 사업목표 달성도 및 경제·사회적 파급효과 분석 방법이 미흡 또는 부재 ※ 대상 : 기관평가, 국가 R&D사업 부처 자체 평가 기초연구사업 특성을 고려한 중장기적 성과평가 체제 미구축 - 매년 1년 단위 평가로 10~20년 후 사업성과가 발현되는 기초연구의 특성을 고려하지 못한 평가 수행 ※ 『국가 R&D사업 부처 자체평가』의 『질적 우수성 평가 항목』에서는 3년 미만인 사업은 평가 대상에서 제외는 하고 있음 - 사업 성과에 대한 중장기적 추적평가 시스템 운영 미흡 도전적·창의적 연구성과 지표 제시 미흡 - 기관평가가 줄세우기식 상대평가를 지향함에 따라 “창의적”, “도전적” 사업성과 평가지표 제시를 회피하는 경향 → 해당 지표의 목표달성이 가능한 지표로 제시 - 기관별 핵심사업(예 : 연구재단의 기초연구사업 등)의 특성에 맞는 성과지표 제시 회피 ※ 대상 : 기관평가

17 II. 기초연구 성과평가 개선 방향 [ 성과평가 개선방향 ] 개선 방향 개방형 평가 시스템 구축 질적 우수성 중심 평가
정책·분야 중심 평가 기관 특성에 맞는 평가 실시 사업특성을 고려한 평가

18 II. 기초연구 성과평가 개선 방향 1. 개방형 평가시스템 구축 개념 추진현황(※연구재단 현황을 중심으로)
1. 개방형 평가시스템 구축 개념 - 평가 정보의 공개 폭을 넓히고 이를 통한 평가의 객관성 확보 및 평가 결과 수용성 강화 추진현황(※연구재단 현황을 중심으로) 1) 재단(NRF) 전문위원(Review Board) 및 평가위원 공개 - 전문위원 : 284명 공개 (학문분야별 세부 전문가로서 소관 학문영역의 연구과제 심사자 추천, 심사·평가과정의 모니터링 및 심사·평가결과에 대한 검토 및 의견 제시 등의 업무를 수행) ※ 근무형태 : 비상근(분야별 전문위원 구성) - 평가위원 공개 ① 기초연구사업 : 회의 및 발표평가 평가자 명단 공개(온라인 서면평가자 제외) ※ 개인연구사업은 중견연구자/리더연구자사업 평가자 명단 공개(일반연구자 사업 제외) ② 인문사회연구사업 : 평가참여자 전원 공개(서면 평가자 포함) ※ 평가자 참여 시 명단 공개 승인 허락을 득함 2) 과제별 평가의견 공개 - 선정 및 탈락과제에 대한 평가의견 통보 구분 기초연구 인문사회연구 국책연구 계 명 128 105 50 284 기대효과 : 평가의 투명성·공정성 확대

19 II. 기초연구 성과평가 개선 방향 1. 개방형 평가시스템 구축 문제점 향후 개선방향
1. 개방형 평가시스템 구축 문제점 - 평가자 공개에 따른 평가자의 부담 가중 → 평가자 섭외 및 선정과정의 어려움 - 평가결과와 평가의견 내용의 불일치 ① 평가의견은 과제 신청자의 향후 연구 방향과 연구계획서 보완에 도움이 되어야 하나, ② 평가의견 내용이 구체적이지 않고 평가결과와 불일치하는 사례 발생 → 신청자의 『이의신청』을 발생시킴 향후 개선방향 - 평가 참여 의무화 및 보상(Reward) 대책 강화 ① 재단 연구과제 수혜자에 대한 평가참여 의무화 추진(현재 검토 중) ② 평가 참여에 따른 보상제로 추진 예) 서울대 : 평가참여시 교수 평가에서 『사회공헌 활동』으로 인정 등 - 평가자 교육강화 및 우수 평가자 확보 ① 평가 참여자에 대한 교육 강화 : 평가자 준수사항 등을 동영상화 하여 평가 시작전 사전교육 실시(추진 예정) ② 우수 평가자 풀 구성 및 평가 이력 DB 구축 ·우수 평가자 구성 : 일정 수준의 연구역량 연구자를 평가자로 구성 · 평가이력 DB구축 : 평가활동의 우수성 및 객관성 등을 평가하는 평가이력 DB 운영 → 비객관적·불량 평가자 평가참여 제한

20 2. 질적 우수성 중심 평가 II. 기초연구 성과평가 개선 방향 주요내용 추진현황(※연구재단 현황을 중심으로)
2. 질적 우수성 중심 평가 주요내용 - 연구과제의 선정·중간·결과 평가 및 연구자 역량 평가시 『양적』지표 적용보다는 『질적』지표 중심으로 평가 (※ 양적 지표 : SCI논문 수, 질적 지표 : h(hs) 지수, 피인용 상위 0.1%, 1% 등) 추진현황(※연구재단 현황을 중심으로) 1) 기초연구사업 평가 현황 2) 『질적 평가 지표 도출 시스템』구축 - 피인용 횟수, 분야별 IF 수준 및 h(hs) 지수 등 질적 평가 지표를 도출 할 수 있는 시스템 구축 ※ 시스템 운영 : 재단(NRF) KRI DB 와 톰슨로이터사 SCI DB 연계 구 분 평가 중점 선정 평가 신진 연구자 : 독창적 아이디어와 잠재 역량 평가 일반 연구자 : 연구자 역량 배점을 강화 ※ 연구자 우수성 : 최근 3년간 대표실적으로 평가(논문, 특허 등) 중간 평가 평가시점까지의 연구성과 수준 수행 연구에 대한 성실성과 우수성 결과 평가 연구계획서 상 성과 목표 달성 여부 연구결과의 양적·질적 우수성

21 2. 질적 우수성 중심 평가 II. 기초연구 성과평가 개선 방향 문제점 - 질적평가 지표 도출의 어려움
2. 질적 우수성 중심 평가 문제점 - 질적평가 지표 도출의 어려움 ① h(hs) 지수 등 대표적인 질적 지표 등을 도출하기 위해서는 많은 시간과 인력이 동원되어야 함 ※ 예시) 창의연구지원사업 신청자별 h(hs) 지수 도출 : 1명/1일 ② 중견연구자지원·리더연구자지원사업(창의연구, 국가과학자)은 연구자 역량평가를 위해 관련 질적지표 필요 - 『질적평가지표 도출』시스템의 안정화 미흡 ① 질적지표 도출의 어려움을 해결하고 효율적인 지표도출을 위해 구축한 재단의 시스템 운영이 안정화 단계 미진입 ※ 사유 : 재단 KRI DB 내 연구자 실적 DB에는 약 59만건의 SCI 논문 현황이 저장되어 있으나 약 32만건 정도만 SCI Web of Science와 연결가능 → 따라서, 28만건 정도의 미연계 SCI 논문으로 인해 특정연구자에 대한 질적지표 도출이 사실상 어려움 < 재단(NRF) SCI 논문 등재 현황 > - 우수 평가자 확보의 어려움 ① 기초연구사업의 성공적 『질적평가』수행을 위한 핵심사항 → 분야별 우수평가자에 의한 전문가 평가 ※ 계량적 질적평가 지표는 전문가평가를 위한 참고자료 ② 우수평가자 확보의 어려움 구분 SCI 논문 현황(‘ 현재) 비고 검증 논문 미 검증논문 합계 건수 315,779건 273,256건 589,035건 SCI/SSCI/A&HCI

22 2. 질적 우수성 중심 평가 II. 기초연구 성과평가 개선 방향 향후 개선 방향
2. 질적 우수성 중심 평가 향후 개선 방향 - 우수 평가자 확보를 통한 전문가·질적평가 강화 - 질적 평가지표 개발 및 적용 확대 · SCI 기반의 h(hs) 지수 등 계량적 질적지표 외에 분야·학문분야별 적용 가능한 지표 개발 예시) 우수 학술지 편집위원, 세계 수준의 학술대회 기초연사 등 - 재단(NRF)의 『질적지표 도출시스템』운영의 안정화 · 재단 KRI DB 등재된 SCI 논문 중 미 검증 논문 정제 작업 → SCI 논문 약 59만건의 정제 완료

23 2. 질적 우수성 중심 평가 II. 기초연구 성과평가 개선 방향 (가칭) 질적 성과 분석 활용시스템 개념도
2. 질적 우수성 중심 평가 (가칭) 질적 성과 분석 활용시스템 개념도 외부(입력/연동)정보 내부 시스템 외부활용 S C I 내부 사용자 경영진 관리자 사업담당자 외부 사용자 조사분석담당자 N C R 서지정보 계량정보 연구개발사업관리 논문명 Times Cited 저자명 Impact Factor 연구자 소속기관명 I/F-5 연구사업관리시스템 한국연구업적통합정보 (KRI) 기관주소 Percentile 일괄반입 (연1회) 국가명 Crown Index 저널명 Total Cites 연구마루 오름 ESI S/C 전략기획 XCR 연구인력DB 관리자 WoS S/C RATIO BK21 WCU 국제협력 최근 피인용회수 성과관리 사업관리 일괄갱신 (월1회) 정책연구 사업기획 연구성과관리 심사자/평가자 ISI_LOC Times Cited 인용색인정보DB 연구조사 공고/접수 기술료관리 연구사업기획 선정/평가 추적평가 J C R 연구성과관리시스템 저널명 Impact Factor 일괄반입 (연1회) 일반사용자 출판사/국가 Times Cited (가칭)질적성과분석활용시스템 Web of Science SCI 3 Files Online 교과부 SCI 데이터 반입 각종 지수 일괄 추출 조회 통계 추출 기타관리 실시간조회 NCR 일괄 반입 총피인용회수 평균피인용수 서명검색조회 연구자번호검색 주제코드 SCOPUS 피인용회수 업데이트 h-지수 hs-지수 사업별추출 엑셀반입반출 연도별 JIF 대학별 연구업적정보 SCOPUS Online Custom Data JCR 일괄 반입 평균 I/F 상위 1%,10% 주제별통계 연도별통계 PERCENTILE

24 3. 정책 및 분야중심 평가 II. 기초연구 성과평가 개선 방향 개념 추진현황
- 국가 R&D 정책(국과위, 교과부 등) 및 연구분야별 주요 이슈에 대한 정책평가 수행자 - 평가 결과에 기초한 전략적 연구비 배분 추진 추진현황 - 정책기획(형성) → 집행 → 결과 및 환류(Feedback)의 유기적 연계체제 미흡 - 기초연구사업(교과부/재단)에 대한 평가수행 : 분야별 평가 체제 운영 - 기초연구사업의 예산 수립 및 배분 체계 : 사업 중심 - 정부(교과부 등) 주도의 정책 기획 ① 기초연구지원 전문기관(재단)의 참여 미흡 ② 기초연구 분야별 커뮤니티의 의견수렴 미흡

25 3. 정책 및 분야중심 평가 II. 기초연구 성과평가 개선 방향 문제점 향후 개선 방향
① 기초연구 전문지원기관의 정책수립 참여 미흡 - 정부(교과부 등) 및 정책연구기관(KISTEP, STEPI 등) 중심의 기초연구 정책 수립 - 재단(NRF) 참여는 있으나 영향력 정도는 크지 않음 ② 사업 중심의 연구비 운영 - 사업 중심의 연구비 운영 및 배분으로 분야별 전문성 약화 향후 개선 방향 ① 재단의 정책연구 기능 강화 - 기초연구지원 전문기관의 기초연구정책수립 기능 강화 ※ 예시) 재단 정책연구관련 부서 인력 및 조직 강화 - 국가 기초연구개발사업 정책연구의 참여 확대 ※ 예시) 재단 학문단장(PM), 전문위원(RB) 의 정책기능 강화 ② 연구비 배분체제 개선 : 사업중심 → 분야중심 - 연구개발 분야 중심의 예산 및 연구비 배분체제 운영 - 학문단별(재단) 연구비 배분체제 확립 ·학문단별 분야별 커뮤니티 의견 수렴 강화 → 분야별 특성화 프로그램 운영 ※ 예시) 캐나다 자연과학공학연구협의회(NSERC)의 분야별 연구비 재분배 정책(RE) 형태의 제도운영

26 4. 사업특성을 고려한 평가 II. 기초연구 성과평가 개선 방향 개념 추진현황
4. 사업특성을 고려한 평가 개념 - 사업 유형(기초·응용·개발, 인력양성 등) 및 핵심 성과가 창출·축적되는 기간 등 사업특성을 고려하여 차별화된 평가 실시 추진현황 구 분 주요 내용(기초연구사업 중심으로 기술) 국가연구개발사업 자체평가 평가 주관 : 자체평가(기재부/해당부처) → 상위평가(국과위) ※ 국가연구개발사업 자체평가는 사업유형을 고려한 평가실시 ※ 12개의 평가지표를 제시하고, 사업특성에 따라 1~2개의 지표는 제외토록 하고 있음 (평가지표 : 붙임 참고) 대상 : 연구개발사업 수행 부처의 R&D 사업 중 1/3 정도(3년 주기로 부처의 R&D 사업 자체 평가) ※ 국가 주요 이슈와 관련된 R&D사업을 특정평가 실시(주관 : 국과위) 기초연구사업을 포함한 전체 R&D사업 : 질적 평가 실시(과학기술적 성과, 경제사회적 성과) ※ 평가 방법 : 최근 3년간 성과 대상으로 질적평가위원회 위원에 의한 정성평가 ※ 평가 근거 : 국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률, 국가재정법

27 4. 사업특성을 고려한 평가 II. 기초연구 성과평가 개선 방향 [붙임] 2011년 국가연구개발사업 자체평가 평가지표 단계
4. 사업특성을 고려한 평가 [붙임] 2011년 국가연구개발사업 자체평가 평가지표 단계 평가 지표 계 계획 사업 1-1. 사업목적이 명확하고 타당한가? 17.5 1-2. 사업의 구성 및 추진방식 등이 적절하게 설계되어 있는가? 1-3. 다른 사업과 불필요한 유사·중복이 없게 사업이 설계되었는가? 성과 2-1. 성과지표가 사업목적과 명확한 연계성을 가지고 있는가? 12.5 2-2. 성과지표의 목표치(target)가 의욕적으로 설정되어 있는가? 집행 3-1. 사업이 계획대로 집행되었는가? 15 3-2. 사업추진 실태를 정기적으로 모니터링하고 개선하고 있는가? 3-3. 효율적 연구비 집행이 이루어지고 있는가?(신규) 사업목적을 달성하는데 있어 효율성을 제고하였는가?(신규, 시설·장비구축사업만 적용) 결과 4-1. 계획된 성과가 양적으로 달성되었는가? 55 4-2. 사업성과가 질적으로 우수한가? 4-3. 객관적이고 종합적인 성과분석을 실시하였으며 분석결과 사업이 효과적으로 수행되었는가? 4-4. 평가결과를 사업계획·방식의 보완/변경 등에 활용하였는가?

28 4. 사업특성을 고려한 평가 II. 기초연구 성과평가 개선 방향 문제점 향후 개선 방향 ① 새로운 평가 체제 구축·운영
4. 사업특성을 고려한 평가 문제점 향후 개선 방향 ① 새로운 평가 체제 구축·운영 - 기초연구사업 성과의 중장기적 특성을 고려한 [추적평가 시스템] 중심의 평가 모형 개발 ② 선정 평가 체제 중심의 평가 추진 - 기초연구사업의 특성상, 결과평가 및 성과평가 중심의 평가보다 사업(과제) 선정 평가 과정에 대한 평가 체제 운영 - 기초사업의 성패는, ·탁월하고, 창의적인 과제와 우수한 연구자를 선정·지원하는데 달려 있음. ·우수 연구자에 의한 창의적 사업 추진 → 우수한 과학기술성과 창출(세계수준의 논문 등) → 과학기술 및 경제사회 분야의 다양한 spin-off 제공 구 분 문제점 분석 국가연구개발사업 자체평가 기초연구사업의 속성(특성)을 반영한 평가제도 운영 미흡 - 기초사업의 특성인 중장기적 성과 도출을 평가하기 위한 시스템 미비 사업성과 도출의 어려움 - 기초연구사업은 특성상 사업성과가 어려우며 파급효과를 추적하고 도출하는 과정이 매우 어려움

29 5. 기관 특성에 맞는 평가 실시 II. 기초연구 성과평가 개선 방향 정의 및 개념 추진현황
5. 기관 특성에 맞는 평가 실시 정의 및 개념 - 재단(NRF)의 기관 임무를 바탕으로 평가 추진(※ 재단 임무 : 창의적 연구와 인재양성 지원) 추진현황 구 분 주요 내용(기초연구사업 중심으로 기술) 기관 평가 평가 주관 : 기획재정부 기본방향 : 계량적 평가 중심 ※ 재단과 같은 중소형 기관(위탁집행형 기관 중 정원 500명 미만)은 계량중심으로 평가 시행 ※ 평가 유형 : 공기업 - 공기업Ⅰ, 공기업Ⅱ 준정부기관 - 검사·검증, 문화·국민생활, 산업진흥, 연·기금운용, 중소형 재단의 기초연구사업평가 현황 - 2가지 계량지표(붙임 참고)에 의한 기초연구사업 성과평가 - 기타 기초연구사업성과는 비계량지표에서 정성적으로 제시 후 평가 ※ 평가 근거 : 공공기관 운영에 관한 법률

30 II. 기초연구 성과평가 개선 방향 5. 기관 특성에 맞는 평가 실시 [붙임] 한국연구재단 기관평가 지표 기초연구사업 평가지표

31 5. 기관 특성에 맞는 평가 실시 II. 기초연구 성과평가 개선 방향 문제점 향후 개선 방향
5. 기관 특성에 맞는 평가 실시 문제점 ① 계량지표 중심의 평가운영으로 기초연구사업 성과에 대한 적정 평가 제도 운영 어려움 예시) 기초연구사업 성과는 투입 성과(예산규모, 연구비), 산출성과(논문,특허,인력양성), 경제·사회·국제연구협력 분야 파급효과(outcome) 및 인프라 구축 등 다양한 성과 도출 가능 ※ 현 지표는 기초연구사업의 다양한 성과를 포괄할 수 없음 ② 평가위원 구성 - 기관평가위원(기초연구사업을 포함)은 연구개발사업 참여 혹은 평가경험이 있는 이공분야 연구자가 아니고, - 주로 경영·행정·회계를 전공한 위원 중심으로 구성 → 연구개발사업의 이해 부족 향후 개선 방향 ① 정성지표 중심의 기관평가(기초연구사업 포함)운영 - 기초연구 중 연구개발 사업의 특성 및 속성을 감안하여 성과를 정확하게 제시할 수 있도록 정성적인 지표 중심의 평가 실시 필요 ※ 계량지표 중심의 평가는 회계 등 평가위원들의 기계적인 평가에 의존 → 사업의 특성을 제시하기 어려움 ② 연구개발사업 전문가에 의한 평가 실시 - 경영·행정·회계 등 비전문가에 의한 계량적 평가가 아닌 - 기초연구를 비롯한 연구개발 사업을 수행한 경험이 있는 연구자 및 전문가에 의한 평가 실시 필요

32 III. 결론 우수 평가자 풀 구축 및 전문위원(RB)중심 평가 체제 운영 질적 평가 시스템 운영
- 우수평가 풀 구성, 평가이력 DB구축 등 질적 평가 시스템 운영 - 질적 평가 지표 및 평가모델 구축 ※ 예시) 재단 질적 평가 지표 도출 시스템 등 분야 중심의 연구비 배분 체제 구축·운영 - 사업중심 → 분야 중심 운영 → 분야별 전문성 강화 기초연구 특성을 고려한 평가 체계 - 기초연구사업 성과의 중장기적 성과를 평가할 수 있는 추적평가 시스템 체계화 → 경제·사회적 성과 추적 기관 평가 - 계량지표 중심 평가에서 정성적 평가 중심으로 운영 ※ 기초연구성과의 다양한 측면을 평가 - 경영·회계·행정분야 전문가가 아닌 이공계 전문가에 의한 평가 체제 운영