日本財団 図書館


分冊
数値評価法の開発
−研究開発課題評価に対する新しい取り組み−
 
重要課題選定方針検討委員会
(造研将来ビジョン委員会)
1. 数値評価法の開発と意義
 研究開発を事前、中間、事後に適切に評価することは、限られた予算の中で、研究開発参加機関や研究者に、研究開発に対する責任と義務を意識させ、研究開発活動の効率化と活性化を図るためには欠かせない重要な要件である。
 このことから従来、(社)日本造船研究協会では、事前評価については提案された全案件について「研究委員会(定款第19条第1項に基づき設置)」の特定事項を検討するために設置された「研究委員会企画部会(研究委員会規程第7条第2項に基づく)」で全般的な評価を行い、ある程度内容を絞り込み、要すれば補足説明等の必要なものについては補足説明を求め、この結果を「研究委員会」に図って予算申請項目を選定(最終判断は理事会)してきた。又、研究開発の成果については、年度末には研究委員会に進捗状況とゴールに至るロードマップの報告を義務付けて、更には終了案件では、研究開発終了後に「研究開発成果報告会」を開催し、報告会の参加者との質疑応答や討議によって評価を実施してきたが、評価が直接に数値という量で表示されたものではないため、他の研究との相対的な比較が困難であり、報告会が研究開発参加機関や研究者に、研究開発に対する責任と義務を意識させ、研究開発活動の効率化と活性化に十分反映されていたかどうかは議論のあるところであった。
 最近は、国の機関でも、人事評価に始まって行政機関の効率化のための評価、医療機関の評価、大学の実力評価等評価流行りである。とりわけ科学技術基本法の下に「総合科学技術会議」が実施している「国家的に重要な研究開発の評価」では予算規模が非常に大きいことから様々な議論が行われている。
 最近話題となった議論の中には、評価するのに十分な知識や経験のない者に評価を求めているのではないかといった評価委員の資質を問われた問題、或いは評価の理由が一切開示されなかったことに対する不満からインターネット上で評価理由が開示されるようになった等の問題がある。
 重要課題選定方針検討委員会(造研将来ビジョン委員会)では、「造船業界として産業構造の変化に合わせた研究・技術開発の仕組みづくり」を検討することと合わせ、平成16年度の予算申請に当たり、客観的な評価方法はどうあるべきかについて従来の評価方法の持つ得失を十分考慮し、4回にわたって精力的に検討を行い、以下のような数値による新しい評価方法を策定した。数値化が困難なことは十分承知の上で、評価の透明性向上のために鋭意取り組んだものである。
 
1-1. 目的
 研究開発予算の効率的な運用と研究開発の活性化に資するため、研究開発課題に対して事前、中間(研究実施中)、事後(研究終了後)に技術の革新性や戦略性のみならず、製品化の可能性、開発の体制、造船・海運・社会に対する貢献等多角面から、詳細かつ厳密に評価でき、評価結果を研究開発提案者、研究開発実行関係者に偏見なく説明することが可能で、事後の研究開発等にも具体的に反映できるような透明性の高い評価方法(システム)を開発する。
 
1-2. 評価シート作成の前提
○従来のA、B、C・・・のような曖昧な評価(どちらでもいいような結果になりがち)を排除する。
○評価者(評価委員)の負担を少なくし、かつ、結果は詳細・明快に表現できるようにする。
○評価部会等において有力者の発言、或いは、個性の強い人物の発言等に評価全体が左右されないようにする。
○評価の詳細と評価の程度が客観的に理解でき、評価結果が開発の提案者、評価実施者(評価委員同士)及び第三者に納得され易いものとする。
○評価の正確さと迅速化を図るため、パソコン上での評価を可能にする(Eメールを利用した評価、電子評価を前提)。
 
1-3. 作成された評価システムの特徴
○暖昧な評価を排除するため、「どちらでもない」という評価項目は設けていない。
○技術の革新性や戦略性のみならず、製品化の可能性、開発の体制、造船・海運・社会に対する貢献等を詳細かつ多角的に評価できる。
○評価するノウハウを持っていない評価者(評価委員)、或いは、評価に該当しない評価項目には評価点を入れないことを前提とする(評価した項目の多少に拘わらず応分の評価点となるような集計上の工夫がされている)。
○作成した評価シートはパソコン(Excelで作成)上での評価を前提としているが、ペーパー上の評価も可能なものになっている。
○パソコン上で評価する場合、評価者(評価委員)は、対話形式で、ビジュアル画面で評価できる(評価点を数値とグラフで表示)。
○評価の集計と分析は、ほぼ自動化されており、迅速に結果が得られる。
○評価にバラツキが見られるものは評価結果(数値及び集計方法の違いによる評価点の偏差値グラフ等)を見ながら評価委員同士が議論して級密な評価ができる。
○評価内容は、開発研究の提案者に具体的な評価内容を知らせるだけでなく特定の関係者(機密事項を含む可能性があるため)Eメール、HP等を利用して見ることができる。
 
1-4. 評価の前提
○評価者(評価委員)には詳細な評価が可能になるよう十分な事前説明をおこなう。
○評価結果をこれから実施する開発研究、実施中の開発研究及び過去の開発研究にも反映(課題選定、開発研究にフィードバック・・・問題箇所の是正、開発研究の中止、過去の研究評価を適用)させる。







日本財団図書館は、日本財団が運営しています。

  • 日本財団 THE NIPPON FOUNDATION