日本財団 図書館


(上記の具体的内容)
1-2. 評価シート作成の前提と内容について
(1)従来のA、B、C・・・のような曖昧な評価(どちらでもいいような結果になりがち)を排除する。
 評価点を、+2点、+1点、−1点、−2点(ただし、+1点、+0.5点、0.5点、−1点とする等、評価点は条件設定で自在に変更可能・・・表1参照)という4段階として曖昧な評価になりがちな0点を排除した。こうすると、事前評価ではプラス側に評価が傾くのではないかとの意見も出されたが、実際に評価した結果ではそうした傾向は見られなかった。0点を排除することでメリハリのある評価結果が期待できることとなった。
 
表1 評価シートの条件設定(入力は、対話形式になっている)
以下の条件は、集計を行う事務局が設定します。
色付きのセルにカーソルを当てると入力方法が表示されます。
設定変更内容 入力数字又
は入力番号
備考
1. 事前・中間・事後評価の別 1 各評価シートは「事前評価」に設定されました。事前評価、中間評価、事後評価では、一部のセルの文章と入力制限値が変更されます。
2. 最大評価点 2 各評価シートの最大評価点は、+2点、最小評価点は、-2点に設定されました(+2、+1、−1、−2の順です)。
3. 重み(値)の最小値からの許容誤差% 300 評価欄に重み(値)を入力し終えたとき、重みの最小値×(1+300/100)をオーバーしたセルは赤に変化しますので、重み(値)を制限値内に変更します。
4. 表示するグラフの種類 3 各評価シートで表示されるグラフは、「総評価値(評価点数×重み率÷最大評価点)」に設定されました。
 
 一方、評価者が自分の専門でない分野、或いは評価するためのノウハウを持っていないものについて評価するのを避けるため、真に評価可能な項目についてのみ評価する方法とした。
 
(2)評価者(評価委員)の負担を少なくし、かつ、結果は詳細・明快に表現できるようにする。
 詳しい評価を期待するとなれば、評価での設問は詳細冗長になり、結果として非常にまとめにくい結果となり、評価結果はまとめる者の主観にも左右される恐れが出てくる。このため、評価シートは委員の経験と叡知を集め、どのような設問であれば簡潔で研究開発の内容を的確に評価できるか議論を繰り返した。この結果、評価シートでは始めから詳細な設問を用意し、ここに○印を付し、この点数が他の設問との比較においてどの程度の重みを持つかという「重み(値)」を記載することで評価点数が得られるようにする方法が妥当であると結論づけた。又、設問だけで評価するのが困難なケースも想定して「備考欄」を設け、自由に記載できるようにした。
 しかし、評価シートを紙面上で実施するのでは、集計に時間がかかり、又、メール上での連絡ができないため、評価シートはExcelで構成することとした。
・・・評価シート(総合、A、B、C)参照
 作成されたExcel評価シートでは、評価者(評価委員)がシート上の該当個所に○等の記号を付すだけで点数が表示されるため、評価点数を記載する負担は著しく軽減することができた。更に、デジタル量である数値がアナログ量である感覚値とは必ずしも一致しないことが予想されたため、数値と同時に評価値がグラフでも表示されるようにした。従って評価者が1枚の評価シートを記載し終えた時点で作成されたグラフの値を見たとき、評価の数値と感覚で感じる評価の値が異なる場合は評価を容易に変更することが可能である。
・・・評価シート 事例1参照
 
(3)評価部会等において有力者の発言、或いは、個性の強い人物の発言等に評価全体が左右されないようにする。
 これまで、国等が行ってきた評価でしばしば問題とされていたのは、「学会や業界の大御所或いは行政当局の意見で評価の詳細が明らかにされないまま、実施項目が決定されてしまうことである」という。
 ここで作成した評価方法は数値評価であり、Excelシート上で評価するため、解析方法は多種多様な方法を選択することができるようになっている。作成したシートでは、単純な点数の集計、重みを考慮した集計、全体の評価点数に対する評価対象とした評価点数の割合等7種類の集計値を得ることができる(集計方法を変更するのは容易)。
・・・表1参照
 集計方法にはそれぞれ得失があるが、個性の強い評価委員の評価点で全体が引きずられるのを防ぐ(例えば、ある項目にのみ非常に高い評価点或いは低い評価点を与える)ため、「評価点」に「重み率」を掛けた「総評価値」という方法を導入した。この方法は、言い換えれば、「持ち点配分方法」とも言えるもので、1枚のシートについて評価者1人が記載できる最高点は100、最低点は−100であり、評価者が評価項目全部に最高点(最低点)を記載しても合計値は最高点(最低点)を超えることはないというものである。
 この方法の欠点は1項目しか評価しない場合でも合計点は最高点(最低点)になってしまうことであるが、実際に評価した結果では評価委員が評価する項目は、評価点にバラツキはあるものの評価項目箇所には大差ないことが判った。このため、今回の評価点は「総評価値」で表してから不都合があるときは他の値で表示することにした。評価委員が評価点数を記載した後でも集計方法を変更できるというのも、この評価シートの特徴である。
 
(4)評価の詳細と評価の程度が客観的に理解でき、評価結果が開発の提案者、評価実施者(評価委員同士)及び第三者に納得され易いものとする。
 数値評価であるため、点数が何点であるかによって、他の評価点との比較は一目瞭然であるが、大きな特徴は「どの評価項目を、誰が、どのように評価したか」ということを数値とグラフで確認することができることである。これによって評価者同士が議論しながら修正を加えることがでるだけでなく、評価された者も提案(成果)の欠陥がどこにあり、どこをどう改善しなければならないかが明らかになることである。
・・・評価シート 事例2 及び表2参照
 なお、実際の評価では評価委員の評価の観点や経験(例えば、厳しい研究環境で経験を積んだ者は全体を厳しく評価する等)から同じ評価課題に対しても異なる評価をし、評価点が大きく異なることがある。このように評価によるバラツキを同一の土俵で比較できるようにするため、集計シートでは偏差値(基本的な考え方は学業成績を表す偏差値と同じであるが、平均値を自由に設定できるようにしてあるためメリハリを付けて比較することが可能)で比較することができるようになっている。
・・・表3参照
 偏差値による比較は、評価者によって同じ評価課題に対する評価結果が大きくバラついたときや、逆に各評価対象の評価点が同じになって判断が困難なときに有効と思われるが、幾つかの事例で検討した結果では、偏差値を用いなくでも納得できる評価値が得られた。
 
(5)評価の正確さと迅速化を図るため、パソコン上での評価を可能にする(Eメールを利用した評価、電子評価を前提)。
 評価シートは、パソコン上で評価することを前提としているため、集計はEメールを利用して事務局において迅速に行うことができる。
 技術的にはネット上で評価委員同士が議論仕合いながら、より緻密な評価を実施することも可能であるが、評価委員も本業を持ち、評価だけに時間を避けないことを考慮すると、事務局が記入漏れや明らかな間違いをチェックした上で、評価者と連絡を取りながら評価点を確認し、全員の評価結果が出た時点で評価委員が一同に会し、大型のプロジェクター等を用いてグラフを見ながら議論して最終的な評価点を決定する方が合理的と思われる。
 なお、この評価シートのグラフは、棒グラフが優先して表示されるようになっているがExcelでは約20種類のグラフが用意されているので、比較する内容によってレーダチャート、積み木グラフ等自由に変更できるようになっている。
・・・表4及び表5参照
 
(6)その他
 数値評価の場合、集計値はどこまで集計すればいいかということが問題となる。例として、以前「住みやすい都道府県」を評価するというのがあり、一位は常に「福井県」、そして「埼玉県」は常に全国最下位となって所謂「ダサい玉」といわれていた。この評価方法は、埼玉県を初めとする評価点の悪い県の知事の反対で最近は取りやめになったが、この評価の欠点は殆ど関連のないものを強引に集計してしまったところにあった。例えば、人口当たりの医療施設の数(質は問わない)、公園の数(大きさは問わない)、図書館の数(質は問わない)といったものを全部足し上げて点数の高い都道府県を日本一とするといったような方法である。
 ここでの評価は関連のないものを全て足し上げて評価点を出すといったような強引な方法は取らず、造船、海運、社会に対するそれぞれの貢献度とその計及び製品化の可能性、シーズ発掘の可能性、科学的技術的意義、研究体制のあり方とその計を最終の集計単位として評価しており、最終的な評価点に疑問を感じた場合は、評価点を順次遡って(より細かい評価内容へ)検証していくことが可能である。
・・・表68参照
 
1-4. 評価の前提について
 評価を実施するに際しては評価委員が評価項目に対して十分な知識を持っていなければならないのは当然であるが、これと平行して重要なのは、
(1)評価者(評価委員)には詳細な評価が可能になるよう十分な事前説明をおこなう。
(2)評価結果をこれから実施、実施中の開発研究にも反映(課題選定、開発研究にフィードバック・・・問題箇所の是正、開発研究の中止、過去の研究評価を適用)させる。
 ことの2点であり、今後は評価に先立って研究開発の責任者から十分な事前説明を行ってもらうと共に、この評価方法を基に研究開発の中間段階及び終了後についても厳密な評価を実施することとしている。
 評価委員が公正な評価を行う上で欠かせないのは、事前説明(評価委員が評価を実施する前の提案者等による説明)が十分されていたがどうかということである。いかに優れた提案であっても、評価委員が内容を十分に理解していなければ厳密な判断はできなのは当然で、提案者と評価委員の間で十分意志の疎通が図れる場を設けることが望まれる。又、開発研究で提案される課題は、構造、船体、運動、破壊、推進、性能、安全、航海、機関、振動、機器、熱バランス、熱力学、流体、低温技術、電気、電子、通信、情報処理、国際基準に関するもの等非常に多岐に亙るため、一人の評価委員が全てを理解し、正しい判断ができるということはないと言った方が良い。
 このことから、本評価シートは、評価委員の専門外のこと及び評価する課題に対して十分な知識を持ち合わせていない事項については評価点を入れないことを前提としているが、十分な事前説明があれば、評価委員に特別な専門知識がなくても、その提案が研究課題として取り上げるだけの価値があるかどうかの判断が付くケースもあると考えられる。例えば、提案内容が物理学、化学、力学等の基本的な見地から検討して妥当なものかどうか、殆どあてにならないブレークスルーを期待していないかどうか或いは経済的に成り立つものかどうか、現時点では不可能でも電子ディバイスのように日進月歩が著しく、数年後にはかなりの確度で実現できそうなものであるかどうかといったようなことである。
 いずれにしても、提案者と評価する者が十分な意志の疎通を図り、評価が数値という具体的な量で示されるのであれば、被評価者が評価委員に対して不満を抱くという可能性もより少なくなることが期待される。
 一方、評価結果を現在実行中の研究開発に適用させることも評価を実施する者の責務である。実行中の研究開発を評価した結果、成果が思わしくない、或いは、予想外の技術的トラブルに見舞われて評価点が下がってしまった場合等は、中止を勧告することも必要だろうし、過去の評価が同じ方法で実施され、記録されていれば、それは今後の評価にも役立つものと思われる。
 今回の評価方法により、事前、中間、事後の評価を理解し易い数値で表示できるだけでなく、この数値によって評価のプロセスが明快になり、評価結果は、新たな提案にも反映させることが可能となった。







日本財団図書館は、日本財団が運営しています。

  • 日本財団 THE NIPPON FOUNDATION