本文は評価結果を集計する方法及びシート内容等を変更する場合に必要な事項を記載したもので、一部に検討の経緯も記載してある。

　

1. シートの構成

　本シートは研究課題を評価するための「評価シート」と評価の値を集計するための「集計用シート（第一集計シート、第二集計シート）」で構成されている。

　「評価シート」は、研究開発実施前の評価（特に新規研究開発課題として取り上げるのに値するかどうかの審査用）のみならず、中間段階及び研究開発終了後の評価にもしようできるよう工夫されている。

　集計用シートは事務局（集計者用）のもので、第一と第二に分割したのは、パソコン上の計算容量が大きくなり過ぎるのを防ぐためであるが、大容量で高速のパソコンを使用する場合は必ずしも分割する必要はない。

　なお、評価結果をEメールで送付するとき、容量が大きくなって（重くなって）送付できないケースが考えられたため、「事務局用再現シート」を用意した。このシートは、「送付用のData Box」だけを送付してもらえば事務局はその「Data Box」から元の評価済みのシートをそっくり再現できるものである。

　

2. 「評価シート」

　主として研究開発の意義や効果等を問う総合評価シートと造船・海運・社会に対する貢献度を問うシート、計4枚で構成されている。

　評価の前提は、評価委員が対話形式で容易に評価でき、結果を見ながら評価できるようExcelシート上で実施することを前提としている。+2〜-2の評価項目に○印等の記号を入れると直ちに+2〜-2（ただし、この値は条件設定で変更可能）に該当する数値が表示され、評価可能な項目に記号を記入した後に、それぞれの重みを記入すると通常は評価点数に重み率を掛けた数値（「総評価値」）とそのグラフが表示される（どの評価値を表示させるかは「条件」で設定できる）。デジタル量である数値とアナログ量であるグラフが同時に表示されるのは人間のデジタル感覚とアナログ感覚が異なっているためで、評価のように本来、主観的なものはアナログ表示の方が適していることも考えられるためである。グラフを見て、自分の感覚と一寸違うと思ったときは評価項目の点数を変更してもいいし、重みの数値を変更してもいい。グラフ表示は、評価者自身が納得しながら評価する上で役立つものと思われる。又、事前評価、中間評価、事後評価の分類、重みの制限値、最大点数は「条件設定」項目で自由に変更可能である（条件設定を変更するだけで一部の設問の文章も変更され、評価値等も変更した値で計算される）。なお、セルの一部には事務局（集計する者）が設定した条件を外れた場合の警告や入力時の注意事項が表示されるようになっている。

　Excelシートを使用したもう一つの目的は、将来ON-LINEで事務局の手を殆ど煩わせることなく集計することを意図したためである。

　評価結果は、評価点数の他、重み率を考慮した総評価値等7種類の評価単位で集計されるが、通常使用するのは、「総評価値」である。（議事録参照）

　

3. 第一集計シート

　このシートは一つの評価課題（研究開発課題）について各評価委員がどのような評価をしたか、設問毎に評価委員別の評価値が数値とグラフで見ることができるようになっている。

　このシートを使用するのは、評価委員の評価が大きく分かれた場合や、評価結果を詳細に見て、各評価委員が評価内容について議論するとき、或いは研究課題を提案した者に、どこの評価がどうなっているかを事務局等が説明するときに役立つものと思われる（印刷物では枚数が大きくなり過ぎるので、プロジェクター等を使用すべきである）。

　第一集計シートの集計値とグラフは、各評価委員が評価した（評価済の）評価シートのData box（このBoxには、データの他、備考に記載した文章も収納される）を所定の位置に貼り付けるだけで自動的に完成するが、貼り付けというマニュアル手法によらなくても自動リンクを取ることで可能である（ただし、評価委員が10名程度のときはマニュアルの方が便利）。

　

4. 第二集計シート

　このシートは各評価委員が各評価対象（評価する研究開発課題）をどのように評価したかを見るためのもの（総合評価シートの大項目別の評価、造船・海運・社会への貢献度毎の評価）で、評価課題（研究開発課題）別−評価項目別−評価委員別にグラフとして見ることができる。このときの値は、通常は総評価値の合計値（委員別）で見るが、評価個数だけ評価点数だけ等で見ることもできる。

　このシートも、各評価委員が評価課題別に評価した第一集計シートData boxを順に貼り付けるだけで（自動リンクを取る方法もあるがパソコンに大きな容量が求められる）全ての集計とグラフの作成が自動的におこなわれるようになっている。

　集計結果を見ると、同じ評価対象に対して評価委員による評価点が大きくバラついているものもあった。このため、グラフ上では偏差値でも見ることができるようになっている（評価対象の違うものを同一土俵で比較できるようにするため）。又、このときの平均値は通常の50に設定できる他、任意の値に設定できるようになっている。この平均値の取り方によって、メリハリを付けて比較したり、バラツキの大きなものを比較し易くしてみることができる。

　なお、このグラフは各評価委員が評価結果を互いに議論するとき、或いは事務局等が評価結果を最終的に判断するときに使用するものとして用意したものである。グラフの種類の変更（棒グラフではなくは、「シートの保護を解除」した後、グラフ上で右クリックすれば20種類程度の中から選択できる）。

　第二集計シートは最終的に公表する評価値として「公表グラフ」というシートを設けている。このシートの中では「総合評価シート」の大項目別の評価合計値（総評価値）及び「造船・海運・社会に対する貢献度」の評価合計値（総評価値）がグラフで表示されるようになっている（評価点は各評価委員の評価点の合計値をそのまま表示する方法と・・・この場合は、9人が最高点を付けると合計点は900点となる・・・全員が最高点を入れたときの合計値を100点満点で表示する方法を選択できるようになっている。通常は100点満点で表示する）。

　それぞれの項目の評価点を全て合計して合計値で判断するという考え方も取れなくはないが、かなり異質のものを合計することになるので評価としての意味をなさなくなる恐れがある。従って、最終判断はこのグラフに止めた方がいいように思われる（このグラフをもとに議論に入り、細かい要求が出たら詳細項目に対するグラフで議論をする）。

　なお、このグラフも総評価値で納得がいかないときのために各種の評価値で比較できるようになっている。

注：以前、住みやすい都道府県を評価するのに、人口当たりの医療機関の数、公共施設図書館の数、公園の数といった関連のない数値を集計して、ランクを付けていたことがあり、埼玉県は常に最下位（ダサイ玉）になっていたが、関連のない数値を足し上げるのは意味がないとの批判（土屋埼玉県知事）が起こリ、この評価方法は取リ止めになった経緯がある。

　

5. 事務局用データ再現シート

　最近はブロードバンドを採用するケースが多くなり3MB程度のデータも問題なくE-mailで送付できるようになってきているが、評価委員の中には1MB程度のデータしか送付できないところがある。このために用意したのが「送付用Data Box」である。

　評価委員は、評価シートの「OD.Box1」のデータを「送付用Data Box」に貼り付け（12件まで貼り付け可能）、これを事務局に送付すれば、事務局では、これを「事務局用再現シート」に貼り付けるだけで評価委員の元の評価シートを再現できるものである。送付容量は最大の12件全てを送付しても300kB程度で済む。

　

6. シートの保護番号

　本シートは、「評価シート」、「第一集計シート」、「第二集計シート」共、セル内には論理式を含む数式が組み込まれている。これらの数式は3シートで1万個を超えている（ただし、パソコンに占める容量としては僅かなものである）。

　この数式を保護するため、各シートには「シートの保護番号を設定」している。保護番号はFive-oneすなわち11111である。グラフだけを印刷したりグラフの名称を変更したり、新たな論理式を設定するときはシートを解除してから実施し、終了したら必ずシート保護をしておくことが望まれる。

　

7. シートの変更

　将来、評価委員の数が増加したり（現在は1人〜9人の評価委員に対応）、評価対象が増加（現在は一度に1件〜12件まで処理可能）した場合、集計用シートの計算表（及びグラフ）容易に増加できる。セル上の数式（論理式を含む）は全て単純な式を規則的に繰り返しているだけなので、増加する場合は通常はドラッグ機能で増加し、データの取り込み部分は一部を規則に従って変更するだけで対応できる。

　このシートで特に注意するのは、「0（ゼロ）」と「空白」を厳密に区分しなければならないことである。初期設定のままのExcel上では例えば、2+(-2)=0も、空白も、同じ0（ゼロ）として処理されるので、本シートのように0（ゼロ）点を設けていない場合は、データ処理上都合の悪い部分が出てくる。このような場合、通常はExcelの「セルの書式設定」⇒「表示形式」で区分を設定すればいいが、本シートの場合はこれでも不都合が出てくる。このため、論理式は長くなるが、空白は=IF（○○！○○＝””，””，・・・・・・○○！○○）という形で、空白と0（ゼロ）を区分して処理する必要がある。