Standard Performance Evaluation Corporation
Standard Performance Evaluation Corporation（SPEC、標準性能評価法人）は、コンピュータの公平で意味のあるベンチマークを作成することを目指して設立された非営利団体である。SPECは1988年に設立され、全ての主要なコンピュータ企業やソフトウェア製造業者などのメンバー企業が資金提供している。SPECのベンチマークはコンピュータシステムの性能評価に今日広く使われていて、その測定結果はSPECのウェブサイト上で公表されている。
そのベンチマークは「現実の」状況をテストすることを目指している。例えば SPECweb2005 はWebサーバの性能評価のために様々なタイプのHTTPリクエストを並行していくつも行う。SPEC CPU はCPU性能を評価するために、GCCコンパイラやチェスプログラム crafty などのいくつかのプログラムの実行時間を測定する。様々なタスクにはそれぞれ現実での重要性を考慮した重み付けがされており、その重み付けを使用して最終的にひとつのベンチマーク結果を得るようになっている。
SPECベンチマークはプラットフォームに依存しないプログラミング言語（通常、C言語またはFORTRAN）で書かれていて、利用者は自分のプラットフォームで動作する任意のコンパイラでコンパイルすることができる。ただし、ソースコードを変更することはできない。製造業者はSPECベンチマークの結果を改善するためのコンパイラの最適化手法を適用していると言われている。
ベンチマークを使うためには、ライセンスをSPECから購入する必要がある。その費用はテストの種類によって数百ドルから数千ドルまである。ベンチマークにはGPLによりライセンスされるソフトウェアが含まれるため、この支払いモデルはGPL違反であるとして批判されてきた。
ベンチマーク一覧 編集
現在のベンチマーク 編集
- SPEC CPU2006：CPU、メモリ、コンパイラの総合的な性能評価
- SPECweb2005：PHPおよび（または）JSPの性能評価
- SPECviewperf：OpenGL三次元グラフィックスシステムの性能評価。実アプリケーションの各種レンダリングタスクを実行。
- SPECapc：いくつかの一般的な三次元指向のアプリケーションの性能評価
- SPEC HPC2002：高性能並列コンピューティングシステムの性能を気象予測や化学計算のプログラムで評価
- SPEC OMP V3.1：OpenMPベースのアプリケーションの性能評価
- SPECjvm98：Java仮想マシンの動作するJavaクライアントシステムの性能評価
- SPECjAppServer2004：Java 2 Enterprise Edition (J2EE)ベースのアプリケーションサーバを中心とした多層システムの性能を評価するベンチマーク
- SPECjbb2005：三層クライアント・サーバシステムをエミュレートしサーバサイドJavaの性能を評価（主に中間層の評価）
- SPEC MAIL2001：メールサーバの性能評価。SMTPとPOPプロトコルを実行。
- SPEC SFS97_R1：NFSファイルサーバのスループットと応答時間の測定
今後登場予定のベンチマーク 編集
- SPECappPlatform：Web向けエンタープライズプラットフォームの性能評価（Jakarta EEと.NETなど）
- SPECimap2003：エンタープライズレベルのメールサーバの性能評価（SMTPとIMAP4プロトコル）
- SPEC MPI：MPI (Message Passing Interface) ベースのアプリケーションの性能評価
過去のベンチマーク 編集
- SPECjAppServer2001
- SPECjAppServer2002
- SPECjbb2000
- SPECweb96
- SPECweb99
- SPECweb99_SSL
- SPEC CPU92
- SPEC CPU95
- SPEC CPU2000
- SPEC HPC96
- SPEC SFS97
日本国内会員 編集
2007年3月現在。アルファベット順。