使用业界首款基准测试工具测量虚拟化性能

VMmark 是首款基准测试工具，设计为专门量化和衡量虚拟化环境的性能。它提供了一个全新的基于片状单元的方案，可衡量整合工作负载的可扩展性，同时提供了一种统一的方法来捕获总体可扩展性和单个应用程序的性能。

VMmark 基准测试是基于我们所具有的虚拟化性能专业知识而构建的，它并入了客户数据中心最具代表性的应用程序类别中常见的工作负载。

现有的传统服务器基准测试既不是针对虚拟机开发的，也不是针对服务器整合开发的，它主要针对每台服务器上的单个工作负载。这些基准测试不捕获由多个虚拟机引发的系统行为，并且也无法充分提供同一服务器上支持同时运行多个工作负载的虚拟环境的可扩展性。

如今，实施或评估虚拟化平台的组织还需要更现实和专门的基准测试，以帮助他们对不同虚拟化平台的性能和可扩展性进行比较、选择合适的硬件并持续衡量平台性能。

显然，需要使用一种更完善的方法来量化虚拟化环境的性能，并建立实用且精确的指标，从而更加有效地比较虚拟环境中不同硬件平台的适用性和性能。此外，虚拟化系统还需要通用工作负载和方法体系，以便在不同的虚拟化平台之间比较基准测试结果。

除了需要捕获虚拟系统的主要性能特征之外，一个适当的虚拟机基准测试还必须利用在多个操作系统上运行的各种实际工作负载。此外，还需要定义单个易于理解的指标，同时确保基准测试能够代表各种最终用户环境。基准测试规范应与平台无关，并且还应提供一个能够衡量可扩展性的系统方法，从而使同一基准测试可用于不同硬件供应商提供的小型和大型服务器。

随着越来越多的客户要求提供用于比较运行其虚拟环境的不同硬件平台和配置的指标，VMware 较早意识到了客户对虚拟化基准测试的需求。

VMmark 提供了一种用于比较各种平台的标准化方法，客户将通过企业软件来使用这种方法。

VMware 正为开发虚拟化基准测试开放标准而积极地工作。2006 年 10 月，SPEC 成立了一个工作组，以开发用于衡量虚拟化性能的标准基准测试。此工作组是应 VMware 的要求而成立的。到 2007 年 3 月，该工作组已就设计目标和项目规划达成一致，并晋升为附属委员会。VMware 的 Paula Smith 是工作组的主席，他将继续担任附属委员会的主席。我们和我们的众多主要合作伙伴以及某些竞争对手都是附属委员会的积极参与者。目前的参与者包括：AMD、Dell、Fujitsu Siemens、Hewlett-Packard、Intel、IBM、Microsoft、Red Hat、Sun Microsystems、SWsoft 和 VMware。可以在以下位置找到有关附属委员会的其他信息：http://www.spec.org/specvirtualization/

随着 2006 年 12 月专有测试版的发布，近两年的设计工作已达到基准测试设计和实施颠峰，当前的公共测试版（2007 年 7 月发布）是 VMware 常规产品发布周期的一部分。

在努力构建真正代表客户环境的可靠且功能强大的基准测试的过程中，VMware 考虑了其客户提供的大量调查数据，以了解虚拟化环境中通常运行的应用程序和配置的类型。VMware 还与其合作伙伴密切合作，设计基准测试并在各种软硬件平台上执行基准测试。在基准测试的整个开发过程中，VMware 还评估了大量工作负载并进行了数百项实验，以确保基准测试可靠且健全。

片状单元是一个包含六个同时执行特定软件的不同工作负载的集合。 在两个单独操作系统中的任一个操作系统上运行时，每个工作负载都在其自己的虚拟机中运行，并执行位于所有实际数据中心的应用程序。 一个片状单元包含一个 Web 服务器、文件服务器、邮件服务器、数据库、Java 服务器以及一台空闲计算机。

片状单元中的每个虚拟机调整为仅使用系统总资源中的一小部分。 在一个片状单元中，聚合所有六个工作负载通常所需的容量小于现代服务器的总容量。 因此，要充分利用系统资源并使用 VMmark准确衡量服务器性能，需要同时执行多个片状单元。

VMmark 设计为基于片状单元的基准测试，它由通常位于数据中心的一组不同的工作负载（包括数据库服务器、文件服务器、Web 服务器和 Java 服务器）组成。组成每个片状单元的工作负载在单独虚拟机中代表虚拟化环境的负载级别同时运行。衡量每个工作负载的性能，然后将其与其他工作负载合并，从而计算出单个片状单元的分数。可同时运行多个片状单元以提高总得分。

这种方法允许通过增加单个片状单元中的分数来反映系统性能的较小增强；以及通过添加其他片状单元，来捕获较大的系统容量增加。（我们将在以后的工作中提供数据以演示多个片状单元使用定义合理的参考分数来衡量大型多处理器系统性能的能力。）

VMmark 片状单元中的每个工作负载被约束为在不充分利用其虚拟机的情况下执行。但是，每个工作负载的性能在一定程度上会因基础系统的速度和功能而异。例如，以磁盘为中心的工作负载对于增加快速磁盘阵列可能给出更有利的分数。这些变化可捕获系统改进，而这些改进并不保证会增加其他片状单元。但是，工作负载限制会强制使用其他片状单元，以实现系统性能的较大提升。当片状单元数增加时，现有片状单元中的工作负载所衡量出的性能可能会较低。但是，如果系统没有被过度使用，那么总分（包括新片状单元）应增加。结果将产生灵活的基准测试指标，该指标提供特定系统可以支持的工作负载数量的相对衡量，以及虚拟机内的整体性能级别。

VMmark 的开发旨在为硬件供应商、系统集成商和客户评估其系统性能提供实用的工具。很多客户自己不运行基准测试，但依赖其硬件供应商发布的 VMmark 得分来为其虚拟化基础架构做出购买和配置决策。

VMmark 的主要使用案例是比较不同硬件平台和配置的性能。目前，组织在实施或评估虚拟化平台时将使用 VMmark 来比较不同虚拟化平台的性能和可扩展性、选择合适的硬件以及衡量正在运行的平台的性能。

还有一点也很重要，那就是 VMmark 既不是容量规划工具，也不是规模调整工具。它不为特定应用程序提供部署指导原则，而是要作为通用虚拟化环境的代表。虚拟机内的虚拟机配置和软件堆栈作为基准测试规范的一部分被固定下来。从 VMmark 结果得出的建议将捕获众多通用案例，但是特定情形可能需要个别衡量。

借助 VMmark，组织现在拥有了一个可捕获虚拟系统主要性能特征的功能强大且可靠的基准测试；它代表了运行多个工作负载的最终用户环境、独立于平台且可提供用于衡量可扩展性的系统方法，从而可在不同的硬件平台中使用同一基准测试。

通过 VMmark，组织最终可进行有效的虚拟化基准测试。有了 VMmark，组织可比较不同虚拟化平台的性能和可扩展性、选择合适的硬件，以及持续监控虚拟机性能。

要开始使用 VMmark，应按照下列步骤操作：

1. 下载最新的 VMmark 套件
   VMmark 套件包含《VMmark 用户指南》、配置文件以及运行 VMmark 所需的众多软件。
2. 下载预构建的模板
   同一个下载页包含指向预构建模板（适用于基准测试中使用的三种 Linux 虚拟机）的链接。
3. 解压缩 VMmark 套件
   将 VMmark 套件内容解压至初始 Windows Server 2003 客户端系统上的 C:/ 驱动器。
4. 参阅《VMmark 基准测试指南》
   按照《VMmark 基准测试指南》（位于 VMmark 套件的“docs”目录下）中的说明操作，以获得有关如何设置和运行基准测试的相关指导。
5. 仔细阅读运行规则和报告规则
   VMmark 规则文档（位于 VMmark 套件的“docs”目录下）概括了生成可发布的 VMmark 结果的要求。基准测试人员计划发布的任何 VMmark 结果必须遵守基准测试套件中包含的运行和报告规则。

VMmark 得分用于衡量虚拟化平台的硬件和虚拟化层的性能。每个分数都表示相对于固定参考平台的性能。虽然参考平台来自上一代版本的硬件使得它与较新系统之间的比较不是非常实用，但对于同时期的各种平台和配置可以进行简单的比较。

通过衡量在虚拟化平台上同时执行的多个工作负载所产生的累计吞吐量来计算分数。一组六个在各自虚拟机上运行的特定工作负载运行特定长度的时间。运行工作负载的六个虚拟机统一定义为 VMmark 片状单元 (tile)。

在 VMmark 运行期间，每个独立的工作负载都生成一个原始的吞吐量指标 – 例如，数据库工作负载的吞吐量以每分钟事务数衡量。完成一次运行后，将这些原始指标相对于参考平台逐一标准化，然后计算出各个标准化分数的几何平均数。结果分数即表示被测平台相对于参考平台的吞吐量衡量。

除此分数之外，每个 VMmark 结果还包括在基准测试运行中使用的 VMmark 片状单元数量。通过增加系统资源（例如，更多的 CPU 内核），多个 VMmark 片状单元（即包含六个工作负载虚拟机的完整集合）可以同时运行，以充分利用虚拟化平台。 计算每个片状单元的得分之后，将各个片状单元分数累加以产生 VMmark 得分。

VMmark 完整测试报告还包括每个基础工作负载的原始结果和标准化结果，以及有关虚拟化平台配置的全部详细信息。在某些情况下，将工作负载指标和平台配置放在一起研究可以深入了解系统性能和扩展性。

有关基准测试计分方法体系的详细说明，请参阅《VMmark 基准测试指南》。

更高的 VMmark 得分表示该虚拟化平台在混合工作负载整合环境中能够支持更高的吞吐量。用于生成基准的较大量的 VMmark 片状单元表示该平台在基准测试运行过程中支持更多虚拟机。通常，较高的基准测试分数需要更多的片状单元。

如果两个不同的虚拟化平台以不同数量的片状单元取得相近的 VMmark 得分，
则片状单元数较少的分数通常表示性能更佳。较高的片状单元数目可能暗示未能正确平衡基础硬件资源。在这些情况下，建议研究各个工作负载指标。