最近比较了一下 ESXi 和 Proxmox 的磁盘性能

hotsnow

测试环境均为完全一样的机器：

DELL R710
32G 内存
2颗4核 E5606
DELL SAS 6/IR 阵列卡 （无电池，无缓存，无 BBU）
两块  富士通 10K SAS 146G

首先说明一下，这个阵列卡很烂的，木有 BBU，特地选了这种卡来测试，
是因为目前很多便宜的服务器木有硬RAID卡，或者即使有也是木有 BBU 的，这种环境比较有代表性

这个卡是 LSI 的卡，可以通过 lsiutil 强制打开写缓存，但是呢，卡本身是木有缓存的，
所以打开和关闭的情况下在没有虚拟化的环境下应该没啥区别，但是在虚拟化的环境下貌似会起点作用，
至少好象可以欺骗虚拟机？实际测试中可以证明这一点，

Proxmox 估计采用了某种机制，肯定是玩什么缓存的手段了，打开缓存作用显著，虽然这个缓存是假的

测试结果可以看出，如果是木有 BBU 的阵列卡，ESXi 是非常蛋疼的，
根据 VMWARE 官方资料，如果阵列卡木有 BBU，或者即使有 BBU，但是电池有问题的情况下，
ESXi 会强制使用 Write Through 模式，而且不会有任何缓存，
这个测试结果也证明了这一点，因此，如果你们用的也是这种木有 BBU 的卡，就别玩 ESXi 了，太蛋疼了。。。

hotsnow

更新1：Proxmox ZFS RAID1 测试结果在23楼
更新2：Windows 测试结果在24楼

有图有真相

服务器都是全新安装的最新 Proxmox 和 ESXi，装完后都升级到最新版本补丁，每台服务器只开一个小鸡，2G/20G/2CPU

proxmox 开小鸡用的 VirtIO，Cache 默认是 Default (No cache)，这个也是官方推荐的最优选项，其他也全是默认，

ESXi 开小鸡全部默认选项

操作系统均为 netinst iso 全新安装的 Debian 8 x64，每项测试均使用以下命令连续测试30次，取平均值

1. dd if=/dev/zero of=test bs=64k count=16k conv=fsync

复制代码

hotsnow

测试结果貌似很奇怪，在 Debian 下测试很差的 ESXi 这次异军突起，貌似成绩超好，
有技术帝能给解释一下么，难道 ESXi 对 Windows 做了特别优化？

hotsnow

Windows 的测试来了，测试环境均为：Windows 2012 R2，4G/30G/2CPU，
分别用 HDTune Pro，ATTO，CrystalDiskMark 三种软件测试

三种测试环境分别如下：
1、ESXi，LSI SAS 磁盘类型，安装 VmTools
2、ESXi，VMWare 虚拟磁盘类型，安装 VmTools
3、Proxmox，VirtIO 磁盘类型

测试结果貌似很奇怪，在 Debian 下测试很差的 ESXi 这次异军突起，貌似成绩超好，
并且其中采用了 VMWare 虚拟磁盘的貌似比默认的 LSI SAS 要好一些，但是不如 LSI SAS 稳定

环境1测试结果：

esxi-win2012r2-sas-hdtune.gif (100.2 KB, 下载次数: 11)

2015-5-25 08:50 上传

点击文件名下载附件

esxi-win2012r2-sas-atto.gif (54.81 KB, 下载次数: 1)

2015-5-25 08:50 上传

点击文件名下载附件

esxi-win2012r2-sas-crystal.gif (49.15 KB, 下载次数: 3)

2015-5-25 08:50 上传

点击文件名下载附件

环境2测试结果：

esxi-win2012r2-pvscsi-hdtune.gif (94.71 KB, 下载次数: 5)

2015-5-25 08:50 上传

点击文件名下载附件

esxi-win2012r2-pvscsi-atto.gif (53.56 KB, 下载次数: 1)

2015-5-25 08:50 上传

点击文件名下载附件

esxi-win2012r2-pvscsi-crystal.gif (48.82 KB, 下载次数: 1)

2015-5-25 08:50 上传

点击文件名下载附件

环境3测试结果：

proxmox-win2012r2-virtio-hdtune.gif (90.21 KB, 下载次数: 2)

2015-5-25 08:51 上传

点击文件名下载附件

proxmox-win2012r2-virtio-atto.gif (55.86 KB, 下载次数: 1)

2015-5-25 08:51 上传

点击文件名下载附件

proxmox-win2012r2-virtio-crystal.gif (52.34 KB, 下载次数: 1)

2015-5-25 08:51 上传

点击文件名下载附件

hotsnow

Proxmox ZFS RAID1 测试结果出来了，下面是最后5次 dd测试结果

1. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
   
2. 16384+0 records in
   
3. 16384+0 records out
   
4. 1073741824 bytes (1.1 GB) copied, 9.78458 s, 110 MB/s
   
5. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
   
6. 16384+0 records in
   
7. 16384+0 records out
   
8. 1073741824 bytes (1.1 GB) copied, 7.33572 s, 146 MB/s
   
9. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
   
10. 16384+0 records in
    
11. 16384+0 records out
    
12. 1073741824 bytes (1.1 GB) copied, 9.50926 s, 113 MB/s
    
13. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
    
14. 16384+0 records in
    
15. 16384+0 records out
    
16. 1073741824 bytes (1.1 GB) copied, 7.95339 s, 135 MB/s
    
17. root@debian:~# dd if=/dev/zero of=test bs=64k count=16k conv=fsync
    
18. 16384+0 records in
    
19. 16384+0 records out
    
20. 1073741824 bytes (1.1 GB) copied, 5.50562 s, 195 MB/s

复制代码

基本上性能不错，目前发现唯一不爽的是 ZFS 占用内存很高，当然这一点在技术文档里提到过，ZFS 极度依赖内存
32G内存，只开一个2G小鸡，不用 ZFS 内存占用是 8%，ZFS 内存占用是 15%...

1. ZFS depends heavily on memory, so you need at least 4GB to start. In practice, use as much you can get for your hardware/budget. To prevent data corruption, the use of high quality ECC RAM is very recommended.

复制代码

这里也提到了，ZFS 的内存占用是有多少榨干多少，所以最好限制一下 ZFS 的内存使用，限制为 50%-70%，否则。。。

1. It is good to use max 50-70 percent of the system memory for ZFS arc to prevent performance shortage of the host. ZFS will uses all available memory.

复制代码

hotsnow

sfsren 发表于 2015-5-23 21:02
请教debian8怎么安装Proxmox，我安装总是出错

没玩过，我是直接用的 Proxmox 官方ISO

我这个测试里说的 Debian 8 是指小鸡的 OS

sfsren

hotsnow 发表于 2015-5-23 11:15
每个服务器都是只开一个小鸡，2G/20G/2CPU

操作系统均为iso全新安装的 Debian 8，每项测试均使用以下命 ...

请教debian8怎么安装Proxmox，我安装总是出错

heyzzx

hotsnow 发表于 2015-5-23 20:11
一会测试一下 Proxmox ZFS RAID1 看看性能如何，这个适合木有 RAID卡 的机器

看来这个ZFS非常好了，我继续用它做raid0~

反正跑坏了那3、4万小时的硬盘再说~

hotsnow

一会测试一下 Proxmox ZFS RAID1 看看性能如何，这个适合木有 RAID卡 的机器

hotsnow

h0stl0c 发表于 2015-5-23 19:01
在centos下用libvirt试试啊。。

centos 俺不熟，一直用 Debian 来着

lvyao

heyzzx 发表于 2015-5-23 12:29
hotsnow  proxmox安装中，那个硬盘选项zfs raid0是软raid吗？我装了以后，开的小鸡全打不开 ...

进BIOS，看cpu的虚拟化开启了没。