Ceph RocksDB 性能改进说明

Mark Nelson 发现，在合并Pull request (PR) 之前，构建过程没有正确地将CMAKE_BUILD_TYPE选项 传递给由Ceph构建的外部项目（在本例中为 RocksDB）。

此之前，软件包使用RelWithDebInfo构建，以构建 "performance"发布包。虽然尚未得到验证，但自Luminous 发布以来，上游Ceph Ubuntu软件包有可能都受到了影响。在不使用RelWithDebInfo的情况下，RocksDB的性能达不到最佳。

这可以通过安装 "peformance "软 件包来缓解。实际的性能提升取决于集群，但 RocksDB 压缩会降低 3 倍。在某些情况下，随机4K写入性能会提高一倍。

参见链接 ：

https://bugs.gentoo.org/733316

https://ceph.io/en/news/blog/202 4/ceph-a-journey-to-1tibps/

我们在存储节点上安装了重建的软件包（其中 ceph-osd 是最重要的），结果是惊人的好。

并放大某个特定的 OSD

如果您发现自己需要压缩 OSD，那么您将会感到惊喜。压缩 OSD 带来三大好处：

服务器指标中的一些图可以说明这一点。我们压缩 OSD 的程序包括交错关闭 OSD。一旦所有 OSD 关 闭，就会并行执行压缩 (df|grep "/var/lib/ceph/osd" |awk '{print $6}' |cut -d '-' -f 2|sort -n|xargs -n 1 -P 10 -I OSD ceph-kvstore-tool bluestore-kv /var/lib/ceph/osd/ceph-OSD compact )。

磁盘IOPS（优化之前）

磁盘IOPS（优化之后）

这是一个使用SATA 固态硬盘的节点。使用NVMe磁盘的节点速度更快。压缩时间为3-5分钟。磁盘IOPS（优化之前）

磁盘IOPS（优化之后）

请注意，SATA固态硬盘和NVMe硬盘在OSD压缩时间上的差距越来越大。以前，由于RocksDB 的性能问题，这种差距并不明显。但是，随着速度更快、延迟更低的磁盘的推出，这种差距变得越来越明 显。这表明，在配备更快磁盘的集群中，可以看到最显著的性能提升。

在这个特定的集群中，安装优化包后将压缩所有 OSD 所需的时间缩短了约三分之一。以前需要 9 个半小时，现在只需 6 个小时即可完成。

虽然我们希望看到性能翻倍，但事实并非如此。不过，我们仍然看到性能有了显著提高。为了检测⼀些故障，我们在云上运行了虚拟机，以持续（每 5 分钟一次）监控虚拟机内部的性能。其中一项测试是FIO 4K 随机写入测试（单线程，队列深度为1）。

CephFS上的4K随机写入（优化之前）

CephFS 上的 4K 随机写⼊（优化之后）

我们还进行了其他fio基准测试，主要优点是标准偏差降低，尾部延迟也减少了。

• 像 Mark Nelson 所做的那样，针对 "已知良好 "集群进行性能验证是有好处的。这有助于在运行生产工作负载之前及早发现性能问题。

• 与使用SAS/SATA SSD或HDD等低性能驱动器的集群相比，配备更快磁盘的集群更有可能实现显著的性能提升。 

在进行性能测试时，探索各种部署策略。这可能包括在使用不同操作系统的裸机、使用上游容器的 容器化环境以及Ceph项目内支持的其他部署方法上进行测试。