Bendi新闻
>
linux模拟资源占用 你会吗

linux模拟资源占用 你会吗

10月前

公司有一些云服务器,在华为云上,很多云服务器资源占用率不高,处于空闲状态。我担心领导检测到这些资源空闲的云服务器,会要求我们降低配置,同时会降低云服务器的采购预算。所以就想写一个shell脚本,模拟资源占用

思路

  • 使用stress对内存进行压测,占用剩余内存的80%,可以模拟CPU和内存消耗

  • 使用dd工具生成大文件,占用第二块硬盘剩余空间的80%,可以模拟硬盘空间消耗和IO

  • 脚本持续20分钟,一旦检测到内存占用超过80就停止

  • 不能压测CPU,担心CPU占用率过高导致应用异常或者服务器重启

相关工具

stress

stress 命令主要用来模拟系统负载较高时的场景,本文介绍其基本用法。文中 demo 的演示环境为 ubuntu 18.04。

可选参数

-c, --cpu N 产生 N 个进程,每个进程都反复不停的计算随机数的平方根

-i, --io N 产生 N 个进程,每个进程反复调用 sync() 将内存上的内容写到硬盘上

-m, --vm N 产生 N 个进程,每个进程不断分配和释放内存 –vm-bytes B 指定分配内存的大小

–vm-stride B 不断的给部分内存赋值,让 COW(Copy On Write)发生 –vm-hang N 指示每个消耗内存的进程在分配到内存后转入睡眠状态 N 秒,然后释放内存,一直重复执行这个过程

–vm-keep 一直占用内存,区别于不断的释放和重新分配(默认是不断释放并重新分配内存)

-d, --hadd N 产生 N 个不断执行 write 和 unlink 函数的进程(创建文件,写入内容,删除文件)

–hadd-bytes B 指定文件大小

-t, --timeout N 在 N 秒后结束程序 –backoff N 等待N微妙后开始运行

-q, --quiet 程序在运行的过程中不输出信息

-n, --dry-run 输出程序会做什么而并不实际执行相关的操作

–version 显示版本号

-v, --verbose 显示详细的信息

消耗 CPU 资源

stress 消耗 CPU 资源是通过调用 sqrt 函数计算由 rand 函数产生的随机数的平方根实现。下面的命令会产生 4 个这样的进程不断计算:

$ stress -c 4

使用 top 命令查看 CPU 的状态如下(CPU 在用户态满负荷运转):

消耗内存资源

下面的命令产生两个子进程,每个进程分配 300M 内存:

$ stress --vm 2 --vm-bytes 300M --vm-keep

父进程处于睡眠状态,两个子进程负责资源消耗。

–vm-keep 一直占用内存,区别于不断的释放和重新分配(默认是不断释放并重新分配内存)。 –vm-hang N 指示每个消耗内存的进程在分配到内存后转入睡眠状态 N 秒,然后释放内存,一直重复执行这个过程。

–vm-keep 和 --vm-hang 都可以用来模拟只有少量内存的机器,但是指定它们时 CPU 的使用情况是不一样的。

$stress --vm 2 --vm-bytes 500M --vm-keep

一直在进行默认的 stride 操作,user 非常高(cpu 在用户态忙碌)。

$ stress --vm 2 --vm-bytes 500M --vm-hang 5

上面这两种状态不断切换,但整体上看 CPU 的负载并不高。

–vm-stride B 不断的给部分内存赋值,让 COW(Copy On Write)发生。只要指定了内存相关的选项,这个操作就会执行,只是大小为默认的 4096。赋值内存的比例由参数决定:

for (i = 0; i < bytes; i += stride) ptr[i] = ‘Z’; /* Ensure that COW happens. */ bytes 为消耗的总内存大小,stride 为间隔。 该参数会影响 CPU 状态 us 和 sy:

$ stress --vm 2 --vm-bytes 500M --vm-stride 64$ stress --vm 2 --vm-bytes 500M --vm-stride 1M

为什么会产生这样的结果?原因是单独的赋值和对比操作可以让 CPU 在用户态的负载占到 99% 以上。–vm-stride 值增大就意味着减少赋值和对比操作,这样就增加了内存的释放和分配次数(cpu在内核空间的负载)。 不指定 --vm-stride 选项就使用默认值是 4096,CPU 负载情况居于前两者之间:

$ stress --vm 2 --vm-bytes 500M

消耗 IO 资源 下面的命令产生 4 个进程,每个进程都反复调用 sync 函数将内存上的内容写到硬盘上:

$ stress -i 4

使用 top 命令查看 CPU 的状态如下:

sy 升高,wa(iowait) 非常高。

压测磁盘及 IO 下面的命令创建一个进程不断的在磁盘上创建 10M 大小的文件并写入内容:

$ stress -d 1 --hdd-bytes 10M

使用 top 命令查看 CPU 的状态如下(此时的 CPU 主要消耗在内核态):

下面是 iostat 2 的输出(同样是高 iowait,瓶颈是写磁盘):

其它选项

–verbose 显示 stress 程序运行过程中的详细信息:

–timeout N 在 N 秒后结束程序。

–quiet stress 程序运行的过程中不输出信息。

-n, --dry-run 输出程序会做什么而并不实际执行相关的操作:

–backoff N 让新 fork 出来的进程 sleep N 微秒再开始运行。

除了单独指定某一类的选项,还可以同时执行多个类型的任务,比如产生 3 个 CPU 进程、3 个 IO 进程、2 个10M 的 vm 进程,并且每个 vm 进程中不循环分配释放内存:

$ stress --cpu 3 --io 3 --vm 2 --vm-bytes 10M --vm-keep

dd

dd 命令 用于复制文件并对原文件的内容进行转换和格式化处理。dd 命令功能很强大的,对于一些比较底层的问题,使用 dd 命令往往可以得到出人意料的效果。用的比较多的还是用 dd 来备份裸设备。但是不推荐,如果需要备份 oracle 裸设备,可以使用 rman 备份,或使用第三方软件备份,使用 dd 的话,管理起来不太方便。需要的时候使用 dd 对物理磁盘操作,如果是文件系统的话还是使用 tar backup cpio 等其他命令更加方便。另外,使用 dd 对磁盘操作时,最好使用块设备文件。

语法

dd (选项)

命令选项

bs=<字节数>:将ibs(输入)与obs(输出)设成指定的字节数;cbs=<字节数>:转换时,每次只转换指定的字节数;conv=<关键字>:指定文件转换的方式;count=<区块数>:仅读取指定的区块数;ibs=<字节数>:每次读取的字节数;obs=<字节数>:每次输出的字节数;of=<文件>:输出到文件;seek=<区块数>:一开始输出时,跳过指定的区块数;skip=<区块数>:一开始读取时,跳过指定的区块数;--help:帮助;--version:显示版本信息。

实例

> dd if=/dev/zero of=sun.txt bs=1M count=11+0 records in1+0 records out1048576 bytes (1.0 MB) copied, 0.006107 seconds, 172 MB/s
[root@localhost text]1.1M sun.txt

该命令创建了一个 1M 大小的文件 sun.txt,其中参数解释:

  • if 代表输入文件。如果不指定 if,默认就会从 stdin 中读取输入。

  • of 代表输出文件。如果不指定 of,默认就会将 stdout 作为默认输出。

  • bs 代表字节为单位的块大小。

  • count 代表被复制的块数。

  • /dev/zero 是一个字符设备,会不断返回 0 值字节(\0)。

块大小可以使用的计量单位表

单元大小

代码

字节(1B)

c

字节(2B)

w

块(512B)

b

千字节(1024B)

k

兆字节(1024KB)

M

吉字节(1024MB)

G

以上命令可以看出 dd 命令来测试内存操作速度:

> 1048576 bytes (1.0 MB) copied, 0.006107 seconds, 172 MB/s

生成随机字符串

我们甚至可以使用 /dev/urandom 设备配合 dd 命令 来获取随机字符串

> dd if=/dev/urandom bs=1 count=15|base64 -w 015+0 records in15+0 records out15 bytes (15 B) copied, 0.000111993 s, 134 kB/swFRAnlkXeBXmWs1MyGEs

常用案例汇总

1.将本地的/dev/hdb整盘备份到/dev/hdd#dd if=/dev/hdb of=/dev/hdd2.将/dev/hdb全盘数据备份到指定路径的image文件#dd if=/dev/hdb of=/root/image3.将备份文件恢复到指定盘#dd if=/root/image of=/dev/hdb4.备份/dev/hdb全盘数据,并利用gzip工具进行压缩,保存到指定路径#dd if=/dev/hdb | gzip > /root/image.gz5.将压缩的备份文件恢复到指定盘#gzip -dc /root/image.gz | dd of=/dev/hdb6.备份与恢复MBR备份磁盘开始的512个字节大小的MBR信息到指定文件:#dd if=/dev/hda of=/root/image count=1 bs=512   count=1指仅拷贝一个块;bs=512指块大小为512个字节。恢复:#dd if=/root/image of=/dev/had将备份的MBR信息写到磁盘开始部分7.备份软盘#dd if=/dev/fd0 of=disk.img count=1 bs=1440k (即块大小为1.44M)8.拷贝内存内容到硬盘#dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)  9.拷贝光盘内容到指定文件夹,并保存为cd.iso文件#dd if=/dev/cdrom(hdc) of=/root/cd.iso10.增加swap分区文件大小第一步:创建一个大小为256M的文件:#dd if=/dev/zero of=/swapfile bs=1024 count=262144第二步:把这个文件变成swap文件:#mkswap /swapfile第三步:启用这个swap文件:#swapon /swapfile第四步:编辑/etc/fstab文件,使在每次开机时自动加载swap文件:/swapfile    swap    swap    default   0 011.销毁磁盘数据#dd if=/dev/urandom of=/dev/hda1注意:利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。12.测试硬盘的读写速度#dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file#dd if=/root/1Gb.file bs=64k | dd of=/dev/null通过以上两个命令输出的命令执行时间,可以计算出硬盘的读、写速度。13.确定硬盘的最佳块大小:#dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file#dd if=/dev/zero bs=2048 count=500000 of=/root/1Gb.file#dd if=/dev/zero bs=4096 count=250000 of=/root/1Gb.file#dd if=/dev/zero bs=8192 count=125000 of=/root/1Gb.file通过比较以上命令输出中所显示的命令执行时间,即可确定系统最佳的块大小。14.修复硬盘:#dd if=/dev/sda of=/dev/sda 或dd if=/dev/hda of=/dev/hda当硬盘较长时间(一年以上)放置不使用后,磁盘上会产生magnetic flux point,当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数 据起死回生。并且这个过程是安全、高效的。15.利用netcat远程备份#dd if=/dev/hda bs=16065b | netcat < targethost-IP > 1234在源主机上执行此命令备份/dev/hda#netcat -l -p 1234 | dd of=/dev/hdc bs=16065b在目的主机上执行此命令来接收数据并写入/dev/hdc#netcat -l -p 1234 | bzip2 > partition.img#netcat -l -p 1234 | gzip > partition.img以上两条指令是目的主机指令的变化分别采用bzip2、gzip对数据进行压缩,并将备份文件保存在当前目录。将一个很大的视频文件中的第i个字节的值改成0x41(也就是大写字母A的ASCII值)echo A | dd of=bigfile seek=$i bs=1 count=1 conv=notrunc

脚本

编写的shell脚本如下:

#!/bin/bash#模拟cpu,IO,内存使用#ver 1.0#每天凌晨1:00执行#持续20分钟
#记录执行日志script_log="script_log.log"mem_info=$(free -m | grep Mem)used_mem=$(echo $mem_info | awk '{print $3}')total_mem=$(echo $mem_info | awk '{print $2}')# 计算内存利用率mem_util=$(echo "scale=2; $used_mem / $total_mem * 100" | bc)#内存利用率取整数mem_utilization=$(printf "%.0f" "$mem_util")
if [ ! -f "$script_log" ]; then touch "$script_log"fi

# 模拟内存占用function simulate_memory() {
#安装stress压测工具 INSTALLED=$(rpm -qa | grep stress) if [ $? -eq 0 ];then echo "$(date +%Y-%m-%d-%H:%M) 已经安装了stress" >> $script_log else yum install stress -y sleep 5 fi #执行内存 if [ $mem_utilization -lt 80 ];then stress --io 1 --vm 1 --vm-bytes "$(awk '/MemFree/{printf "%d\n", 0.7*$2}' /proc/meminfo)k" --vm-keep & echo "$(date +%Y-%m-%d-%H:%M) 执行内存压测命令 " >> $script_log fi
}
#模拟file占用function simulate_file() { #判断第二硬盘是否存在 second_disk=$(lsblk | grep -w "vd[b-z]") if [ $? -eq 0 ];then echo "$(date +%Y-%m-%d-%H:%M) 第二块硬盘存在" >> $script_log if [ -d "/data" ];then if [ -d "/data/second_disk_data_tmp" ];then echo "$(date +%Y-%m-%d-%H:%M) 临时目录/data/second_disk_data_tmp已存在" >> $script_log else mkdir -p /data/second_disk_data_tmp echo "$(date +%Y-%m-%d-%H:%M) 临时目录/data/second_disk_data_tmp不存在,已创建" >> $script_log fi fi else echo "$(date +%Y-%m-%d-%H:%M) 第二块硬盘不存在" >> $script_log fi #执行前先删除临时文件
if [ -f "/data/second_disk_data_tmp/data_tmp.txt" ];then rm -f /data/second_disk_data_tmp/data_tmp.txt echo "$(date +%Y-%m-%d-%H:%M) /data/second_disk_data_tmp/data_tmp.txt 文件存在,已删除" else touch /data/second_disk_data_tmp/data_tmp.txt fi
#第二块盘磁盘利用率 second_disk_usage=$(df -h | egrep "vd[b-z]" | awk '{ print $5 }' | tr -d "%") #需要占用的磁盘空间大小 file_size=$(df -h | egrep "vd[b-z]" | awk '{ print $4*0.8 }' | tr -d "G"|bc) #去整数 size_file=$(printf "%.0f" "$file_size") #计算需要生成的文件大小 #如果第二盘的空间小于80 if [ $second_disk_usage -lt 80 ];then #dd命令生成文件 time1=$(date +%s) echo "$(date +%Y-%m-%d-%H:%M) 开始执行生成临时文件" >> $script_log dd if=/dev/zero of=/data/second_disk_data_tmp/data_tmp.txt bs=1G count=$size_file time2=$(date +%s) time3=$((time2-time1)) echo "$(date +%Y-%m-%d-%H:%M) 生成了临时文件,路径为/data/second_disk_data_tmp/data_tmp.txt,花费时间$time3 秒" >> $script_log if [ $second_disk_usage -ge 80 ];then if [ -f "/data/second_disk_data_tmp/data_tmp.txt" ];then rm -rf /data/second_disk_data_tmp/data_tmp.txt echo "$(date +%Y-%m-%d-%H:%M) 第二盘硬盘利用率大于80%,已删除临时文件" >> $script_log fi fi fi}start_time=$(date +%s)simulate_memorysimulate_filestart_time=$(date +%s)#此刻的内存利用率
while true;do #计算此时内存利用率 mem_info_now=$(free -m | grep Mem) used_mem_now=$(echo $mem_info_now | awk '{print $3}') total_mem_now=$(echo $mem_info_now | awk '{print $2}') # 计算内存利用率 mem_util_now=$(echo "scale=2; $used_mem_now / $total_mem_now * 100" | bc) mem_utilization_now=$(printf "%.0f" "$mem_util_now") current_time=$(date +%s) elapsed_time=$((current_time - start_time))
if [ $mem_utilization_now -ge 80 ];then for i in $(ps aux | grep "stress --io" | awk '{ print $2}');do kill -9 $i;done echo "$(date +%Y-%m-%d-%H:%M) 内存利用率大于80%停止stress命令 " >> $script_log sleep 10 simulate_memory sleep 10 fi if [ $elapsed_time -ge 1200 ]; then break fi sleep 10donefor i in $(ps aux | grep "stress --io" | awk '{ print $2}');do kill -9 $i;doneecho "$(date +%Y-%m-%d-%H:%M) 结束内存压测" >> $script_logend_time=$(date +%s)cost_time=$((end_time - start_time))echo "$(date +%Y-%m-%d-%H:%M) 程序已经运行:$cost_time 秒 并结束" >> $script_logexit 0

执行效果

cpu

内存

IO

相关问题

1 dd命令执行时间过长,持续将近十几分钟

2 dd执行过程中磁盘IO基本上被占满

链接:https://blog.51cto.com/u_11555417/7010220

(版权归原作者所有,侵删)


微信扫码关注该文公众号作者

来源:马哥Linux运维

相关新闻

鹰小美日记 | “期末”小考:这8道美国地理题你会吗打造出色的 Prometheus 监控系统,你会吗打造出色的Prometheus监控系统,你会吗骗AI,你会吗?这款吸血鬼扮演游戏在海外悄悄火了你会买吗?Costco“末日全家桶”开卖!里面有150份冻干食品!可吃一个月!保质期可长达25年.....Costco想卖这样的低价房,你会买吗?Sora是世界模拟器吗?全球首篇综述全面解析通用世界模型短剧新势力爆发,AI“造剧”你会追吗?百度输入法上线付费VIP,你会买吗?美宝递交I-485,获批之前上公立学校算占用福利吗?|移投路群问答Floorp 浏览器:这是最先进的跨平台 Firefox 衍生品吗? | Linux 中国【滋味】排骨年糕你会做吗?在家轻松get上海味道!现金管理类理财产品收益冲高回落 你会买吗?上帝给你一次做诚哥的机会,你会珍惜吗对华态度大转变!! 达顿公开表态“亲中”! 激烈争抢澳华人选票! 你会买账吗?史诗级救市来了,你会买房吗?这些"开脑洞"图案铸在加州一元硬币上,你会想收藏吗?今天,又有1000多人失业!裁员潮痛击新西兰,还有更多岗位要砍!你会受影响吗?中国学生最多的25所美国大学:“选校时,你会刻意避开吗?”在新加坡,你会用PayNow吗?‍如果时光能倒回学生时代,你会努力学习吗?下台前最后稻草?特鲁多打出最后一颗“子弹”!加拿大“全民基本收入”法案要强推!你会买账吗?20个可能触发查税的要点,你会中招吗?大问题:这个世界是被计算机模拟出来的吗?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。