天才一秒记住【做客中文网】地址:https://www.zk01.net
我啧啧赞叹的对孙董说,“一般我们建模用的数据表都很小,所以数据放在一起对的处理速度并不会产生什么影响,但是对于50g大数据量的处理,cpu、内存固然是瓶颈,但是更大的瓶颈是硬盘的io,我看了一下,这台服务器一共有四个硬盘通道,每个通道的平均处理速度应该在五十兆每秒左右,如果数据全部放在一个通道上,硬盘io的速度也就五十兆每秒,如果像stafenie那样,把数据分散在四个通道上,可以获得两百兆每秒的io速度,整整提高了四倍……”
<br><br>我一口气把情况给孙董分析了一下,孙董似懂非懂的点了点头,对我的崇敬之情油然而生,“神童,你太牛了,接着我们该怎么办?”
<br><br>“你学satfenie,把数据表分成四块,不过stafenie是随机分块的,你待会儿按照我给你的规则对数据进行分块!”
我用毋庸置疑的口吻对孙董说,孙董虽然不明白其中的原因,但这时候她唯一能做的就是无条件的照办。
<br><br>我把数据分块的条件给孙董,孙董按照我的要求写sql语言,把50g的数据分块的存放到数据表中。
<br><br>杨婷很快把程序迁移到运算服务器上,对我说:“神童,我开始运行模型了!
?”
<br><br>“等一下,”
我跑到杨婷的电脑面前,仔细的检查了一边杨婷的程序,摇摇头说,“这样的程序肯定不行!”
<br><br>“为什么?”
杨婷被我泼了一头冷水,有点泄气的说,“以前我都是这样写的!”
<br><br>“这先看这段代码,对数据做排序的操作,你没有加内存参数,缺省是用系统的配置的最大内存,”
<br><br>“这样有问题吗,内存越多不是跑的越快吗?”
杨婷歪着头看着我,觉得不可思议。
<br><br>“如果是你独占这台服务器,你说的就没错,但是现在stafenie和叶莲娜的程序都在上面跑,可用的内存不到百分之三十,如果你不限制内存,进程就会按照系统的最大内存去申请,那会出什么结果?”
我问杨婷。
<br><br>“那就申请不到这么多内存了!”
<br><br>“聪明,申请不到这么多内存,又怎么办呢?”
我接着问。
<br><br>杨婷挠了挠头,“这就不知道了!”
<br><br>“申请不到,进程就会使用虚拟内存,虚拟内存其实是运算服务器的硬盘空间,硬盘的io速度其实远小于真正的内存的,所以程序就会不停的在硬盘和内存这件换入换出数据,反而使程序运行的速度大大变低,因此根据目前的状况,你现在将内存参数设置为百分之三十,绝对比你设置为百分之百要快的多!”
<br><br>杨婷听了我这番大道理,吐了吐舌头说:“没想到计算机这么复杂,我以前怎么从来没听三石说过这些!”
<br><br>“哎,这些东西书本上是没有的!”
我叹了一口气说,心想,要是书本那点过时的知识,毕业肯定失业。
<br><br>孙董终于把数据导完了,杨婷在我的协助下也把程序修改完毕,程序在服务器上疯狂的跑起来,和stafenie,叶莲娜的程序开始竞争硬盘io,内存资源。
我仔细研究了一下stafenie和叶莲娜的程序,不由的感叹这两位天才果然心思缜密,想得非常周到。
<br><br>()
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!