乐鱼体育平台

乐鱼体育平台

当前位置: 首页 > 乐鱼体育平台

乐鱼体育平台

联系方式

英特尔数据存储如何操作和实现

来源:乐鱼体育平台    发布时间:2024-01-07 17:57:15

  “话说天下大势,分久必合,合久必分。周末七国分争,并入于秦。及秦灭之后,楚、汉分争,又并入于汉。汉朝自高祖斩白蛇而起义,一统天下,后来光武中兴,传至献帝,遂分为三国。”这是 “分久必合,合久必分”典故的出处。

  天下大势如此, 数据信息产业的发展也概莫能外。但是大家也有一个疑问:现在的技术发展是三足鼎立呢?还是分久必合的趋势?

  在2022中国数据与存储峰会上,来自英特尔的三位技术专家英特尔数据中心事业部 云解决方案架构师高伟、英特尔中国政企事务部及全球OEM解决方案经理吴国安、英特尔网络与边缘计算事业部云计算软件开发工程师裴迪分别从CSAL/WSR、持久内存存储和IPU SPDK存储卸载加速/优化的角度对数据存储的问题给出了解读。这些技术各有特色,依托各自强大的优势鼎立支持英特尔的技术发展。 同时他们也具备一个共性,就是要解决爆炸式数据增长所带来的数据处理方面的问题。如Cloud StorageAccelerateLayer——CSAL(此前叫WSR),是利用QLC和傲腾构建云存储方面的价值,在提高性能和SLA的同时,提高存储密度,降低数据处理合存储的成本;傲腾持久内存存储模式优化,主要解决外部数据存储IO性能瓶颈的问题;相比,SPDK结合英特尔IPU对存储相关协议进行卸载和优化,则是充分的利用IPU等异构计算来解决高性能和扩展性的问题。 让我们一起深入了解,这些技术是如何操作和实现的。

  随着CPU性能的不断的提高,以及PCIe 4.0时代的来临,原本基于磁盘的存储方案越发捉襟见肘。磁盘存储容量有所提升,但单位容量的性能却不断降低,从而使得SLA下降。 以阿里云的一个实践案例来看,阿里云旗下大数据计算密集型实例规格族D2C采用的是磁盘的配置,在采用了CSAL和QLC加傲腾的技术组合后,阿里云推出了新的D3C实例。 新的D3C实例不仅存储性能和SLA有所提升,而且,整体密度增加3倍,RACK级别实现了3倍节省,减少了机架的空间占用,令阿里云受益良多。

  D3C实例需要用最新的QLC存储介质,但是QLC在耐久性上和写性能方面有许多问题,特别是在处理小IO的时候,其性能并没有比磁盘高多少,甚至在小数据块的顺序写场景中,其性能还不如磁盘。 在分享中高伟详细分析了造成此现象的原因:简单用QLC闪存盘替换磁盘的做法是行不通的。

  阿里云旗下有I系列和D系列两类提供EBS本地存储的ECS实例,I系列强调低延迟和高性能,大多数都用在数据库场景,D系列强调低成本和大容量,大多数都用在大数据分析场景,新推出的D3C实例在性能上有大幅度的提高。 在构建实例的过程中,未解决QLC在耐久性和性能方面的问题,英特尔和合作伙伴在过去一年里开展了一个叫CSAL的项目,而CSAL的作用主要有四个方面: 1,可按照每个用户工作负载需求自由调整的NAND存储性能和容量; 2,使用性能和耐久性都很高的傲腾来弥补QLC性能和耐久性不足的问题; 3,提供英特尔至强原生的高性能存储; 4,多租户下有更稳定的QoS表现,机架级别实现了三倍节省;

  新的D3C实例采用了新一代的代号为Ice Lake的英特尔至强可扩展处理器,搭配CSAL技术和傲腾加QLC的技术组合,在计算和存储性能方面都有了大幅度的提高。 与此前的D2C相比,原来一台服务器只能提供一个大规格的虚拟机,而现在,一台服务器能够给大家提供两个大规格的虚拟机。 并且,从TPCx-HS和TPC-DS两个跑分测试数据分析来看,新的D3C的性能表现都比原来的D2C有所提升。

  此外,高伟还介绍了CSAL架构方面的更多细节,以及CSAL在新一代ZNS闪存盘上的一些性能数据,如何未来发挥更多作用。英特尔傲腾持久内存存储模式的优化,值得期待英特尔傲腾技术的研发始于2012年,2019年英特尔傲腾持久内存100系列与第二代英特尔至强可扩展处理器共同发布,随后,随着第三代英特尔至强可扩展处理器的发布,又发布了第二代的英特尔傲腾持久内存200系列,而第三代英特尔傲腾持久内存也将在明年年初与第四代英特尔至强可扩展处理器一道发布。

  从英特尔技术专家吴国安的介绍中了解到,第三代英特尔傲腾持久内存的性能相比于200系列还会有大幅地提升。令人遗憾的是,由于一些原因,英特尔不再开发第四代傲腾持久内存产品,但后续将依靠至强平台支持的CXL协议来扩展内存的容量及带宽。

  吴国安分享的重点是持久内存SNIA编程模型的优化问题,如图可见,编程模式分两种,一种是右侧的内存编程模式,另一种是左侧是存储编程模式,左侧是此次关注的重点。 与内存编程模式不同,存储编程模式不需要修改代码,并且,可以像操作普通磁盘和固态盘那样把傲腾当做块设备来使用,之所以能做到这点,很重要一方面就是因为有一个叫BTT的核心算法。BTT核心算法可以将字节访问的持久内存设备,映射成为Block原子性的块设备,从而将持久内存设备视为是快速且低延时的SSD。也因此,它具有了和SSD一样的编程模型,这在某种程度上预示着它可通过现有的SSD的生态,使用传统的读写接口,在所有现有的文件系统下正常工作。 在这种模式之下,傲腾持久内存可以像普通SSD一样,作为缓存来加速存储性能。 最近,Linux内核方面有两个优化,这两个优化可以大幅度提升这种模式下的性能表现。分享中详细的介绍了持久内存存储编程核心算法-BTT的更多细节,介绍了两种优化存储模式的方法,一种是算法优化,将BTT算法在持久内存中的16字节的bflog操作逻辑变为内存中的操作,减少写操作的开销。

  另一种是动态控制deepflush,利用英特尔平台的ADR功能而无需使用deepflush指令从而获得非常好的性能提升。

  最后,让我们再看持久内存存储编程模式可能的发展趋势。新一代的英特尔至强可扩展处理器将内置DSA的加速器,它可以卸载CPU的数据搬迁工作,从而节省CPU的资源,又比如CXL技术将来可以和持久内存存一起来获得更优的存储性能。 详细的技术细节也可以借鉴:持久内存BTT实现及优化(一)及持久内存BTT实现及优化(二)。

  英特尔技术专家裴迪介绍了IPU推出的背景和IPU的诸多价值。IPU不但可以减少CPU资源的浪费,让CPU得到更充分的利用,还能提升性能和降低延迟,此外,通过软硬件的结合,从而为云基础设施带来更高的灵活性。

  Big Spring Canyon(BSC)是由英特尔至强D系列处理器和网卡来构建的,其优点是可通过英特尔至强强大的软件生态,性能强大,功能强大,还可以应对未来新的需求和定制化的需求。 Big Spring Canyon(BSC)卡的使用场景可大致分为虚拟化模式和裸金属模式两种,裴迪结合两种典型的使用场景在技术层面上做了一些具体的介绍。 裴迪介绍了SPDK软件结合Big Spring Canyon(BSC)来支持存储卸载和弹性块设备的技术细节,让我们正真看到了SPDK软件在Big Spring Canyon(BSC)卡的存储卸载方面有及其重要的作用,之所以使用SPDK来完成存储卸载工作,是因为SPDK具有强大的优势: 一方面,因为SPDK是一个用户态的软件,使用了Polling mode避免了内核态IO处理频繁上下文切换带来的性能开销,SPDK的数据面零拷贝和无锁的特性也极大提高了性能。另一方面,SPDK目前已经很成熟,支持多种远端存储。

  Mount Evans是一款基于ARMCPU打造的IPU,提供2 x 100G的网络能力,它是由英特尔和谷歌合作开发设计的。 Mount Evans继承了以往多款基于FPGA的智能网卡和IPU的开发经验,可应对各种真实的工作负载。它不仅拥有强大的性能,而且,在安全性和隔离性上面也具有更高水平的实现,从设计之初就将安全性和隔离性视为重中之重。 Mount Evans在硬件层面有许多技术创新,比如,它具有业内一流的可编程的包处理引擎,它拥有从英特尔傲腾拓展而来的NVME存储接口,它支持下一代可靠传输技术,它还带有先进的解压缩加速器。 在软件生态方面,Mount Evans经由软件研发人员、硬件研发人员和加速器研发人员共同设计开发,有更好的软硬协同。它支持Barefoot P4 Studio,可以为开发者提供更好的可编程性。另外,卡上运行的Linux操作系统能够充分的利用DPDK、SPDK以及IPDK等软件生态。 在Mount Evans的CPU上也运行着SPDK存储服务,能够给大家提供存储卸载和加速,SPDK在不同形态的IPU产品上都可以快速的匹配对应的硬件,同时提供高性能、高可扩展性,可对接到不同的存储服务中,为IPU加速产品化提供存储生态上的支持。

  裴迪介绍了Mount Evans用SPDK卸载存储的技术细节和一些典型的使用场景,在技术实现上,重点提到了一个叫vDPA的技术,vDPA技术增加了更多硬件实现的功能,从而带来性能加速效果。 同时在IPU结合SPDK的使用场景中,也有涉及到最近比较热门的FaaS (Function as a Service)云原生相关的支持。

  声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉

  了推动世界进入下一个计算时代所需的性能。PowerVia 将于 2024 年上半年在

  业界领先的背面供电解决方案。它通过将电源路由移动到晶圆的背面,解决了面积缩放中日益严重的互连瓶颈问题。

  18A制程按计划得等到2025年才推出。这次合作会首先聚焦于移动电子设备SoC,不过随后可能会扩展到无人驾驶、物联网、

  本帖最后由 gk320830 于 2015-3-9 20:12 编辑 有高手破解了

  强大的可扩展处理器建立端到端32GT/s PCIe 5.0的链接。 DesignWare IP作为PCI Express 5.0的完整

  锐炬 Xe MAX 独立显卡,该显卡专为轻薄型笔记本电脑设计,现已通过合作伙伴问世。

  NAND SSD 业务、NAND 部件和晶圆业务、以及其在中国大连的 NAND 闪存制造工厂

  技术进步的持续投资与坚定承诺,包括面向云、AI和网络边缘应用,为客户提供独特的

  如何在智能互联新形势下,以清晰的战略和全新的能力,进一步加深与中国产业的合作创新并共创未来的举措和进展。

  64 位内存扩展技术等多项物联网技术还为DSS行业伙伴开发个性化、差异化的解决方案。

  ®傲腾™混合式固态盘的详情信息,这款创新的设备是采用M.2规格,体积小巧,将

  SGX,也就是软件防卫扩展,是2015年推出的流行架构扩展,旨在提高应用程序代码及其

  今日宣布与法拉利合作,把AI引入法拉利北美系列挑战赛,也是第一次将AI应用于改进驾驶

  3月4日在德国汉诺威举行的CebiT贸易展会上推出了第一个为网络家庭和SOHO