淮安信息港

当前位置: 首页 >时尚

解析騰訊云COS對象存儲關鍵技術的演進

来源: 作者: 2019-05-03 11:13:40

在騰訊平臺上有這么一家影視公司,每周發布兩部影片,每部影片的大小約200G,并且有2D、3D、中文、英文等多種制式。按照傳統做法,影視公司用硬盤

拷贝影片,通过快递的方式发往全国5000家影院。这就意味着该公司每周需要准备至少个硬盘,起码耗时一周才可能全国同步上映。

现在,他却只需要坐在办公室动一动鼠标,两天内所有的片子,所有制式就可以分发到全国各地5000家影院同步上映。说到这里,我们已经看到了腾讯云对象存储COS的冰山一角。

左起:腾讯云移动云总经理答治茜、腾讯云COS技术总监黎文彦、腾讯云COS产品总监王琰

在历经一段相对低调的打磨期后,此次腾讯云COS的重新出击融合了全球400+加速节点的优势、业界的图片鉴黄能力、和优图人脸识别能力,针对现代

企业在存储中面对的数据及络安全、访问效率、存储容量、以及运维本钱等痛点提供更好的解决方案,让任何量级的企业均可以抛弃硬盘,轻松上云。

2006年底腾讯推出了COS代产品,COS的个业务就是当时国内火的图片分享平台空间相册。COS上线之后顺利地解决了照片量上传增长太

快而系统没法快速扩容的问题。2008年腾讯推出了key

value存储系统,承接了空间很多关于半结构化的业务,KV系统成为COS系统的有益补充。2010年腾讯存储团队开始探索新的领域,研发出基于

SSD和内存的存储系统,丰富了COS产品线,很好地解决了高并发量,但文件却很小的场景,头像的下载正是这样一个典型的案例。2012年COS接入

了腾讯视频,结合了CDN产生了后来巨量的下载带宽。同一年诞生,文件、图片、视频等多媒体文件的接入,产品爆发式的增长,2014年存储总量突

破了500P,直到今天这个范围超过了EB。2015年,正是基于十年的研发实力积累,COS正式对外开放上架腾讯云。

如何做到安全可靠

腾讯云COS技术总监黎文彦谈到说,所有的存储系统都必须要解决关键问题,其一之一就是数据的安全性。腾讯是如何做到COS可以超过12个9的安全可靠性的?

首先是多副本,这是业界比较常用的手段,上传时可自动创建超过三个副本。

其次是机房容灾,上传时自动把多个副本部署在不同的机房。做到这两点,单机故障、单个机房的故障不会造成任何数据的丢失,并且保障了可用性。

第三则是回收站。大家对多年前空间盗号、恶意删数据,或用户误删除记忆犹新。如今腾讯开创性地实现了回收站,使得恶意删和误删的投诉降低到零。

第四则是异地容灾。异地容灾是个热词,但在天灾人祸前往往经不住考验。COS则有效解决了络传输延迟和数据一致性的问题。目前腾讯在多地部署的设备物理距离上超过三千公里。

如何做到比传统方式快20倍

在图片处理方面,腾讯相对传统方式快了20倍。对这个性能,黎文彦在讲解中给出了这样一个场景得以应证:在络信号相对较弱的电梯里,朋友圈的发图和看图依然可以达到秒级的体验。

首先是DNS解析优化。通过IP直出的方式,绕过DNS解析,省去了DNS解析这一步,这样做的好处也可以避免运营商各种劫持,同时提升了调度的性。

其次,上传加速。以前只有CDN下载加速,为什么没有上传加速?黎文彦对此解释说:“过去几年用户的上行带宽很小,直到近几年光纤的普及,用户上行带宽

愈来愈大,通过类似于CDN下载加速的方式做上传就近接入,效果也是非常好,再结合了异步、并发的方式能够化利用用户上行的带宽。”

第三则关于络协议的优化。比如说2G或者Wi-Fi不是稳定的时候,腾讯做了丢包重传的优化,还有TCP协议栈的优化,再结合数据包压缩等手段,如此以来在络较差的情况下COS依然可以保证秒级的体验。

除此之外,其实COS团队早在几年前就启动了FPGA相干研发,通过硬件加速的方式,比较传统CPU使得图片处理性能提升超过20倍。

记丰南区钱营镇东黄各庄村大学生村官于兴杰
我县召开村两委换届工作动员会议
迁西县美丽迁西·我的家职工摄影展开幕

相关推荐