请选择 进入手机版 | 继续访问电脑版
蜘蛛搜狗电影网:走进头条数据中心:高速扩张背后的“硬”实力
admin 发表于:2021-8-2 15:52:58 复制链接 发表新帖
阅读数:9

  提及“字节跳动”大概大多数人都不知所云,但假如说“本日头条”或者“抖音”你肯定非常熟悉。本日头条和抖音只是字节跳动公司旗下两款最为人所熟知的产品,其他产品还包括西瓜视频、火山小视频以及悟空问答等等。



  抖音,这个忽然在本年火爆起来的App已经成为诸多年轻人打发时间的首选。“刷抖音”这句时髦词的后背是字节跳动令人惊艳的成绩:最新数据表现,抖音在8月的日均视频播放量超过10亿次,日均活跃用户数超过1.5亿,月度活跃用户数超过5亿。



  视频上传必要存储,并举行合规性检查;视频播放必要编解码,这必要斲丧大量的计算资源;用户体验必要适当的保举体系与CDN……等等,这些都对抖音背后的IT体系带来了亘古未有的寻衅。据数据表现,字节跳动在2017年初的时间只有2~3万台服务器,而本年服务搜狗搜索蜘蛛ip器数目一下猛增到17万台。



  这也使得其原有的数据中央租赁模式彻底不可行,必须自建数据中央,且速率要快。仅7个月时间,字节跳动就在怀来拥有了第一个属于本身百度蜘蛛日志日期不对的数据中央,一系列新技术的采用让这个数据中央拥有多项头衔:国内首个大规模分布式全预制、国内首个大平层预制框架布局、国内首个团体电源模块预制、国内首个间接蒸发自然冷却模块、国内首个计算模块一体化预制。



  蜘蛛搜狗电影网:走进头条数据中心:高速扩张背后的“硬”实力



  先看一段视频,数字中国万里行团队带你走进头条数据中央,体验身临其境的感觉:



  技术驱动 七个月提前交付



  字节跳动首个已经交付使用的数据中央坐落在怀来官厅湖新媒体产业园。怀来是新能源输出大县,70%以上的电能都是水力发电、风能发电和太阳能发电产生的干净能源,但这之中有50%的干净能源无法上网,低廉的电价对于数据中央这种耗电大户而言,具有莫大的吸引力。



  而且,怀来年均气温只有6.5度,氛围质量也好,使用新风散热有助于降低数据中央的PUE值,有用降低数据中央的运营成本。高效应用自然冷却技术,也是官厅湖新媒体产业基地的一大特点,也是首个规模使用间接新风制冷技术的数据中央产业基地。



  蜘蛛搜狗电影网:走进头条数据中心:高速扩张背后的“硬”实力



  字节跳动首个已经交付使用的数据中央一期工程,5万台服务器已经入驻



  字节跳动最初规划首个数据中央将在9个月内完成,而得益于新媒体产业基地采用的大平层预制建筑布局团体规划,再加上为了寻求快速建设以满足字节跳动服务器规模高速增长需求,字节跳动采用了一系列新锐技术,如大规模分布式全预制、团体电源模块预制、间接蒸发自然冷却模块、计算模块一体化预制等等技术,让一期数据中央在7个月内就完成交付使用。



  国内首个实现团体电源模块预制数据中央



  蜘蛛搜狗电影网:走进头条数据中心:高速扩张背后的“硬”实力



  字节跳动数据中央采用大量预制和模块化产品,表现了数据中央高度模块化的将来发展趋势。钢平蜘蛛搜索360台底座、变压器、配电柜、UPS装备均采用在原厂计划、安装和调试在20天内分批交付,二次体系毗连、监控体系集成和电源模块测试可以在7天内完成,由40尺集装箱团体七个蜘蛛百度运输到现场,施工现场只需毗连电缆,拼装调试即可交付使用,这个过程必要十天左右。这一系列的细节时间控制,让字节跳动数据中央革新了国内数据中央建设交付的最短时间记录。



  据字节跳动技术总监王剑先容,2017年12月字节跳动开始在怀来数据中央放置服务器,现在一期园区约5万台服务器已经投入使用,正在紧邻一期园区建设二期,规模增长一半但预计工期类似,大概能容纳9万台服务器。



  蜘蛛搜狗电影网:走进头条数据中心:高速扩张背后的“硬”实力



  字节跳动预制件与模块化建设数据中央表示图 数据驱动基础办法创新



  大多数人对“本日头条”的印象好像都是一家泛媒体平台,但字节跳动则以为本身是一家AI(即人工智能)公司,由于不管是本日头条也好,抖音也好,字节跳动很少本身生产内容,而是鼓励用户举行创作,并把用户创作的内容保举给最相宜的用户群体。



  以是字节跳动最核心的体系现实包括头条保举体系与广告体系、品评体系,以及内容合规性稽核体系,这背后现实上就是AI技术在不同范畴或场景的应用。



  比如在在保举体系内里最核心的就是内容保举算法。用AI去做保举,是字节跳动告急战略,现在也是应用最广的技术,不管是本日头条还是抖音等产品,AI都在内里发挥偏告急作用。使用AI举行保举,必要大量的数据举行训练才能达到更好的效果,据先容,仅本日头条一款产品30天的训练模子,其数据量就会超过4PB,而正常训练一个完备的模子则必要至少一年的数据量。而在视频的合规性稽核方面,字节跳动不但使用计算机视觉技术对视频图像举行分析,同时使用语音辨认技术对音频举行合规性分析。而这些技术的大规模应用会对体系的基础办法带来极大的寻衅,比如计算本领、网络带宽以及存储性能等等。



  随着字节跳动数据中央规模的扩大,服务器数目的高速增长,为了最大化资源使用率,字节跳如何判断是不是百度蜘蛛动与Intel公司成立了创新实验室,全部采用Intel最新的可扩展处理器平台,并根据不同应用场景对软件堆栈举行深层次优化。据先容,成果非常显着,可以或许实现大约30%的本领提升,更好的资源使用率意味着更好的购置成本和运营成本节省。



  并且,不管是保举体系,还是稽核体系,其天天都会处理海量的数据,这对底层存储体系的性能有着苛刻的需求,SSD已经成为字节跳动的必然选择。但并不是说使用SSD就能直接办理标题,尤其NVMe SSD使用,通常会给计算、网络体系带来直接的压力,将本来存储的性能瓶颈转移到计算或者网络。



  为了提升团体体系的综合性能表现,还必要站在更高层次对各个子体系举行体系性优化,比如在与Intel的合作中,双方共同针对人工智能、Cascade Lake,最新64层Nand存储技术,高速网络的产品以及FPGA在不同体系中应用举行了探索,并与DPDK、SPDK、BigData以及OS kernel等软件层的优化相联合,取得了极大的希望,获得了极为显着的成功。



  字节跳动所取得的辉煌成绩不仅意味着中国互联网市场的巨大潜力,同时也意味着中国数据中央技术的飞速发展正渐渐靠近国际领先程度。



  干系阅读:



  快速优化互联网数据中央以满足将来需求



  华为环球首发FusionPower@Li-ion系列大型数据中央UPS供配电办理方案


条评论
avatar
您需要登录后才可以回帖 登录 | 立即注册
高级