蚌埠信息港

当前位置: 首页 >生活

劉鵬有線網如何借助云計算技術實現應用升級

来源: 作者: 2019-05-02 08:40:37

摘要:中國云計算專家委員會委員劉鵬做了在第五屆數字技術未來論壇(DTF2014)上做了題為《有線如何借助云計算技術實現應用升級》的演講,他表示,我們從傳輸、運營角度來看,規模化運營以后將會面臨很大的技術挑戰,現在越來越成熟的云計算技術會應對這種挑戰。要跨地域實現廣電系統內部相互支撐的服務平臺,應當就能解決以前我們統一不了的問題,解決節目來源、解決絡建設和服務能力不夠的問題。

由中广互联以及DVB+OTT融合创新论坛共同主办的第五届数字技术未来论坛(DTF2014)于3月18日(CCBN2014主题报告会的前一天)在北京广电国际酒店三层宴会厅召开。本次会议邀请了政府主管部门、业界专家、有线运营商、新媒体机构等产业链各方,共同解读技术趋势,把握广电未来。

中国云计算专家委员会委员刘鹏做了题为《有线如何借助云计算技术实现应用升级》的演讲,他表示,我们从传输、运营角度来看,规模化运营以后将会面临很大的技术挑战,现在越来越成熟的云计算技术会应对这种挑战。要跨地域实现广电系统内部互相支撑的服务平台,应该就能解决之前我们统一不了的问题,解决节目来源、解决络建设和服务能力不够的问题。

以下为演讲实录:

刘鹏:刚才我们听了盛处非常精彩的一个演讲,我特别有感触,觉得广电主管部门有这样比较前瞻眼光的领导,对我们这个行业其实是非常有幸的一件事情,他刚才也讲了NGB,实际是两层意思,一层意思是把我们的有线、无线以及卫星几种络统一起来,同时把广电络和互联业务统合起来,这就叫NGB了。我觉得有道理,不管是从络的一体化还是从内容的一体化,还是服务的一体化,反正是要追求一个规模化、全互联,这样才能够实现范围的红利。

当我们从传输、运营角度来看,规模化运营以后将会面临很大的技术挑战,怎么利用?现在愈来愈成熟的云计算技术会应对这种挑战。

一、目前大数据和云计算发展的现状

全世界数据增长非常快,每过18个月,历史上所有的数据量就回再增长一倍,大家都知道摩尔定律,感觉这个说法和摩尔定律差不多,实际上差。很大,摩尔定律是说计算机的速度每过18个月会增长一倍。而现在说的是数据总量每过18个月增长一倍。其实这两个数据是不匹配的,所以现在的数据量多到愈来愈处理不了了,利用率越来越低。为什么产生这样的情况?

1、以前每个人是信息的消费者,现在每个人都在发微博,发,每个人都上传他的视频,所以每个人都成为信息源。

2、物联的建设,大量传感器传输了极为海量的数据,比如在我所在的南京,城市里公共的区域有30万个摄像头,这30万个摄像头无时无刻不产生数据,数据量是极其海量的。

3、很多科技和行业产生极其海量的数据。现在在欧洲日内瓦有欧洲原子能实验室,每一秒产生的数据量是世界上所有数据量的200倍,所以每个行业里会产生非常大的数据,未来这个数据增长还是会非常惊人的,2020年这个数据量还会增长44倍,是非常大的增长。如果我们能把数据利用率提高10%的话,很多行业会发生质的变化。国外统计数据,零售行业数据零售应用提高10%,零售行业销售额可以提高49%的增长。当然这个说法很多人都觉得不太可能,我们在有些行业可以看到一些线索,比如在美国的亚马逊站,他在用户买单的时候会向用户推荐另外的产品,比如你买书的时候它会推荐你另外几本书,买书的人就会很奇怪,他都会觉得你怎样知道我想要那个书呢?所以另外就把推荐的书买下来了,这样的操作为亚马逊提高了17%的收入,类似精确的分析,是对销售非常有好处的。

马云也非常强调大数据,曾温总理去视察阿里的时候,马云汇报两件事儿,他说阿里的资源是数据,第二是我们具有云计算平台可以处理这个海量的数据,这是在淘宝上的一个事件。曾经在2013年3月份,在淘宝上发现有些省市的买家都在查询板蓝根,当时淘宝就在预警这些地方发生了流感,当时这个数据比国家疾控中心的数据早一个星期。这就是通过行为分析可以很快知道这个区域发生甚么事情。

还有个例子,现在搞得非常火热的阿里金融,看到余额宝、阿里小贷公司,这些贷款非常奇怪,以前银行一笔贷款平均需要付出2000元的成本,由于他要审查一个带宽是很不容易的,现在阿里平台上可以做到1秒钟就发放贷款,谁贷谁还,这是基于大数据的分析判断这个客户的资信和风险,所以他能把风险控制在1%之内,使得它的效率远大过现有的银行平台。近上支付受到了一些惩罚性的措施,上金融也受到一些抵制,这说明它的力量已足够引起大家的重视。

云计算的思想是什么呢?实际是利用不计其数台便宜的机器,把它们通过络连接起来,构成前所未有的大型处理平台去应对以前巨型机都做不了的事情,所以在去年“12·12”的时候,阿里为此增加了2万台服务器,这是相对比较便宜的服务器,阿里喊的口号叫去I(IBM)、O(Oracle)、E,,曾经弄了一台IBM服务器下线模式,目前的趋势用云计算架构代替以前的IOE架构已成为行业内的共鸣。现在大型的互联公司几近都是采用云的架构,比如说腾讯、360、百度等等,所有这些大公司都是采用了云计算这种分布式的架构。百度目前正在建立一个云计算平台,一个平台就有100万台电脑和100万台服务器,这是Google做的云计算服务中心,它是在建在荒郊野外,微软每一个箱子的计算中心,每台有220万台服务器。云计算术语中心建设越来越大,对能源的消耗也是非常惊人的,这样会带来很多环境问题,目前只有国外的互联公司想了很多办法,比如Google在美国东海岸收购了很多风店长,用风力发电代替煤炭发电。英特尔公司在沙漠里建了很多太阳能电池板,供应数据中心。Google申请了专利,利用海外数据中心,受潮汐的运动,每次抄袭来了就会发一点电,有这点电就计算,如果风平浪静,这个数据中心不起作用,它是通过间歇式计算能力来对外提供服务。这是Google在比利时的云计算中心,完全建在室外,没有空调,每一天比利时都是比较冷的,但一年仍然有几天是比较热的,这祭天就会把数据中心完全关掉,这时候到别的地方去计算,关掉一个数据中心是没关系的,等到天冷了再打开,再继续使用。

这是Google机房内部,采用了大量的水管、空气管道散热,蓝色表示冷水,黄色代表热水,绿色代表凉风,红色代表热风,用大量免费的散热措施来降低数据中心的散热费用。这是微软在芝加哥的数据中心,大量使用水管,这是在都柏林微软云计算数据中心,可以看到规模很大,大集装箱里装着服务器,每个箱子装着2000多台服务器。微软工程招了很多管道工,很多人都以为微软当时要转型。

刚才我们介绍的是国外云计算、大数据的背景。在广电领域里怎么应用大数据和云计算技术解决我们所面临的问题?如果能很好地利用大量廉价计算结点去构建和计算平台的话,I/O的成本下降10倍是能做到的。比如媒资系统可以采用低功耗的云存储去存储,低功耗的存储容量要求不多,但对能耗要求比较高,我们可以使用大量云存储管理它,媒资可靠性要求很高,任何一个结点坏掉没关系,由于数据进去以后任何数据都有两份,如果坏掉一个节点的话,可以备份到另外一个结点,这不需要人为进行管理,这和以前的存储不同,之前的存储是把数据放在一个节点里,通过硬件容错,万一这个硬件坏了,现在数据就散在不同的结点。现在在络里,任何数据在络里都有两份数据,这样硬件的成本比以前低很多倍。

合在一起之后,结点越多性能越好。这是低功耗的云存储,CSTOR A8000每个机器有38个结点,直流供电,每一个结点插进去就可以散热,集中散热,当有热的时候风扇才转,平时不需要转,每个结点的主板是用低功耗的主板,这是全球款64位的低功耗架构的主板,只要用25W的电就可以控制16块硬盘,所以光主板的能源能节省10倍。目前这种技术在我们国家大量使用,比如中科院目前就用了存储极其海量的卫星数据。如果把媒资从一个地方移到另外一个地方,中央电视台就是这样,要把节目从无锡运到北京,我们有MINICLOUD,里面有27块盘,也可以相互容错,像微波炉那么大的装置,可以带108T的容量,用它搬运的话,搬运成本是非常低的。如果性能要求很高的话,可以用云存储,一个用户写数据,可以做到2000M/秒,这比一般硬盘快了20倍,写数据能3000M/秒。目前在天威视讯OTT平台里已大量使用了这种云存储架构。通过大量的节点同时并行输入输出才能支持这么多的用户,包括电视、互联用户大家同时来访问这个数据。现在各个地方的智慧城市也在运用,比如镇江、南京等进行这样的应用。

在营销上可以利用精确的云分析能力做服务。CPROC云处理平台既有大数据处理,也有数据挖掘平台,这个平台不是基于开源的系统,而是基于全新的架构,数据立方是基于大数据库,比之前管理的数据能力大100倍以上,速度也要快100倍以上,这种系统和国外一些大型商用数据库相比,它的入库、查询性能都能达到惊人的提高,一样的硬件上能达到100倍性能的差别。这是中国移动曾弄的比赛,这个系统是国内的数据库,国外是用国外的数据库,差别非常明显,现在很多省大数据处理平台都布了这样的系统。还有交通数据,现在城市到处都是卡口在拍照,以前入到传统数据库根本处理不过来,现在能把一个省所有数据汇总到这个平台上做实时处理,这是以前根本做不到的。目前这是英特尔公司来合作推出大数据一体机,这个平台上可以用数据发掘平台,可以进行大规模的数据分析和挖掘,这是这个发掘平台的界面。

当我们节目想从一个地方传到另外一个地方就需要进行节目分发,以前节目传送要么寄硬盘过去,要么只能把带子寄过去。现在可以通过互联、公众的把节目快速地传送到不同地方,所基于的技术是CTRANS云传输技术,云传输技术主要改进了现有的互联传输方法,现有的互联传输协议叫TCP/IP,这个协议已经有40年历史,这个协议当时设计的时候主要是解决可靠传道的目的。现在络带宽越来越宽,光用这个协议解决不了这个问题,因为这个协议,当两点之间距离远了,回程时间长了,RTD到了才传输,要不然就等待。丢包概念也大了。所以TCP/IP是非常低效的协议,但是互联的标准协议,在互联里不采用标准协议就传输不了。幸亏互联有UTP协议,发没发包不管,可以把它封装成高效的数据传输协议,使协议高效并行传输,这是基于新一套数据技术的传输效果,能比以前提高好几倍性能,这是在国家地面战做的传输实验,原来只能传输十几兆,现在是能达到七十招。

这是光电行业的华云平台,是由天威视讯子公司天华传媒,他做的节目目前卖给全国的电视台,以前都是寄硬盘过去,现在是基于CTRANS技术做的传输平台。我们岩石,把深圳的节目发到南京和北京,现在看到的是深圳的情况,深圳的节目一部分传到北京,一部分传到南京。北京收到的节目有些是从深圳来的,有的是从南京来,这个传输非常快。目前华云平台已经部署了16个省的电视台,都布了这样的平台。以前需要建专才能传的数据,现在通过普通的互联,没有增加任何带宽就可以把节目瞬间传到任何城市。这是非常有效的。现在每一个省市都布了一套云存储平台,再加个云传输系统,就解决了节目分发的问题。

今天我们的主题是DVB+OTT,我们感觉到了现在这个阶段其实应该往更好的融合大平台方向迈进了。这里面有个云视频技术,目前在南京召开的亚青会以及青高会已经使用了这样的技术。里面有个关键的技术JOBKEEPER,是个负载均衡服务器,是基于HTML5的可调度服务器平台,使用这个平台可以面临大量用户的并行访问,任何服务器坏了都没关系。同时这个平台还支持云转码,大量用户会通过各种各样的终端看你的节目,有的是用户,用户不能直接上高清视频,你必须把视频转换成适合播放的码流,这里有实时转码的需求,所以天威目前也是用云转码的方式做OTT转码。经过这样转码以后,如果有大量的生产节点,实时转码,比如2个小时的节目1分钟就转完了,而且转出来的码流完全符合广电播出的需要。

除了云资源的调度和云转码以外,还需要把云资源跨地域整合起来,目前在广电里做这样的实践遇到了一些困难,由于我们要实现互联和广电节目的统合,可能我们的节目来源就成了一个问题,广电自己的节目是没问题的,但是要引入互联节目的话就会面临一些挑战,面临一些诉讼,面临合法性的问题,目前在前期尝试里我们已经碰到这种问题,有一些互联公司会来告你会有这样的问题。我们为了解决这个问题,建议我们采用全新的架构来解决这个问题。

这张PPT是2002年画的,那时候叫国家视频格,到现在这个阶段我认为已经有条件来做这件事情,就是在各地部署云计算的集群。你有络,你有服务器,你就作为这类服务单元存在。你有节目,那就作为内容供应商存在,把你经过数字化的节目加数字版权保护措施,然后把节目插入到这个平台里,这个平台里通过资源管理之后,把所有节目统合起来,这样有节目的贡献节目,有机器的贡献机器,有络的贡献络,这样就有共享机制,里面没有资费,有资源调度引擎,从各种来源的用户来了之后,首先用户去阅读里面的目录,而这个目录统合了所有的节目来源,就近为他提供服务,对用户进行收费。这样我的节目被别人看的多了我就可以获得更多的收益,所以我们感觉要跨地域实现广电系统内部相互支撑的服务平台,应该就能解决以前我们统一不了的问题,解决节目来源、解决络建设和服务能力不够的问题。

目前这种平台现在已经有64家大用户,这是我们的站欢迎大家访问,还有一个站大数据站,还有1本书叫《云计算》,这是现在销量的云计算的书。这是我们的站。谢谢!

江苏洪泽县蒋坝镇卫生院道德讲堂开课
天降怪石或是罕见陨石钻石专家鉴定图
日军为掩盖罪恶将慰安妇集体脱光残杀组图

相关推荐