当前位置: 主页 > 网络架构 >

网络速度优化及案例

时间:2013-05-05 16:39来源:www.itkoala.com 作者:itkoala 点击:
在中国互联网,基础网络永远是产品体验的绊脚石,特别是移动互联网时代更加明显,能看到的所有与基础网络相关的名词都可以制约网站速度,在规划篇也花了很大篇幅去介绍网络属
欢迎大家分享自己的文档,请点击查阅:分享方法,Linux系统运维
如果你喜欢这文章,可以点击文章结尾处百度分享,分享到你的各种社区收藏,或推荐给朋友……


返回:海量运维、运营规划--linux网络架构规划首页
在中国互联网,基础网络永远是产品体验的绊脚石,特别是移动互联网时代更加明显,能看到的所有与基础网络相关的名词都可以制约网站速度,在规划篇也花了很大篇幅去介绍网络属性和策略,其中IDC、用户具有区域属性和运营商属性是主要矛盾,正因为有这样的国情才放大了对IDC、CDN就近接入、BGP多运营商接入、GSLB智能调度的依赖,结合个人优化体会,汇总网络层的优化实践如下表:
 

网络优化项 优化说明 备注
分区域的IDC覆盖 用户分布及IDC覆盖能力具有区域性,如果简单理解,北方用户和IDC多为联通,南方则为电信,各小运营商分布不均,简单IDC覆盖所在的地理位置周边具有明显优势,按地理位置分单IDC,多IDC,区域IDC,全国IDC,按城市可分为一线、二线IDC。全国分区域的一线城市的多IDC分布具有最大收益。 一线北京、上海、广州IDC网络覆盖能力最好,价格最贵,稳定性最高
分区域的ISP覆盖 IDC覆盖能力具有运营商属性,同运营商互联互通无问题,跨运营商访问速度要慢3~5倍,同时运营商也具备区域属性,所以针对注流运营商电信、联通及小运营商要进行细分,才可以将网络速度做到极致。个人的体会,目前腾讯网络分布是做得最优势的,全国五大区域14个大规模核心IDC互联互通,58个CDN节点。 除主流运营商分,移动、教育网等小运营商用户体验越加重要,特别是移动
减少TDO跨网解析 TDO(Traffic Distribution Optimizer), 可以理解是一种用户定向策略, DNS以TDO为依据,将用户解析到对应的运营商及服务器,保证使用最佳的服务器服务最近的用户,从而确保访问速度,正确的定向可以提升用户访问速度,反之将适得其反。TDO因历史遗留及新入网用户等原因,会存在不能识别情况,要尽最大可能进行识别,准确率要保持>99%,不能识别的需要通过解析策略进行规避。 TDO的更新和完善是一个持久的工作,需要自动化和持续投入人力
最大化使用CDN价值 中国拥有世界上最复杂的基础网络,也使得CDN成为中国互联网一大特色,CDN即解决用户到IDC最短距离,又减带宽成本、减机架成本、减电成本、减少IDC建设成本等,可以说CDN是速度优化不可缺少的一个环节,速度优化必使用CDN,正确的使用CDN,可以将网络接入速度做到极致。 CDN是速度和成本的双刃剑,互联网大公司都选择自建,将这两个价值最大化,可想其重要性
使用GSLB智能调度 GSLB(Global Server Load Balance),全局负载均衡,包含DNS解析,同时又具备健康检测、测速并智能调度,自动容灾等能力,将用户解析到最快的IDC和服务器,将问题服务器和集群屏蔽和故障自动处理等。 GSLB做到最后,对于互联网产品就像人的大脑一样重要
使用BGP改善小运营商用户体验 应用区分运营商限制,必需要分开IDC部署,主流运营商必需要区域运营商,但小运营商众多且用户占比小,单独部署不现实,最好的平衡是使用多运营商单IP接入,只要部署一套即可。在当下中国PC网络运营商增加、移动网络风起云涌的时代,BGP的价值将会放大,腾讯、百度都有自建BGP机房。 BGP有助于提升移动互联网产品的体验,前题是有专线或内网的保障通信

主要网络优化案例分享如下:

1、IDC优化案例,为了改善百度单北京电信IDC覆盖全国存在的瓶颈,百度在华东启用了杭州电信IDC,监测方法是通过百度客户端监测平台分析如下:

1)覆盖同一50KB广告物料,杭州电信IDC全国总下载时间要比北京电信IDC快26%,杭州电信下载速度、首包时间、建立连接时间、内容下载时间都要优于北京电信IDC。
 

任务名称 总下载时间(s) 下载速度(KB/s) 页面大小(KB) 首包时间(s) 连接建立时间(s) 内容下载时间(s) 样本数(个)
北京电信IDC_50KB广告 0.38 154.52 50.46 0.057 0.05 0.28 33544
杭州电信IDC_50KB广告 0.3 243.42 50.43 0.045 0.04 0.21 34679

2)两个IDC都体现出明显的IDC区域覆盖属性,北京电信IDC在北京周边覆盖要优先于杭州电信,但杭州电信IDC在华东、华南各省覆盖要比北京快40%+。
 

北京电信覆盖全国电信 杭州电信覆盖电国

2、CDN优化案例,百度检索广告是百度商业产品中核心模块,优化前一直部署在北京IDC,经过CDN优化后,全国提速35%左右,电信提速46%,联通提速34%,小运营商提速70%+,超越竞争对手cnzz20%+,从北京IDC分流到自建CDN,带宽成本减少2000万/年,按这个服务每年25%的带宽增量,两年可减少成本4500~5000万,可腾挪出80~100台服务器。
1)从运营商维度分析,电信、移动、教育网等小运营商提速非常明显,整体看这个服务速度受限于负载和架构、网络环境,拆分和分流到全国IDC后,速度有了质的飞跃。
 

运营商 20KB 速度提升 30KB 速度提升
优化前 优化后 优化前 优化后
总下载时间(s) 可用性(%) 总下载时间(s) 可用性(%) 总下载时间(s) 可用性(%) 总下载时间(s) 可用性(%)
全国 0.38 99.96 0.21 99.99 44.74% 0.43 99.94 0.23 100 46.51%
电信 0.39 99.96 0.21 99.99 46.15% 0.44 99.95 0.23 99.99 47.73%
联通 0.32 99.98 0.2 100 37.50% 0.35 99.97 0.23 100 34.29%
移动 0.86 100 0.41 100 52.33% 1.16 99.81 0.39 100 66.38%
教育网 1.26 100 0.3 99.84 76.19% 1.47 100 0.38 100 74.15%

2)从分段维度分析,很明显看出,电信快速比0.25s以内加载完的比例20KB由19%提升到72%,30KB由11%提升到67%,提速明显。
 

总下载时间 20KB 30KB
电信 联通 电信 联通
优化前 优化后 优化前 优化后 优化前 优化后 优化前 优化后
0~0.25s 19.13 72.71 41.08 73.99 11.08 67.43 35.84 68.31
0.25~0.5s 62.69 22.23 46.23 20.97 60.99 25.53 47.85 25.08
0.5~0.75s 13.82 4.56 9.36 4.16 21.17 5.81 11.47 5.14
0.75~1.0s 3.04 0.51 3 0.88 4.26 1.23 3.29 1.48
1.0~1.25s 1.31 0 0.33 0 1.91 0 1.54 0
1.25s以上 0 0 0 0 0.59 0 0 0

3)从趋势维度分析,红色代表优化后的趋势,可以看到,相比2个月前,优化后提速明显。

3、TDO优化案例,百度因历史原因,旧版TDO存在跨网解析现象,导致有一定比例的跨网访问,经过优化后,速度提升明显,详细分析如下。

1)通过第三方质量监测(基调)发现百度商业产品下域名存在8%左右的电信用户解析到了联通服务器,同时腾讯、阿里等互联网公司未有跨网解析现象。
 

优化前 优化后

2)通过Apnic、MaxMind识别未知local dns,并采用业界认可的不跨运营商解析的原则,生成TDO,跨网解析率由8%~10%,降低至<1%,正确解析率=99.9%,基本消除跨网解析。
 

全国总下载时间提升11.6%、建立连接时间提升8.7%。 广西、陕西跨网严重的省份总下载时间提升100%+。

腾讯用全国五大区(深圳、上海、天津、成都、西安)IDC和54个CDN节点覆盖保障全国网络接入,详细分布如下图所示,通过GSLB分运营商、分省份、分IDC进行精确调度和容灾,在相同应用响应和硬件的前题下,最大限度符合基础网络国情,将速度做到极致,也是目前国内网络速度优化最佳实践。

 

转载请注明linux系统运维
http://www.linuxyw.com/linux/wangluojiagou/20130420/64.html

------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
验证码: 点击我更换图片