CDN技术详解

内容简介

除技术原理之外，还对实现这些功能模块所涉及的一些协议和开发工具进行了讲解，希望能帮助读者了解cdn这项技术，并对cdn系统的设计和开发有一些初步的体会。

《cdn技术详解》适合从事互联网开发和运营工作的专业人士、电信运营服务从业人员，以及相关专业的高校学生。

图书目录

第1章：引言1

1.1：cdn的基本概念和产生背景2

1.2：cdn的基本工作过程5

1.3：cdn的发展历史8

1.4：cdn对互联网产业的价值和作用13

第2章：cdn技术概述16

2.1：cdn的系统架构17

2.1.1：功能架构17

2.1.2：部署架构21

2.2：cdn系统分类23

2.2.1：基于不同内容承载类型的分类24

2.2.2：基于内容生成机制的分类和分层加速服务27

2.3：小结29

第3章：内容缓存工作原理及实现32

3.1：内容缓存技术的发展背景33

3.1.1：网站的问题和需求33

3.1.2：cdn出现前的网站服务技术35

3.2：cache设备的工作方式和设计要求38

3.2.1：正向代理39

.3.2.2：反向代理41

3.2.3：透明代理42

3.2.4：web：cache产品实现关键要素分析44

3.3：web：cache的实现基础—基于http协议的web缓存技术45

3.3.1：web与http45

3.3.2：http协议工作原理48

3.3.3：http中的cookie和session68

3.3.4：https安全协议74

3.3.5：http协议中的缓存技术76

3.4：web：cache技术实现关键点分析82

3.4.1：web：cache关键性能指标说明82

3.4.2：内容存储机制85

3.4.3：内容更新机制86

3.4.4：web：cache协议优化90

3.4.5：web：cache安全实现机制92

3.5：开源web缓存代理软件——squid94

第4章：集群服务与负载均衡技术97

4.1：服务器集群技术98

4.1.1：集群的基本概念98

4.1.2：集群的分类99

4.1.3：集群的系统结构101

4.1.4：cdn负载均衡集群102

4.2：cache集群协同交互方法103

4.2.1：icp104

4.2.2：htcp105

4.2.3：cache：digest106

4.2.4：cache：pre-filling106

4.2.5：carp107

4.3：负载均衡技术的实现108

4.3.1：负载均衡关键技术110

4.3.2：负载均衡部署方式115

4.3.3：服务器负载均衡118

4.3.4：链路负载均衡125

4.4：开源负载均衡软件130

4.4.1：lvs130

4.4.2：nginx132

第5章：全局负载均衡工作原理及实现134

5.1：全局负载均衡在cdn系统中的作用135

5.2：基于dns解析的gslb实现机制136

5.2.1：dns的产生背景136

5.2.2：dns基本工作原理137

5.2.3：基于dns解析的gslb工作方式147

5.2.4：负载均衡的策略判断条件信息150

5.2.5：开源dns服务软件——bind153

5.3：基于dns的gslb应用部署方法155

5.3.1：gslb应用部署时的一些基本概念155

5.3.2：负载均衡策略160

5.3.3：gslb部署中的关键问题171

5.4：基于应用层协议重定向的gslb177

5.4.1：http重定向基本原理177

5.4.2：基于http重定向的gslb工作流程180

5.5：基于ip路由的gslb181

5.6：小结184

第6章：流媒体cdn系统的组成和关键技术189

6.1：流媒体系统工作原理概述192

6.2：流媒体传送协议体系195

6.2.1：rtp和rtcp197

6.2.2：rtsp201

6.2.3：rtmp207

6.2.4：http：streaming216

6.2.5：mpeg-2：ts226

6.3：流媒体业务对cdn提出的要求和挑战228

6.3.1：流媒体加速与web加速之间的业务差异228

6.3.2：流媒体cdn系统架构描述230

6.3.3：小结232

6.4：流媒体cdn系统的关键技术实现233

6.4.1：cache的设计实现233

6.4.2：负载均衡系统设计实现238

6.4.3：内容分发机制设计实现240

6.4.4：组网模式242

6.4.5：内容文件预处理技术243

6.4.6：防盗链机制和实现246

第7章：动态内容加速服务的实现250

7.1：动态内容加速技术251

7.1.1：业务逻辑层加速技术：边缘计算255

7.1.2：数据访问层加速技术：数据库复制257

7.1.3：用户数据层加速技术：用户数据复制261

7.2：应用加速技术263

7.2.1：应用加速技术概述263

7.2.2：广域网加速技术264

7.2.3：ssl加速技术介绍274

第8章：cdn商业化服务现状279

8.1：cdn产业分析280

8.1.1：cdn产业链分析280

8.1.2：cdn服务的价值分析282

8.1.3：cdn服务运营方式分析285

8.2：cdn的商业服务模式286

8.2.1：cdn的计费方式286

8.2.2：cdn的增值服务289

8.2.3：cdn客户决策要点294

8.3：典型案例分析296

8.3.1：视频网站296

8.3.2：门户网站297

8.3.3：政府网站298

8.3.4：企业网站299

8.3.5：云计算300

8.3.6：小结302

8.4：典型服务商介绍303

8.4.1：国外cdn运营商的先驱——akamai303

8.4.2：国内运营商简介306

第9章：cdn发展展望309

9.1：新时代对cdn的要求310

9.2：cdn技术发展趋势313

9.3：cdn与云计算315

9.3.1：云计算——第三次it革命315

9.3.2：cdn是云计算吗317

9.3.3：cdn与云计算技术的结合323

9.4：cdn与p2p325

9.4.1：p2p技术概述325

9.4.2：p2p流量的变化趋势及优劣势分析329

9.4.3：cdn与p2p技术的结合334

9.5：cdn的商业服务发展趋势337

附录a：cdn试验床实施指南341

a.1：试验床架构概述342

a.2：基础集群环境搭建344

a.2.1：服务器虚拟化环境部署344

a.2.2：虚拟机管理基本操作347

a.3：代理缓存环境搭建349

a.3.1：apache：http服务器的安装与配置350

a.3.2：squid代理缓存服务器的安装与配置352

a.3.3：cdn试验床代理缓存功能的演示和验证355

a.4：边缘节点四层负载均衡357

a.4.1：lvs负载均衡服务器的安装与配置358

a.4.2：cdn试验床四层负载均衡功能的演示和验证362

a.5：边缘节点七层负载均衡364

a.5.1：bind域名服务器的安装与配置365

a.5.2：nginx负载均衡服务器的安装与配置368

a.5.3：cdn试验床七层负载均衡功能的演示和验证371

a.6：多边缘节点负载均衡373

a.6.1：apache服务器和bind服务器的配置374

a.6.2：cdn试验床多边缘节点负载均衡功能的演示和验证379

a.7：小结380

参考文献381

序言

CDN是互联网服务背后重要的支撑者，它伴随着互联网商业化的出现而出现，一直可以看做互联网的卖水人。国内CDN产业的出现和国外基本在同一时间，但与国外不同，国内CDN发展的第一次浪潮从2002年左右开始，当时正值ADSL宽带业务大发展（从64kb/s的拨号、128kb/s的ISDN升级到512kb/s的ADSL），各省和地市级的运营商为填充提速后的宽带，增强宽带的吸引力，纷纷开始提供流媒体服务，CDN作为流媒体系统的一个重要核心组成部分开始被运营商接受和部署，并逐步在国内市场普及。

通过CDN的支撑，运营商们为用户提供了有服务质量保证的流媒体服务，有力地推动了宽带的发展，成为国内CDN发展第一个高潮的最主要的推动者。可以说，CDN为中国第一次带宽升级起到了重要的推动和支撑作用。从2008年开始，3G牌照的发放和新一轮宽带提速的推进，为移动互联网和云计算时代的到来奠定了基础条件。在这一新的发展阶段，CDN作为互联网服务的重要技术保证方式和一种基础资源服务，再一次受到了整个业界的关注，ChinaCache和网宿公司的成功上市，也标志着资本市场对CDN的认可。

但是，客观地说，从CDN服务的普及率、服务的附加值和产品的核心竞争力几方面看，我国的CDN产业与欧美和日韩等国相比仍有不小的差距，整个行业还属于粗放型的发展阶段。

其中一个比较重要的原因是国内这方面的人才和技术积累比较少，相关的书籍、资料很少，特别是能够系统性地介绍CDN技术的书籍在国内仍是一个空白。

为此，我组织我们的研发团队利用业余时间编写了这本书，希望能够帮助读者系统地了解CDN的基本原理和基础知识，掌握其中的一些关键技术，并对整个CDN产业的发展有一个比较全面的认识，通过书籍为推动这个产业的发展尽一份绵薄之力。为更好地让读者理解，我们采用循序渐进的方式介绍相关知识。

第1章是引言，通过对CDN的基本概念、发展历史、作用和价值的介绍，让读者了解为什么要CDN，它能做什么，对CDN形成一个初步的认识。

第2章是CDN技术概述，对CDN的系统架构进行整体阐述，同时通过对CDN不同服务类型的分类描述，让读者对CDN的技术框架有一个比较全面的了解。

第3章至第5章，从对静态网页加速技术的实现入手，分别对Web缓存、集群和负载均衡、全局负载均衡和内容路由技术这三大关键技术的技术原理、使用方法和实现实例进行介绍，使读者能够了解CDN技术的发展脉络，同时对CDN系统的部署从单台Cache缓存技术到集群的实现再到整个CDN系统的分布扩展有一个全面的认识。

第6章重点介绍流媒体CDN系统的实现，通过对比流媒体加速和网页加速的区别，阐述流媒体CDN的关键技术，在该章的最后以IPTV CDN服务系统为例，帮助读者理解相关内容。

第7章分别对动态网页加速技术和应用交付技术进行介绍。它们分别是Web2.0网站加速和企业内部应用加速的关键技术。第8章从商业应用价值角度对CDN的产业现状和商业价值进行分析。

第9章对CDN和云计算、P2P等其他相关技术的关系进行阐述，同时作为总结，对CDN的下一步发展进行了分析和展望，提出进一步的发展方向。本书部分内容和案例来自于我们的实践经验和成果，同时本书的编写得到了中国电信集团北京研究院的支持，参考了大量业界的研究成果和相关技术材料，在此一并感谢。

最后，由于成稿仓促，知识水平和认识的局限，书中难免有纰漏之处，请各位专家和读者不吝赐教。

雷葆华

中国电信北京研究院云计算团队总监

2012年4月，北京

作品评价

CDN已经从为网站提供简单加速的增值服务逐步演变成互联网业

务发展的必需品，从质量、效率、安全等各个方面为网站提供全面的保障。本书不仅从

技术原理方面对CDN进行了详细的介绍，还从商业服务角度进行了剖析，是一本让网站运

维和管理者都能从中获益的好书。

——宗劼，蓝汛通讯技术有限责任公司副总裁

CDN行业在中国曾是一个很专业的小圈子，圈里的人兴致盎然、交流充分，圈外的人

却知之甚少。对整个行业来说，本书第一次如此细致地、完整地介绍了CDN的相关技术和

市场状况，是一本很值得看的专业书籍。

——刘洪涛，网宿科技股份有限公司副总裁

互联网经过多年的发展，开始逐步向各个领域渗透和融合，渐渐成为人们生活不可

缺少的重要组成部分。海量用户涌入互联网，导致海量的网络购物、游戏、视频等的需

求，极大地推动了CDN技术的发展。CDN的研究，也成为科学技术领域的核心课题。本书

不仅详尽介绍了CDN的历史、关键功能、相关技术，而且细致地分析了CDN的商业模式以

及前沿技术趋势，对CDN的未来发展提出了一些前瞻性的观点和意见。本书非常适合CDN

领域相关的同行阅读，也适合对CDN感兴趣的读者进行了解。

——谢大雄，中兴通讯股份有限公司执行副总裁

据预测，2013年，互联网承载的90%的流量都是实时视频，而这些视频流量都会被各

种形式的CDN在网络中缓存，以此达到优化网络流量、提高用户体验的目的。因此，全球

运营商都在积极开展CDN的建设和运营，驱动CDN融入到固网和移动网络的基础设施层面

，构筑统一管理、智能调度、多协议加速、体验运营的完整CDN战略。衷心希望本书能加

速CDN知识的普及和应用。

——李三琦，华为技术有限公司IT产品线CTO

作者简介

雷葆华，中国电信北京研究院宽带及互联网创新中心云计算团队总监。毕业于哈尔滨工程大学，获得信息与通信工程专业硕士学位。2003年进入中国电信北京研究院，长期从事互联网业务和电信增值业务研究，参与中国电信业务网络和互联网产品的规划、设计和产品开发等工作，并负责CDN、P2P、IDC等网络总体设计工作，在技术方面有深入的研究。作为第一完成人的《高性能、可管控的内容分发网络》项目获得2007年度中国通信学会科学技术奖三等奖，并发表多篇有影响力的专业文章，同时拥有多项专利。目前，主要从事云计算和移动互联网研究工作。

孙颖，中国电信股份有限公司北京研究院副主任工程师。毕业于北京邮电大学，获得信号与信息处理专业硕士学位。2004年进入中国电信北京研究院，长期从事宽带网络、CDN网络技术研究，有丰富的网络规划、设计和产品开发经验。曾发表多篇有影响力的专业文章，拥有多项专利。

王峰，中国科学技术大学计算机科学与技术专业博士。从事多年计算机系统结构技术研究，是国内最早研究服务器虚拟化技术的科研人员之一，曾经在IBM中国研究院从事多核平台系统软件技术和云计算技术的研发。在国内外核心期刊和学术会议上发表多篇论文，拥有多项专利。2叭O年加入中国电信北京研究院，负责中国电信的云计算专项规划，并对虚拟桌面、数据中心网络、分布式计算等云计算关键技术有深入研究。

陈晓益，2005年加入中国电信北京研究院，北京邮电大学电磁场与微波技术专业硕士，CISSP(信息系统安全认证专家)，专注于宽带接入技术、视频编解码、cDN、P2P和云计算应用方面的研究，参与了中国电信全国CDN网络架构设计和工程建设。