CDN技術詳解

内容簡介

除技術原理之外，還對實現這些功能模塊所涉及的一些協議和開發工具進行了講解，希望能幫助讀者了解cdn這項技術，并對cdn系統的設計和開發有一些初步的體會。

《cdn技術詳解》适合從事互聯網開發和運營工作的專業人士、電信運營服務從業人員，以及相關專業的高校學生。

圖書目錄

第1章：引言1

1.1：cdn的基本概念和産生背景2

1.2：cdn的基本工作過程5

1.3：cdn的發展曆史8

1.4：cdn對互聯網産業的價值和作用13

第2章：cdn技術概述16

2.1：cdn的系統架構17

2.1.1：功能架構17

2.1.2：部署架構21

2.2：cdn系統分類23

2.2.1：基于不同内容承載類型的分類24

2.2.2：基于内容生成機制的分類和分層加速服務27

2.3：小結29

第3章：内容緩存工作原理及實現32

3.1：内容緩存技術的發展背景33

3.1.1：網站的問題和需求33

3.1.2：cdn出現前的網站服務技術35

3.2：cache設備的工作方式和設計要求38

3.2.1：正向代理39

.3.2.2：反向代理41

3.2.3：透明代理42

3.2.4：web：cache産品實現關鍵要素分析44

3.3：web：cache的實現基礎—基于http協議的web緩存技術45

3.3.1：web與http45

3.3.2：http協議工作原理48

3.3.3：http中的cookie和session68

3.3.4：https安全協議74

3.3.5：http協議中的緩存技術76

3.4：web：cache技術實現關鍵點分析82

3.4.1：web：cache關鍵性能指标說明82

3.4.2：内容存儲機制85

3.4.3：内容更新機制86

3.4.4：web：cache協議優化90

3.4.5：web：cache安全實現機制92

3.5：開源web緩存代理軟件——squid94

第4章：集群服務與負載均衡技術97

4.1：服務器集群技術98

4.1.1：集群的基本概念98

4.1.2：集群的分類99

4.1.3：集群的系統結構101

4.1.4：cdn負載均衡集群102

4.2：cache集群協同交互方法103

4.2.1：icp104

4.2.2：htcp105

4.2.3：cache：digest106

4.2.4：cache：pre-filling106

4.2.5：carp107

4.3：負載均衡技術的實現108

4.3.1：負載均衡關鍵技術110

4.3.2：負載均衡部署方式115

4.3.3：服務器負載均衡118

4.3.4：鍊路負載均衡125

4.4：開源負載均衡軟件130

4.4.1：lvs130

4.4.2：nginx132

第5章：全局負載均衡工作原理及實現134

5.1：全局負載均衡在cdn系統中的作用135

5.2：基于dns解析的gslb實現機制136

5.2.1：dns的産生背景136

5.2.2：dns基本工作原理137

5.2.3：基于dns解析的gslb工作方式147

5.2.4：負載均衡的策略判斷條件信息150

5.2.5：開源dns服務軟件——bind153

5.3：基于dns的gslb應用部署方法155

5.3.1：gslb應用部署時的一些基本概念155

5.3.2：負載均衡策略160

5.3.3：gslb部署中的關鍵問題171

5.4：基于應用層協議重定向的gslb177

5.4.1：http重定向基本原理177

5.4.2：基于http重定向的gslb工作流程180

5.5：基于ip路由的gslb181

5.6：小結184

第6章：流媒體cdn系統的組成和關鍵技術189

6.1：流媒體系統工作原理概述192

6.2：流媒體傳送協議體系195

6.2.1：rtp和rtcp197

6.2.2：rtsp201

6.2.3：rtmp207

6.2.4：http：streaming216

6.2.5：mpeg-2：ts226

6.3：流媒體業務對cdn提出的要求和挑戰228

6.3.1：流媒體加速與web加速之間的業務差異228

6.3.2：流媒體cdn系統架構描述230

6.3.3：小結232

6.4：流媒體cdn系統的關鍵技術實現233

6.4.1：cache的設計實現233

6.4.2：負載均衡系統設計實現238

6.4.3：内容分發機制設計實現240

6.4.4：組網模式242

6.4.5：内容文件預處理技術243

6.4.6：防盜鍊機制和實現246

第7章：動态内容加速服務的實現250

7.1：動态内容加速技術251

7.1.1：業務邏輯層加速技術：邊緣計算255

7.1.2：數據訪問層加速技術：數據庫複制257

7.1.3：用戶數據層加速技術：用戶數據複制261

7.2：應用加速技術263

7.2.1：應用加速技術概述263

7.2.2：廣域網加速技術264

7.2.3：ssl加速技術介紹274

第8章：cdn商業化服務現狀279

8.1：cdn産業分析280

8.1.1：cdn産業鍊分析280

8.1.2：cdn服務的價值分析282

8.1.3：cdn服務運營方式分析285

8.2：cdn的商業服務模式286

8.2.1：cdn的計費方式286

8.2.2：cdn的增值服務289

8.2.3：cdn客戶決策要點294

8.3：典型案例分析296

8.3.1：視頻網站296

8.3.2：門戶網站297

8.3.3：政府網站298

8.3.4：企業網站299

8.3.5：雲計算300

8.3.6：小結302

8.4：典型服務商介紹303

8.4.1：國外cdn運營商的先驅——akamai303

8.4.2：國内運營商簡介306

第9章：cdn發展展望309

9.1：新時代對cdn的要求310

9.2：cdn技術發展趨勢313

9.3：cdn與雲計算315

9.3.1：雲計算——第三次it革命315

9.3.2：cdn是雲計算嗎317

9.3.3：cdn與雲計算技術的結合323

9.4：cdn與p2p325

9.4.1：p2p技術概述325

9.4.2：p2p流量的變化趨勢及優劣勢分析329

9.4.3：cdn與p2p技術的結合334

9.5：cdn的商業服務發展趨勢337

附錄a：cdn試驗床實施指南341

a.1：試驗床架構概述342

a.2：基礎集群環境搭建344

a.2.1：服務器虛拟化環境部署344

a.2.2：虛拟機管理基本操作347

a.3：代理緩存環境搭建349

a.3.1：apache：http服務器的安裝與配置350

a.3.2：squid代理緩存服務器的安裝與配置352

a.3.3：cdn試驗床代理緩存功能的演示和驗證355

a.4：邊緣節點四層負載均衡357

a.4.1：lvs負載均衡服務器的安裝與配置358

a.4.2：cdn試驗床四層負載均衡功能的演示和驗證362

a.5：邊緣節點七層負載均衡364

a.5.1：bind域名服務器的安裝與配置365

a.5.2：nginx負載均衡服務器的安裝與配置368

a.5.3：cdn試驗床七層負載均衡功能的演示和驗證371

a.6：多邊緣節點負載均衡373

a.6.1：apache服務器和bind服務器的配置374

a.6.2：cdn試驗床多邊緣節點負載均衡功能的演示和驗證379

a.7：小結380

參考文獻381

序言

CDN是互聯網服務背後重要的支撐者，它伴随着互聯網商業化的出現而出現，一直可以看做互聯網的賣水人。國内CDN産業的出現和國外基本在同一時間，但與國外不同，國内CDN發展的第一次浪潮從2002年左右開始，當時正值ADSL寬帶業務大發展（從64kb/s的撥号、128kb/s的ISDN升級到512kb/s的ADSL），各省和地市級的運營商為填充提速後的寬帶，增強寬帶的吸引力，紛紛開始提供流媒體服務，CDN作為流媒體系統的一個重要核心組成部分開始被運營商接受和部署，并逐步在國内市場普及。

通過CDN的支撐，運營商們為用戶提供了有服務質量保證的流媒體服務，有力地推動了寬帶的發展，成為國内CDN發展第一個高潮的最主要的推動者。可以說，CDN為中國第一次帶寬升級起到了重要的推動和支撐作用。從2008年開始，3G牌照的發放和新一輪寬帶提速的推進，為移動互聯網和雲計算時代的到來奠定了基礎條件。在這一新的發展階段，CDN作為互聯網服務的重要技術保證方式和一種基礎資源服務，再一次受到了整個業界的關注，ChinaCache和網宿公司的成功上市，也标志着資本市場對CDN的認可。

但是，客觀地說，從CDN服務的普及率、服務的附加值和産品的核心競争力幾方面看，我國的CDN産業與歐美和日韓等國相比仍有不小的差距，整個行業還屬于粗放型的發展階段。

其中一個比較重要的原因是國内這方面的人才和技術積累比較少，相關的書籍、資料很少，特别是能夠系統性地介紹CDN技術的書籍在國内仍是一個空白。

為此，我組織我們的研發團隊利用業餘時間編寫了這本書，希望能夠幫助讀者系統地了解CDN的基本原理和基礎知識，掌握其中的一些關鍵技術，并對整個CDN産業的發展有一個比較全面的認識，通過書籍為推動這個産業的發展盡一份綿薄之力。為更好地讓讀者理解，我們采用循序漸進的方式介紹相關知識。

第1章是引言，通過對CDN的基本概念、發展曆史、作用和價值的介紹，讓讀者了解為什麼要CDN，它能做什麼，對CDN形成一個初步的認識。

第2章是CDN技術概述，對CDN的系統架構進行整體闡述，同時通過對CDN不同服務類型的分類描述，讓讀者對CDN的技術框架有一個比較全面的了解。

第3章至第5章，從對靜态網頁加速技術的實現入手，分别對Web緩存、集群和負載均衡、全局負載均衡和内容路由技術這三大關鍵技術的技術原理、使用方法和實現實例進行介紹，使讀者能夠了解CDN技術的發展脈絡，同時對CDN系統的部署從單台Cache緩存技術到集群的實現再到整個CDN系統的分布擴展有一個全面的認識。

第6章重點介紹流媒體CDN系統的實現，通過對比流媒體加速和網頁加速的區别，闡述流媒體CDN的關鍵技術，在該章的最後以IPTV CDN服務系統為例，幫助讀者理解相關内容。

第7章分别對動态網頁加速技術和應用交付技術進行介紹。它們分别是Web2.0網站加速和企業内部應用加速的關鍵技術。第8章從商業應用價值角度對CDN的産業現狀和商業價值進行分析。

第9章對CDN和雲計算、P2P等其他相關技術的關系進行闡述，同時作為總結，對CDN的下一步發展進行了分析和展望，提出進一步的發展方向。本書部分内容和案例來自于我們的實踐經驗和成果，同時本書的編寫得到了中國電信集團北京研究院的支持，參考了大量業界的研究成果和相關技術材料，在此一并感謝。

最後，由于成稿倉促，知識水平和認識的局限，書中難免有纰漏之處，請各位專家和讀者不吝賜教。

雷葆華

中國電信北京研究院雲計算團隊總監

2012年4月，北京

作品評價

CDN已經從為網站提供簡單加速的增值服務逐步演變成互聯網業

務發展的必需品，從質量、效率、安全等各個方面為網站提供全面的保障。本書不僅從

技術原理方面對CDN進行了詳細的介紹，還從商業服務角度進行了剖析，是一本讓網站運

維和管理者都能從中獲益的好書。

——宗劼，藍汛通訊技術有限責任公司副總裁

CDN行業在中國曾是一個很專業的小圈子，圈裡的人興緻盎然、交流充分，圈外的人

卻知之甚少。對整個行業來說，本書第一次如此細緻地、完整地介紹了CDN的相關技術和

市場狀況，是一本很值得看的專業書籍。

——劉洪濤，網宿科技股份有限公司副總裁

互聯網經過多年的發展，開始逐步向各個領域滲透和融合，漸漸成為人們生活不可

缺少的重要組成部分。海量用戶湧入互聯網，導緻海量的網絡購物、遊戲、視頻等的需

求，極大地推動了CDN技術的發展。CDN的研究，也成為科學技術領域的核心課題。本書

不僅詳盡介紹了CDN的曆史、關鍵功能、相關技術，而且細緻地分析了CDN的商業模式以

及前沿技術趨勢，對CDN的未來發展提出了一些前瞻性的觀點和意見。本書非常适合CDN

領域相關的同行閱讀，也适合對CDN感興趣的讀者進行了解。

——謝大雄，中興通訊股份有限公司執行副總裁

據預測，2013年，互聯網承載的90%的流量都是實時視頻，而這些視頻流量都會被各

種形式的CDN在網絡中緩存，以此達到優化網絡流量、提高用戶體驗的目的。因此，全球

運營商都在積極開展CDN的建設和運營，驅動CDN融入到固網和移動網絡的基礎設施層面

，構築統一管理、智能調度、多協議加速、體驗運營的完整CDN戰略。衷心希望本書能加

速CDN知識的普及和應用。

——李三琦，華為技術有限公司IT産品線CTO

作者簡介

雷葆華，中國電信北京研究院寬帶及互聯網創新中心雲計算團隊總監。畢業于哈爾濱工程大學，獲得信息與通信工程專業碩士學位。2003年進入中國電信北京研究院，長期從事互聯網業務和電信增值業務研究，參與中國電信業務網絡和互聯網産品的規劃、設計和産品開發等工作，并負責CDN、P2P、IDC等網絡總體設計工作，在技術方面有深入的研究。作為第一完成人的《高性能、可管控的内容分發網絡》項目獲得2007年度中國通信學會科學技術獎三等獎，并發表多篇有影響力的專業文章，同時擁有多項專利。目前，主要從事雲計算和移動互聯網研究工作。

孫穎，中國電信股份有限公司北京研究院副主任工程師。畢業于北京郵電大學，獲得信号與信息處理專業碩士學位。2004年進入中國電信北京研究院，長期從事寬帶網絡、CDN網絡技術研究，有豐富的網絡規劃、設計和産品開發經驗。曾發表多篇有影響力的專業文章，擁有多項專利。

王峰，中國科學技術大學計算機科學與技術專業博士。從事多年計算機系統結構技術研究，是國内最早研究服務器虛拟化技術的科研人員之一，曾經在IBM中國研究院從事多核平台系統軟件技術和雲計算技術的研發。在國内外核心期刊和學術會議上發表多篇論文，擁有多項專利。2叭O年加入中國電信北京研究院，負責中國電信的雲計算專項規劃，并對虛拟桌面、數據中心網絡、分布式計算等雲計算關鍵技術有深入研究。

陳曉益，2005年加入中國電信北京研究院，北京郵電大學電磁場與微波技術專業碩士，CISSP(信息系統安全認證專家)，專注于寬帶接入技術、視頻編解碼、cDN、P2P和雲計算應用方面的研究，參與了中國電信全國CDN網絡架構設計和工程建設。