工作原理
緩存的工作原理是當CPU要讀取一個數據時，首先從緩存中查找，如果找到就立即讀取并送給CPU處理；如果沒有找到，就用相對慢的速度從内存中讀取并送給CPU處理，同時把這個數據所在的 數據塊調入緩存中，可以使得以後對整塊數據的讀取都從緩存中進行，不必再調用内存。
正是這樣的讀取機制使CPU讀取緩存的命中率非常高（大多數CPU可達90%左右），也就是說CPU下一次要讀取的數據90%都在緩存中，隻有大約10%需要從内存讀取。這大大節省了CPU直接讀取内存的時間，也使CPU讀取數據時基本無需等待。總的來說，CPU讀取數據的順序是先緩存後内存。
最早先的CPU緩存是個整體的，而且容量很低，英特爾公司從Pentium時代開始把緩存進行了分類。當時集成在CPU内核中的緩存已不足以滿足CPU的需求，而制造工藝上的限制又不能大幅度提高緩存的容量。因此出現了集成在與CPU同一塊電路闆上或主闆上的緩存，此時就把 CPU内核集成的緩存稱為 一級緩存，而外部的稱為二級緩存。 一級緩存中還分 數據緩存（Data Cache，D-Cache）和 指令緩存（Instruction Cache，I-Cache）。二者分别用來存放數據和執行這些數據的指令，而且兩者可以同時被CPU訪問，減少了争用Cache所造成的沖突，提高了處理器效能。英特爾公司在推出Pentium 4處理器時，用新增的一種一級 追蹤緩存替代 指令緩存，容量為12KμOps，表示能存儲12K條 微指令。
發展概況
随着 CPU制造工藝的發展，二級緩存也能輕易的集成在CPU内核中， 容量也在逐年提升。現在再用集成在CPU内部與否來定義一、二級緩存，已不确切。而且随着二級緩存被集成入CPU内核中，以往二級緩存與CPU大差距分頻的情況也被改變，此時其以相同于 主頻的速度工作，可以為CPU提供更高的傳輸速度。
二級緩存是CPU性能表現的關鍵之一，在CPU核心不變化的情況下，增加 二級緩存容量能使性能大幅度提高。而同一核心的CPU高低端之分往往也是在二級緩存上有差異，由此可見二級緩存對于CPU的重要性。
緩存替換
CPU在緩存中找到有用的數據被稱為命中，當緩存中沒有CPU所需的數據時（這時稱為未命中），CPU才訪問内存。從理論上講，在一顆擁有二級緩存的CPU中，讀取 一級緩存的命中率為80%。也就是說 CPU一級緩存中找到的有用數據占數據總量的80%，剩下的20%從二級緩存中讀取。由于不能準确預測将要執行的數據，讀取二級緩存的命中率也在80%左右（從二級緩存讀到有用的數據占總數據的16%）。那麼還有的數據就不得不從内存調用，但這已經是一個相當小的比例了。目前的較高端的CPU中，還會帶有 三級緩存，它是為讀取二級緩存後未命中的數據設計的—種緩存，在擁有三級緩存的CPU中，隻有約5%的數據需要從内存中調用，這進一步提高了CPU的效率。
為了保證CPU訪問時有較高的命中率，緩存中的内容應該按一定的算法替換。一種較常用的算法是“最近最少使用算法”（LRU算法），它是将最近一段時間内最少被訪問過的行淘汰出局。因此需要為每行設置一個計數器，LRU算法是把命中行的計數器清零，其他各行計數器加1。當需要替換時淘汰行計數器計數值最大的數據行出局。這是一種高效、科學的算法，其計數器清零過程可以把一些頻繁調用後再不需要的數據淘汰出緩存，提高緩存的利用率。
緩存容量
CPU産品中， 一級緩存的容量基本在4KB到64KB之間，二級緩存的容量則分為128KB、256KB、512KB、1MB、2MB等。 一級緩存容量各産品之間相差不大，而 二級緩存容量則是提高CPU性能的關鍵。 二級緩存容量的提升是由CPU 制造工藝所決定的，容量增大必然導緻CPU内部晶體管數的增加，要在有限的CPU面積上集成更大的緩存，對制造工藝的要求也就越高。
CPU的二級緩存一般情況下你感覺不是很明顯。但是它的作用卻不可忽視。它是暫存CPU運算時的數據的。硬盤的緩存主要在讀/寫的時候很突出。是CPU的二級緩存是在運行時候突出出來的，兩者相比不是很明顯。
你認為如果大于512K的和1M的都一樣的話。英特爾公司為什麼還推出1M的呢？他為什麼不把1M的緩存分成兩個512K的放在兩個CPU上從而降低成本呢？你用兩台同樣配置的電腦放上兩個不同的CPU。一個放P4 2.8E（1M二級緩存）。另一個放P4 2.8C（512K）的。然後同時運行1G左右視頻轉換！你會發現2.8E的要比2.8C的快1/5左右。
