دانشنامه عمومی
برای مقرون به صرفه بودن و برای استفاده کارآمد از داده، حافظه های نهان باید نسبتاً کوچک باشند. با این وجود، حافظه های پنهان خود را در بسیاری از زمینه های محاسبات نشان داده اند، زیرا نرم افزارهای کاربردی رایج به مقادیر بالایی از داده با مرجع محلی دسترسی دارند. چنین روش های دسترسی نشان دهنده موقعیت مکانی زمانی است، که در آن داده هایی درخواست شده است که اخیراً درخواست شده است، و آدرس حافظه، جایی که اطلاعات درخواست شده است به صورت فیزیکی نزدیک به داده هایی که قبلاً درخواست شده اند، ذخیره شده است.
یک همبستگی ذاتی بین اندازه و سرعت وجود دارد ( با توجه به این که یک منبع بزرگتر فضاهای فیزیکی بیشتری را فراهم می کند ) اما همچنین یک تعادل بین تکنولوژی های گران قیمت ( مانند SRAM ) با کالاهای ارزان تری که به راحتی تولید انبوه می شوند ( مانند DRAM یا سخت دیسک ها ) وجود دارد.
بافر ارائه شده توسط یک حافظه پنهان مزایای پهنای باند و تاخیر فراهم:
یک منبع بزرگتر، تاخیر قابل ملاحظه ای برای دسترسی به اطلاعات دارد؛ مثلاً در پردازنده مدرن با فرکانس GHz 4، صدها چرخه ساعت برای رسیدن به DRAM طول می کشد. این امر با خواندن در بخش های بزرگ، با امید به آن که خواندن در آینده از نقاط نزدیک به آن باشد، کاهش یابد. پیش بینی یا پیشفرض صریح نیز ممکن است باعث شود که بتوان حدس زد در آینده چیزی که خوانده می شود از کجا می آید و در زمان های پیش رو به درخواست ها جواب داده شود؛ اگر به درستی انجام شود، تأخیر به طور کامل از بین می رود.
