Cache和Buffer都是缓存，主要的区别是什么?

什么是buffer/cache?

buffer和cache是两个在计算机技术中被用滥的名词，放在不通语境下会有不同的意义。在Linux的内存管理中，这里的buffer指Linux内存的：Buffer cache。这里的cache指Linux内存中的：Page cache。

翻译成中文可以叫做缓冲区缓存和页面缓存。在历史上，它们一个（buffer）被用来当成对io设备写的缓存，而另一个（cache）被用来当作对io设备的读缓存，这里的io设备，主要指的是块设备文件和文件系统上的普通文件。

但是现在，它们的意义已经不一样了。在当前的内核中，page cache顾名思义就是针对内存页的缓存，说白了就是，如果有内存是以page进行分配管理的，都可以使用page cache作为其缓存来管理使用。

当然，不是所有的内存都是以页（page）进行管理的，也有很多是针对块（block）进行管理的，这部分内存使用如果要用到cache功能，则都集中到buffer cache中来使用。

（从这个角度出发，是不是buffer cache改名叫做block cache更好?）然而，也不是所有块（block）都有固定长度，系统上块的长度主要是根据所使用的块设备决定的，而页长度在X86上无论是32位还是64位都是4k。

明白了这两套缓存系统的区别，就可以理解它们究竟都可以用来做什么了。

什么是page cache?

Page cache主要用来作为文件系统上的文件数据的缓存来用，尤其是针对当进程对文件有read／write操作的时候。

如果你仔细想想的话，作为可以映射文件到内存的系统调用：mmap是不是很自然的也应该用到page cache?在当前的系统实现里，page cache也被作为其它文件类型的缓存设备来用，所以事实上page cache也负责了大部分的块设备文件的缓存工作。

什么是buffer cache?

Buffer cache则主要是设计用来在系统对块设备进行读写的时候，对块进行数据缓存的系统来使用。这意味着某些对块的操作会使用buffer cache进行缓存，比如我们在格式化文件系统的时候。

一般情况下两个缓存系统是一起配合使用的，比如当我们对一个文件进行写操作的时候，page cache的内容会被改变，而buffer cache则可以用来将page标记为不同的缓冲区，并记录是哪一个缓冲区被修改了。

这样，内核在后续执行脏数据的回写（writeback）时，就不用将整个page写回，而只需要写回修改的部分即可。

知乎讨论话题链接:

https://www.zhihu.com/question/26190832

cache是为了弥补高速设备和低速设备的鸿沟而引入的中间层，最终起到加快访问速度的作用。
而buffer的主要目的是进行流量整形，把突发的大数据较小规模的I/O整理成平稳的小数量较大规模的 I/O，以减少响应次数（比如从网上下电影，你不能下一点点数据就写一下硬盘，而是积攒一定量的数据以后一整块一起写，不然硬盘都要被你玩坏了）。

这两者还是有相关性的。首先cache是缓存，buffer是缓冲，虽然翻译有那么一个字的不同，但这不是重点。

为了说明这个问题，让我将他们分开来说：read cache（读缓存），read buffer（读缓冲），write cache（写缓存），write buffer（写缓冲）。

无论缓存还是缓冲，其实本质上解决的都是读写速度不匹配的问题，从这个角度，他们非常相似。

首先讨论读缓存跟读缓冲。读缓存跟读缓冲的最大区别在于，读缓存的目标数据是始终有效的，如果不从缓存中读取，也可以直接读取实际数据，只不过实际数据读取会慢一些，当这个数据在缓存中，读取速度将会变快。当一个缓存中的数据被多次读取，实际上就减少了该数据从慢速设备中读取的量，这就存在某种算法去选择「什么数据需要保存在cache中」，因为尽可能多的让cache命中能提高性能。先进入cache的数据不一定先被读取，甚至说进入cache的数据有可能永远不被读取就被清除了，因此read cache呈现出非常明显的随机访问特性。

而读缓冲buffer的数据则不是始终有效，而是实时生成的数据流，每当buffer满或者主动flush buffer的时候触发一次读取，对于小数据，这样可以减少读取次数，对于大数据，这可以控制单次读取的数据量。换句话说，无论数据量大还是小，单次读取数据量都按照buffer尺寸进行归一化了。通常来说，先喂给buffer的数据一定会先被读取，所有buffer的数据几乎一定会被读取，这是很明显的顺序访问特性。

【注】 从上面的情况看到，读缓存以及读缓冲很明确的反应出了我所说的表面特性。而其本质特性在于cache的目标是减少读取总量每次cache命中都减小了读取总量。而buffer并不能减少读取总量，只能规整化每次读取数据的尺寸大小。

write cache与write buffer?

我们先说write buffer，write buffer是read buffer的对应，对于小数据的写入，它需要填满write buffer再进行一次写入，对于大数据，大数据会被分割到buffer尺寸的大小分批写入。因此，write buffer 的用处在于使得每次写入的数据量相对固定。如果一次写入4k对某个设备来说效率最高，那么把buffer定为4k，小数据积攒到4k写一次，大数据分割到每个碎片4k多次写入，这样就是write buffer的用处。

最后我们来说write cache。所谓write cache，就是要设法减少写入次数。也就是说，如果某些数据需要产生多次写入，那么使用cache就可以只将最终数据写入，导致最终写入数据减少。在实际应用中，我们有时会使用到write buffer跟write cache的合体形态。buffer本身需要规整尺寸，与此同时，buffer还允许多次随机写入，使得多次写入的数据只用写入最后一次，这属于cache的特性。BT软件使用的写缓存往往具有类似特性，因而这种形态它同时既是buffer又是cache。正因为在写入场合buffer跟cache没有那么明显的分界，所以才会有产生buffer跟cache究竟有啥区别的疑问。

简单结论：

1. Buffer不是缓存，国内常用的翻译是缓冲区。

2. 其次，大部分场景中，Buffer是特指内存中临时存放的IO设备数据——包括读取和写入；而Cache的用处很多——很多IO设备（例如硬盘、RAID卡）上都有Cache，CPU内部也有Cache，浏览器也有Cache。

3. Buffer并非用于提高性能，而Cache的目的则是提高性能。

4. 涉及到IO设备读写的场景中，Cache的一部分本身就是Buffer的一种。如果说某些场合Buffer可以提升IO设备的读写性能，只不过是因为Buffer本身是Cache系统的一部分，性能提升来自于Cache机制。

5. Buffer占用的内存不能回收，如果被强行回收会出现IO错误。Cache占用的内存，除实现Buffer的部分外都可以回收，代价则是下一次读取需要从数据的原始位置（通常是性能更低的设备）读取。

6. 在IO读写过程中，任何数据的读写都必然会产生Buffer，但根据Cache算法，可能会有相当部分数据不会被Cache。

以硬盘读写操作为例的完整解释

背景知识一：我们现在的计算机、手机都是冯诺依曼架构，CPU只能操作内存中的数据，无法直接操作硬盘上的数据。

背景知识二：硬盘上的数据，最小读写单位是扇区（Sector）。老式硬盘上一个扇区是512字节，现代硬盘上一个扇区是4K字节。计算机不能以单个字节为单位访问硬盘上的数据。现在很常见的固态硬盘，物理上最小读写单位是页（Page），但大部分固态硬盘通过主控芯片模拟传统硬盘的扇区来进行读写。现代硬盘常用的LBA（Logical Block Addressing，逻辑块寻址）寻址方式，是把硬盘上的扇区分配从0~N-1的编号（N为硬盘上所有可用扇区数量）。

介绍完背景，假设某个应用现在需要读取一个大小为15K字节的文件A。操作系统和文件系统会把文件路径转换为具体的LBA地址，可能最终转换为读取硬盘上从B扇区开始的4个扇区（按照每个扇区4KB计算）。然而，前面我们说了，CPU并不能直接访问硬盘，因此需要先把这四个扇区的数据，传输到内存中。存放这四个扇区数据的内存，就是Buffer。忽略CPU内部的Cache机制，CPU现在可以对这一段内存以字节为单位进行操作，在所有操作完成后，Buffer所占用的内存会被回收。

写入则是相反，应用程序需要先在内存中准备好这四个扇区的数据，然后硬盘控制器会把这些数据原样写入到硬盘对应的扇区上。同样的，写入完成后Buffer所占用的内存也会被回收。

除了用于临时存放IO设备上的数据，Buffer通常还有其它几种用途：

1. 把多次小量数据传输合并为更少次数的批量数据传输， 减少传输过程本身的额外开销；

2. 为两个不能直接交换数据的传输进程的提供临时中介存储；

3. 成单次传输规定的最小单位;

4. 对大块数据进行组装或者分解。

如果这个应用需要频繁读取文件A，每次都从硬盘读取显然会很慢。如果第一次读取完成后，不直接清空Buffer所占用的内存，而是把这段内存保留下来或者先复制到其它内存地址，以后对这个文件的读取就可以直接从内存访问，无需再次从硬盘读取，应用程序的性能就会快很多。这才是Cache，严谨点来说，这是Read Cache，所以台湾把Cache翻译为“快取”，更多的是指Read Cache。但是，并不是所有从硬盘上读取到Buffer的数据都会被Cache的，例如复制一个包含多个数GB的视频文件的文件夹，通常只有这个文件夹的数据会被Cache，而每个具体的视频文件的数据都不会进入Cache。

有Read Cache自然也有Write Cache。还是这个占用四个扇区的文件，假如应用程序需要先更改第一个扇区的内容并写入硬盘，过一段时间再更改第三个扇区的内容并写入硬盘。这样需要对硬盘进行两次写入。但如果第一次应用要求写入的时候，操作系统只是把这个文件的数据写入到内存中并返回写入完成的响应，但数据并没有真正写入硬盘。等收到后续写入请求的时候才真正写入硬盘，则只需要进行一次写入。通过这样的方式，根据实际情况可能实现:

1. 应用程序无需等待真正的写入完成即可继续后续操作，提高应用程序性能;

2. 减少写入次数;

3. 把多个小数据量的写入合并成一个大数据量的写入;

4. 把多个随机写入转换为持续写入

这几种情况中的一种或者多种，从而提高IO性能。但是，对于首次写入来说，这个性能是必然更低的——假设直接写入需要0.02秒，因为要等待后续的写入请求，可能从发起首次写入请求，到数据真正写入硬盘用了0.5秒。这就是国内把Cache翻译为“缓存”的原因——暂缓存储。所以其实“缓存”和“快取”都只是表达了一半的意思，不存在说“快取”比“缓存”翻译的更好——虽然大部分时候Read Cache比Write Cache更常见。

需要另外提一下的是，Write Cache同时也是Buffer的一种形式，在数据写入到硬盘前，是不能被回收的。
最后，Read Cache和Write Cache并不是严格分离的。很多时候Write Cache同时也可以作为Read Cache使用，但在分布式系统中，则需要考虑Cache一致性的问题。

在Linux上如何清除内存的Cache、Buffer和Swap

如何在Linux中清除缓存Cache?

每个Linux系统中有三种选项来清除缓存而不需要中断任何进程或服务

Cache：缓存，指CPU和内存之间高速缓存

Buffer：缓冲区，指在写入磁盘前的存储在内存中的内容

• 仅清除页面缓存（PageCache）

  sync;echo 1 > /proc/sys/vm/drop_caches

• 清除目录和inode

  sync;echo 2 > /proc/sys/vm/drop_caches

• 清除页面缓存，目录项和inode

  sync;echo 3 > /proc/sys/vm/drop_caches

说明：

sync 将刷新文件系统缓冲区（buffer），命令通过“;”分隔，顺序执行，shell在执行序列中的下一个命令之前会等待命令的终止。正如内核文档中提到的，写入到drop_cache将清空缓存而不会杀死任何应用程序/服务，echo命令做写入文件的工作。

如果你必须清除磁盘高速缓存，第一个命令在企业和生产环境中是最安全，...echo 1> ... ，只会清除页面缓存。

在生产环境中不建议使用上面的第三个选项，...echo 3 > ... ，除非你明确自己在做什么，因为它会清除缓存页，目录项和inodes。

在Linux上释放也许被内核所使用的缓冲区（Buffer）和缓存（Cache）是否是个好主意?

当你设置许多设定想要检查效果时，如果它实际上是专门针对 I/O 范围的基准测试，那么你可能需要清除缓冲区和缓存。你可以如上所示删除缓存，无需重新启动系统（即无需停机）。

Linux被设计成它在寻找磁盘之前到磁盘缓存寻找的方式。如果它发现该资源在缓存中，则该请求不会发送到磁盘。如果我们清理缓存，磁盘缓存就起不到作用了，系统会到磁盘上寻找资源。

此外，当清除缓存后它也将减慢系统运行速度，系统会将每一个被请求的资源再次加载到磁盘缓存中。

现在，我们将创建一个 shell 脚本，通过一个 cron 调度任务在每天下午2点自动清除RAM缓存。如下创建一个 shell 脚本 clearcache.sh 并在其中添加以下行：

#!/bin/bash
# 注意，我们这里使用了 "echo 3"，但是不推荐使用在产品环境中，应该使用 "echo 1"
echo "echo 3 > /proc/sys/vm/drop_caches"

给 clearcache.sh 文件设置执行权限

chmod 755 clearcache.sh

现在，当你需要清除内存缓存时只需要调用脚本。

现在设置一个每天下午2点的定时任务来清除RAM缓存，打开crontab进行编辑。

crontab -e

添加以下行，保存并退出。

0 3 * * * /path/to/clearcache.sh

在生产环境的服务器上自动清除RAM是否是一个好主意?

不！它不是。

想想一个情况，当你已经预定脚本在每天下午2点来清除内存缓存。那么其时该脚本会执行并刷新你的内存缓存。在某一天由于某些原因，可能您的网站的在线用户会超过预期地从你的服务器请求资源。

而在这时，按计划调度的脚本运行了，并清除了缓存中的一切。当所有的用户都从磁盘读取数据时，这将导致服务器崩溃并损坏数据库。因此，清除缓存仅在必要时并且在你的预料之中，否则你就是个呆瓜系统管理员。

如何清除Linux的交换空间

swapoff -a && swapon -a

此外，了解有关风险后，您可以将上面的命令添加到cron中。

现在，我们将上面两种命令结合成一个命令，写成正确的脚本来同时清除RAM缓存和交换空间。

echo 3 > /proc/sys/vm/drop_caches && swapoff -a && swapon -a && printf '\n%s\n' 'Ram-cache and Swap Cleared'

或

su -c 'echo 3 > /proc/sys/vm/drop_caches' && swapoff -a && swapon -a && printf '\n%s\n' 'Ram-cache and Swap Cleared'