概述

我们都知道,直接从内存读写数据要比从硬盘读写数据快得多,因此更希望所有数据的读取和写入都在内存中完成,然而内存是有限的,这样就引出了物理内存与虚拟内存的概念。

物理内存就是系统硬件提供的内存大小,是真正的内存。相对于物理内存,在 Linux 下还有一个虚拟内存的概念,虚拟内存是为了满足物理内存的不足而提出的策略,它是利用磁盘空间虚拟出的一块逻辑内存。用作虚拟内存的磁盘空间被称为交换空间(又称 swap 空间)。

作为物理内存的扩展,Linux 会在物理内存不足时,使用交换分区的虚拟内存,更详细地说,就是内核会将暂时不用的内存块信息写到交换空间,这样一来,物理内存得到了释放,这块内存就可以用于其他目的,当需要用到原始的内容时,这些信息会被重新从交换空间读入物理内存。

Linux 的内存管理采取的是分页存取机制,为了保证物理内存能得到充分的利用,内核会在适当的时候将物理内存中不经常使用的数据块自动交换到虚拟内存中,而将经常使用的信息保留到物理内存。

要深入了解 Linux 内存运行机制,需要知道下面提到的几个方面:

  • 首先,Linux 系统会不时地进行页面交换操作,以保持尽可能多的空闲物理内存,即使并没有什么事情需要内存,Linux 也会交换出暂时不用的内存页面,因为这样可以大大节省等待交换所需的时间。

  • 其次,Linux 进行页面交换是有条件的,不是所有页面在不用时都交换到虚拟内存,Linux 内核根据“最近最经常使用”算法,仅仅将一些不经常使用的页面文件交换到虚拟内存。

有时我们会看到这么一个现象,Linux 物理内存还有很多,但是交换空间也使用了很多,其实这并不奇怪。例如,一个占用很大内存的进程运行时,需要耗费很多内存资源,此时就会有一些不常用页面文件被交换到虚拟内存中,但后来这个占用很多内存资源的进程结束并释放了很多内存时,刚才被交换出去的页面文件并不会自动交换进物理内存(除非有这个必要),那么此时系统物理内存就会空闲很多,同时交换空间也在被使用,就出现了刚才所说的现象了。

最后,交换空间的页面在使用时会首先被交换到物理内存,如果此时没有足够的物理内存来容纳这些页面,它们又会被马上交换出去,如此一来,虚拟内存中可能没有足够的空间来存储这些交换页面,最终会导致 Linux 出现假死机、服务异常等问题。Linux 虽然可以在一段时间内自行恢复,但是恢复后的系统己经基本不可用了。

因此,合理规划和设计 Linux 内存的使用是非常重要的,关于物理内存和交换空间的大小设置问题,取决于实际所用的硬盘大小,但大致遵循这样一个基本原则:

  1. 如果内存较小(根据经验,物理内存小于 4GB),一般设置 swap 分区大小为内存的 2 倍;

  2. 如果物理内存大于 4GB,而小于 16GB,可以设置 swap 分区大小等于物理内存;

  3. 如果内存大小在 16GB 以上,可以设置 swap 为 0,但并不建议这么做,因为设置一定大小的 swap 分区是有一定作用的。

Linux free 命令

  • total:服务器内存总大小:15G

  • used:已经使用了多少内存:1.8G,已用内存总量(used = total - free - buffers - cache,这里没减去 shared,我理解是 shared 是 used 的其中一部分)

  • free:未被任何应用使用的真实空闲内存,也叫未被分配出去的内存,(真正尚未被使用的物理内存数)

  • shared:表示多个进程共享的内存总额。

  • buff/cachebuffers 和 cache 所用总量的总和(buffers 为内核缓冲区所用的内存,cache 为页缓存和 slabs 所用的内存容量)

  • available:为估算值,是在不需要 swapping 内存的情况下,可用物理内存容量。它是从应用程序的角度看到的可用内存数量。

内核为了提升磁盘操作的性能,会消耗一部分内存去缓存磁盘数据(就是buffer和cache),所以对于内核来说 buffer 和 cache 都属于已经被使用的内存。

当应用程序需要内存时,如没有足够的 free 内存可用,内核就会从 buffer 和 cache 中回收内存来满足应用程序的请求。所以从应用程序的角度来说,available = free + buffer + cache

注: 这只是一个很理想的计算方式,实际中的数据往往有较大的误差。

Swap 虚拟内存

概述

Swap 空间的作用可简单描述为:当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序,这些被释放的空间被临时保存到 Swap 空间中,等到那些程序要运行时,再从 Swap 中恢复保存的数据到内存中。这样,系统总是在物理内存不够时,才进行 Swap 交换。

计算机用户会经常遇这种现象。例如,在使用 Windows 系统时,可以同时运行多个程序,当你切换到一个很长时间没有理会的程序时,会听到硬盘“哗哗”直响。这是因为这个程序的内存被那些频繁运行的程序给“偷走”了,放到了 Swap 区中。因此,一旦此程序被放置到前端,它就会从 Swap 区取回自己的数据,将其放进内存,然后接着运行。

需要说明一点,并不是所有从物理内存中交换出来的数据都会被放到 Swap 中(如果这样的话,Swap 就会不堪重负),有相当一部分数据被直接交换到文件系统。例如,有的程序会打开一些文件,对文件进行读写(其实每个程序都至少要打开一个文件,那就是运行程序本身),当需要将这些程序的内存空间交换出去时,就没有必要将文件部分的数据放到 Swap 空间中了,而可以直接将其放到文件里去。如果是读文件操作,那么内存数据被直接释放,不需要交换出来,因为下次需要时,可直接从文件系统恢复;如果是写文件,只需要将变化的数据保存到文件中,以便恢复。但是那些用 malloc 和 new 函数生成的对象的数据则不同,它们需要 Swap 空间,因为它们在文件系统中没有相应的“储备”文件,因此被称作“匿名”(Anonymous)内存数据。这类数据还包括堆栈中的一些状态和变量数据等。所以说,Swap 空间是“匿名”数据的交换空间。

另外,Swap 分区的数量对性能也有很大的影响。因为 Swap 交换的操作是磁盘 IO 的操作,如果有多个 Swap 交换区,Swap 空间的分配会以轮流的方式操作于所有的 Swap,这样会大大均衡 IO 的负载,加快 Swap 交换的速度。如果只有一个交换区,所有的交换操作会使交换区变得很忙,使系统大多数时间处于等待状态,效率很低。用性能监视工具就会发现,此时的 CPU 并不很忙,而系统却慢。这说明,瓶颈在 IO 上,依靠提高 CPU 的速度是解决不了问题的。

总结

当 Linux 的物理内存快要被耗尽时,系统会把一些进程占用的内存转移到 swap 区,当物理内存被释放一部分时,swap 区的一些内存占用又慢慢回到 mem 区,但是 mem 区却不再是之前的满负荷状态,而是有一部分 free 的内存!

  • 当物理内存快被耗尽时,系统并没有崩溃,而是拿 swap 做临时内存,当两者都耗尽,系统 OutofMemory

  • 物理内存达到峰值,系统中一些不常用的进程内存占用被提到 swap 区

  • 当 Men 区的资源进行释放时,被挪到 swap 的内存并不会全部回来,随着系统或者程序的唤醒才会慢慢回到 men 区

  • swap 是内存不够时,磁盘虚拟出来的内存,磁盘主要是 I/O 级别的操作,并不是系统内核级别的操作,处理速度跟 mem 区不是一个等级

其实 Swap 是可以关闭的(比如 swapon,swapoff 命令),有些时候为了追求高性能会这么做,通常为了性能设置在10-30之间比较多。

通常使 Swap 负载保持在 30% 以下,这样才能保证系统的良好性能,这是一个参考值。

Swap 可以是磁盘划分的分区,因此有人叫做交换分区;也可以是某个文件,有方法教如何扩展swap空间。Swap 可以设置多个的。

Linux 系统的内存管理必须使用交换区来建立虚拟内存,安装好系统后可以把它关闭掉的。

Swap 被频繁使用的情况,将被视作物理内存不足而造成的,此时考虑扩展物理内存,或排查什么程序如此占用内存了;或者服务器很久没有重启,使 Swap 占用过大。

物理内存剩余多少的时候,会使用虚拟内存呢?

Linux 下的 Swap 分区触发是由参数控制的,swappiness 参数将控制在剩余多少物理内存的时候使用虚拟内存,当然,虚拟内存是在迫不得已的情况就才使用的,否则会大大降低系统性能。

centos7 结果通常是 30,30 的意思表示在物理内存已经使用了 70% 的时候(也就是100 - 30),剩余 30% 没使用,会开始使用 Swap 虚拟内存。

(个人记忆:swappiness = 30 表示物理内存只有最后 30% 可用了,就开始使用 Swap

如何设置合理的 Swap 交换触发点

swappiness 的值的大小对如何使用 Swap 分区是有着很大的联系的。

  • swappiness = 0 的时候表示最大限度使用物理内存,然后才是 Swap 空间。在配置 k8s 或者其它一些追求高性能的情况,你可能看到关闭 Swap 的分区。

  • swappiness=100 的时候表示积极的使用 Swap 分区,并且把内存上的数据及时的搬运到 Swap 空间里面。

  • swappiness 这个值应该低一点,系统的性能就比较好,通常为了性能设置在 10-30 之间比较多。

设置方法:

  1. 临时

这种方式是临时修改,重启后将自动还原。

sysctl vm.swappiness=10
# 立即生效
sysctl -p
  1. 永久

编辑 /etc/sysctl.conf,在最下面添加:

kernel.shmall = 4294967296
vm.swappiness=10

参考文档

https://c.biancheng.net/view/6105.htmlhttps://blog.51cto.com/luckyshiliang/5215116