一文搞定 | Linux 共享內存原理
在Linux系統中,每個進程都有獨立的虛擬內存空間,也就是說不同的進程訪問同一段虛擬內存地址所得到的數據是不一樣的,這是因為不同進程相同的虛擬內存地址會映射到不同的物理內存地址上。
但有時候為了讓不同進程之間進行通信,需要讓不同進程共享相同的物理內存,Linux通過 共享內存 來實現這個功能。下面先來介紹一下Linux系統的共享內存的使用。
共享內存使用
1. 獲取共享內存
要使用共享內存,首先需要使用 shmget() 函數獲取共享內存,shmget() 函數的原型如下:
- 參數 key 一般由 ftok() 函數生成,用于標識系統的唯一IPC資源。
- 參數 size 指定創建的共享內存大小。
- 參數 shmflg 指定 shmget() 函數的動作,比如傳入 IPC_CREAT 表示要創建新的共享內存。
函數調用成功時返回一個新建或已經存在的的共享內存標識符,取決于shmflg的參數。失敗返回-1,并設置錯誤碼。
2. 關聯共享內存
shmget() 函數返回的是一個標識符,而不是可用的內存地址,所以還需要調用 shmat() 函數把共享內存關聯到某個虛擬內存地址上。shmat() 函數的原型如下:
- 參數 shmid 是 shmget() 函數返回的標識符。
- 參數 shmaddr 是要關聯的虛擬內存地址,如果傳入0,表示由系統自動選擇合適的虛擬內存地址。
- 參數 shmflg 若指定了 SHM_RDONLY 位,則以只讀方式連接此段,否則以讀寫方式連接此段。
函數調用成功返回一個可用的指針(虛擬內存地址),出錯返回-1。
3. 取消關聯共享內存
當一個進程不需要共享內存的時候,就需要取消共享內存與虛擬內存地址的關聯。取消關聯共享內存通過 shmdt() 函數實現,原型如下:
- 參數 shmaddr 是要取消關聯的虛擬內存地址,也就是 shmat() 函數返回的值。
函數調用成功返回0,出錯返回-1。
共享內存使用例子
下面通過一個例子來介紹一下共享內存的使用方法。在這個例子中,有兩個進程,分別為 進程A 和 進程B,進程A 創建一塊共享內存,然后寫入數據,進程B 獲取這塊共享內存并且讀取其內容。
進程A
進程B
測試時先運行進程A,然后再運行進程B,可以看到進程B會打印出 “Hello World”,說明共享內存已經創建成功并且讀取。
共享內存實現原理
我們先通過一幅圖來了解一下共享內存的大概原理,如下圖:
通過上圖可知,共享內存是通過將不同進程的虛擬內存地址映射到相同的物理內存地址來實現的,下面將會介紹Linux的實現方式。
在Linux內核中,每個共享內存都由一個名為 struct shmid_kernel 的結構體來管理,而且Linux限制了系統最大能創建的共享內存為128個。通過類型為 struct shmid_kernel 結構的數組來管理,如下:
從注釋可以知道 struct shmid_kernel 結構體各個字段的作用,比如 shm_npages 字段表示共享內存使用了多少個內存頁。而 shm_pages 字段指向了共享內存映射的虛擬內存頁表項數組等。
另外 struct shmid_ds 結構體用于管理共享內存的信息,而 shm_segs數組 用于管理系統中所有的共享內存。
shmget() 函數實現
通過前面的例子可知,要使用共享內存,首先需要調用 shmget() 函數來創建或者獲取一塊共享內存。shmget() 函數的實現如下:
shmget() 函數的實現比較簡單,首先調用 findkey() 函數查找值為key的共享內存是否已經被創建,findkey() 函數返回共享內存在 shm_segs數組 的索引。如果找到,那么直接返回共享內存的標識符即可。否則就調用 newseg() 函數創建新的共享內存。newseg() 函數的實現也比較簡單,就是創建一個新的 struct shmid_kernel 結構體,然后設置其各個字段的值,并且保存到 shm_segs數組 中。
shmat() 函數實現
shmat() 函數用于將共享內存映射到本地虛擬內存地址,由于 shmat() 函數的實現比較復雜,所以我們分段來分析這個函數:
上面這段代碼主要通過 shmid 標識符來找到共享內存描述符,上面說過系統中所有的共享內存到保存在 shm_segs 數組中。
上面的代碼主要找到一個可用的虛擬內存地址,如果在調用 shmat() 函數時沒有指定了虛擬內存地址,那么就通過 get_unmapped_area() 函數來獲取一個可用的虛擬內存地址。
上面的代碼主要通過調用 kmem_cache_alloc() 函數創建一個 vm_area_struct 結構,在內存管理一章知道,vm_area_struct 結構用于管理進程的虛擬內存空間。
上面的代碼主要是設置剛創建的 vm_area_struct 結構的各個字段,比較重要的是設置其 vm_ops 字段為 shm_vm_ops,shm_vm_ops 定義如下:
shm_vm_ops 的 nopage 回調為 shm_nopage() 函數,也就是說,當發生頁缺失異常時將會調用此函數來恢復內存的映射。
從上面的代碼可看出,shmat() 函數只是申請了進程的虛擬內存空間,而共享內存的物理空間并沒有申請,那么在什么時候申請物理內存呢?答案就是當進程發生缺頁異常的時候會調用 shm_nopage() 函數來恢復進程的虛擬內存地址到物理內存地址的映射。
shm_nopage() 函數實現
shm_nopage() 函數是當發生內存缺頁異常時被調用的,代碼如下:
shm_nopage() 函數的主要功能是當發生內存缺頁時,申請新的物理內存頁,并映射到共享內存中。由于使用共享內存時會映射到相同的物理內存頁上,從而不同進程可以共用此塊內存。