前言
虛擬文件系統(tǒng)是一個很龐大的架構(gòu),如果要分析的面面俱到,會顯得特別復(fù)雜而笨拙,讓人看著看著,就不知所云了(當(dāng)然主要還是筆者太菜),所以這篇博客,以?open()?函數(shù)為切入點,來試著分析分析VFS文件系統(tǒng)的運轉(zhuǎn)機理,本文的代碼來源于 linux3.4.2。
基礎(chǔ)知識
首先我們來看一張圖:

(圖1)
從這張圖中,我們可以看出,系統(tǒng)調(diào)用函數(shù)并不是直接操作真正的文件系統(tǒng),而是通過一層中間層,也就是我們說的虛擬文件系統(tǒng),為什么要有虛擬文件系統(tǒng)?
linux中常見的文件系統(tǒng)有三類:基于磁盤的文件系統(tǒng);基于內(nèi)存的文件系統(tǒng);網(wǎng)絡(luò)文件系統(tǒng),(這三類文件系統(tǒng)是共存于文件系統(tǒng)層,為不同類型的數(shù)據(jù)提供存儲服務(wù),這三類文件系統(tǒng)格式是不一樣的,也就是說如果不通過虛擬文件系統(tǒng),直接對真正的文件系統(tǒng)進行讀取,有種類型的文件系統(tǒng),你就得寫幾種相對應(yīng)的讀取函數(shù)),所以說虛擬文件的出現(xiàn)(VFS)就是為了通過使用同一套文件 I/O 系統(tǒng) 調(diào)用即可對 Linux 中的任意文件進行操作而無需考慮其所在的具體文件系統(tǒng)格式。
VFS的數(shù)據(jù)結(jié)構(gòu)
VFS依靠四個主要的數(shù)據(jù)結(jié)構(gòu)和一些輔助的數(shù)據(jù)結(jié)構(gòu)來描述其結(jié)構(gòu)信息,這些數(shù)據(jù)結(jié)構(gòu)表現(xiàn)得就像是對象;每個主要對象中都包含由操作函數(shù)表構(gòu)成的操作對象,這些操作對象描述了內(nèi)核針對這幾個主要的對象可以進行的操作。
1、超級塊對象
存儲一個已安裝的文件系統(tǒng)的控制信息,代表一個已安裝的文件系統(tǒng);每次一個實際的文件系統(tǒng)被安裝時, 內(nèi)核會從磁盤的特定位置讀取一些控制信息來填充內(nèi)存中的超級塊對象。一個安裝實例和一個超級塊對象一一對應(yīng)。超級塊通過其結(jié)構(gòu)中的一個域s_type記錄它所屬的文件系統(tǒng)類型。
?
struct?super_block?{?//超級塊數(shù)據(jù)結(jié)構(gòu)
????????struct?list_head?s_list;????????????????/*指向超級塊鏈表的指針*/
????????……
????????struct?file_system_type??*s_type;???????/*文件系統(tǒng)類型*/
???????struct?super_operations??*s_op;?????????/*超級塊方法*/
????????……
????????struct?list_head?????????s_instances;???/*該類型文件系統(tǒng)*/
????????……
};
struct?super_operations?{?//超級塊方法
????????……
????????//該函數(shù)在給定的超級塊下創(chuàng)建并初始化一個新的索引節(jié)點對象
????????struct?inode?*(*alloc_inode)(struct?super_block?*sb);
???????……
????????//該函數(shù)從磁盤上讀取索引節(jié)點,并動態(tài)填充內(nèi)存中對應(yīng)的索引節(jié)點對象的剩余部分
????????void?(*read_inode)?(struct?inode?*);
???????……
};
?
2、索引節(jié)點對象
索引節(jié)點對象存儲了文件的相關(guān)信息,代表了存儲設(shè)備上的一個實際的物理文件。當(dāng)一個 文件首次被訪問時,內(nèi)核會在內(nèi)存中組裝相應(yīng)的索引節(jié)點對象,以便向內(nèi)核提供對一個文件進行操 作時所必需的全部信息;這些信息一部分存儲在磁盤特定位置,另外一部分是在加載時動態(tài)填充的。
?
struct?inode?{//索引節(jié)點結(jié)構(gòu)
??????……
??????struct?inode_operations??*i_op;?????/*索引節(jié)點操作表*/
?????struct?file_operations???*i_fop;??/*該索引節(jié)點對應(yīng)文件的文件操作集*/
?????struct?super_block???????*i_sb;?????/*相關(guān)的超級塊*/
?????……
};
struct?inode_operations?{?//索引節(jié)點方法
?????……
?????//該函數(shù)為dentry對象所對應(yīng)的文件創(chuàng)建一個新的索引節(jié)點,主要是由open()系統(tǒng)調(diào)用來調(diào)用
?????int?(*create)?(struct?inode?*,struct?dentry?*,int,?struct?nameidata?*);
?????//在特定目錄中尋找dentry對象所對應(yīng)的索引節(jié)點
?????struct?dentry?*?(*lookup)?(struct?inode?*,struct?dentry?*,?struct?nameidata?*);
?????……
};
?
3、目錄項對象
引入目錄項的概念主要是出于方便查找文件的目的。一個路徑的各個組成部分,不管是目錄還是 普通的文件,都是一個目錄項對象。如:在路徑?/home/source/test.c?中,目錄?/、home、source?和文件?test.c都對應(yīng)一個目錄項對象。不同于前面的兩個對象,目錄項對象沒有對應(yīng)的磁盤數(shù)據(jù)結(jié)構(gòu),VFS 在遍歷路徑名的過程中現(xiàn)場將它們逐個地解析成目錄項對象。
?
struct?dentry?{//目錄項結(jié)構(gòu)
?????……
?????struct?inode?*d_inode;???????????/*相關(guān)的索引節(jié)點*/
????struct?dentry?*d_parent;?????????/*父目錄的目錄項對象*/
????struct?qstr?d_name;??????????????/*目錄項的名字*/
????……
?????struct?list_head?d_subdirs;??????/*子目錄*/
????……
?????struct?dentry_operations?*d_op;??/*目錄項操作表*/
????struct?super_block?*d_sb;????????/*文件超級塊*/
????……
};
struct?dentry_operations?{
????//判斷目錄項是否有效;
????int?(*d_revalidate)(struct?dentry?*,?struct?nameidata?*);
????//為目錄項生成散列值;
????int?(*d_hash)?(struct?dentry?*,?struct?qstr?*);
????……
};
?
4、文件對象
文件對象是已打開的文件在內(nèi)存中的表示,主要用于建立進程和磁盤上的文件的對應(yīng)關(guān)系。它由?sys_open()?現(xiàn)場創(chuàng)建,由?sys_close()?銷毀。文件對象和物理文件的關(guān)系有點像進程和程序的關(guān)系一樣。
當(dāng)我們站在用戶空間來看待 VFS,我們像是只需與文件對象打交道,而無須關(guān)心超級塊,索引節(jié)點或目錄項。因為多個進程可以同時打開和操作 同一個文件,所以同一個文件也可能存在多個對應(yīng)的文件對象。
文件對象僅僅在進程觀點上代表已經(jīng)打開的文件,它 反過來指向目錄項對象(反過來指向索引節(jié)點)。一個文件對應(yīng)的文件對象可能不是惟一的,但是其對應(yīng)的索引節(jié)點和 目錄項對象無疑是惟一的。
?
struct?file?{
????……
?????struct?list_head????????f_list;????????/*文件對象鏈表*/
????struct?dentry??????????*f_dentry;???????/*相關(guān)目錄項對象*/
????struct?vfsmount????????*f_vfsmnt;???????/*相關(guān)的安裝文件系統(tǒng)*/
????struct?file_operations?*f_op;???????????/*文件操作表*/
????……
};
struct?file_operations?{
????……
????//文件讀操作
????ssize_t?(*read)?(struct?file?*,?char?__user?*,?size_t,?loff_t?*);
????……
????//文件寫操作
????ssize_t?(*write)?(struct?file?*,?const?char?__user?*,?size_t,?loff_t?*);
????……
????int?(*readdir)?(struct?file?*,?void?*,?filldir_t);
????……
????//文件打開操作
????int?(*open)?(struct?inode?*,?struct?file?*);
????……
};
?
正篇
經(jīng)過基礎(chǔ)知識點的介紹后,我們開始來探究,當(dāng)我們通?open()?嘗試去打開一個文件的時候,Linux 內(nèi)部是如何找到對應(yīng)的存儲在硬件上的該文件的數(shù)據(jù)。

(圖2)

(圖3)
首先我們來看看上面這兩張圖,files_struct?主要就是一個?file?指針數(shù)組,我們通常說的文件描述符是一個整數(shù),而這個整數(shù)正好可以作為下標(biāo),從而從?files_struct?中獲得?file?結(jié)構(gòu)。
task_struct?為進程描述符,代表的是打開文件的這么一個動作,這里我想表達的知識點:當(dāng)文件第一次被打開時(打開成功),會建立起如上圖所示的聯(lián)系,返回?fd?文件描述符就這樣和底層的存儲結(jié)構(gòu)聯(lián)系在了一起,fd?作為文件描述符,文件作為數(shù)據(jù)的載體,我們可以將它們理解為密碼和保險柜之間的關(guān)系,第一打開文件就是相當(dāng)初始化時設(shè)置密碼(建立起了密碼和保險柜的聯(lián)系),當(dāng)我們以后再需要拿取保險柜中的東西時,只需要通過第一次設(shè)置的密碼就可以對保險柜進程操作。
內(nèi)核中,對應(yīng)于每個進程都有一個文件描述符表,表示這個進程打開的所有文件。文件描述表中每一項都是一個指針,指向一個用于描述打開的文件的數(shù)據(jù)塊 ———?file?對象,file?對象中描述了文件的打開模式,讀寫位置等重要信息,當(dāng)進程打開一個文件時,內(nèi)核就會創(chuàng)建一個新的?file?對象。
需要注意的是,file?對象不是專屬于某個進程的,不同進程的文件描述符表中的指針可以指向相同的?file?對象,從而共享這個打開的文件。?file?對象有引用計數(shù),記錄了引用這個對象的文件描述符個數(shù),只有當(dāng)引用計數(shù)為0時,內(nèi)核才銷毀?file?對象,因此某個進程關(guān)閉文件,不影響與之共享同 一個?file?對象的進程.
下面我們來分析具體的代碼。
應(yīng)用層:
應(yīng)用程序在操作任何一個文件之前,必須先調(diào)用?open()?來打開該文件,即通知內(nèi)核新建一個代表該文件的結(jié)構(gòu),并且返回該文件的描述符(一個整數(shù)),該描述符在進程內(nèi)唯一。所用到函數(shù)為?open():
?
int?open(const?char?*?pathname,int?oflag,?mode_t?mode?) ????/*pathname:代表需要打開的文件的文件名; ?????? oflag:表示打開的標(biāo)識?(只讀打開/只寫打開/讀寫打開 ...........) ??????? ??????mode:?當(dāng)新創(chuàng)建一個文件時,需要指定mode參數(shù)(設(shè)置權(quán)限) ?????*/
?
內(nèi)核層:
當(dāng)?open()?系統(tǒng)調(diào)用進入內(nèi)核時候,最終調(diào)用的函數(shù)為:
?
SYSCALL_DEFINE3(open,?const?char?__user?,?filename,?int,?flags,?int,mode)
?
該函數(shù)位于?fs/open.c?中,下面將會分析其具體的實現(xiàn)過程。
?
SYSCALL_DEFINE3(open,?const?char?__user?*,?filename,?int,?flags,?int,?mode)
{
?long?ret;
?//判斷系統(tǒng)是否支持大文件,即判斷l(xiāng)ong的位數(shù),如果64則表示支持大文件;?
?if?(force_o_largefile())
??flags?|=?O_LARGEFILE;
?
?//完成主要的open工作,AT_FDCWD表示從當(dāng)前目錄開始查找
?ret?=?do_sys_open(AT_FDCWD,?filename,?flags,?mode);
?/*?avoid?REGPARM?breakage?on?x86:?*/
?asmlinkage_protect(3,?ret,?filename,?flags,?mode);
?return?ret;
}
?
該函數(shù)主要調(diào)用?do_sys_open()?來完成打開工作,do_sys_open()?的代碼分析如下。
?
long?do_sys_open(int?dfd,?const?char__user?*filename,?int?flags,?int?mode)
{
?//將欲打開的文件名拷貝到內(nèi)核中,該函數(shù)的分析見下文;
?char?*tmp?=?getname(filename);
?int?fd?=?PTR_ERR(tmp);
?if?(!IS_ERR(tmp))?{
??//從進程的文件表中找到一個空閑的文件表指針,如果出錯,則返回,見下文說明;
??fd?=?fd?=?get_unused_fd();
??if?(fd?>=?0)?{
???//執(zhí)行打開操作,見下文說明,dfd=AT_FDCWD;
???struct?file?*f?=?do_filp_open(dfd,?tmp,?flags,?mode,?0);
???if?(IS_ERR(f))?{
????put_unused_fd(fd);
????fd?=?PTR_ERR(f);
???}?else?{
????fsnotify_open(f);//作用是將?filp?的監(jiān)控點打開,并將其添加到監(jiān)控系統(tǒng)中
????//添加打開的文件表f到當(dāng)前進程的文件表數(shù)組中,見下文說明;
????fd_install(fd,?f);
???}
??}
??putname(tmp);
?}
?return?fd;
}
?

(圖4)
從代碼和流程圖的分析中我們知道了,fd?和?file?是如何建立聯(lián)系 (file?對象中包含一個指針,指向?dentry?對象。dentry?對象代表一個獨立的文件路徑,如果一個文件路徑被打開多次,那么會建立多個?file?對象,但它們都指向同一個?dentry?對象。dentry?對象中又包含一個指向?inode?對象的指針。inode?對象代表一個獨立文件。因為存在硬鏈接與符號鏈接,因此不同的?dentry?對象可以指向相同的?inode?對象。inode?對象包含了最終對文件進行操作所需的所有信息,如文件系統(tǒng)類型、文件的操作方法、文件的權(quán)限、訪問日期等)。
那我們反向思考一下,現(xiàn)在我們已經(jīng)得到?fd,如何找到對應(yīng)?file, 在當(dāng)前進程中我們保留著文件描述符,文件描述符中(files_structs),文件描述符中又保留著文件描述表(fatable),通過文件描述符表中?file?類型的指針數(shù)組對應(yīng)的?fd?的項,我們可以找到?file。
這篇文章到這里就算結(jié)束了,還留有一個工作沒有完成,如?do_filp_open(dfd, tmp, flags, mode)?是如何得到?file?
?
電子發(fā)燒友App

































評論