瀏覽器可以被認為是使用最廣泛的軟件,本文將介紹瀏覽器的工作原理,我們將看到,從你在地址欄輸入google.com到你看到google主頁過程中都發(fā)生了什么。
將討論的瀏覽器
今天,有五種主流瀏覽器——IE、Firefox、Safari、Chrome及Opera。
本文將基于一些開源瀏覽器的例子——Firefox、Chrome及Safari,Safari是部分開源的。
根據(jù)W3C(World Wide Web Consortium萬維網(wǎng)聯(lián)盟)的瀏覽器統(tǒng)計數(shù)據(jù),當(dāng)前(2011年5月),F(xiàn)irefox、Safari及Chrome的市場占有率綜合已接近60%。(原文為2009年10月,數(shù)據(jù)沒有太大變化)因此,可以說開源瀏覽器已經(jīng)占據(jù)了瀏覽器市場的半壁江山。
瀏覽器的主要功能
瀏覽器的主要功能是將用戶選擇的web資源呈現(xiàn)出來,它需要從服務(wù)器請求資源,并將其顯示在瀏覽器窗口中,資源的格式通常是HTML,也包括PDF、image及其他格式。用戶用URI(Uniform Resource Identifier統(tǒng)一資源標識符)來指定所請求資源的位置,在網(wǎng)絡(luò)一章有更多討論。
HTML和CSS規(guī)范中規(guī)定了瀏覽器解釋html文檔的方式,由W3C組織對這些規(guī)范進行維護,W3C是負責(zé)制定web標準的組織。
HTML規(guī)范的最新版本是HTML4(http://www.w3.org/TR/html401/),HTML5還在制定中(譯注:兩年前),最新的CSS規(guī)范版本是2(http://www.w3.org/TR/CSS2),CSS3也還正在制定中(譯注:同樣兩年前)。
這些年來,瀏覽器廠商紛紛開發(fā)自己的擴展,對規(guī)范的遵循并不完善,這為web開發(fā)者帶來了嚴重的兼容性問題。
但是,瀏覽器的用戶界面則差不多,常見的用戶界面元素包括:
奇怪的是,并沒有哪個正式公布的規(guī)范對用戶界面做出規(guī)定,這些是多年來各瀏覽器廠商之間相互模仿和不斷改進的結(jié)果。
HTML5并沒有規(guī)定瀏覽器必須具有的UI元素,但列出了一些常用元素,包括地址欄、狀態(tài)欄及工具欄。還有一些瀏覽器有自己專有的功能,比如Firefox的下載管理。更多相關(guān)內(nèi)容將在后面討論用戶界面時介紹。
瀏覽器的主要構(gòu)成(High Level Structure)
瀏覽器的主要組件包括:
1. 用戶界面 - 包括地址欄、后退/前進按鈕、書簽?zāi)夸浀?,也就是你所看到的除了用來顯示你所請求頁面的主窗口之外的其他部分。
2. 瀏覽器引擎 - 用來查詢及操作渲染引擎的接口。
3. 渲染引擎 - 用來顯示請求的內(nèi)容,例如,如果請求內(nèi)容為html,它負責(zé)解析html及css,并將解析后的結(jié)果顯示出來。
4. 網(wǎng)絡(luò) - 用來完成網(wǎng)絡(luò)調(diào)用,例如http請求,它具有平臺無關(guān)的接口,可以在不同平臺上工作。
5. UI后端 - 用來繪制類似組合選擇框及對話框等基本組件,具有不特定于某個平臺的通用接口,底層使用操作系統(tǒng)的用戶接口。
6. JS解釋器 - 用來解釋執(zhí)行JS代碼。
7. 數(shù)據(jù)存儲 - 屬于持久層,瀏覽器需要在硬盤中保存類似cookie的各種數(shù)據(jù),HTML5定義了web database技術(shù),這是一種輕量級完整的客戶端存儲技術(shù)
圖1:瀏覽器主要組件
需要注意的是,不同于大部分瀏覽器,Chrome為每個Tab分配了各自的渲染引擎實例,每個Tab就是一個獨立的進程。
對于構(gòu)成瀏覽器的這些組件,后面會逐一詳細討論。
渲染引擎的職責(zé)就是渲染,即在瀏覽器窗口中顯示所請求的內(nèi)容。
默認情況下,渲染引擎可以顯示html、xml文檔及圖片,它也可以借助插件(一種瀏覽器擴展)顯示其他類型數(shù)據(jù),例如使用PDF閱讀器插件,可以顯示PDF格式,將由專門一章講解插件及擴展,這里只討論渲染引擎最主要的用途——顯示應(yīng)用了CSS之后的html及圖片。
渲染引擎簡介
本文所討論的瀏覽器——Firefox、Chrome和Safari是基于兩種渲染引擎構(gòu)建的,F(xiàn)irefox使用Geoko——Mozilla自主研發(fā)的渲染引擎,Safari和Chrome都使用webkit。
Webkit是一款開源渲染引擎,它本來是為Linux平臺研發(fā)的,后來由Apple移植到Mac及Windows上,相關(guān)內(nèi)容請參考http://webkit.org。
渲染主流程(The main flow)
渲染引擎首先通過網(wǎng)絡(luò)獲得所請求文檔的內(nèi)容,通常以8K分塊的方式完成。
下面是渲染引擎在取得內(nèi)容之后的基本流程:
解析html以構(gòu)建dom樹 -> 構(gòu)建render樹 -> 布局render樹 -> 繪制render樹
圖2:渲染引擎基本流程
渲染引擎開始解析html,并將標簽轉(zhuǎn)化為內(nèi)容樹中的dom節(jié)點。接著,它解析外部CSS文件及style標簽中的樣式信息。這些樣式信息以及html中的可見性指令將被用來構(gòu)建另一棵樹——render樹。
Render樹由一些包含有顏色和大小等屬性的矩形組成,它們將被按照正確的順序顯示到屏幕上。
Render樹構(gòu)建好了之后,將會執(zhí)行布局過程,它將確定每個節(jié)點在屏幕上的確切坐標。再下一步就是繪制,即遍歷render樹,并使用UI后端層繪制每個節(jié)點。
值得注意的是,這個過程是逐步完成的,為了更好的用戶體驗,渲染引擎將會盡可能早的將內(nèi)容呈現(xiàn)到屏幕上,并不會等到所有的html都解析完成之后再去構(gòu)建和布局render樹。它是解析完一部分內(nèi)容就顯示一部分內(nèi)容,同時,可能還在通過網(wǎng)絡(luò)下載其余內(nèi)容。
圖3:webkit主流程
圖4:Mozilla的Geoko渲染引擎主流程
從圖3和4中可以看出,盡管webkit和Gecko使用的術(shù)語稍有不同,他們的主要流程基本相同。Gecko稱可見的格式化元素組成的樹為frame樹,每個元素都是一個frame,webkit則使用render樹這個名詞來命名由渲染對象組成的樹。Webkit中元素的定位稱為布局,而Gecko中稱為回流。Webkit稱利用dom節(jié)點及樣式信息去構(gòu)建render樹的過程為attachment,Gecko在html和dom樹之間附加了一層,這層稱為內(nèi)容接收器,相當(dāng)制造dom元素的工廠。下面將討論流程中的各個階段。
解析(Parsing-general)
既然解析是渲染引擎中一個非常重要的過程,我們將稍微深入的研究它。首先簡要介紹一下解析。
解析一個文檔即將其轉(zhuǎn)換為具有一定意義的結(jié)構(gòu)——編碼可以理解和使用的東西。解析的結(jié)果通常是表達文檔結(jié)構(gòu)的節(jié)點樹,稱為解析樹或語法樹。
例如,解析“2+3-1”這個表達式,可能返回這樣一棵樹。
圖5:數(shù)學(xué)表達式樹節(jié)點
文法(Grammars)
解析基于文檔依據(jù)的語法規(guī)則——文檔的語言或格式。每種可被解析的格式必須具有由詞匯及語法規(guī)則組成的特定的文法,稱為上下文無關(guān)文法。人類語言不具有這一特性,因此不能被一般的解析技術(shù)所解析。
解析器-詞法分析器(Parser-Lexer combination)
解析可以分為兩個子過程——語法分析及詞法分析
詞法分析就是將輸入分解為符號,符號是語言的詞匯表——基本有效單元的集合。對于人類語言來說,它相當(dāng)于我們字典中出現(xiàn)的所有單詞。
語法分析指對語言應(yīng)用語法規(guī)則。
解析器一般將工作分配給兩個組件——詞法分析器(有時也叫分詞器)負責(zé)將輸入分解為合法的符號,解析器則根據(jù)語言的語法規(guī)則分析文檔結(jié)構(gòu),從而構(gòu)建解析樹,詞法分析器知道怎么跳過空白和換行之類的無關(guān)字符。
圖6:從源文檔到解析樹
解析過程是迭代的,解析器從詞法分析器處取到一個新的符號,并試著用這個符號匹配一條語法規(guī)則,如果匹配了一條規(guī)則,這個符號對應(yīng)的節(jié)點將被添加到解析樹上,然后解析器請求另一個符號。如果沒有匹配到規(guī)則,解析器將在內(nèi)部保存該符號,并從詞法分析器取下一個符號,直到所有內(nèi)部保存的符號能夠匹配一項語法規(guī)則。如果最終沒有找到匹配的規(guī)則,解析器將拋出一個異常,這意味著文檔無效或是包含語法錯誤。
轉(zhuǎn)換(Translation)
很多時候,解析樹并不是最終結(jié)果。解析一般在轉(zhuǎn)換中使用——將輸入文檔轉(zhuǎn)換為另一種格式。編譯就是個例子,編譯器在將一段源碼編譯為機器碼的時候,先將源碼解析為解析樹,然后將該樹轉(zhuǎn)換為一個機器碼文檔。
圖7:編譯流程
解析實例Parsing example
圖5中,我們從一個數(shù)學(xué)表達式構(gòu)建了一個解析樹,這里定義一個簡單的數(shù)學(xué)語言來看下解析過程。
詞匯表:我們的語言包括整數(shù)、加號及減號。
語法:
1. 該語言的語法基本單元包括表達式、term及操作符
2. 該語言可以包括多個表達式
3. 一個表達式定義為兩個term通過一個操作符連接
4. 操作符可以是加號或減號
5. term可以是一個整數(shù)或一個表達式
現(xiàn)在來分析一下“2+3-1”這個輸入
第一個匹配規(guī)則的子字符串是“2”,根據(jù)規(guī)則5,它是一個term,第二個匹配的是“2+3”,它符合第2條規(guī)則——一個操作符連接兩個term,下一次匹配發(fā)生在輸入的結(jié)束處。“2+3-1”是一個表達式,因為我們已經(jīng)知道“2+3”是一個term,所以我們有了一個term緊跟著一個操作符及另一個term。“2++”將不會匹配任何規(guī)則,因此是一個無效輸入。
詞匯表及語法的定義
詞匯表通常利用正則表達式來定義。
例如上面的語言可以定義為:
INTEGER:0|[1-9][0-9]*
PLUS:+
MINUS:-
正如看到的,這里用正則表達式定義整數(shù)。
語法通常用BNF格式定義,我們的語言可以定義為:
expression := term operation term
operation := PLUS | MINUS
term := INTEGER | expression
如果一個語言的文法是上下文無關(guān)的,則它可以用正則解析器來解析。對上下文無關(guān)文法的一個直觀的定義是,該文法可以用BNF來完整的表達??刹榭磆ttp://en.wikipedia.org/wiki/Context-free_grammar。
解析器類型(Types of parsers)
有兩種基本的解析器——自頂向下解析及自底向上解析。比較直觀的解釋是,自頂向下解析,查看語法的最高層結(jié)構(gòu)并試著匹配其中一個;自底向上解析則從輸入開始,逐步將其轉(zhuǎn)換為語法規(guī)則,從底層規(guī)則開始直到匹配高層規(guī)則。
來看一下這兩種解析器如何解析上面的例子:
自頂向下解析器從最高層規(guī)則開始——它先識別出“2+3“,將其視為一個表達式,然后識別出”2+3-1“為一個表達式(識別表達式的過程中匹配了其他規(guī)則,但出發(fā)點是最高層規(guī)則)。
自底向上解析會掃描輸入直到匹配了一條規(guī)則,然后用該規(guī)則取代匹配的輸入,直到解析完所有輸入。部分匹配的表達式被放置在解析堆棧中。
Stack |
Input |
2 + 3 – 1 |
|
term |
+ 3 - 1 |
term operation |
3 – 1 |
expression |
- 1 |
expression operation |
1 |
expression |
自底向上解析器稱為shift reduce解析器,因為輸入向右移動(想象一個指針首先指向輸入開始處,并向右移動),并逐漸簡化為語法規(guī)則。
自動化解析(Generating parsers automatically)
解析器生成器這個工具可以自動生成解析器,只需要指定語言的文法——詞匯表及語法規(guī)則,它就可以生成一個解析器。創(chuàng)建一個解析器需要對解析有深入的理解,而且手動的創(chuàng)建一個由較好性能的解析器并不容易,所以解析生成器很有用。Webkit使用兩個知名的解析生成器——用于創(chuàng)建語法分析器的Flex及創(chuàng)建解析器的Bison(你可能接觸過Lex和Yacc)。Flex的輸入是一個包含了符號定義的正則表達式,Bison的輸入是用BNF格式表示的語法規(guī)則。
HTML解析器(HTML Parser)
HTML解析器的工作是將html標識解析為解析樹。
HTML文法定義(The HTML grammar definition)
W3C組織制定規(guī)范定義了HTML的詞匯表和語法。
非上下文無關(guān)文法(Not a context free grammar)
正如在解析簡介中提到的,上下文無關(guān)文法的語法可以用類似BNF的格式來定義。
不幸的是,所有的傳統(tǒng)解析方式都不適用于html(當(dāng)然我提出它們并不只是因為好玩,它們將用來解析css和js),html不能簡單的用解析所需的上下文無關(guān)文法來定義。
Html有一個正式的格式定義——DTD(Document Type Definition文檔類型定義)——但它并不是上下文無關(guān)文法,html更接近于xml,現(xiàn)在有很多可用的xml解析器,html有個xml的變體——xhtml,它們間的不同在于,html更寬容,它允許忽略一些特定標簽,有時可以省略開始或結(jié)束標簽??偟膩碚f,它是一種soft語法,不像xml呆板、固執(zhí)。
顯然,這個看起來很小的差異卻帶來了很大的不同。一方面,這是html流行的原因——它的寬容使web開發(fā)人員的工作更加輕松,但另一方面,這也使很難去寫一個格式化的文法。所以,html的解析并不簡單,它既不能用傳統(tǒng)的解析器解析,也不能用xml解析器解析。
HTML DTD
Html適用DTD格式進行定義,這一格式是用于定義SGML家族的語言,包括了對所有允許元素及它們的屬性和層次關(guān)系的定義。正如前面提到的,html DTD并沒有生成一種上下文無關(guān)文法。
DTD有一些變種,標準模式只遵守規(guī)范,而其他模式則包含了對瀏覽器過去所使用標簽的支持,這么做是為了兼容以前內(nèi)容。最新的標準DTD在http://www.w3.org/TR/html4/strict.dtd
DOM
輸出的樹,也就是解析樹,是由DOM元素及屬性節(jié)點組成的。DOM是文檔對象模型的縮寫,它是html文檔的對象表示,作為html元素的外部接口供js等調(diào)用。
樹的根是“document”對象。
DOM和標簽基本是一一對應(yīng)的關(guān)系,例如,如下的標簽:
Hello DOM
將會被轉(zhuǎn)換為下面的DOM樹:
圖8:示例標簽對應(yīng)的DOM樹
和html一樣,DOM的規(guī)范也是由W3C組織制定的。訪問http://www.w3.org/DOM/DOMTR,這是使用文檔的一般規(guī)范。一個模型描述一種特定的html元素,可以在http://www.w3.org/TR/2003/REC-DOM-Level-2-HTML-20030109/idl-definitions.htm查看html定義。
這里所謂的樹包含了DOM節(jié)點是說樹是由實現(xiàn)了DOM接口的元素構(gòu)建而成的,瀏覽器使用已被瀏覽器內(nèi)部使用的其他屬性的具體實現(xiàn)。
解析算法(The parsing algorithm)
正如前面章節(jié)中討論的,hmtl不能被一般的自頂向下或自底向上的解析器所解析。
原因是:
1. 這門語言本身的寬容特性
2. 瀏覽器對一些常見的非法html有容錯機制
3. 解析過程是往復(fù)的,通常源碼不會在解析過程中發(fā)生改變,但在html中,腳本標簽包含的“document.write”可能添加標簽,這說明在解析過程中實際上修改了輸入。
不能使用正則解析技術(shù),瀏覽器為html定制了專屬的解析器。
Html5規(guī)范中描述了這個解析算法,算法包括兩個階段——符號化及構(gòu)建樹。
符號化是詞法分析的過程,將輸入解析為符號,html的符號包括開始標簽、結(jié)束標簽、屬性名及屬性值。
符號識別器識別出符號后,將其傳遞給樹構(gòu)建器,并讀取下一個字符,以識別下一個符號,這樣直到處理完所有輸入。
圖9:HTML解析流程
符號識別算法(The tokenization algorithm)
算法輸出html符號,該算法用狀態(tài)機表示。每次讀取輸入流中的一個或多個字符,并根據(jù)這些字符轉(zhuǎn)移到下一個狀態(tài),當(dāng)前的符號狀態(tài)及構(gòu)建樹狀態(tài)共同影響結(jié)果,這意味著,讀取同樣的字符,可能因為當(dāng)前狀態(tài)的不同,得到不同的結(jié)果以進入下一個正確的狀態(tài)。
這個算法很復(fù)雜,這里用一個簡單的例子來解釋這個原理。
基本示例——符號化下面的html:
Hello world
初始狀態(tài)為“Data State”,當(dāng)遇到“<”字符,狀態(tài)變?yōu)?ldquo;Tag open state”,讀取一個a-z的字符將產(chǎn)生一個開始標簽符號,狀態(tài)相應(yīng)變?yōu)?ldquo;Tag name state”,一直保持這個狀態(tài)直到讀取到“>”,每個字符都附加到這個符號名上,例子中創(chuàng)建的是一個html符號。
當(dāng)讀取到“>”,當(dāng)前的符號就完成了,此時,狀態(tài)回到“Data state”,“
”重復(fù)這一處理過程。到這里,html和body標簽都識別出來了?,F(xiàn)在,回到“Data state”,讀取“Hello world”中的字符“H”將創(chuàng)建并識別出一個字符符號,這里會為“Hello world”中的每個字符生成一個字符符號。這樣直到遇到“”中的“<”?,F(xiàn)在,又回到了“Tag open state”,讀取下一個字符“/”將創(chuàng)建一個閉合標簽符號,并且狀態(tài)轉(zhuǎn)移到“Tag name state”,還是保持這一狀態(tài),直到遇到“>”。然后,產(chǎn)生一個新的標簽符號并回到“Data state”。后面的“