想要創建一個基于TCP實現的http服務器,應該怎么做?
咱們先了解一下這個項目最終能到達的一個方針,然后以這個來進行項目的剖析:
1、實現最基本的HTTP/1.0版本的web服務器,客戶端能夠使用GET、POST方法請求資源
2、服務器將客戶請求的資源以html頁面的形似呈現,并能夠進行差錯處理(如:客戶請求的資源不存在時,服務器能夠返回一個404的頁面)
3、服務器能進行簡單的cgi運行。比如當客戶在表單中輸入數據后,服務器能夠將運行結果返回個客戶
4、能夠通過頁面對數據庫進行操作,如增刪查改等操作
一、http服務器實現的基本框架
- 關于HTTP協議
即超文本傳輸協議,是互聯網上應用最廣泛的網絡協議。它是應用層的協議,底層是基于TCP通信的。HTTP協議的工作過程:客戶通過瀏覽器向服務器發送文檔請求,瀏覽器將請求的資源回應給瀏覽器,然后關閉連接。即:連接->請求->響應->關閉連接。 - 關于URL
即統一資源定位符,每個網頁都對應一個URL地址(俗稱網址),具有全球唯一性。它包含的信息指出文件的位置以及瀏覽器應該怎么處理它。 一個完整的URL包括協議類型、主機類型、路徑和文件名。
http協議的URL格式: http: //host[:port][abs_path] ,http表示使用http協議來進行資源定位;host是主機域名;port是端口號,一般有默認的;abs_path代表資源的路徑。
這里我主要介紹項目中涉及的URL的兩種格式—URL帶參數和不帶參數的。
GET方法使用的是帶參數的URL,即傳遞的參數會使用?連接在資源路徑后邊;POST方法使用的是不帶參數的URL,它的參數是通過http請求報頭中的請求消息體傳遞給服務器的。 - 關于HTTP的請求與響應格式
響應報頭中的狀態碼和狀態碼描述,例如:當請求的資源不存在時,會收到“404 NotFound”的頁面,404就是狀態碼,“NotFound”就是狀態碼描述,即請求的文件不存在。
二、服務器實現的基本思路
1、http協議是基于TCP通信的協議,因此,實現web服務器的第一步至少要能實現兩個主機不同進程之間的TCP通信。
2、接下來的部分就是比較主要的處理邏輯了,當服務器收到請求后,首先應該分析請求方法(因為web服務器是要支持cgi的,但請求方法不同處理cgi也不同,這里我們只處理GET和POST方法)。
3、當方法確定后,應該拿到請求的URL,這一步是為了我們后邊能處理GET和POST方法的cgi(GET和POST的參數位置不同,GET的參數在URL中,POST的參數在請求正文中)
4、判斷資源是否存在,如果存在,判斷這個資源是一個目錄、普通文件還是一個可執行程序。之前幾步我們已經提取到URL以及參數。GET方法:如果沒有參數,就直接將請求的資源返回(即進入非cgi模式運行);否則,進入cgi模式內部運行;只要是POST方法就需要支持cgi:直接進入cgi函數內部運行。
非cgi模式:
進入非cgi模式時一定是GET方法且沒有參數,此時進入echo_www()函數內部即可,該函數會將所請求的資源以html的格式返回給瀏覽器。
cgi模式:
上述這張圖描述了運行cgi時的過程,首先服務器要從瀏覽器上讀取參數,然后需要fork出一個子進程進行cgi部分的處理,父進程通過環境變量的方式將參數轉交給子進程,子進程運行完成后,將結果交給父進程,父進程再將數據輸出給瀏覽器。在這個過程中可以將父進程看作一個所謂的中間量,只進行了參數的轉交,因此可以將子進程的輸入輸出文件描述符進行重定向,即子進程直接與瀏覽器“聯系”。
下面總結出父子進程內部各自需要干的事情:
三、錯誤處理
錯誤處理這部分的實現可以參考echo_www()函數,但需要改變響應的消息報頭的格式,即改變狀態碼,狀態碼描述,以及返回的頁面。例如當請求的資源不存在時,服務器需要返回給瀏覽器一個默認的404頁面,告訴客戶請求的資源不存在。效果如圖:
四、項目文件
目錄:
cgi:運行cgi部分的實現代碼
conf:配置文件,存放需要綁定的服務器的ip和port
log:shell的日志文件以及http錯誤處理的日志文件
lib:MySQL需要的lib庫
sql_client:mysql部分的API及CGI實現
wwwroot:web服務器工作的根目錄,包含各種資源頁面(例如默認的index.html頁面,差錯處理的404頁面),以及執行cgi的可執行程序
文件:
configure.sh:sheel腳本,運行該shell腳本后需要自動生成Makefile文件
http_ctl.sh:服務器控制腳本,需要實現服務器的啟動、暫停以及重新啟動
httpd.pid:與http_ctl.sh配合使用。如果把服務器變成守護進程在后臺運行,重新啟動時就需要檢測服務器是否啟動,該文件存放服務器啟動以后的進程id
httpd.h:服務器的方法聲明
httpd.c:方法實現
main.c:服務器的主邏輯
五、實現結果
請求資源存在:
運行cgi后:
六、源碼:
https://github.com/lybb/Linux/tree/master/httpd
附:
這里是我遇到的一些問題,粘出來,也可能是你遇到的問題:
1、本地環回測試ok,Linux下的瀏覽器測試也可以,但不能接外部的瀏覽器訪問(沒有設置橋接模式)嗯~要是在外部瀏覽器測試的話千萬別忘記關閉防火墻
2、服務器應答時,沒有將html格式的頁面發送,而是將底層的實現代碼展示在瀏覽器,并且在調試時將本來要打印的調試信息會打印到網頁上(在回應空行時將send期望發送的數值寫的太大,本來只需要發送兩個字節的內容)
解決:先檢查代碼,思路正確,在容易出現問題的地方加入調試信息,最后將問題定位在echo_www()函數內
3、不能顯示圖片(這個問題是沒有將所有發送的情況考慮完全,只考慮到目錄、可執行程序,但沒有考慮到如果請求的是一個路徑明確的普通文件)
解決:測試請求一個路徑明確的test.html文件,加入調試信息 ,將問題定位在:如果請求的資源存在,應該如何處理。對于普通文件,找到后并回顯給瀏覽器;如果是目錄,應答的是默認頁面;如果是可執行程序,執行后返回結果
4、能顯示圖片后,但顯示的不完整(原因:echo_www中,期望讀取一行信息的line值太小,不能存下一張圖片)
5、運轉cgi模式時,每次提交數據并進行submit后都會主動出現提示下載的頁面
因素:在響應報頭中,將Content-Type中的”text”寫成”test”。而瀏覽器關于不能辨認或解析的實體,都會提示用戶下載。