提振精神
軟體測試是常見的做法,可協助團隊持續推送軟體更新優質程式碼。測試會對軟體行為執行不變量、擷取並防止功能或其他所需屬性發生迴歸,並協助擴充工程程序。
以原始碼行涵蓋率來衡量測試涵蓋率,有助於工程師找出測試解決方案中的缺口。以測試涵蓋率做為指標,可提升軟體品質,並促進更安全的開發做法。持續評估測試涵蓋率,有助於工程師維持高標準的品質。
測試涵蓋率不保證程式碼沒有錯誤。測試應與其他工具搭配使用,例如模糊測試、靜態和動態分析等。
絕對測試涵蓋範圍
絕對測試涵蓋範圍是指整組測試涵蓋的所有原始碼行數。Fuchsia 的持續整合 (CI) 基礎架構會產生絕對涵蓋率報表,並持續重新整理。涵蓋率報表通常最多會延遲幾小時。
絕對涵蓋率資訊主頁
如要查看最新的絕對涵蓋率報表,請按這裡。這個資訊主頁會以樹狀版面配置,顯示所有測試涵蓋的程式碼,做為來源樹狀結構的子集。您可以依目錄結構瀏覽樹狀結構,並查看目錄的總涵蓋率指標,或檔案的個別行涵蓋率資訊。
此外,Google 內部程式碼搜尋工具也提供涵蓋率資訊圖層。

增量測試涵蓋範圍
在 Gerrit 程式碼審查網頁 UI 中,增量測試涵蓋率會顯示在變更的背景資訊中。增量涵蓋率會顯示在特定變更的背景資訊中,哪些修改過的行有測試涵蓋,哪些沒有。
Fuchsia 的修訂版本佇列 (CQ) 基礎架構會收集增量測試涵蓋率。將變更傳送至 CQ (Commit-Queue+1) 時,您可以按一下「Checks」分頁標籤,然後在三點圖示選單下方點選「Show Additional Results」,接著在篩選器文字方塊中輸入「fuchsia-coverage」,找出負責收集增量涵蓋率的試用工作,以便在 Gerrit 中顯示。這項測試工作完成後,修補程式集應會顯示絕對涵蓋率 (|Cov.|) 和增量涵蓋率 (ΔCov.)。
針對影響專案的變更,維持高增量測試涵蓋率,有助於持續維持高測試涵蓋率。特別是防止將未經測試的新程式碼引入專案。變更作者可以查看變更的增量涵蓋率資訊,確保測試涵蓋率足夠。程式碼審查人員可以查看變更的增量測試涵蓋率資訊,並要求作者填補他們認為重要的測試缺口。


涵蓋率導向的開發工作流程
您可以在瀏覽器或 VS Code 中,查看 Fuchsia 元件測試和主機測試的本機編輯內容涵蓋率。您可以利用這項功能,建立涵蓋率導向的開發工作流程。
準備測試環境
首先,請設定建構作業,使用涵蓋率變數。請注意,--variant coverage 只會檢測 Fuchsia 目標二進位檔 (host = false)。如要收集主機測試的涵蓋率,請使用 --variant host_coverage。
Fuchsia 元件測試
fx set core.x64 --variant coverage --with examples/hello_world
fx build主機測試
fx set core.x64 --variant host_coverage --with examples/hello_world
fx build首先,啟動模擬器做為目標裝置,然後啟動更新伺服器。這個步驟會用到兩個終端機。如果您已有執行中的目標裝置 (無論是模擬器或實體硬體),可以略過這個步驟。
在第一個終端機中:
fx qemu -kN接著,啟動套件伺服器,用於發布測試套件的更新。這項程序會在背景執行。如果已有套件伺服器,可以略過這個步驟。
在第二個終端機中:
fx serve在瀏覽器中查看涵蓋範圍
在這個工作流程中,我們會執行測試並產生涵蓋率報表,以便在瀏覽器中查看。
執行測試並匯出涵蓋率 HTML 報表
執行測試並產生 HTML 報表。
C++
fx coverage --html-output-dir $HOME/fx_coverage hello-world-cpp-unittests荒漠油廠
fx coverage --html-output-dir $HOME/fx_coverage hello-world-rust-tests在瀏覽器中查看涵蓋範圍摘要
使用瀏覽器開啟 $HOME/fx_coverage/index.html。您應該會看到涵蓋率摘要頁面。

按一下任一檔案,即可查看該檔案的行涵蓋率。「Count」欄會顯示測試期間造訪某行的次數 (1 次以上)。如果「Count」沒有值,則表示 0,也就是該行未涵蓋。
在 VS Code 中查看涵蓋率
請務必先準備好測試環境,再開始這個部分。
- 從 Visual Studio Marketplace 安裝 coverage-gutters 擴充功能。
- 將下列屬性新增至
settings.json,設定 coverage-gutters。
{
"coverage-gutters.coverageBaseDir": ".",
"coverage-gutters.showLineCoverage": true,
"coverage-gutters.coverageFileNames": ["lcov.info"]
}
執行測試並查看涵蓋率
接著執行測試並匯出 LCOV 檔案,VS Code 會使用這個檔案顯示涵蓋率。
C++
fx coverage --lcov-output-path $FUCHSIA_DIR/lcov.info hello-world-cpp-unittests荒漠油廠
fx coverage --lcov-output-path $FUCHSIA_DIR/lcov.info hello-world-rust-tests在 VS Code 中查看涵蓋率
- 找出要查看涵蓋率的檔案。
- 在檔案的編輯區域按一下滑鼠右鍵,然後選取「Coverage Gutters: Display Coverage」。
- 涵蓋的行會以綠色顯示,未涵蓋的行則以紅色顯示。
- 您可以重新匯出 LCOV 並重做步驟 2,查看更新後的涵蓋率 (基於某些原因,「watch」無法運作)。


重新執行變更測試
最後,您可以使用這個指令監控檔案系統變更,並在每次儲存程式碼時重新執行測試。
C++
fx -i coverage --lcov-output-path $FUCHSIA_DIR/lcov.info hello-world-cpp-unittests荒漠油廠
fx -i coverage --lcov-output-path $FUCHSIA_DIR/lcov.info hello-world-rust-tests端對端 (E2E) 測試排除
只有單元測試和封閉式整合測試,才算是可靠的測試涵蓋率來源。系統不會收集或顯示端對端測試的測試涵蓋率。
端對端測試是大型系統測試,會測試整個產品,不一定會涵蓋原始碼中定義明確的部分。舉例來說,Fuchsia 上的 E2E 測試通常會在模擬器中啟動系統、與系統互動,並預期特定行為。
原因
因為端對端測試會測試整個系統:
- 我們發現,這些測試在執行時經常觸發不同的程式碼路徑,導致涵蓋率結果不穩定。
- 涵蓋率建構工具經常逾時,導致建構工具不穩定。E2E 測試的執行速度比單元測試和小型整合測試慢得多,通常需要幾分鐘才能完成。此外,由於涵蓋率負擔會降低效能,因此在涵蓋率建構工具上執行速度會更慢。
方式
對於 core 等頂層 buildbot 套件,系統會提供對應的 core_no_e2e,因此收集涵蓋率的機器人可以使用 no_e2e 套件,避免建構及執行任何 E2E 測試。
目前沒有可靠的方法可以識別樹狀結構內的所有端對端測試。no_e2e 套件會透過 GN 的 assert_no_deps,維持遞迴依附元件中沒有任何已知端對端測試程式庫的不變性。E2E 測試程式庫清單是手動精選和維護,假設其變更頻率極低:
e2e_test_libs = [
"//sdk/testing/sl4f/client",
"//third_party/mobly($host_toolchain)",
"//src/testing/end_to_end/honeydew($host_toolchain)",
]
# For libraries only supported on Linux hosts, we must use host_os to determine
# whether to include them. The is_linux condition will not function as naively
# expected because it applies to the current toolchain which may not be a host
# toolchain when this file is loaded.
if (host_os == "linux") {
e2e_test_libs += [ "//tools/emulator($host_toolchain)" ]
}
限制
目前,只有在符合下列條件時,系統才會收集測試涵蓋率:
- 程式碼是以 C、C++ 或 Rust 編寫。
- 程式碼會在 Fuchsia 的使用者模式中執行,或在主機上執行。目前不支援核心涵蓋率 (追蹤錯誤)。
- 測試會在 qemu 上執行。目前不支援在硬體上測試。
- 測試會做為
core產品設定的一部分執行。 - 不支援端對端 (e2e) 測試。
最後,端對端測試會執行整個系統中的大量程式碼,但執行方式在不同執行作業之間不一致 (或「不穩定」)。如要提高程式碼的測試涵蓋率,建議使用單元測試和整合測試。
實驗功能
根據預設,系統只會在 core.x64 中收集增量涵蓋率。如要收集 core.x64 和 core.arm64 中變更的合併涵蓋率,請按照下列步驟操作:
- 在 Gerrit 中,前往「Checks」分頁。
- 按下「Choose Tryjobs」。
- 新增
fuchsia-coverage-x64-arm64。

畫面上會顯示勾號。狀態從「待處理」變成「完成」後,請重新整理 Gerrit,查看涵蓋率結果。
另請參閱: 問題 91893:Gerrit 中的增量涵蓋率僅針對 x64 收集
即將推出的新功能
我們目前正在開發下列其他用途的支援:
- 核心程式碼涵蓋率。
core以外產品設定的涵蓋範圍,例如bringup或workstation_eng。- 硬體目標的涵蓋率,也就是從未在 qemu 上執行的測試中收集。
疑難排解
不支援的設定/語言/執行階段
如果程式碼未顯示絕對或增量涵蓋率資訊,請先查看限制,確認程式碼一開始是否預期會獲得涵蓋率支援。
為協助您疑難排解,請檢查是否有遺漏涵蓋範圍 (程式碼行應有涵蓋範圍,但顯示為未涵蓋),或完全沒有涵蓋範圍資訊 (檔案完全未顯示在涵蓋範圍報表中,或程式碼行未註明是否涵蓋)。
缺少涵蓋率表示程式碼是透過檢測設備建構,但實際上並未涵蓋在執行的測試中。如果完全沒有涵蓋率資訊,可能表示程式碼未建構涵蓋率,或測試未在涵蓋率下執行 (詳情請參閱下文)。
報表過時/延遲
絕對涵蓋率報表會在程式碼合併後產生,可能需要幾小時才能完整編譯。資訊主頁會顯示所產生報表的修訂版本雜湊。如果資訊主頁未顯示預期結果,請確認資料是在最近一次可能影響涵蓋率的變更之後產生。如果資料看起來過時,請稍後再返回並重新整理頁面。
CQ 會產生增量涵蓋率報表。請確認您查看的是已傳送至 CQ 的修補程式集。您可以點選「顯示實驗性試用工作」,查看名為 fuchsia-coverage 的試用工作。如果測試工作仍在執行,請稍後再返回並重新整理頁面。
確認測試已執行
如果程式碼缺少預期的涵蓋率,請選擇應涵蓋程式碼的測試,並確保該測試在涵蓋率試用工作中執行。
- 在 Gerrit 中找出試用工作,或在 CI 資訊主頁中找出最近執行的
fuchsia-coverage。 - 在「總覽分頁」中,找出「collect builds」步驟並展開,即可找到不同設定的涵蓋率建構和測試執行頁面連結。
- 每個頁面都應有「Test Results」(測試結果) 分頁,顯示所有已執行的測試。確認預期的測試已執行,且最好已通過。
如果測試未如預期在任何涵蓋率試用工作中執行,原因可能只是測試僅在 CI/CQ 目前未涵蓋的設定中執行。另一個原因是測試已明確選擇不採用涵蓋率變化版本。舉例來說,參照測試的 BUILD.gn 檔案可能如下所示:
fuchsia_test_package("foo_test") {
test_components = [ ":test" ]
deps = [ ":foo" ]
# TODO(https://fxbug.dev/42074368): This test is intentionally disabled on coverage.
if (is_coverage) {
test_specs = {
environments = [
{
dimensions = emu_env.dimensions
tags = [ "disabled" ]
},
]
}
}
}
請查看涵蓋率,瞭解測試停用的原因,並進行調查。
如要瞭解如何排解測試未設定在 CQ 上執行,導致未顯示涵蓋率的問題,請參閱這裡的範例。
測試僅在涵蓋範圍內失敗或不穩定
與上述相關,測試在涵蓋率範例下更容易不穩定。在執行階段收集涵蓋率資料會產生額外負擔,導致效能降低,進而影響時間,這通常是造成額外不穩定性的原因。
另一個可能的原因是測試期間發生逾時,而一般測試執行時不會發生這種情況。實驗結果顯示,由於收集執行階段設定檔會增加額外負擔,涵蓋率變化版本的測試執行速度平均慢了 2.3 倍。為因應這種情況,測試執行元件會在執行涵蓋率建構作業時,為每項測試提供較長的逾時時間。不過,測試仍可能針對內部作業設定自己的逾時時間,這可能會受到影響。
一般來說,測試不應逾時。在測試中等待非同步作業時,最好無限期等待,並讓測試執行元件的整體逾時時間到期。
最後,在涵蓋範圍變化版本上,元件可能會使用 fuchsia.debug.DebugData 通訊協定。這會干擾測試,因為測試會假設元件使用的功能。請參閱以下範例:
立即修正的方法是停用涵蓋範圍下的測試 (請參閱上方的 GN 程式碼片段),但代價是無法從測試中收集涵蓋範圍資訊。最佳做法是將涵蓋率不穩定的問題視為其他不穩定問題,主要解決不穩定問題。
另請參閱:不穩定測試政策。
Gerrit 中未顯示預期的涵蓋率
如果某些行未顯示涵蓋率,但你確信這些行應涵蓋在執行中的測試中,請按下「Choose Tryjobs」,找到 fuchsia-coverage 並新增,然後再次收集涵蓋率。

如果 fuchsia-coverage 完成 (變成綠色),且您看到不同的行涵蓋率結果,則表示下列其中一項為真:
- 測試在不同執行作業之間,以不一致的方式執行受測程式碼。這通常也會導致不穩定測試結果,且通常是測試行為或受測程式碼的問題。
- 涵蓋率的產生和收集方式有問題,導致結果不一致。請回報錯誤。
測試涵蓋率的運作方式
Fuchsia 的程式碼涵蓋率建構、測試執行階段支援和處理工具,都使用以 LLVM 來源為基礎的程式碼涵蓋率。Fuchsia 平台由 compiler-rt 設定檔執行階段支援。
選取 "coverage" 建構變化版本時,系統會啟用設定檔檢測。接著,編譯器會產生計數器,每個計數器都對應至程式碼控制流程中的分支,並在分支進入時發出指令,遞增相關聯的計數器。此外,設定檔檢測執行階段程式庫會連結至執行檔。
如要進一步瞭解實作細節,請參閱「LLVM 程式碼涵蓋率對應格式」。
請注意,檢測會導致二進位檔大小增加、記憶體用量增加,以及測試執行時間變慢。我們採取了一些措施來抵銷這項影響:
- 設定檔變化版本的測試可享有較長的逾時時間。
- 設定檔變化版本中的測試會經過一些最佳化編譯。
- 涵蓋率目前在模擬器上執行,儲存空間限制較少。
- 如果是增量涵蓋率,則只會檢測受變更影響的來源。
Fuchsia 上的設定檔執行階段程式庫會將設定檔資料儲存在 VMO 中,並使用 fuchsia.debug.DebugData 通訊協定將控制代碼發布至 VMO。這項通訊協定會在執行階段透過元件架構提供給測試,並由測試執行工具架構的裝置端控制器 Test Manager 代管。
測試領域終止後,系統會收集設定檔,以及其中託管的所有元件。接著,系統會將設定檔處理成測試的單一摘要。這項最佳化作業十分重要,可大幅縮減設定檔總大小。接著,最佳化設定檔會傳送至主機端測試控制器。
主機使用 covargs 工具,該工具本身使用 llvm-profdata 和 llvm-cov 工具,將原始設定檔轉換為摘要格式,並產生測試涵蓋率報告。此外,covargs 會將資料轉換為 protobuf 格式,做為各種資訊主頁的交換格式。
發展藍圖
持續進行的工作:
- 提升涵蓋率執行階段的效能和穩定性。
- 核心支援 ZBI 測試的原始碼涵蓋率。
- 自訂涵蓋範圍資訊主頁和快訊:為團隊建立資訊主頁。
- 本機工作流程:在本機執行測試,並在本機產生涵蓋率報表。
- IDE 整合:在 VS Code 中查看涵蓋率層。
近期作業:
- 樹狀結構外支援:Fuchsia CI/CQ 以外的涵蓋範圍。