Track #1:loader_fast 冷啟動 4.59× 加速
雙執行緒 pthread 解碼搭配 pread/mmap、64-bit 位元讀取與 CRC32 查表,使板上冷啟動由 22.21 s 降至 4.84–5.06 s,同時以 --run-reuse 免除 DPU timeout 重試時的重複解碼。
色彩外觀 (Color Scheme)
Track #1 (loader_fast) + Track #2 (int8_codec_v2) · Full COCO val2017
在不改動 DPU Bitstream 與網路圖的前提下,將 63.88 MB INT8 權重壓縮為骨架 + HC 封包。
hc_mid_v2 以 1.368× 壓縮保留 94.2% 原版 AP50;
hc_max_cap_v2 在 1.525× 高壓縮下將小物件 APs 救回 9.1×,
雙執行緒 loader_fast 亦將冷啟動由 22.2 s 縮短至 ~5.0 s。
涵蓋全 5 版本 5,000 張 val2017 實測表、75 層保護策略、論文圖表與板上終端執行回放。
| Loader | 與原版 INT8 ELF 權重之間的平均絕對誤差(LSB 單位),數值越低代表量化失真越小。 | PS 端 ARM 執行一次性權重解碼與 ELF 填洞重建之時間(loader_fast 使用 2 執行緒 + pread/mmap)。 | COCO 小物件 (面積 < 32×32 px) AP。v2 保護輸入 stem 與 3 尺度偵測頭後,max_cap_v2 由 0.009 暴增 9.1× 至 0.083。 |
|---|
63.88 MB INT8 (75 conv + 75 bias + 1.95 MB DPU code)
int8_codec_v2 (8.2–12 s):L1 NN + Quantile lf + 對齊 U,21 敏感層無損保護
47.21 MB (mid_v2) / 42.56 MB (max_cap_v2) · skeleton + layers/*.bin
2× pthread + pread/mmap + 64-bit 讀取,一次性重建 ELF (~5.0 s,SHA256 完全一致)
原版 DNNDK 3.1 n2cube 直接推論,穩態 ~1018–1023 ms/img,免改 bitstream
# 選擇 Profile 後點擊「開始回放並解鎖圖庫」——下方偵測框影像將隨 Processing batch 進度逐步解鎖載入。
載入 12 組高/中/多目標實測樣本(原版 INT8 vs hc_mid_v2 vs hc_max_cap_v2);若透過 serve.py 啟動則自動解鎖完整 5,000 張 val2017。
待命 — 尚未啟動終端回放,偵測框圖片尚未載入。
雙執行緒 pthread 解碼搭配 pread/mmap、64-bit 位元讀取與 CRC32 查表,使板上冷啟動由 22.21 s 降至 4.84–5.06 s,同時以 --run-reuse 免除 DPU timeout 重試時的重複解碼。
結合 L1 最近鄰搜尋 (p=1)、位元寬度對齊、Empirical Quantile 縮放與 21 個關鍵層無損保護,hc_max_cap_v2 將 AP50 由 v1 的 0.264 拉升至 0.420 (+0.156)。
板端推論穩態耗時維持 ~1018–1023 ms/img,與原版 1015.6 ms 幾乎一致(+0.3% ~ +0.8%),證實系統瓶頸仍在 DPU 排程與 host I/O,而非 Hyper-Compression 解碼本身。