HeLayers: A Tile Tensors Framework for Large Neural Networks on Encrypted Data (Ehud Aharoni et al., PETS 2023)
基於 Tile Tensors 的大規模神經網路加密資料框架

1. 核心問題與動機

同態加密（Homomorphic Encryption, HE）允許在不解密的情況下對加密資料進行計算，這為隱私保護機器學習（Privacy-Preserving Machine Learning）提供了強大基礎，尤其適合將敏感資料（如醫療影像）外包給雲端服務，同時符合 HIPAA、GDPR 等法規。
主要挑戰： 

• 大多數 HE 方案（如 CKKS）以 SIMD（Single Instruction Multiple Data）方式運作，一個密文（ciphertext）只能加密固定長度的向量（slot count，由安全參數決定）。如何有效「packing」（打包）高維張量（tensor，如影像批次 4D/5D）到這些固定大小的密文中，會大幅影響延遲（latency）、記憶體用量、吞吐量（throughput）和通訊成本。 
• 打包選擇極其複雜：不同操作（如矩陣乘法、卷積）對打包形狀的需求不同；小型張量會浪費 slot，大型張量則需多次旋轉（rotation）操作，增加成本。不同優化目標（低延遲 vs. 高吞吐 vs. 低記憶體）也會導致不同最佳打包。 
• 現有非互動式（non-client-aided）HE 解決方案在大型網路（如 AlexNet 224×224×3 輸入）上效能極差，先前最佳實現需超過 3 小時（80-bit 安全等級），遠無法實用。client-aided 方法雖較快，但需用戶線上互動、存在安全風險（如模型萃取攻擊），且違背完全外包的初衷。
  動機：開發一個「packing-oblivious」（打包無感知）的框架，讓開發者只需專注於神經網路設計，框架自動處理打包優化。同時聚焦非互動式、HE-friendly 模型（用多項式激活函數取代 ReLU/MaxPool），在不犧牲太多準確度的前提下實現高效能。HeLayers 正是 IBM Research 團隊為此提出的 Tile Tensors 框架。

2. 結果 / 成果

• Tile Tensors 資料結構：將張量拆分成固定形狀的「tiles」（每個 tile 對應一個密文），提供標準 tensor API（加法、乘法、sum、broadcasting、卷積等），內部自動處理 packing、旋轉與 HE 操作。支援多種 packing 策略，包括交錯（interleaved）、旋轉寬張量等，涵蓋先前多種優化技巧。
• Packing Optimizer：自動探索多種 packing 選項，估計每個選項的時間與記憶體成本，根據用戶目標（latency/throughput/memory）選出最佳方案。包含一套描述 packing 的語言，方便設計與重現。
• 新型 2D Convolution 演算法：針對大型輸入提出高效 packing 與實現，能連續執行多層卷積而不需昂貴的 im2col 預處理（im2col 會增加乘法深度，不適合 AlexNet 等深層網路）。這是論文的重要技術貢獻。
• 實驗成果： 
   - CryptoNets 基準測試：不同 packing 下延遲從 0.86s 到 11.1s 不等，展示框架優化效果。 
   - HE-friendly AlexNet（大型輸入 224×224×3）：完整 inference 只需約 5 分鐘（128-bit 安全，無 bootstrapping），比先前非互動式方案快數個數量級，是當時已知最大且最快的非互動式實現。 
   - 框架已開放非商業使用（HELayers SDK），並在後續工作中被廣泛引用。

3. 分析與洞見

優點與創新： 

• 抽象化與易用性：開發者像寫普通 PyTorch/TensorFlow 程式一樣操作 tensor，框架在底層自動優化 packing，大幅降低 HE 程式設計門檻。這與 CHET、nGraph-HE 等編譯器理念一致，但更專注於 tile-based 通用 packing。 
• 彈性與全面性：Tile 概念能自然支援不同維度、批次處理與長序列運算，特別適合 CNN。Optimizer 考慮實際 HE 庫限制（如 slot count、旋轉成本），提供實務價值。 
• 安全與實用平衡：堅持 non-client-aided 模式，提供更好安全性與用戶體驗（用戶只需加密一次資料，無需全程線上）。HE-friendly 模型的準確度 tradeoff 留給 AI 領域，框架本身可隨 AI 進展受益。
  限制與邊緣考量： 
• 準確度：依賴多項式逼近激活函數，可能略微降低模型精度（論文未深入討論，視為 AI 領域議題）。 
• 效能瓶頸：仍需大量計算資源（5 分鐘 inference 對即時應用仍偏慢）；未使用 bootstrapping，限制電路深度，適合特定 HE-friendly 架構。 
• 通用性：最適合 CNN，對 Transformer 等 attention-heavy 模型的適用性需額外驗證。packing optimizer 在極大型網路上的編譯時間可能較長。 
• 威脅模型：假設模型擁有者/用戶/雲端間的非共謀（non-collusion），在某些多方情境下需額外考量。 
• 硬體依賴：效能高度依賴底層 HE 庫（如 IBM HELib 或 SEAL），未來 GPU/硬體加速可進一步提升。
  更廣泛意涵：HeLayers 代表 HE 從理論走向實用的重要一步。它不僅解決 packing 這一「隱藏難題」，也為後續 FHE 編譯器、PPML 框架（如後續 Orbit、HEPack 等工作）奠定基礎。在 Web3、聯邦學習、醫療 AI 等領域有巨大潛力 - - 用戶可將加密資料上傳雲端運行大型模型，同時保有完整隱私控制。

4. 結論

HeLayers 透過 Tile Tensors 框架與自動優化器，成功將大型神經網路在加密資料上的非互動式 inference 推向實用層級（AlexNet 5 分鐘），大幅縮小了 HE 與 plaintext 計算之間的效能差距。其核心貢獻在於提供直觀抽象、通用 packing 機制與高效卷積實現，讓隱私保護 AI 開發者能專注高層邏輯而非底層密碼學細節。
論文強調，隨著 HE 硬體加速、更好 HE-friendly 模型與編譯技術的進展，完全實用的加密 AI 時代即將到來。對於 GitHub 專案，這篇論文是極佳的起點：可基於開放的 HElayers SDK 實作 demo、擴展到更多網路架構，或整合 bootstrapping 與硬體加速，開發更強大的隱私計算工具。
論文連結： 

• PETS 2023 正式版本：https://petsymposium.org/popets/2023/popets-2023-0020.pdf 
• arXiv 版本：https://arxiv.org/pdf/2011.01805.pdf 
• IBM Research 頁面：https://research.ibm.com/publications/helayers-a-tile-tensors-framework-for-large-neural-networks-on-encrypted-data