網卡收到請求，要先由一顆 CPU 處理中斷，再叫醒回覆程式。這台 26 個核心在作業系統裡編號 CPU 0 到 CPU 25。比較中斷跟程式放在哪顆 CPU，量出三個結果：

1. 中斷跟程式放同一顆 CPU，收發延遲的中位數從分開放的 4.64 µs 降到 3.89 µs。
2. 程式中途換 CPU，換完後第一個請求慢到約 15 µs。
3. 程式放在 CPU 19，每一輪都有一個請求卡住幾百 µs；放在 CPU 25 和隔離的 CPU 1（不排一般程式的 CPU），這次量的兩輪都沒有發生。

三張網卡與 NUMA

NUMA 對齊只有主機有多個 NUMA node 時才需要，最常見的是雙 socket 的主機，兩顆實體 CPU 各管自己的 PCIe 槽跟記憶體，各算一個 node。網卡插在哪個 node 的槽，中斷跟程式就要放在那個 node 的 CPU 上，處理封包才不用跨 node 讀寫記憶體。所以先看這台有幾個 node：

這台只有 1 個 socket、1 個 NUMA node。網卡屬於哪個 node、那個 node 有哪些 CPU，看 /sys/class/net/<介面>/device/ 底下 numa_node 跟 local_cpulist，三張網卡都是 0 跟 0-25，所以不需要 NUMA 對齊。

中斷與程式的位置

ExaNIC X25 的 port0 每 1 ms 送一個多播請求，X4522 上的回覆程式收到就回；交換器把請求和回覆都送到 X25 的 port1，由它打兩個硬體時戳相減，每輪 10000 個請求。

下面三個是 Linux 內建的設定，每台都查得到，值看驅動跟各自的配置：

這次請求都由 X4522 的 queue 21 收進來，它的中斷在開機時被設到 CPU 25，沒照驅動建議。截圖裡 effective 後面的 25 直接是 CPU 編號；hint 跟 xps_cpus 的值是十六進位的 CPU 位元表（kernel 叫 cpumask），換成二進位後每一位代表一顆 CPU，最右邊是 CPU 0，哪一位是 1 就代表哪顆 CPU。例如 hint 的 0200000 換成二進位是 1 後面接 21 個 0，代表 CPU 21：

下表各輪只改兩個設定：queue 21 中斷的 smp_affinity_list，以及回覆程式用 taskset 綁哪顆 CPU：

中斷跟程式在同一顆 CPU 的三種擺法，中位數都比分開放的 4.64 µs 低。省下的時間主要在 kernel 收到封包到程式拿到這段，從 1.54 µs 降到約 1 µs，通常是因為不用跨 CPU 叫醒程式。

程式在 CPU 19 時，三輪都有一個請求卡住幾百 µs：表中兩輪是 468.90 跟 888.81 µs，第一列重量一次是 406.27 µs。時間都花在 kernel 收到封包之後、程式拿到之前，也就是封包到了，CPU 19 卻沒有馬上讓程式執行，通常是因為上面還有別的工作。CPU 25 也是一般的 CPU，這兩輪沒卡住不代表不會；隔離的 CPU 從設定上就不排一般程式，少了這類干擾。

程式換 CPU 的那一筆

回覆程式沒綁 CPU 時，排程器可能中途把它換到另一顆 CPU。要確認換的那一筆會不會變慢，量到一半時用 taskset -cp 把回覆程式強制換到另一顆 CPU，另外不綁 CPU 跑兩輪，由排程器自己決定。

第幾個請求時換的，從送回覆的 queue 算得出來：每送一個回覆，程式所在 CPU 對應的 queue 就多一次中斷。兩個 queue 的中斷次數各扣掉 2 次（加入、離開多播群組的封包），就是換之前、換之後各送了幾個回覆：

三次換 CPU，最慢的都剛好是換完後第一個請求，是中位數的 3 到 4 倍。不綁 CPU 時程式落在哪顆也不一定，落在 CPU 22 那輪的中位數是 4.81 µs，比綁在 CPU 19 的 4.64 µs 還慢。

綁核與中斷的維運檢查

明天看 CPU 被其他程式佔滿、C-state 打開時，延遲會變多少。