大家好，我是毛毛。
今天是Day 21
終於文獻的部分要ending啦~ ヽ(✿ﾟ▽ﾟ)ノ

Reinforcement learning-based QoS/QoE-aware service function chaining in software-driven 5G slices

這篇是2018年七月刊登在Trans. Emerg. Telecommun. Technol.上的論文。

今天主要就是看演算法和模擬結果啦~

QoS/QoE-aware SFC algorithm

• 就像前面提到的會利用之前處理過的經驗，所以一開始要先初始話一個儲存經驗的空間D。
• 在第2行和第3行就是初始化Deep Q-network中兩個神經網路的action value function。
• 在第9行，透過前兩填提過的Exploration-Exploitation Dilemma、Softmax或UCB的方法去選擇一個VNF，以及從LLDP封包中取得的QoS資訊去得到reward，並將這個經驗存回D中。
• 第16行，前面有提過target-net會固定每幾次的遞迴，會將eval-net複製到target-net。
• 最後就是將eval-net更新透過前面提過的loss function和gradient descent。

Simulation

• 這是這篇論文的模擬環境，有h1~h12的虛擬host，這些host是透過KVM實作，其中h1是video server，而h12代表的是一個client，video streaming會從h1到h12。

• 這邊比較的演算法有Random、Violent（暴力破解法）和提出的DQN，比較的內容有QoE provisioning、QoS constraining和response time。

QoE provisioning

• DQN的方法可以找到一個還不錯的QoE

QoS constraining

• 這邊是QoS的限制被違反的機率，DQN的結果也是還不錯

Response time

• 可以看到DQN所花的時間快了暴力破解法的至少20幾倍，得到的結果又不錯

這篇論文就到這啦~ ٩(｡・ω・｡)و
大家明天見