當我們把不確定性納進模型時，所得到的模型可稱為隨機模型。接下來將介紹幾種經常使用的隨機模型，首先是馬可夫鏈。

馬可夫鏈是一個離散時間的隨機模型，也可以看成是離散時間動力系統模型的延伸。

範例

五金店出售水族箱，每個周末商店老闆要盤點存貨，開出訂單。商店的策略是，如果當前所有的存貨都售出了，就在周末進三個新的水族箱，只要店內還有一個存貨，就不會再進新的。這個策略是基於商店平均每周僅出售一個水族箱的前提而訂定的。試問此策略是否能防止當商點缺貨時顧客需要水族箱而無貨銷售的損失。

1. 提出問題
   假設前提為潛在購買者人數服從平均值為1的普瓦松分配。每周開始時，商店的存貨在1~3個水族箱之間，希望可以得知需求超過供給的機率。
   變量:
   第周開始水族箱的供給
   第周內水族箱的需求
   假設:
   如果，則
   如果，則
   
   目標:
   計算
2. 選擇建模方法
   馬可夫鏈可以被描述為一個隨機跳躍的序列，在此列中，跳要續列為有限個離散的位置或狀態的集合，且隨機變量
   若，即的機率僅根據，則序列是馬可夫鏈。
3. 推導模型的數學表達式
   令狀態轉移矩陣為，狀態空間為，初始狀態為。狀態轉移圖如下，
   
   需求量分布為，
   
   
   
   
   
   於是，若，則
   
   
   其餘的狀態轉移機率可以由此類似的算出，故狀態轉移矩陣為
   
4. 求解模型
   因為是一個遍歷的馬可夫鏈，亦即在有限步長內從狀態i跳到狀態j。當馬可夫鏈是遍歷的，則一定會趨於穩定的狀態，即存在唯一的平穩態機率向量。透過，可以求解線性方程組來計算，因此有方程組
   
   
   
   限制條件為
   
   解得
   當足夠大時，可近似得
   
   
   
   最後將其與整合一起，
   
   
   
   
5. 表達模型結果
   根據結果，當前的存貨策略會有約10%的時間無貨銷售的損失。