iT邦幫忙

2024 iThome 鐵人賽

DAY 6
0
自我挑戰組

金融資料科學系列 第 6

定量方法 - 假設檢定

  • 分享至 

  • xImage
  •  

總是陳述兩個假設:

  • "零假設",$H_0$

  • "替代假設",$H_a$

  • 假定零假設為真,直到測試證明並非如此。

  • 只有在有足夠的證據拒絕原假設時才接受備擇假設。

假設檢定的順序

  1. 陳述假設。
  • 確定適當的「檢定統計量」及其機率分佈。
  • 指定顯著水準。
  • 陳述決策規則。
  • 收集資料並計算檢定統計量。
  • 做出「統計決策」。
  • 做出「經濟決定」。

陳述假設

原假設和備擇假設的選擇應基於「期望條件」。例如,如果分析師試圖表明股票的平均年回報率已超過 8%:

  • 原假設 ($H_0$) 應該是平均報酬率小於 8%。
  • 只有當統計檢定提供足夠的證據顯示平均報酬率大於 8% 時,才應接受備擇假設 ($H_a$)。

雙面/雙尾假設檢定(等於/不等於)

原假設是總體參數「等於」某個值。另一種假設是它“不等於”該值。

$$H_0: θ = θ_0 \ 與 \ H_a: θ ≠ θ_0$$

單邊/單尾假設檢定(大於/小於)

$$H_0: θ ≤ θ_0 \ 與 \ H_a: θ > θ_0$$

$$H_0: θ ≥ θ_0 \ 與 \ H_a: θ < θ_0$$

檢定統計量及其機率分佈

「檢定統計量」是基於樣本計算的數量,其值是決定是否拒絕原假設的基礎。

假設檢定統計量的分佈為以下之一:

  • t-分佈(用於 t 檢定)
  • 標準常態分佈或「z 分佈」(用於 z 檢定)
  • 卡方 (χ2) 分佈
  • F-分佈(用於 F 檢定)

$$測試\統計=\frac{\H_0\下\總體\參數\的樣本\統計−值}{\樣本\統計的標準\誤差}$$

例如。檢定統計量將以以下方式計算:
$\frac{\bar{X_{RP}}−\mu_{0}}{s\bar{X}}=\frac{\bar{X_{RP}}−0}{s/\sqrt{n} } = \frac{\bar{X_{RP}}}{s\bar{X}}$

對於樣本平均值 $\bar{X}$,根據標準差為 $\sigma$ 的總體產生的樣本計算得出,標準誤差由以下兩個表達式之一給出:

$\sigma\bar{X}=\frac{\sigma}{\sqrt{n}}$
當我們知道$σ$(總體標準差)時。
$s\bar{X}=\frac{s}{\sqrt{n}}$
當我們不知道總體標準差$\mu$並且需要使用樣本標準差$s$來估計時。

計算檢定統計量後,可以拒絕或不拒絕原假設。該決定基於假設特定顯著性水準的比較,該比較確定需要多少證據來拒絕零假設。

顯著性級別

「顯著水準」反映了我們需要多少樣本證據來拒絕零。它是錯誤拒絕零值 ($\alpha$) 的機率。

**「檢定效能」**是正確拒絕零值的機率,即當零值錯誤時拒絕零值的機率。

$$功率 = 1- β$$。

檢定假設時出現 I 類錯誤的機率,以 $α$ 表示。進行假設檢定的常規顯著水準是:

  • 0.10(我們有一些證據顯示原假設是錯誤的)
  • 0.05(我們有強而有力的證據顯示原假設是錯的)
  • 0.01(我們有非常有力的統計證據顯示零假設是錯誤的)

II 類錯誤的機率為 $β$。透過減少 α 來降低發生 I 類錯誤的機率將增加發生 II 類錯誤的機率。

陳述決策規則(拒絕點)

當我們檢驗原假設時,如果我們發現檢定統計量的計算值比給定值或由指定顯著水準 $α$ 決定的值更極端,我們就拒絕原假設。我們說結果具有統計顯著性。否則,我們不會拒絕虛無假設,我們會說結果在統計上不顯著。

檢定統計量的「拒絕點」(「臨界值」)是與計算的檢定統計量進行比較以決定是否拒絕原假設的值。在圖表中,請注意拒絕區域中的面積對應於顯著性水準。

  1. 單尾測試
    拒絕點使用檢定統計量的符號來表示,下標表示 I 類錯誤的指定機率 $α$;
  • 對於單邊檢定$H_0:θ≤θ_0$,臨界值為$z_α$。
  • 對於單邊檢定$H_0:θ≥θ_0$,臨界值為$−z_α$。
    2.雙尾檢定
    對於雙邊測試 $H_0:θ=θ_0$,存在兩個拒絕點。如果使用 z 分佈,這些值將對應於 $±z_{\frac{α}{2}}$。

信賴區間與假設檢定之間的關係

$α$ 顯著水準的雙邊檢定與 $(1−α)$ 信賴區間相同。如果檢定統計量落在信賴區間之外,則拒絕虛無假設。

  • 如果假設的總體平均值 $μ_0$ 小於基於樣本平均值的 $95%$ 置信區間的下限,我們必須在 $5%$ 顯著性水準上拒絕原假設(檢定統計量下降)在右邊的拒絕區域)。
  • 如果假設的總體平均值大於 95% 信賴區間的上限,我們在 $5%$ 水準上拒絕虛無假設(檢定統計量落在左側的拒絕區域中)。

P 值(假設檢定的替代方法)

「p 值」是可以拒絕原假設的最小顯著水準。分析師和研究人員經常報告與假設檢定相關的 p 值也稱為邊際顯著性水準。

我們可以在上面提出的假設檢定框架中使用 p 值作為使用拒絕點的替代方法。
p 值越小,拒絕原假設的證據就越有力。

  • 如果 p 值小於我們指定的顯著性水平,我們拒絕原假設。
  • 否則,我們不會拒絕原假設。

做出經濟或投資決策

統計意義不一定意味著經濟意義。例如,投資組合回報的微小差異可能具有統計意義,但交易成本和其他費用可能會阻礙成功實施。

  • 統計決策(來自第六步)
  • 所有相關的經濟問題
  • 非統計因素:例如投資者的風險承受能力和財務狀況

範例
風險溢價假設
$H_0: \mu_{RP} \leq 0\ \股票的總體\平均\風險\溢價(\mu_{RP})\小於\或等於\零$
$H_a: \mu_{RP} > 0\ 股票的整體平均風險溢酬為正。
假設我們可以根據中心極限定理進行 z 檢驗,因為我們的樣本有很多觀測值。我們可以進行 z 檢定,因為我們可以合理地假設檢定統計量遵循標準常態分佈。
由於是單尾的,因此拒絕點將以 $z_{0.05}$ 表示,假設檢定統計量遵循標準常態 z 分佈,則可以發現 $z_{0.5}$ 為1.645。如果 $z > 1.645$,我們拒絕原假設。 5% 的結果位於右側的標準常態分佈的值為 $z_{0.05} = 1.645$。讓 $z$ 代表檢定統計量的計算值。
股票相對於票據報酬率的算術平均股權風險溢酬 $\bar{X}_{RP}$ 為 7.5%,樣本標準差為 19.5%。為了計算檢定統計量:
風險溢酬為正。每年 7.5% 的估計風險溢酬幅度在經濟上也非常有意義。基於這些考慮,投資人可能決定將資金投入股票。

# 指定顯著性水平
alpha = 0.05

# 拒絕點
rej_point = 1.645

# 
mean = 0.075 
std = 0.195
n = 118

# 計算樣本平均數的標準誤
sesm = std / n**0.5

# 計算檢定統計量
t_stat = (mean - 0) / sesm
print(sesm, t_stat)

# 
if t_stat > rej_point:
    print('我們拒絕虛無假設,轉而支持另一種假設,即股票的風險溢價為正。')
else:
    print('未能拒絕原假設')

# 使用 Scipy 取得 p_value
# z-score
p_value = scipy.stats.norm.sf(abs(t_stat)) 

關於平均值的假設檢定

有關單一平均值的檢定(T 檢定、Z 檢定)

T 檢驗

「t 檢定」是使用遵循 t 分佈的統計量(t 統計量)的假設檢定。 t 分佈:

  • 是由單一參數、自由度 (df) 定義的機率分佈。
  • 更分散:與標準常態分佈(z 檢定)相比,它的 $\sigma > 1$ 和遠離平均值的結果的機率更大(它具有更肥的尾部)。
  • 隨著 df 數量隨著樣本大小的增加而增加,散佈減少並且 t 分佈接近標準正態分佈作為極限。

對於關於具有未知方差 $\sigma^2$ 的正態分佈總體的總體均值的假設檢驗,並且如果抽樣總體具有未知方差並且以下任一條件成立:

  • 樣本很大(>=30),或者
  • 樣本很小,但抽樣總體呈常態分佈或近似常態分佈,
    那麼有關單一總體平均數 $μ$ 的假設檢​​定的檢定統計量為

$$t_{n−1}=\frac{\bar{X}−μ_0}{s/\sqrt{n}}$$

$t_{n−1}$ = 自由度為 $n − 1$ 的 t 統計量($n$ 為樣本大小)

$\bar{X}$ = 樣本平均值

$μ_0$ = 總體平均值的假設值

$s$ = 樣本標準差

t 統計量的分母是樣本平均標準誤的估計值,$s\bar{X}=\frac{s}{\sqrt{n}}$

Z 檢定

實際上,這兩個檢定是相似的,因為隨著 $n$ 變大,t 分佈接近 z 分佈。

  1. 若抽樣總體呈常態分佈,且已知變異數 $σ^2$,則有關單一總體平均值 $\mu$ 的假設檢定的檢定統計量為

$$z=\frac{\bar{X}−μ_0}{\sigma/\sqrt{n}}$$

  1. 如果抽樣總體具有未知方差 $s^2$ 且樣本很大,則替代 t 檢定的替代檢定統計量(依賴中心極限定理)為

$$z=\frac{\bar{X}−μ_0}{s/\sqrt{n}}$$

$\sigma$ = 已知總體標準差
$s$ = 樣本標準差
$μ_0$ = 總體平均值的假設值

以下拒絕點通常用於 z 檢定。

  • $z_{0.005}=2.575$
  • $z_{0.01}=2.33$
  • $z_{0.025}=1.96$
  • $z_{0.05}=1.645$
  • $z_{0.10}=1.28$

平均值之間的差異(具有獨立樣本)

當假設變異數時

當我們可以假設兩個總體呈常態分佈且未知總體變異數相等時,基於「獨立隨機樣本」的「t 檢定」由下式給出

$$t=\frac{(\bar{X_1}−\bar{X_2})−(μ_1−μ_2)}{\displaystyle\sqrt{(\frac{s^2_p}{n_1}+\frac{s^ 2_p}{n_2})}}$$

  • $s^2_p=\frac{(n_1−1)s^2_1+(n_2−1)s^2_2}{n_1+n_2−2}$,(共同變異數的總估計量),
  • $df = n_1 + n_2 − 2$。

當變異數不假設相等時

當我們可以假設兩個總體呈常態分佈但不知道總體變異數並且不能假設它們相等時,基於獨立隨機樣本的「近似 t 檢定」由下式給出

$$t=\frac{(\bar{X_1}−\bar{X_2})−(μ_1−μ_2)}{\displaystyle\sqrt{(\frac{s^2_1}{n_1}+\frac{s^ 2_2}{n_2})}}$$

其中我們使用 t 分佈表,該表使用透過公式計算的「修改」的自由度
$$ df=\frac{(\frac{s^2_1}{n_1}+\frac{s^2_2}{n_2})^2}{\frac{(\frac{s^2_1}{n_1})^ 2}{n_1}+\frac{(\frac{s^2_2}{n_2})^2}{n2}}$$

平均數之間的差異(具有相關樣本)(配對比較 T 檢定)

只有當樣本彼此不相關(即獨立)時,先前的測試才有效。如果獨立性假設無效,則必須使用另一種方法。

「配對觀察」是指相互依賴的觀察。 (例如,由於共同的市場因素,兩隻基金在同一時期的每月收益可能存在相關性。配對比較檢定是相關項目差異的統計檢定。)

**透過計算基於差異的標準誤差,以下介紹的 t 檢定考慮了觀測值之間的相關性。

計算取自相關樣本的兩個隨機變數之間的差異(表示為 di)。然後,對差異列表進行統計分析。

假設 $μ_d$ 和 $μ_{d0}$ 分別代表觀察到的和假設的總體平均差。假設通常按以下方式製定:

  • $H_0:μ_d=μ_{d0}$ 與 $H_a:μ_d≠μ_{d0}$
  • $H_0:μ_d≤μ_{d0}$ 與 $H_a:μ_d>μ_{d0}$
  • $H_0:μ_d≥μ_{d0}$ 與 $H_a:μ_d<μ_{d0}$

對於總體變異數未知的常態分佈總體,檢定統計量為:

  1. 步驟 1 求樣本平均差
    $$\bar{d}=\frac{1}{n}\sum_{i=1}^n{d_i}$$

其中 $n$ = 觀測值對的數量。

  1. 步驟2 樣本方差,以$s^2_d$表示,為
    $$s^2_d=\frac{\sum_{i=1}^n{(d_i−\bar{d})^2}}{n−1}$$

  2. 步驟 3 使用樣本標準差 $sd$ 計算“平均差的標準誤差”

$$s_{\bar{d}}=\frac{s_d}{\sqrt{n}}$$

  1. 步驟5
    $$t=\frac{\bar{d}−μ_{d_0}}{s\bar{d}}$$

其中 $df =n − 1$,

$n$ = 配對觀測值的數量,

$\bar{d}$ = 樣本平均差(如公式 10 所示),

$s_{\bar{d}}$ = $\bar{d}$ 的標準誤差(如公式 12 所示)。

使用案例:

  • 影響股利課稅的稅法變更前後公司的股利政策。然後,我們對同一家公司進行了「之前」和「之後」的觀察。
  • 在研究期間兩種投資策略所獲得的平均報酬是否相等。這裡的觀察結果是相關的,因為每個月每個策略都有一個觀察結果,這兩個觀察結果都取決於潛在的市場風險因素。由於兩種策略的回報可能與一些常見的風險因素(例如市場回報)相關,因此樣本是相關的。

其他問題:非參數推理

不涉及參數的測試,或對樣本所來自的總體做出最小假設的測試。

使用非參數測試的情況

  • 當我們使用的數據不滿足分佈假設時
  • 當數據以等級給出時
  • 當我們正在解決的假設不涉及參數時

相關性的非參數檢定:斯皮爾曼等級相關係數


上一篇
定量方法 - 抽樣
下一篇
投資組合管理
系列文
金融資料科學20
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言