简单线性回归

线性关系

针对参数线性

比如下面几个这个式子是 OK 的

y=β0+β1lnx+ϵy= \beta_0 + \beta_1 lnx + \epsilon

lny=β0+β1lnx+ϵlny=\beta_0 + \beta_1 lnx + \epsilon

即只要通过变换后能使得 β\beta 是线性的,其他随意怎么花里胡哨都行。

比如下面几个就不行

y=x1β1+x2β2++xkβk+ϵy=x_1^{\beta_1} + x_2^{\beta_2} + \cdots + x_k^{\beta_k} + \epsilon

y=β0+β13x+ϵy = \beta_0 + \beta_1^3 x + \epsilon

简单线性回归的基本假定

  1. 条件零均值假定

E(ϵx)=0E(\epsilon | x) = 0同方差假定

  1. 同方差假定

Var(ϵx)=σ2Var (\epsilon | x) = \sigma^2

  1. 无自相关假定

Cov(ϵ,x)=0Cov (\epsilon,x) = 0

  1. 随机扰动项与解释变量 xx 不相关

ϵN(0,σ2)\epsilon \sim N(0,\sigma^2)

  1. 正态性假定

参数估计

β0^=yˉβ1^xˉ\hat{\beta_0} = \bar y - \hat{\beta_1}\bar x

β1^=Σ(xixˉ)Σ(YiYˉ)Σ(xixˉ)2\hat{\beta_1} = \frac{\Sigma (x_i - \bar x)\Sigma(Y_i-\bar{Y})}{\Sigma (x_i-\bar{x})^2}

β0^N(β0,σ2ΣXi2nΣ(XXˉ)2)\hat{\beta_0} \sim N(\beta_0,\frac{\sigma^2\Sigma X_i^2}{n\Sigma(X-\bar{X})^2})

β1^N(β1,σ2Σ(XiXˉ)2)\hat{\beta_1} \sim N(\beta_1,\frac{\sigma^2}{\Sigma(X_i-\bar{X})^2})

σ2\sigma^2 的估计量为

Σei^2n2\frac{\Sigma \hat{e_i}^2}{n-2}

感觉这几个不太会考。

OLS 的统计性质

  1. 无偏性
  2. 最小方差
  3. 有效性(不仅具有无偏性,而且方差最小)
  4. 一致性

OLS 估计量 β0^\hat{\beta_0}, β1^\hat{\beta_1} 满足以上统计性质,分别称为总体参数 β0\beta_0, β1\beta_1 的最优线性无偏估计量。(BLUE)

统计检验

显著性检验

t 检验

判断变量是否显著不为0。

t=β1^0se^t(n2)t = \frac{\hat{\beta_1}-0}{\hat{se}}\sim t(n-2)

如果

t>tα2|t| > t_{\frac{\alpha}{2}}

则称 tt 统计量为显著的,拒绝原假设,拒绝 t=0t=0.

为什么是 a/2a/2 呢?因为假设的是 t0t \ne 0. 也就是双边检验。如果是 t>0t> 0 或者 t<0t <0 那就是单边检验了。

反正就是 tt 越大约好。

p 值概念

p 值——给定观测到的 t 统计量的情况下,原假设将被拒绝的最小显著性水平。

p=2P(t>t)p = 2 * P(t> |t_{统计量}|)

p 越小越好。

置信区间

范围是 100(1α)%100(1-\alpha)\%

βj^ta/2se^(βj^)βjβj^+ta/2se^(βj^)\hat{\beta_j}-t_{a/2}\hat{se}(\hat{\beta_j}) \le \beta_j \le \hat{\beta_j}+t_{a/2}\hat{se}(\hat{\beta_j})

拟合优度R2R^2

Σi=1n(yiyˉ)2=Σi=1n(yi^yˉ)2+Σi=1n(yiyi^)2\Sigma_{i=1}^{n}(y_i-\bar{y})^2=\Sigma_{i=1}^{n}(\hat{y_i}-\bar{y})^2+\Sigma_{i=1}^{n}(y_i-\hat{y_i})^2

SST=SSR+    SSESST \quad=\quad SSR\quad + \quad\;\; SSE

SST (total sum of squares) 总离差平方和

SSR (regression sum of squares) 回归平方和

SSE (sum of squares errors)

R2=SSRSST=SSTSSESST=1SSESSTR^2 = \frac{SSR}{SST}=\frac{SST-SSE}{SST} = 1- \frac{SSE}{SST}

R2R^2 越大越好。

  • R2R^2 非负
  • 取值范围 0R210 \le R^2 \le 1
  • R2R^2 是随抽样而变动的随机变量

多元线性回归

β^=(XX)1XY\hat{\beta} = (X'X)^{-1} X'Y

σ^2=eenk1\hat{\sigma}^2=\frac{e'e}{n-k-1}

var(β^)=σ2(XX)1var(\hat{\beta}) = \sigma^2(X'X)^{-1}

SSE=eeSSE = e'e

这几个应该也不用背,感觉不会考到这么细节的东西。

调整的可决系数

R2\overline{R^2}

R2=1SSEnk1SSTn1\overline{R^2}=1-\frac{\frac{SSE}{n-k-1}}{\frac{SST}{n-1}}

SST 为总的,所以除以总的 n1n-1

SSR 为回归的,所以除以回归的参数个数,即 kk

SSE 为总的-回归的,所以除以 nk1n-k-1

F 检验 (受限模型/检验所有参数显著性)

R = restricted

UR = unrestricted

F=(SSERSSEUR)/qSSEUR/(nk1)F(q,nk1)F = \frac{(SSE_R-SSE_{UR})/q}{SSE_{UR}/(n-k-1)} \sim F(q,n-k-1)

如果限制β1=β2=β3==0\beta_1=\beta_2=\beta_3=\cdots =0,则 F 检验可以用来检验所有参数显著性。此时分子很自然的是 SSR/kSSR / k

F>Fα(q,nk1)F > F_\alpha(q,n-k-1),则拒绝原假设

F-test 有一个 R2R^2 的形式

F=(RUR2RR2)/q(1RUR2)/(nk1)F = \frac{(R^2_{UR}-R^2_R)/q}{(1-R^2_{UR})/(n-k-1)}

高斯-马尔可夫定理

古典线性回归模型的基本假设

  1. CLM1:线性关系
  2. CLM2:随机样本
  3. CLM3:全秩
  4. CLM4:误差项条件均值为零
  5. CLM5:同方差和无自相关
  6. CLM6:正态性
  7. X 产生机制

定理

  1. 满足 CLM1 - CLM4 条件,OLS 的结果是无偏的
  2. 高斯马尔可夫定理:满足 CLM1-CLM5 条件,OLS 是 BLUE 的,估计量是有效的。
  3. 满足 CLM1-6 条件,称为古典线性假设

多重共线性

解释变量之间存在线性关系。

  1. 完全线性关系

    不带随机项

  2. 高度线性关系

带随机项

产生原因

  1. 数据采集不当
  2. 模型或总体收到限制
  3. 模型设立不当
  4. 时间序列数据中有相同的变动趋势

影响

  1. 完全共线性

    不能估计

  2. 非完全共线性

    1. 虽是 BLUE, 但是 OLS 估计方差大
    2. 具有更宽的置信空间,容易接受参数为 0 的假设
    3. t 值不显著
    4. F 检验显著
    5. 拟合优度 R2R^2 很高

检验方法

  1. 高的 R2R^2 但是只有几个显著的 t 值。
  2. 在解释变量之间存在高的相关系数。(但是低的两两相关系数也能推出多重共线性)
  3. 利用辅助回归的拟合优度 R2R^2 来判断

辅助回归

做一个解释变量对其他解释变量的回归

通过检验 F 统计量的显著性,判断多重共线性是否严重。

方差膨胀因子

即 VIF

VIF=1(1Rvariable2)VIF = \frac{1}{(1-R^2_{variable})}

VIF > 10 而且辅助回归 R2>0.9R^2>0.9 一般认为多重共线性比较严重。

处理方法

  1. 不做任何处理 因为也是 OLS BLUE
  2. 去掉一个变量,但是会造成估计量有偏
  3. 转换变量
    1. 时间序列:做一阶差分
    2. Y,X 同时除以一个解释变量 (比如总人口和总GDP变成人均的)
  4. 增加样本数据

异方差

var(ϵix1,x2,...,xk)=E(ϵi2)=ϵi2var(\epsilon_i|x_1,x_2,...,x_k)=E(\epsilon_i^2) = \epsilon_i^2

下标 ii 表示非常数。违反了 CLM5

产生原因

  1. “从错误中学习模型”
  2. 备用收入
  3. 异常值
  4. 数据采集技术不够
  5. 模型设定不准确,忽略掉了重要的解释变量
  6. 一个或多个回归元的分布是多态的

影响

  1. 估计值无偏,一致

  2. var (βj^\hat{\beta_j}) 有偏

    不能够用于建立关于参数的置信区间

    不能够用于计算 t 统计量

    OLS 的 t 统计值不具有 t 分布,大样本也无法解决

  3. OLS 不再是 BLUE

检验

  1. 作图法

    ϵ^2\hat{\epsilon}^2Y^\hat{Y} 的散点图

    ϵ^2\hat{\epsilon}^2XX 的散点图

  2. Breusch-Pagan (BP)检验

  3. 用原来正常回归得到的 ϵ^2\hat{\epsilon}^2 对解释变量回归得到估计值

  4. 检验 δ1=δ2=δ3=0\delta_1=\delta_2=\delta_3=0

  5. F 检验,看 p 值

  6. White 检验

  7. 用原来正常回归得到的 ϵ^2\hat{\epsilon}^2 对解释变量的一次项,平方项,交叉项回归得到估计值

  8. 检验δ1=δ2=δ3=0\delta_1=\delta_2=\delta_3=0

  9. F 检验,看 P 值

  10. White 检验的改进

  11. 用原来正常回归得到的 ϵ^2\hat{\epsilon}^2 对Y的一次项,平方项回归得到估计值

  12. 下同

异方差的处理

  1. 若$ var(\epsilon_i | x_1,x_2,…,x_k) = \sigma_i^2$ 结构已知的情况下,采用加权最小二乘法(WLS)。就是两边 y x 都真针对方差的结构除一下再回归。
  2. 若$ var(\epsilon_i | x_1,x_2,…,x_k) = \sigma_i^2$ 结构未知的情况下,汇报 white 稳健标准差。
  3. 自然对数转换

自相关

时间序列,$E(\epsilon_t\epsilon)\ne 0 $ 违反了 CLM5

产生原因

  1. 惯性
  2. 设定偏误
  3. 蛛网现象
  4. 滞后效应
  5. 数据“编造” (月度到年度)
  6. 数据转换
  7. 非平稳性

影响

  1. 满足 CLM1-CLM3,如果再满足解释变量严格外生,则估计值是无偏,一致的。
  2. OLS不再是BLUE,因为不满足 CLM 第五个条件。OLS 的标准差和检验统计量不再有效。

检验

  1. 图解法

    ϵt^\hat{\epsilon_t}ϵt1^\hat{\epsilon_{t-1}}的散点图

  2. DW 检验

    0 dl du 2 4-du 4-dl 4

    ​ 正 无法判断 不相关 无法决定 负相关

    注意应用条件

    1. 回归模型中包含截距项
    2. 干扰项是一阶自回归模式产生的

    ϵt=ρϵt1+et\epsilon_t= \rho \epsilon_{t-1} +e_t

    1. 回归模型的解释变量中不包含滞后因变量
  3. BG 检验(也叫LM检验)

    1. 正常回归
    2. ϵ^t\hat{\epsilon}_t 对解释变量和ϵ^t1\hat{\epsilon}_{t-1} 回归
    3. 检验是否 tt 显著

自相关处理

  1. ρ\rho 已知情况下,采用 GLS (广义最小二乘法)

    对 x y 作相应变换

  2. $\rho $ 未知情况下,采用可行 GLS

  3. 正常回归

  4. ϵt^\hat{\epsilon_t}ϵ^t1\hat{\epsilon}_{t-1} 回归得到ρ^\hat{\rho}

  5. 转换x y变量

两个其实差不多

注意转换的第一个观测值

y1=1ρ2  y1y_1^* = \sqrt{1-\rho^2}\;y_1

内生性问题

随机干扰项与x相关 违反了 CLM3

cov(x1,ϵ)0cov(x_1,\epsilon) \ne 0

产生原因

  1. 遗漏重要解释变量
  2. 测量误差
  3. 联立方程

影响

  1. 估计量有偏 不一致

处理

  1. 代理变量替代不可观测重要变量(直接加一个变量进去)

    条件:

    1. 代理变量与不可观测变量有一定的关系
    2. ϵ\epsilon 与解释变量不相关 (不然就白加进来了)
    3. e 与其他解释变量和代理变量不相关 (e是代理变量和不可观测变量的回归残差项)
  2. 工具变量 估计 (直接替代一个已有变量)

    条件:

    1. 工具变量 z 与 不可捕获变量 不相关
    2. 工具变量与替代的变量相关
  3. 两阶段最小二乘法 2SLS

    1. 第一阶段比如说 y2y_2 是内生解释变量,先拿 y2y_2 对工具变量得到 y2^\hat{y_2}
    2. 第二阶段作 y 对 y2^\hat{y_2} 和 相应 x 作回归

检验

  1. Hausman 检验
    1. 运行 y2y_2 (怀疑的内生变量)对所有外生解释变量(包括原模型中的外生解释变量以及工具变量)的回归,得到残差 v^\hat{v}
    2. v^\hat{v} 添加到原来的回归模型中,检验 v^\hat{v} 的参数的显著性。如果 v^\hat{v} 的参数显著不为0,就认为 y2y_2 是内生解释变量。

方程形式选择问题

对数形式

优势

  1. 原数据往往具有异方差性和偏态性,取对数可以有所缓解。
  2. 取对数使得对异常值不那么敏感。

参数含义

不加对数时候,β\beta 表示当 xx 变动1,y变动β\beta

加了对数,就表示当xx变动1%,y变动自身的β{\beta}%

x加了对数,y不加,表示x变动1%,y绝对变化了β\beta%.

经验

  1. 以正的货币度量的一般取对数
  2. 大的正整数一般取对数
  3. 年龄不取对数
  4. 比例形式两者皆可
  5. 0\ge 0 的情况下,可以 log(1+y)log(1+y) 来变换

平方项形式

模型里含有一个变量和它的平方项。

此时参数含义不是原来那样了。要求导得出x的变化对y的影响。

交叉项

此时 x1x_1 的偏效应取决于另一个解释变量 x2x_2 的大小。

遗漏变量与多余变量问题

遗漏重要变量

遗漏变量—>内生性—>违背CLM3->有偏不一致

残差分析

RESET 检验

  1. OLS 得到 y^\hat{y},Rold2R_{old}^2

  2. 估计以下模型

    y=γ0+γ1x+γ2y^2+γ3y^3+ϵy=\gamma_0 +\gamma_1x+\gamma_2\hat{y}^2 +\gamma_3 \hat{y}^3 +\epsilon

  3. 做 F 检验 γ2=γ3=0\gamma_2 = \gamma_3 =0

多余解释变量

依然是无偏一致的估计,但是对方差的估计会造成影响。

检验

t 检验

自下而上一个一个添加变量并检验显著性。

真实显著性水平a* 与名义显著性水平 a

a=k/caa* = k/c * a

数据问题

因变量 Y 的测量误差

假设实际的为yy^*

y=ye0y* = y- e_0

为得到βj\beta_j的无偏,一致估计量,需要的条件

  1. e0e_0 的均值为零
  2. e0e_0 与每个解释变量 xjx_j 都不相关。(一般比较容易满足)

自变量 X 的测量误差

cov(x1,e1)=0cov(x_1,e_1) = 0 则 OLS 估计值为无偏一致

(关注重点)若 cov(x1,e1)=0cov(x_1^*,e_1)=0 则 OLS 估计值为有偏 不一致

数据缺失

若随机缺失无所谓

若缺失造成了样本非随机,则存在问题。

基于自变量 X 的样本选择

能得到无偏一致估计量,只是导致估计量低效罢了。

基于自变量 Y 的样本选择

得到无偏、不一致的估计。

异常值

虚拟变量

  1. 表示截距项

  2. 表示斜率

    放进交叉项

虚拟变量陷阱——就是不能又出现男又出现女,只能取一个。

嵌套模型与非嵌套模型

嵌套模型

比如说

Model A : y=β0+β1x1+β2x2+β3x3+β4x4+ϵAy=\beta_0+\beta_1x_1 + \beta_2x_2+\beta_3x_3+\beta_4x_4 + \epsilon_A

Model B: y=α0+α1x1+α2x2+ϵBy=\alpha_0 + \alpha_1x_1+ \alpha_2x_2 + \epsilon_B

称 B 被嵌套在 A 中,是 A (β3=β4=0\beta_3=\beta_4=0)的一种特殊形式。

用 F 检验或 t 检验

非嵌套模型

Model C : y=β0+β1x1+β2x2+ϵcy=\beta_0+\beta_1x_1+\beta_2x_2+\epsilon_c

Model D: y=α0+α1z1+α2z2+ϵDy=\alpha_0+\alpha_1z_1+\alpha_2z_2 + \epsilon_D

非嵌套的。

检验
  1. R2R^2 调整R2R^2 AIC 等原则

  2. Non-nested F 检验或包容 F 检验

    构建一个包含所有变量的模型,检验参数是否显著

    存在问题

    1. 如果 x 和 z 是高度相关的,则每个的t检验都不显著而整体f检验显著,无法分辨
    2. 判断结果可能与参考模型有关
    3. 人造的模型
  3. J-Test

    1. 估计模型 D ,得到 y 的估计值 y^D\hat{y}^D

    2. y^D\hat{y}^D 加到模型 C 中

    3. 检验 H01H_0^1: β3=0\beta_3=0

    4. 如果不拒绝 H01H_0^1 我们认为模型 C 是正确的模型

      如果拒绝 H01H_0^1 我们认为模型 D 是正确的模型

      还没完,还要反向做一遍

    5. 估计模型 C ,得到 y 的估计值y^C\hat{y}^C

    J-Test 存在的问题

    不拒绝 拒绝
    不拒绝 选C和D 选D
    拒绝 选C 不选C,不选D

    模型选择原则

    AIC 准则

    定义

    AIC=e2(k+1)nΣϵi2^n=e2(k+1)nSSEnAIC = e ^ {\frac{2(k+1)}{n}} \frac{\Sigma\hat{\epsilon_i^2}}{n}=e^{\frac{2(k+1)}{n}}\frac{SSE}{n}

    ​ k 是变量的个数,不包括常数项

    判断准则

    越小约好

    AIC 优点

    • 样本内和样本外都能评价
    • 对嵌套非嵌套都给适用

    SIC 准则

    定义

    SIC=nk+1nΣϵi2^n=nk+1nSSEnSIC = n^{\frac{k+1}{n}}\frac{\Sigma\hat{\epsilon_i^2}}{n} =n^{\frac{k+1}{n}}\frac{SSE}{n}

    判断准则

    越小越好

    Mallow’s Cp 准则

    定义

    应该不考 不写了

    判断准则

    找到一个 Cp 值接近于 p 的模型

中计计量经济学复习 下

  1. 定性相应模型
  2. 时间序列分析
  3. 面板分析

定性响应模型

就是 Y 为 0 或 1 的模型。

线性概率模型 LPM

就是普通的 OLS 存在一些问题

  1. 干扰项非正态性
  2. 干扰项异方差性,导致估计量不具有最小方差
  3. 无法保证 0E(yixi)10 \le E(y_i | x_i) \le 1

Logit 模型

Logit 分布函数

p=E(Y=1X)=11+e(β0+β1x)p=E(Y=1|X) = \frac{1}{1+e^{-(\beta_0+\beta_1x)}}

ln(p1p)ln(\frac{p}{1-p})

当作自变量。p1p\frac{p}{1-p} 被称作机会比率。ln(p1p)ln(\frac{p}{1-p}) 称为机会比率对数,也称为 logit.

使用极大似然法对数似然函数来估计。

模型的解释

  1. 偏效应

    把 p 用 e 的对数形式表示再求导

    比如,可以说,在保持其他条件不变的情况下,x 每增加 1 点,估计的对数机会比例将增加 β\beta 同时,机会比例会增加约等于eβe^\beta. 而一般算的估计概率等于之间说的

    p^=11+e(β0+β1x)\hat{p}=\frac{1}{1+e^{-(\beta_0+\beta_1x)}}

  2. β\beta 对机会比率对数的影响

拟合优度的测度

  1. 正确预测的百分比
  2. pseudoR2pseudo-R^2 常用

McFadden  pseudoR2=1lnLlnL0McFadden \; pseudo - R^2 = 1- \frac{lnL}{lnL_0}

​ 其中 $lnL $ 表示被估计模型的对数似然函数值

lnL0lnL_0 表示只有截距项的模型的对数似然函数值

  1. 似然比检验

LR=2(lnLRlnLUR)x2(k)LR=-2(ln_{LR} - ln L_{UR}) \sim x^2(k)

Probit 模型

这个模型认为

p=()β0+β1x112πet2/2dtp=\int_{(-\infin)}^{\beta_0+\beta_1x_1} \frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt

如何解释偏效应?

dpdx=dβ0+β1x12πet2/2dtdx\frac{dp}{dx}=\frac{d\int_{-\infin}^{\beta_0+\beta_1x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt}{dx}

Logit 和 Probit 比较

  1. 一般情况下都很相似
  2. 主要区别在于logistic 分布有稍微平坦的尾部。 logit 以更慢的速度趋近于 0 或 1
  3. 因为 logit 更简单,所有用 logit 的更多。

泊松回归

就是 y 来预测个数,肯定不考,不写拉倒。

时间序列分析

差分 滞后 自然对数 自协方差 自相关系数 的概念。

太简单不写了。

平稳性

平稳性定义

  1. 严平稳性

    y1,y2,,yt{y_1,y_2,…,y_t} 的联合概率分布和

    y1+k,y2+k,...,yt+ky_{1+k},y_{2+k},...,y_{t+k} 相同,则称严平稳的。

    不用关注这个。

  2. 弱平稳性

    要关注这个,平常说的时间序列的平稳性也是弱平稳性。

    时间序列 yty_t 如果均值、方差不随时间而变化,协方差仅依赖于观测值之间的距离而于所处的时间点无关,我们称这一时间序列是平稳的。

    E(yt)=μE(y_t) = \mu

    var(yt)=σ2var(y_t) = \sigma^2

    cov(yt,yt+k)=γkcov(y_t,y_{t+k})=\gamma_k

    主要看前两个

两种常见的非平稳随机过程

  1. 无漂浮随机游走

Yt=Yt1+etY_t= Y_{t-1} + e_t

​ 其中 ete_t 是均值为 0 ,方差为 σ2\sigma^2 的白噪声。

​ 以上随机过程常用来检验股票市场是否有效率。

​ 白噪声——它是一个独立相同分布拥有有限的均值和方差的序列。

  1. 有漂浮随机游走

Yt=δ+Yt1+etY_t = \delta + Y_{t-1} + e_t

伪回归现象

例如

yt=yt1+e1te1tN(0,1)y_t= y_{t-1} + e_{1t}\quad e_{1t} \sim N(0,1)

xt=xt1+e2te2tN(0,1)x_t=x_{t-1}+e_{2t}\quad e_{2t} \sim N(0,1)

显然 yty_txtx_t 应该没有关系,但是回归结果的 t 会非常显著。

检验方法

针对白噪音的 Q 检验

高斯白噪音:满足 N(0,σ2)N(0,\sigma^2) 分布。

对于所有的白噪音,ACF 为00.

Q(m)=TΣl=1mρl2^Q^* (m)= T\Sigma_{l=1}^m\hat{\rho_l^2}

H0:ρ1=ρ2==ρm=0H_0: \rho_1=\rho_2=\cdots=\rho_m=0

H1:ρ0H_1: \rho \ne 0

Q(m)=T(T+2)Σl=1mρl^2TlQ(m)=T(T+2) \Sigma^m_{l=1}\frac{\hat{\rho_l}^2}{T-l}

Q(m)>xα2Q(m) > x^2_\alpha

拒绝H0H_0.

也就是说大于的情况下说明存在自相关,不是白噪音。

针对平稳性的检验
  1. 利用散点图判断平稳性

  2. 利用样本自相关函数判断平稳性

    总体自相关函数 ACF

    ρk=γkγ0=cov(yt,yt+k)var(yt)\rho_k = \frac{\gamma_k}{\gamma_0} = \frac{cov(y_t,y_{t+k})}{var(y_t)}

    非平稳时间序列 ACF 特征是 当 k 增大时,衰减特别慢。

    平稳时间序列 ACF 特征是 当 k 增大时,衰减特别快。

  3. 单位根检验

    yt=ρyt1+ety_t = \rho y_{t-1} + e_t

    如果 ρ=1\rho = 1 非平稳 有单位根

    如果 ρ<1|\rho| <1 则平稳

    DF 单位根检验

    Δyt=δyt1+et\Delta y_t = \delta y_{t-1} + e_t

    我们检验 H0:δ=0H_0: \delta = 0.

    τ\tau 检验而不用 t 检验

    ADF 单位根检验

    通过下面三个模型来完成

    Δyt=δyt1+j=1LλjΔytj+et\Delta y_t = \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t

    δyt=α+δyt1+j=1LλjΔytj+et\delta y_t = \alpha + \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t

    δyt=α+βt+δyt1+j=1LλjΔytj+et\delta y_t = \alpha + \beta t + \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t

ARIMA 模型

AR§ 自相关模型

模型

yt=ϕ0+ϕ1yt1+ety_t = \phi_0 + \phi_1 y_{t-1}+e_t

称为AR(1)

如果有多阶历史数据就用 AR§

AR模型的识别
  1. 利用 ACF 和 PACF 识别

    PACF 是描述 yty_tytky_{t-k} 之间的条件相关性,消除了出间的所有变量带来的间接相关性。

    ACF衰减不截断,PACF截断,选AR模型,阶数看PACF,几阶截断选几阶;

  2. 利用 AIC SIC 等信息准则

    越小越好

  3. AR 模型估计

    OLS MLE

  4. AR 模型预测

MA 移动平均模型

模型

MA(q)

yt=θ0+et+θ1et1+θ2et2++θqetqy_t = \theta_0 + e_t + \theta_1e_{t-1} + \theta_2e_{t-2} + \cdots + \theta_qe_{t-q}

MA 模型的识别

ACF PACF

ACF截断,PACF衰减不截断,选MA模型,阶数看ACF,几阶截断选几阶

MA 模型的估计 (略
MA 模型的预测 (略

ARMA 模型

将 AR 与 MA 结合起来

ARIMA(p,d,q) 模型建模的一般步骤

  1. 对原序列进行平稳性检验,如果不满足平稳性的条件,可以通过差分变换或者其他变换(如先取对数再差分)将该序列变为平稳序列。
  2. 对平稳序列计算 ACF 和 PACF,初步确定 ARMA 模型的阶数 p 和 q ,并在初始估计中选择尽可能较少的参数。
  3. 估计 ARMA 模型的参数,借助 t 统计量初步判断参数的显著性,尽可能删除不显著的参数,保持模型的结构精简。
  4. 对估计的 ARMA 模型的扰动项进行检验,看其是否为白噪声序列。
  5. 当有几个较为相似的 ARMA 模型可供选择时,可以通过 AIC 或 SIC 等标准来选择最优模型。

协整与误差修正模型

对不平稳的变量,回归会出现伪回归问题。

  • 非平稳 -> 差分转换成平稳 -> 适合描述短期状态或非均衡状态
  • 长期均衡状态应该使用变量本身

如果在一个回归中涉及的两个或多个时间序列“同步”,则可能有伪回归问题。

协整

如果 kk 个时间序列 y1t,y2t,...,ykty_{1t},y_{2t},...,y_{kt} 都是 dd 阶单整的,存在向量 α=(α1,α2,...,αk)\alpha= (\alpha_1,\alpha_2,...,\alpha_k) 使得

zt=α1y1t+α2y2t+α3y3t+...akyktI(db),db>0z_t = \alpha_1y_{1t} + \alpha_2y_{2t} + \alpha_3y_{3t} + ... a_ky_{kt} \sim I(d-b),d\ge b > 0

则称 y1t,y2t,...,ykty_1t,y_2t,...,y_{kt}(d,b)(d,b) 阶单整,记作 CI(d,b)CI(d,b)

例如

xtI(1),ytI(1)x_t \sim I(1), y_t \sim I(1)

zt=a1xt+a2ytI(0)z_t = a_1x_t+a_2y_t \sim I(0)

则称 xtx_tyty_t 存在协整关系 (存在长期均衡关系)

协整检验

两变量 Engle-Granger 检验

  1. 如果两个变量都是平稳的 (I(0)I(0)) 检验过程中止

  2. yty_txtx_t 同阶单整,一般是 I(1)I(1) ,则 OLS 估计以下回归

    yt=β0+β1xt+ϵty_t = \beta_0 + \beta_1x_t + \epsilon_t

    得残差

    ϵt^=ytβ0^β1^xt\hat{\epsilon_t} = y_t - \hat{\beta_0} - \hat{\beta_1}x_t

  3. 检验残差得平稳性

如果残差是平稳的,则 yty_txtx_t 之间是协整关系, yty_txtx_t 之间存在长期均衡关系

如果残差是不平稳的,则 yty_txtx_t 之间不是协整关系,yty_txtx_t 之间不存在长期均衡关系

修正误差模型 ECM

ECM=yt1(β0+β1xt1)ECM = y_{t-1} - (\beta_0 + \beta_1 x_{t-1})

Δyt=α0+λECMt1+α1Δxt+...+error\Delta y_t = \alpha_0 + \lambda ECM_{t-1} + \alpha_1 \Delta x_t + ...+error

ECM 模型含义

yty_t 短期变动(Δyt\Delta y_t)不仅受 xtx_t 的短期变动 (Δxt\Delta x_t) 影响,而且同时根据与长期均衡的误差(ECMt1ECM_{t-1})进行相应的修正调整 (假定 λ<0\lambda < 0):

  • yt1(β0+β1xt1)>0y_{t-1}-(\beta_0 + \beta_1x_{t-1})>0 上期的实际值大于长期均衡值,本期 yty_t 短期变动下降
  • yt1(β0+β1xt1)<0y_{t-1}-(\beta_0 + \beta_1x_{t-1})<0 上期的实际值小于长期均衡值,本期 yty_t 短期变动上升

Granger 因果关系检验

一般在 VAR 模型 (向量自回归)框架下进行

VAR(p)

[ΔytΔxt]=[Δa10Δa20]+[a111a121a211a221][Δyt1Δxt1]+\begin{bmatrix} \Delta y_t \\ \Delta x_t \end{bmatrix} = \begin{bmatrix} \Delta a_{10} \\ \Delta a_{20} \end{bmatrix} + \begin{bmatrix} a_{11}^1 & a^1_{12}\\ a_{21}^1 & a^1_{22} \end{bmatrix} \begin{bmatrix} \Delta y_{t-1} \\ \Delta x_{t-1} \end{bmatrix} + \cdots

$H_0 : x_t $ 不是 yty_t 的格兰杰原因

a121=a122==a12P=0a_{12}^1 = a_{12}^2 = \cdots = a_{12}^P =0

$H_0 : y_t $ 不是 xtx_t 的格兰杰原因

a221=a222==a22P=0a_{22}^1 = a_{22}^2 = \cdots = a_{22}^P =0

ARCH 和 GARCH

金融时间序列特征

  1. 原数据是随机游走过程 (非平稳)
  2. 一阶差分后是平稳的,但是表现为剧烈波动性,表现在两个方面
    • 波动性随时间变化
    • 波动性聚集现象

自回归条件异方差模型 ARCH

ARCH (1)

mean model: Yt=μ+ϵt+θ1ϵt1Y_t = \mu + \epsilon_t + \theta_1 \epsilon_{t-1}

variance model: σt2=var(ϵtϵt1)=α0+α1ϵt12\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2

Engle ARCH §

Yt=μ+ϵtY_t = \mu + \epsilon_{t}

$\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2 + \alpha_2 \epsilon_{t-2}^2+ \cdots $

自回归条件异方差模型 GARCH

GARCH (1,1)

Yt=μ+ϵtY_t =\mu + \epsilon_t

σt2=var(ϵtϵt1)=α0+α1ϵt12+δ1σt12\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2 + \delta_1 \sigma_{t-1}^2

GARCH (1,1) 等价于 ARCH (\infin)

面板数据模型

数据的观测值是来自于同一横截面个体不同时间的数据

三种数据模型

混合回归模型

yit=α+β1x1,it+β2x2,it++βkxk,it+ϵity_{it} = \alpha + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}

i=1,2,...,N;i=1,2,...,N;

t=1,2,...,Tt= 1,2,...,T

这类模型假设所有的横截面个体在不同时期的截距和斜率都是相同的。

固定效应模型

yit=αi+β1x1,it+β2x2,it++βkxk,it+ϵity_{it} = \alpha_i + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}

i=1,2,...,N;i=1,2,...,N;

t=1,2,...,Tt=1,2,...,T

每一个横截面个体具有不同的截距项(常数项)

Fixed 含义 αi\alpha_i 是个常数。虽然每个横截面个体具有不同的截距项,但是每个横截面个体的截距项并不随着时间而变化,所以是固定的。

αi\alpha_i 一般表示异质性,观测不到,一般假设与 xitx_{it} 相关

随机效用模型

yit=αi+β1x1,it+β2x2,it++βkxk,it+ϵity_{it} = \alpha_i + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}

i=1,2,...,N;i=1,2,...,N;

t=1,2,...,Tt=1,2,...,T

截距项是一个随机变量,均值为α\alphaviv_i 是一个随机变量

αi=α+vi\alpha_i = \alpha + v_i

E(vi)=0,var(vi)=σv2E(v_i) = 0, var(v_i) = \sigma^2_v

$\alpha_i $ 一般表示异质性,观测不到,一般假设与 xitx_{it} 不相关。

αit\alpha_{it} 在横截面和时间序列两个维度上而变化的截距项

βit\beta_{it} 在横截面和时间序列两个维度上而变化的斜率项

面板数据的优点

  1. 可以解决样本容量不足的问题,改进模型估计的有效性。
  2. 有助于更好地分析经济变量之间的关系
  3. 可以估计某些难以度量的因素对解释变量的影响

固定效应与随机效应模型的估计与检验

固定效应模型

最小二乘虚拟变量估计法

设$D_i $ 为一个虚拟变量,D_1= i==1 ? 1:0 对其他DiD_i 相同

y1t=αNDN+β1x1,NT+β2x2,NT++βkxk,Nt+ϵNty_{1t} = \alpha_ND_N + \beta_1x_{1,NT} + \beta_2x_{2,NT} + \cdots+ \beta_kx_{k,Nt}+ \epsilon_{Nt}

固定效应转换(FE)估计法

当N很大时,回归会损失大量的自由度。可以考虑对模型进行变化,消去常数项,再用变换后的模型进行回归。该变换的另一好处是可以消除αi\alpha_i 与其他解释变量的相关性。

yit=αi+β1x1,it++ϵity_{it} = \alpha_i + \beta_1x_{1,it} + \cdots+\epsilon_{it}

对每个横截面个体在时间上求均值(组内均值)有

yiˉ=α+βxˉ1,i+β2xˉ2,i+ϵiˉ\bar{y_i} = \alpha + \beta\bar{x}_{1,i} + \beta_2 \bar{x}_{2,i} + \bar{\epsilon_i}

两个式子相减,得到

yityˉi=β1(x1,itxˉ1,i)+β2(x2,itxˉ2,i)++βk(xk,itxˉk,i)+(ϵitϵiˉ)y_{it} - \bar{y}_i = \beta_1(x_{1,it}-\bar{x}_{1,i})+ \beta_2(x_{2,it}-\bar{x}_{2,i}) + \cdots + \beta_k (x_{k,it}-\bar{x}_{k,i})+(\epsilon_{it}-\bar{\epsilon_i})

yit=β1x1,it+β2x2,it++βkxk,it+ϵity_{it}^*= \beta_1x_{1,it}^* + \beta_2x_{2,it}^* + \cdots+ \beta_kx^*_{k,it} + \epsilon_{it}^*

检验个体影响的显著性

H0:α1=α2==αN=αH_0: \alpha_1= \alpha_2 = \cdots = \alpha_N=\alpha

Unrestricted Model (固定效用模型)

y1t=α1D1++αNDN+β1x1,NT+β2x2,NT++βkxk,Nt+ϵNty_{1t} = \alpha_1D_1+ \cdots + \alpha_ND_N + \beta_1x_{1,NT} + \beta_2x_{2,NT} + \cdots+ \beta_kx_{k,Nt}+ \epsilon_{Nt}

Restricted Model (混合回归模型)

yit=α+β1x1,it+β2x2,it++βkxk,it+ϵity_{it} = \alpha + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}

通过F检验,显著则固定效用模型

不显著则混合回归模型

随机效应模型

估计采用广义最小二乘法,有点复杂,应该不会考。

检验

Hausman 检验基本思路:如果 cov(αi,xit)0cov(\alpha_i,x_{it})\ne 0 则 GLS 估计量是有偏和非一致的,但是固定效应估计是无偏和一致的。所以,如果模型误差项与解释变量之间是正交的,则应将模型设定为随机效应模型,否则则设为固定效应模型。

H0H_0 个体效应(异质性) 与 xitx_{it} 不相关

H1H_1 个体效应(异质性) 与 xitx_{it} 相关

拒绝原假设即是固定效应模型

接受原假设则为随机效应模型