简单线性回归

线性关系

针对参数线性

比如下面几个这个式子是 OK 的

$y= \beta_0 + \beta_1 lnx + \epsilon$

$lny=\beta_0 + \beta_1 lnx + \epsilon$

即只要通过变换后能使得 $\beta$ 是线性的，其他随意怎么花里胡哨都行。

比如下面几个就不行

$y=x_1^{\beta_1} + x_2^{\beta_2} + \cdots + x_k^{\beta_k} + \epsilon$

$y = \beta_0 + \beta_1^3 x + \epsilon$

简单线性回归的基本假定

1. 条件零均值假定

$E(\epsilon | x) = 0同方差假定$

2. 同方差假定

$Var (\epsilon | x) = \sigma^2$

3. 无自相关假定

$Cov (\epsilon,x) = 0$

3. 随机扰动项与解释变量 $x$ 不相关

$\epsilon \sim N(0,\sigma^2)$

3. 正态性假定

参数估计

$\hat{\beta_0} = \bar y - \hat{\beta_1}\bar x$

$\hat{\beta_1} = \frac{\Sigma (x_i - \bar x)\Sigma(Y_i-\bar{Y})}{\Sigma (x_i-\bar{x})^2}$

$\hat{\beta_0} \sim N(\beta_0,\frac{\sigma^2\Sigma X_i^2}{n\Sigma(X-\bar{X})^2})$

$\hat{\beta_1} \sim N(\beta_1,\frac{\sigma^2}{\Sigma(X_i-\bar{X})^2})$

$\sigma^2$ 的估计量为

$\frac{\Sigma \hat{e_i}^2}{n-2}$

感觉这几个不太会考。

OLS 的统计性质

1. 无偏性
2. 最小方差
3. 有效性(不仅具有无偏性，而且方差最小)
4. 一致性

OLS 估计量 $\hat{\beta_0}$, $\hat{\beta_1}$ 满足以上统计性质，分别称为总体参数 $\beta_0$, $\beta_1$ 的最优线性无偏估计量。(BLUE)

统计检验

显著性检验

t 检验

判断变量是否显著不为0。

$t = \frac{\hat{\beta_1}-0}{\hat{se}}\sim t(n-2)$

如果

$|t| > t_{\frac{\alpha}{2}}$

则称 $t$ 统计量为显著的，拒绝原假设，拒绝 $t=0$.

为什么是 $a/2$ 呢？因为假设的是 $t \ne 0$. 也就是双边检验。如果是 $t> 0$ 或者 $t <0$ 那就是单边检验了。

反正就是 $t$ 越大约好。

p 值概念

p 值——给定观测到的 t 统计量的情况下，原假设将被拒绝的最小显著性水平。

$p = 2 * P(t> |t_{统计量}|)$

p 越小越好。

置信区间

范围是 $100(1-\alpha)\%$

$\hat{\beta_j}-t_{a/2}\hat{se}(\hat{\beta_j}) \le \beta_j \le \hat{\beta_j}+t_{a/2}\hat{se}(\hat{\beta_j})$

拟合优度$R^2$

$\Sigma_{i=1}^{n}(y_i-\bar{y})^2=\Sigma_{i=1}^{n}(\hat{y_i}-\bar{y})^2+\Sigma_{i=1}^{n}(y_i-\hat{y_i})^2$

$SST \quad=\quad SSR\quad + \quad\;\; SSE$

SST (total sum of squares) 总离差平方和

SSR (regression sum of squares) 回归平方和

SSE (sum of squares errors)

$R^2 = \frac{SSR}{SST}=\frac{SST-SSE}{SST} = 1- \frac{SSE}{SST}$

$R^2$ 越大越好。

• $R^2$ 非负
• 取值范围 $0 \le R^2 \le 1$
• $R^2$ 是随抽样而变动的随机变量

多元线性回归

$\hat{\beta} = (X'X)^{-1} X'Y$

$\hat{\sigma}^2=\frac{e'e}{n-k-1}$

$var(\hat{\beta}) = \sigma^2(X'X)^{-1}$

$SSE = e'e$

这几个应该也不用背，感觉不会考到这么细节的东西。

调整的可决系数

即 $\overline{R^2}$

$\overline{R^2}=1-\frac{\frac{SSE}{n-k-1}}{\frac{SST}{n-1}}$

SST 为总的，所以除以总的 $n-1$

SSR 为回归的，所以除以回归的参数个数，即 $k$

SSE 为总的-回归的，所以除以 $n-k-1$

F 检验 （受限模型/检验所有参数显著性）

R = restricted

UR = unrestricted

$F = \frac{(SSE_R-SSE_{UR})/q}{SSE_{UR}/(n-k-1)} \sim F(q,n-k-1)$

如果限制$\beta_1=\beta_2=\beta_3=\cdots =0$，则 F 检验可以用来检验所有参数显著性。此时分子很自然的是 $SSR / k$

若$F > F_\alpha(q,n-k-1)$，则拒绝原假设

F-test 有一个 $R^2$ 的形式

$F = \frac{(R^2_{UR}-R^2_R)/q}{(1-R^2_{UR})/(n-k-1)}$

高斯-马尔可夫定理

古典线性回归模型的基本假设

1. CLM1：线性关系
2. CLM2：随机样本
3. CLM3：全秩
4. CLM4：误差项条件均值为零
5. CLM5：同方差和无自相关
6. CLM6：正态性
7. X 产生机制

定理

1. 满足 CLM1 - CLM4 条件，OLS 的结果是无偏的
2. 高斯马尔可夫定理：满足 CLM1-CLM5 条件，OLS 是 BLUE 的，估计量是有效的。
3. 满足 CLM1-6 条件，称为古典线性假设

多重共线性

解释变量之间存在线性关系。

1. 完全线性关系

   不带随机项

2. 高度线性关系

带随机项

产生原因

1. 数据采集不当
2. 模型或总体收到限制
3. 模型设立不当
4. 时间序列数据中有相同的变动趋势

影响

1. 完全共线性

   不能估计

2. 非完全共线性

   1. 虽是 BLUE， 但是 OLS 估计方差大
   2. 具有更宽的置信空间，容易接受参数为 0 的假设
   3. t 值不显著
   4. F 检验显著
   5. 拟合优度 $R^2$ 很高

检验方法

1. 高的 $R^2$ 但是只有几个显著的 t 值。
2. 在解释变量之间存在高的相关系数。（但是低的两两相关系数也能推出多重共线性）
3. 利用辅助回归的拟合优度 $R^2$ 来判断

辅助回归

做一个解释变量对其他解释变量的回归

通过检验 F 统计量的显著性，判断多重共线性是否严重。

方差膨胀因子

即 VIF

$VIF = \frac{1}{(1-R^2_{variable})}$

VIF > 10 而且辅助回归 $R^2>0.9$ 一般认为多重共线性比较严重。

处理方法

1. 不做任何处理 因为也是 OLS BLUE
2. 去掉一个变量，但是会造成估计量有偏
3. 转换变量
   1. 时间序列：做一阶差分
   2. Y,X 同时除以一个解释变量 （比如总人口和总GDP变成人均的）
4. 增加样本数据

异方差

$var(\epsilon_i|x_1,x_2,...,x_k)=E(\epsilon_i^2) = \epsilon_i^2$

下标 $i$ 表示非常数。违反了 CLM5

产生原因

1. “从错误中学习模型”
2. 备用收入
3. 异常值
4. 数据采集技术不够
5. 模型设定不准确，忽略掉了重要的解释变量
6. 一个或多个回归元的分布是多态的

影响

1. 估计值无偏，一致

2. var ($\hat{\beta_j}$) 有偏

   不能够用于建立关于参数的置信区间

   不能够用于计算 t 统计量

   OLS 的 t 统计值不具有 t 分布，大样本也无法解决

3. OLS 不再是 BLUE

检验

1. 作图法

   做 $\hat{\epsilon}^2$ 对 $\hat{Y}$ 的散点图

   做 $\hat{\epsilon}^2$ 对 $X$ 的散点图

2. Breusch-Pagan （BP）检验

3. 用原来正常回归得到的 $\hat{\epsilon}^2$ 对解释变量回归得到估计值

4. 检验 $\delta_1=\delta_2=\delta_3=0$

5. F 检验，看 p 值

6. White 检验

7. 用原来正常回归得到的 $\hat{\epsilon}^2$ 对解释变量的一次项，平方项，交叉项回归得到估计值

8. 检验$\delta_1=\delta_2=\delta_3=0$

9. F 检验，看 P 值

10. White 检验的改进

11. 用原来正常回归得到的 $\hat{\epsilon}^2$ 对Y的一次项，平方项回归得到估计值

12. 下同

异方差的处理

1. 若$ var(\epsilon_i | x_1,x_2,…,x_k) = \sigma_i^2$ 结构已知的情况下，采用加权最小二乘法（WLS）。就是两边 y x 都真针对方差的结构除一下再回归。
2. 若$ var(\epsilon_i | x_1,x_2,…,x_k) = \sigma_i^2$ 结构未知的情况下，汇报 white 稳健标准差。
3. 自然对数转换

自相关

时间序列，$E(\epsilon_t\epsilon)\ne 0 $ 违反了 CLM5

产生原因

1. 惯性
2. 设定偏误
3. 蛛网现象
4. 滞后效应
5. 数据“编造” （月度到年度）
6. 数据转换
7. 非平稳性

影响

1. 满足 CLM1-CLM3，如果再满足解释变量严格外生，则估计值是无偏，一致的。
2. OLS不再是BLUE，因为不满足 CLM 第五个条件。OLS 的标准差和检验统计量不再有效。

检验

1. 图解法

   作 $\hat{\epsilon_t}$ 对 $\hat{\epsilon_{t-1}}$的散点图

2. DW 检验

   0 dl du 2 4-du 4-dl 4

   ​ 正 无法判断 不相关 无法决定 负相关

   注意应用条件

   1. 回归模型中包含截距项
   2. 干扰项是一阶自回归模式产生的

   $\epsilon_t= \rho \epsilon_{t-1} +e_t$

   3. 回归模型的解释变量中不包含滞后因变量

3. BG 检验（也叫LM检验）

   1. 正常回归
   2. 用$\hat{\epsilon}_t$ 对解释变量和$\hat{\epsilon}_{t-1}$ 回归
   3. 检验是否 $t$ 显著

自相关处理

1. $\rho$ 已知情况下，采用 GLS (广义最小二乘法)

   对 x y 作相应变换

2. $\rho $ 未知情况下，采用可行 GLS

3. 正常回归

4. 用 $\hat{\epsilon_t}$对$\hat{\epsilon}_{t-1}$ 回归得到$\hat{\rho}$

5. 转换x y变量

两个其实差不多

注意转换的第一个观测值

$y_1^* = \sqrt{1-\rho^2}\;y_1$

内生性问题

随机干扰项与x相关 违反了 CLM3

$cov(x_1,\epsilon) \ne 0$

产生原因

1. 遗漏重要解释变量
2. 测量误差
3. 联立方程

影响

1. 估计量有偏 不一致

处理

1. 用代理变量替代不可观测重要变量（直接加一个变量进去）

   条件：

   1. 代理变量与不可观测变量有一定的关系
   2. $\epsilon$ 与解释变量不相关 （不然就白加进来了)
   3. e 与其他解释变量和代理变量不相关 （e是代理变量和不可观测变量的回归残差项）

2. 工具变量 估计 （直接替代一个已有变量）

   条件：

   1. 工具变量 z 与 不可捕获变量 不相关
   2. 工具变量与替代的变量相关

3. 两阶段最小二乘法 2SLS

   1. 第一阶段比如说 $y_2$ 是内生解释变量，先拿 $y_2$ 对工具变量得到 $\hat{y_2}$
   2. 第二阶段作 y 对 $\hat{y_2}$ 和 相应 x 作回归

检验

1. Hausman 检验
   1. 运行 $y_2$ （怀疑的内生变量）对所有外生解释变量（包括原模型中的外生解释变量以及工具变量）的回归，得到残差 $\hat{v}$
   2. 把 $\hat{v}$ 添加到原来的回归模型中，检验 $\hat{v}$ 的参数的显著性。如果 $\hat{v}$ 的参数显著不为0，就认为 $y_2$ 是内生解释变量。

方程形式选择问题

对数形式

优势

1. 原数据往往具有异方差性和偏态性，取对数可以有所缓解。
2. 取对数使得对异常值不那么敏感。

参数含义

不加对数时候，$\beta$ 表示当 $x$ 变动1，y变动$\beta$

加了对数，就表示当$x$变动1%，y变动自身的${\beta}$%

x加了对数，y不加，表示x变动1%,y绝对变化了$\beta$%.

经验

1. 以正的货币度量的一般取对数
2. 大的正整数一般取对数
3. 年龄不取对数
4. 比例形式两者皆可
5. 对 $\ge 0$ 的情况下，可以 $log(1+y)$ 来变换

平方项形式

模型里含有一个变量和它的平方项。

此时参数含义不是原来那样了。要求导得出x的变化对y的影响。

交叉项

此时 $x_1$ 的偏效应取决于另一个解释变量 $x_2$ 的大小。

遗漏变量与多余变量问题

遗漏重要变量

遗漏变量—>内生性—>违背CLM3->有偏不一致

残差分析

RESET 检验

1. OLS 得到 $\hat{y}$,$R_{old}^2$

2. 估计以下模型

   $y=\gamma_0 +\gamma_1x+\gamma_2\hat{y}^2 +\gamma_3 \hat{y}^3 +\epsilon$

3. 做 F 检验 $\gamma_2 = \gamma_3 =0$

多余解释变量

依然是无偏一致的估计，但是对方差的估计会造成影响。

检验

t 检验

自下而上一个一个添加变量并检验显著性。

真实显著性水平a* 与名义显著性水平 a

$a* = k/c * a$

数据问题

因变量 Y 的测量误差

假设实际的为$y^*$

$y* = y- e_0$

为得到$\beta_j$的无偏，一致估计量，需要的条件

1. $e_0$ 的均值为零
2. $e_0$ 与每个解释变量 $x_j$ 都不相关。（一般比较容易满足）

自变量 X 的测量误差

若 $cov(x_1,e_1) = 0$ 则 OLS 估计值为无偏一致

（关注重点）若 $cov(x_1^*,e_1)=0$ 则 OLS 估计值为有偏 不一致

数据缺失

若随机缺失无所谓

若缺失造成了样本非随机，则存在问题。

基于自变量 X 的样本选择

能得到无偏一致估计量，只是导致估计量低效罢了。

基于自变量 Y 的样本选择

得到无偏、不一致的估计。

异常值

虚拟变量

1. 表示截距项

2. 表示斜率

   放进交叉项

虚拟变量陷阱——就是不能又出现男又出现女，只能取一个。

嵌套模型与非嵌套模型

嵌套模型

比如说

Model A : $y=\beta_0+\beta_1x_1 + \beta_2x_2+\beta_3x_3+\beta_4x_4 + \epsilon_A$

Model B: $y=\alpha_0 + \alpha_1x_1+ \alpha_2x_2 + \epsilon_B$

称 B 被嵌套在 A 中，是 A （$\beta_3=\beta_4=0$）的一种特殊形式。

用 F 检验或 t 检验

非嵌套模型

Model C : $y=\beta_0+\beta_1x_1+\beta_2x_2+\epsilon_c$

Model D: $y=\alpha_0+\alpha_1z_1+\alpha_2z_2 + \epsilon_D$

非嵌套的。

检验

1. $R^2$ 调整$R^2$ AIC 等原则

2. Non-nested F 检验或包容 F 检验

   构建一个包含所有变量的模型，检验参数是否显著

   存在问题

   1. 如果 x 和 z 是高度相关的，则每个的t检验都不显著而整体f检验显著，无法分辨
   2. 判断结果可能与参考模型有关
   3. 人造的模型

3. J-Test

   1. 估计模型 D ，得到 y 的估计值 $\hat{y}^D$

   2. 把 $\hat{y}^D$ 加到模型 C 中

   3. 检验 $H_0^1$: $\beta_3=0$

   4. 如果不拒绝 $H_0^1$ 我们认为模型 C 是正确的模型

      如果拒绝 $H_0^1$ 我们认为模型 D 是正确的模型

      还没完，还要反向做一遍

   5. 估计模型 C ，得到 y 的估计值$\hat{y}^C$

   J-Test 存在的问题

   	不拒绝	拒绝
   不拒绝	选C和D	选D
   拒绝	选C	不选C，不选D

   模型选择原则

   AIC 准则

   定义

   $AIC = e ^ {\frac{2(k+1)}{n}} \frac{\Sigma\hat{\epsilon_i^2}}{n}=e^{\frac{2(k+1)}{n}}\frac{SSE}{n}$

   ​ k 是变量的个数，不包括常数项

   判断准则

   越小约好

   AIC 优点

   • 样本内和样本外都能评价
   • 对嵌套非嵌套都给适用

   SIC 准则

   定义

   $SIC = n^{\frac{k+1}{n}}\frac{\Sigma\hat{\epsilon_i^2}}{n} =n^{\frac{k+1}{n}}\frac{SSE}{n}$

   判断准则

   越小越好

   Mallow’s Cp 准则

   定义

   应该不考 不写了

   判断准则

   找到一个 Cp 值接近于 p 的模型

中计计量经济学复习 下

1. 定性相应模型
2. 时间序列分析
3. 面板分析

定性响应模型

就是 Y 为 0 或 1 的模型。

线性概率模型 LPM

就是普通的 OLS 存在一些问题

1. 干扰项非正态性
2. 干扰项异方差性，导致估计量不具有最小方差
3. 无法保证 $0 \le E(y_i | x_i) \le 1$

Logit 模型

Logit 分布函数

$p=E(Y=1|X) = \frac{1}{1+e^{-(\beta_0+\beta_1x)}}$

用

$ln(\frac{p}{1-p})$

当作自变量。$\frac{p}{1-p}$ 被称作机会比率。$ln(\frac{p}{1-p})$ 称为机会比率对数，也称为 logit.

使用极大似然法对数似然函数来估计。

模型的解释

1. 偏效应

   把 p 用 e 的对数形式表示再求导

   比如，可以说，在保持其他条件不变的情况下，x 每增加 1 点，估计的对数机会比例将增加 $\beta$ 同时，机会比例会增加约等于$e^\beta$. 而一般算的估计概率等于之间说的

   $\hat{p}=\frac{1}{1+e^{-(\beta_0+\beta_1x)}}$

2. $\beta$ 对机会比率对数的影响

拟合优度的测度

1. 正确预测的百分比
2. $pseudo-R^2$ 常用

$McFadden \; pseudo - R^2 = 1- \frac{lnL}{lnL_0}$

​ 其中 $lnL $ 表示被估计模型的对数似然函数值

​ $lnL_0$ 表示只有截距项的模型的对数似然函数值

3. 似然比检验

$LR=-2(ln_{LR} - ln L_{UR}) \sim x^2(k)$

Probit 模型

这个模型认为

$p=\int_{(-\infin)}^{\beta_0+\beta_1x_1} \frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt$

如何解释偏效应？

$\frac{dp}{dx}=\frac{d\int_{-\infin}^{\beta_0+\beta_1x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt}{dx}$

Logit 和 Probit 比较

1. 一般情况下都很相似
2. 主要区别在于logistic 分布有稍微平坦的尾部。 logit 以更慢的速度趋近于 0 或 1
3. 因为 logit 更简单，所有用 logit 的更多。

泊松回归

就是 y 来预测个数，肯定不考，不写拉倒。

时间序列分析

差分 滞后 自然对数 自协方差 自相关系数 的概念。

太简单不写了。

平稳性

平稳性定义

1. 严平稳性

   ${y_1,y_2,…,y_t}$ 的联合概率分布和

   $y_{1+k},y_{2+k},...,y_{t+k}$ 相同，则称严平稳的。

   不用关注这个。

2. 弱平稳性

   要关注这个，平常说的时间序列的平稳性也是弱平稳性。

   时间序列 $y_t$ 如果均值、方差不随时间而变化，协方差仅依赖于观测值之间的距离而于所处的时间点无关，我们称这一时间序列是平稳的。

   $E(y_t) = \mu$

   $var(y_t) = \sigma^2$

   $cov(y_t,y_{t+k})=\gamma_k$

   主要看前两个

两种常见的非平稳随机过程

1. 无漂浮随机游走

$Y_t= Y_{t-1} + e_t$

​ 其中 $e_t$ 是均值为 0 ，方差为 $\sigma^2$ 的白噪声。

​ 以上随机过程常用来检验股票市场是否有效率。

​ 白噪声——它是一个独立相同分布拥有有限的均值和方差的序列。

2. 有漂浮随机游走

$Y_t = \delta + Y_{t-1} + e_t$

伪回归现象

例如

$y_t= y_{t-1} + e_{1t}\quad e_{1t} \sim N(0,1)$

$x_t=x_{t-1}+e_{2t}\quad e_{2t} \sim N(0,1)$

显然 $y_t$ 与 $x_t$ 应该没有关系，但是回归结果的 t 会非常显著。

检验方法

针对白噪音的 Q 检验

高斯白噪音：满足 $N(0,\sigma^2)$ 分布。

对于所有的白噪音，ACF 为$0$.

$Q^* (m)= T\Sigma_{l=1}^m\hat{\rho_l^2}$

$H_0: \rho_1=\rho_2=\cdots=\rho_m=0$

$H_1: \rho \ne 0$

$Q(m)=T(T+2) \Sigma^m_{l=1}\frac{\hat{\rho_l}^2}{T-l}$

当

$Q(m) > x^2_\alpha$

拒绝$H_0$.

也就是说大于的情况下说明存在自相关，不是白噪音。

针对平稳性的检验

1. 利用散点图判断平稳性

2. 利用样本自相关函数判断平稳性

   总体自相关函数 ACF

   $\rho_k = \frac{\gamma_k}{\gamma_0} = \frac{cov(y_t,y_{t+k})}{var(y_t)}$

   非平稳时间序列 ACF 特征是 当 k 增大时，衰减特别慢。

   平稳时间序列 ACF 特征是 当 k 增大时，衰减特别快。

3. 单位根检验

   $y_t = \rho y_{t-1} + e_t$

   如果 $\rho = 1$ 非平稳 有单位根

   如果 $|\rho| <1$ 则平稳

   DF 单位根检验

   $\Delta y_t = \delta y_{t-1} + e_t$

   我们检验 $H_0: \delta = 0$.

   用 $\tau$ 检验而不用 t 检验

   ADF 单位根检验

   通过下面三个模型来完成

   $\Delta y_t = \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t$

   $\delta y_t = \alpha + \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t$

   $\delta y_t = \alpha + \beta t + \delta y_{t-1} + \sum^{L}_{j=1}\lambda_j\Delta y_{t-j} + e_t$

ARIMA 模型

AR§ 自相关模型

模型

$y_t = \phi_0 + \phi_1 y_{t-1}+e_t$

称为AR(1)

如果有多阶历史数据就用 AR§

AR模型的识别

1. 利用 ACF 和 PACF 识别

   PACF 是描述 $y_t$ 和 $y_{t-k}$ 之间的条件相关性，消除了出间的所有变量带来的间接相关性。

   ACF衰减不截断，PACF截断，选AR模型，阶数看PACF，几阶截断选几阶；

2. 利用 AIC SIC 等信息准则

   越小越好

3. AR 模型估计

   OLS MLE

4. AR 模型预测

MA 移动平均模型

模型

MA(q)

$y_t = \theta_0 + e_t + \theta_1e_{t-1} + \theta_2e_{t-2} + \cdots + \theta_qe_{t-q}$

MA 模型的识别

ACF PACF

ACF截断，PACF衰减不截断，选MA模型，阶数看ACF，几阶截断选几阶

MA 模型的估计 （略

MA 模型的预测 （略

ARMA 模型

将 AR 与 MA 结合起来

ARIMA(p,d,q) 模型建模的一般步骤

1. 对原序列进行平稳性检验，如果不满足平稳性的条件，可以通过差分变换或者其他变换（如先取对数再差分）将该序列变为平稳序列。
2. 对平稳序列计算 ACF 和 PACF，初步确定 ARMA 模型的阶数 p 和 q ，并在初始估计中选择尽可能较少的参数。
3. 估计 ARMA 模型的参数，借助 t 统计量初步判断参数的显著性，尽可能删除不显著的参数，保持模型的结构精简。
4. 对估计的 ARMA 模型的扰动项进行检验，看其是否为白噪声序列。
5. 当有几个较为相似的 ARMA 模型可供选择时，可以通过 AIC 或 SIC 等标准来选择最优模型。

协整与误差修正模型

对不平稳的变量，回归会出现伪回归问题。

• 非平稳 -> 差分转换成平稳 -> 适合描述短期状态或非均衡状态
• 长期均衡状态应该使用变量本身

如果在一个回归中涉及的两个或多个时间序列“同步”，则可能有伪回归问题。

协整

如果 $k$ 个时间序列 $y_{1t},y_{2t},...,y_{kt}$ 都是 $d$ 阶单整的，存在向量 $\alpha= (\alpha_1,\alpha_2,...,\alpha_k)$ 使得

$z_t = \alpha_1y_{1t} + \alpha_2y_{2t} + \alpha_3y_{3t} + ... a_ky_{kt} \sim I(d-b),d\ge b > 0$

则称 $y_1t,y_2t,...,y_{kt}$ 是 $(d,b)$ 阶单整，记作 $CI(d,b)$

例如

$x_t \sim I(1), y_t \sim I(1)$

$z_t = a_1x_t+a_2y_t \sim I(0)$

则称 $x_t$ 与 $y_t$ 存在协整关系 （存在长期均衡关系）

协整检验

两变量 Engle-Granger 检验

1. 如果两个变量都是平稳的 ($I(0)$) 检验过程中止

2. $y_t$ 与 $x_t$ 同阶单整，一般是 $I(1)$ ，则 OLS 估计以下回归

   $y_t = \beta_0 + \beta_1x_t + \epsilon_t$

   得残差

   $\hat{\epsilon_t} = y_t - \hat{\beta_0} - \hat{\beta_1}x_t$

3. 检验残差得平稳性

如果残差是平稳的，则 $y_t$ 与 $x_t$ 之间是协整关系， $y_t$ 与 $x_t$ 之间存在长期均衡关系

如果残差是不平稳的，则 $y_t$ 与 $x_t$ 之间不是协整关系，$y_t$ 与 $x_t$ 之间不存在长期均衡关系

修正误差模型 ECM

$ECM = y_{t-1} - (\beta_0 + \beta_1 x_{t-1})$

$\Delta y_t = \alpha_0 + \lambda ECM_{t-1} + \alpha_1 \Delta x_t + ...+error$

ECM 模型含义

$y_t$ 短期变动（$\Delta y_t$）不仅受 $x_t$ 的短期变动 ($\Delta x_t$) 影响，而且同时根据与长期均衡的误差（$ECM_{t-1}$）进行相应的修正调整 （假定 $\lambda < 0$）:

• 当 $y_{t-1}-(\beta_0 + \beta_1x_{t-1})>0$ 上期的实际值大于长期均衡值，本期 $y_t$ 短期变动下降
• 当 $y_{t-1}-(\beta_0 + \beta_1x_{t-1})<0$ 上期的实际值小于长期均衡值，本期 $y_t$ 短期变动上升

Granger 因果关系检验

一般在 VAR 模型 （向量自回归）框架下进行

VAR（p）

$\begin{bmatrix} \Delta y_t \\ \Delta x_t \end{bmatrix} = \begin{bmatrix} \Delta a_{10} \\ \Delta a_{20} \end{bmatrix} + \begin{bmatrix} a_{11}^1 & a^1_{12}\\ a_{21}^1 & a^1_{22} \end{bmatrix} \begin{bmatrix} \Delta y_{t-1} \\ \Delta x_{t-1} \end{bmatrix} + \cdots$

$H_0 : x_t $ 不是 $y_t$ 的格兰杰原因

$a_{12}^1 = a_{12}^2 = \cdots = a_{12}^P =0$

$H_0 : y_t $ 不是 $x_t$ 的格兰杰原因

$a_{22}^1 = a_{22}^2 = \cdots = a_{22}^P =0$

ARCH 和 GARCH

金融时间序列特征

1. 原数据是随机游走过程 （非平稳）
2. 一阶差分后是平稳的，但是表现为剧烈波动性，表现在两个方面
   • 波动性随时间变化
   • 波动性聚集现象

自回归条件异方差模型 ARCH

ARCH (1)

mean model: $Y_t = \mu + \epsilon_t + \theta_1 \epsilon_{t-1}$

variance model: $\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2$

Engle ARCH §

$Y_t = \mu + \epsilon_{t}$

$\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2 + \alpha_2 \epsilon_{t-2}^2+ \cdots $

自回归条件异方差模型 GARCH

GARCH (1,1)

$Y_t =\mu + \epsilon_t$

$\sigma_t^2 = var(\epsilon_t | \epsilon_{t-1}) = \alpha_0 + \alpha_1 \epsilon_{t-1}^2 + \delta_1 \sigma_{t-1}^2$

GARCH (1,1) 等价于 ARCH ($\infin$)

面板数据模型

数据的观测值是来自于同一横截面个体不同时间的数据

三种数据模型

混合回归模型

$y_{it} = \alpha + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}$

$i=1,2,...,N;$

$t= 1,2,...,T$

这类模型假设所有的横截面个体在不同时期的截距和斜率都是相同的。

固定效应模型

$y_{it} = \alpha_i + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}$

$i=1,2,...,N;$

$t=1,2,...,T$

每一个横截面个体具有不同的截距项（常数项）

Fixed 含义 $\alpha_i$ 是个常数。虽然每个横截面个体具有不同的截距项，但是每个横截面个体的截距项并不随着时间而变化，所以是固定的。

$\alpha_i$ 一般表示异质性，观测不到，一般假设与 $x_{it}$ 相关

随机效用模型

$y_{it} = \alpha_i + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}$

$i=1,2,...,N;$

$t=1,2,...,T$

截距项是一个随机变量，均值为$\alpha$ ，$v_i$ 是一个随机变量

$\alpha_i = \alpha + v_i$

$E(v_i) = 0, var(v_i) = \sigma^2_v$

$\alpha_i $ 一般表示异质性，观测不到，一般假设与 $x_{it}$ 不相关。

$\alpha_{it}$ 在横截面和时间序列两个维度上而变化的截距项

$\beta_{it}$ 在横截面和时间序列两个维度上而变化的斜率项

面板数据的优点

1. 可以解决样本容量不足的问题，改进模型估计的有效性。
2. 有助于更好地分析经济变量之间的关系
3. 可以估计某些难以度量的因素对解释变量的影响

固定效应与随机效应模型的估计与检验

固定效应模型

最小二乘虚拟变量估计法

设$D_i $ 为一个虚拟变量，D_1= i==1 ? 1:0 对其他$D_i$ 相同

$y_{1t} = \alpha_ND_N + \beta_1x_{1,NT} + \beta_2x_{2,NT} + \cdots+ \beta_kx_{k,Nt}+ \epsilon_{Nt}$

固定效应转换（FE）估计法

当N很大时，回归会损失大量的自由度。可以考虑对模型进行变化，消去常数项，再用变换后的模型进行回归。该变换的另一好处是可以消除$\alpha_i$ 与其他解释变量的相关性。

$y_{it} = \alpha_i + \beta_1x_{1,it} + \cdots+\epsilon_{it}$

对每个横截面个体在时间上求均值（组内均值）有

$\bar{y_i} = \alpha + \beta\bar{x}_{1,i} + \beta_2 \bar{x}_{2,i} + \bar{\epsilon_i}$

两个式子相减，得到

$y_{it} - \bar{y}_i = \beta_1(x_{1,it}-\bar{x}_{1,i})+ \beta_2(x_{2,it}-\bar{x}_{2,i}) + \cdots + \beta_k (x_{k,it}-\bar{x}_{k,i})+(\epsilon_{it}-\bar{\epsilon_i})$

$y_{it}^*= \beta_1x_{1,it}^* + \beta_2x_{2,it}^* + \cdots+ \beta_kx^*_{k,it} + \epsilon_{it}^*$

检验个体影响的显著性

$H_0: \alpha_1= \alpha_2 = \cdots = \alpha_N=\alpha$

Unrestricted Model （固定效用模型）

$y_{1t} = \alpha_1D_1+ \cdots + \alpha_ND_N + \beta_1x_{1,NT} + \beta_2x_{2,NT} + \cdots+ \beta_kx_{k,Nt}+ \epsilon_{Nt}$

Restricted Model (混合回归模型)

$y_{it} = \alpha + \beta_1 x_{1,it } + \beta_2 x_{2,it} + \cdots + \beta_kx_{k,it} + \epsilon_{it}$

通过F检验，显著则固定效用模型

不显著则混合回归模型

随机效应模型

估计采用广义最小二乘法，有点复杂，应该不会考。

检验

Hausman 检验基本思路：如果 $cov(\alpha_i,x_{it})\ne 0$ 则 GLS 估计量是有偏和非一致的，但是固定效应估计是无偏和一致的。所以，如果模型误差项与解释变量之间是正交的，则应将模型设定为随机效应模型，否则则设为固定效应模型。

$H_0$ 个体效应（异质性） 与 $x_{it}$ 不相关

$H_1$ 个体效应（异质性） 与 $x_{it}$ 相关

拒绝原假设即是固定效应模型

接受原假设则为随机效应模型