Mathematical Foundations of Time Series Analysis: A Concise Introduction

1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1 What is a time series? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 Typical assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1 Fundamental properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.1 Ergodic property with a constant limit . . . . . . . . . . . . . . . . . . . 5

2.1.2 Strict Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.1.4 Weak stationarity and Hilbert spaces . . . . . . . . . . . . . . . . . . . . 9

2.1.5 Ergodic processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2.1.6 Sufficient conditions for the a.s. ergodic property with a constant limit. . . . . . . . . . . 26

2.1.7 Sufficient conditions for the L²-ergodic property with a constant limit . .. . . . .. . . 27

2.2 Specific assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.2.1 Gaussian processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.2.2 Linear processes in L²( ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.2.3 Linear processes with E(X²_t ) = . . . . . . . . . . . . . . . . . . . . . . 34

2.2.4 Multivariate linear processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.2.6 Restrictions on the dependence structure . . . . . . . . . . . . . . . . . 49

3 Defining probability measures for time series . . . . . . . . . . . . . . . . . . . . . . 55

3.1 Finite dimensional distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.2 Transformations and equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 Conditions on the expected value . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

3.4 Conditions on the autocovariance function . . . . . . . . . . . . . . . . . . . . . . 58

3.4.1 Positive semidefinite functions . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.4.3 Calculation and properties of F and f . . . . . . . . . . . . . . . . .

4 Spectral representation of univariate time series . . . . . . . . . . . . . . . . . . . 81

4.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.2 Harmonic processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

4.3 Extension to general processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

4.3.1 Stochastic integrals with respect to Z . . . . . . . . . . . . . . . . . . . . 84

4.3.2 Existence and definition of Z . . . . . . . . . . . . . . . . . . . . . . . . . . 89

4.3.3 Interpretation of the spectral representation . . . . . . . . . . . . . . 97

4.4 Further properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

4.4.1 Relationship between ReZ and ImZ . . . . . . . . . . . . . . . . . . . . 98

4.4.2 Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

4.4.3 Overtones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

4.4.4 Why are frequencies restricted to the range [-pi,pi]? . . . . . . . 100

4.5 Linear filters and the spectral representation . . . . . . . . . . . . . . . . . . . . 103

4.5.1 Effect on the spectral representation . . . . . . . . . . . . . . . . . . . . . 103

4.5.2 Elimination of Frequency Bands . . . . . . . . . . . . . . . . . . . . . . . 107

5 Spectral representation of real valued vector time series . . . . . . . . . . . . 109

5.1 Cross-spectrum and spectral representation . . . . . . . . . . . . . . . . . . . . . 109

5.2 Coherence and phase . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

6 Univariate ARMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

6.1 Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

6.2 Stationary solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

6.3 Causal stationary solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

6.4 Causal invertible stationary solution . . . . . . . . . . . . . . . . . . . . . . . . . . . 133

6.5 Autocovariances of ARMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . 134

6.5.1 Calculation by integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

6.5.2 Calculation using the autocovariance generating function . . . 135

6.5.4 Recursive calculation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

6.5.5 Asymptotic decay . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

6.6 Integrated, seasonal and fractional ARMA and ARIMA processes . . 147

6.6.1 Integrated processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

6.6.2 Seasonal ARMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

6.6.3 Fractional ARIMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . 148

6.7 Unit roots, spurious correlation, cointegration . . . . . . . . . . . . . . . . . . . 159

7 Generalized autoregressive processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163

7.1 Definition of generalized autoregressive processes . . . . . . . . . . . . . . . 163

7.2 Stationary solution of generalized autoregressive equations . . . . . . . . 164

7.3 Definition of VARMA processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

7.4 Stationary solution of VARMA equations . . . . . . . . . . . . . . . . . . . . . . 169

7.5 Definition of GARCH processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

7.6 Stationary solution of GARCH equations . . . . . . . . . . . . . . . . . . . . . . . 172

7.7 Definition of ARCH( ) processes . . . . . . . . . . . . . . . . . . . . .

7.8 Stationary solution of ARCH( ) equations . . . . . . . . . . . . . . . . . . . . . 177

8 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

8.1 Best linear prediction given an infinite past . . . . . . . . . . . . . . . . . . . . . 181

8.2 Predictability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

8.3 Construction of the Wold decomposition from f . . . . . . . . . . . . . . . . . 187

8.4 Best linear prediction given a finite past . . . . . . . . . . . . . . . . . . . . . . . . 190

9 Inference for  µ, Gamma and F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

9.1 Location estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

9.2 Linear regression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

9.3 Nonparametric estimation of Gamma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205

10 Parametric estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

10.1 Gaussian and quasi maximum likelihood estimation . . . . . . . . . . . . . . 227

10.2 Whittle approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

10.3 Autoregressive approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232

10.4 Model choice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237

Author Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243

Subject Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245