L’art de la connaissance et l’exercice des vertus, éternelle noblesse du chercheur.

Remerciements

Les premières personnes que je tiens à honorer ici sont mes deux directeurs de recherche Martin Bilodeau et Gilles Ducharme.

Je considère Gilles Ducharme comme mon père spirituel en statistique ; il m’a appris l’essentiel de ce que j’en sais. Depuis son arrivée à Montpellier, période à laquelle j’ai entamé mes études dans ce domaine, j’ai commencé à apprécier son approche innovante de la statistique au travers de ses enseignements beaucoup plus intuitifs que lourdement formels. Il m’a ensuite initié à la recherche lors de mon année passée en DEA. Après avoir goûté à sa grande expérience, à l’originalité de ses sujets de recherche et à la pertinence de son jugement pour en maîtriser les difficultés techniques menant à leur résolution, j’ai replongé avec plaisir pour quelques années supplémentaires ! Il m’a enseigné un métier passionnant. Je lui suis aussi reconnaissant pour son soutien moral dans certaines périodes difficiles, pour les contributions financières et matérielles apportées et pour la chance qu’il m’a donnée de pouvoir travailler avec un chercheur de grande valeur à Montréal.

Martin Bilodeau a pris le relais avec beaucoup d’attention et de professionnalisme. J’ai apprécié sa constante fiabilité, sa précieuse disponibilité et sa discrétion. Je lui suis également reconnaissant pour les connaissances scientifiques qu’il m’a transmises et pour les ressources financières dont j’ai bénéficié. A son contact d’une grande probité intellectuelle, j’ai pu apprécier et m’imprégner de son souci d’efficacité et de concision. Je veux lui témoigner ici toute mon estime.

Je tiens à exprimer ma reconnaissance aux membres du jury qui ont accepté de prendre du temps pour lire mon travail, pour leurs conseils judicieux et leurs remarques pertinentes ainsi que pour s’être déplacés pour assister à ma soutenance, ce rite d’acceptation dans une nouvelle communauté.

Merci aux chercheurs avec qui j’ai pu avoir des discussions scientifiques profitables tant à Montpellier (Benoît Cadre, Michel Cuer, Pierre Jacob, Irène Larramendy-Valverde) qu’à Montréal (Jean-Francois Angers, Anne Bourlioux, Richard Duncan, Marlene Frigon, Martin Goldstein, Michel Grundland, Anatole Joffe, Christian Léger, Jean-Marc Lina, Urs Maag, Éric Marchand, François Perron, Roch Roy), sans oublier ceux plus anonymes avec qui j’ai échangé des idées sur Internet.

Il est clair aussi que le travail de recherche effectué au cours d’un doctorat doit s’appuyer sur des bases techniques solides. Les principaux acteurs de l’excellente formation en statistique que j’ai suivie sont Martin Bilodeau, Yves Lepage et François Perron à Montréal et Denis Allard, Alain Berlinet, Gilles Caraux, Jean-Pierre Daures, Gilles Ducharme, Jean-François Durand, Ali Gannoun, Pierre Jacob, Jean-Dominique Lebreton, Pascal Monestiez, Robert Sabatier, Gilberte Vignau et Jean-Pierre Vila à Montpellier.

J’ai bénéficié pendant ces « quatre » années, dont trois consacrées à la recherche, d’un précieux soutien informatique de la part de Christopher Albert, Nicolas Beauchemin, Miguel Chagnon, Baptiste Chapuisat, Brigitte Charnomordic, Marc Fangeaud, Michel Lamoureux, Nathalie Malo, Pascal Neveu, Philippe Vismara ainsi que de Leslie Lamport, Linus Torvalds et des milliers de bénévoles oeuvrant à la conception et au développement de Latex, Linux et autres logiciels libres d’excellence.

Je veux également souligner l’appui administratif de qualité apporté par Jacques Bélair, Robert Cléroux, Véronique Hussin, Sabin Lessard, Thérèse Ouellet, Danièle Proulx, Jacqueline Reggiori-Lamoureux, Yvan Saint-Aubin, Danièle Tessier et Janet Zaki à l’Université de Montréal et par Pierrette Arnaud, Michel Averous, Yves Escoufier, Daniel Guin, Bernadette Lacan, Marie-Odile Morda, Florence Picone et Véronique Sals-Vettorel à Montpellier.

Tout ce travail de recherche aurait été certainement plus long, pénible et de moins bonne qualité, si je n’avais pas bénéficié de plusieurs financements octroyés généreusement par le Département de mathématiques et de statistique et la Faculté des Études Supérieures de l’Université de Montréal, par l’Université de Montréal, par l’Institut des Sciences Mathématiques de Montréal ainsi que par mes deux directeurs de recherche Martin Bilodeau et Gilles Ducharme. Merci au Gouvernement du Canada et à celui du Québec pour m’avoir donné ma chance.

Toute ma gratitude aux personnes rencontrées à l’Université Montpellier II et dont une bonne partie m’ont offert leur amitié : Gérard Biau pour ses précieux conseils et son amitié depuis l’année de DEA, Sandie Ferrigno pour son soutien au site du DEA, Benoît Frichot pour les intéressantes discussions et son soutien moral, Olivier Gimenez (il y aurait trop à dire ici), Mariem Mint-el-Mouvid pour les bons moments passés dans notre bureau 14 malgré nos difficultés financières, Nicolas Molinari pour ses précieux conseils et les bons moments passé à Sauve. Une pensée à Omar Anza, Élodie Brunel, André Diatta, Bénédicte Fontez, Laurent Gardes et Hassan Mouhanad. Toutes ces personnes ont contribué, à leur degré, à animer l’espace de création du bâtiment 9. Merci aussi à Alain Delcamp, Ali Gannoun et Jérome Saracco pour les bons moments passés au 3ème étage et à Stéphane Girard et Cécile Amblard pour leur accueil très chaleureux à Montréal.

Enfin merci à tous mes nouveaux amis rencontrés à Montréal : Yves Atchade (Bénin), Chafik Bouhaddioui (Maroc), Alain Desgagné (Québec), Alexandre Leblanc (Québec), Ghislain Rocheleau (Québec), Ndeye Rokhaya Gueye (Sénégal) qui ont fait une partie de leur doctorat en même temps que moi ; et aussi Christopher Albert (USA) et Carole (France), Marie-Soleil Beaudoin (Québec), Pascal Bouchard (Québec), Jean-Francois Boudreau (Québec), Pascal Croteau (Québec), Alexandre Cusson (Québec), Alina Dyachenko (Russie), Alexis Gerbeau (Québec), Mohammed Haddou (Algérie), Hassiba et Djamal Hellal (Algérie), Abdelaziz Khatouri (Maroc), Vincent Lemaire (France), Nathalie Malo (Québec), Hacène Nedjar (Algérie), Philippe Paradis (Québec), Fritz Pierre (Haiti), Alice Savu (Roumanie), Jib et Sarah. Vous avez facilité mon intégration. J’espère garder des liens solides avec la plupart d’entre vous.

Table des matières

Liste des tableaux

Liste des figures

Sigles et abréviations

Chapitre 1
Introduction

Mathématiquement, le problème se présente de la façon suivante. Soit $Y$ un élément aléatoire dont la fonction de répartition $F$ est absolument continue par rapport à la mesure de Lebesgue. On désire tester l’hypothèse

où $\Theta$ est un certain espace paramétrique. Pour ce problème, on peut distinguer deux grandes classes de tests. Les tests « omnibus » concernent les situations où l’on n’a a priori aucune indication sur la façon dont la distribution réelle $F$ pourrait s’écarter de l’hypothèse nulle. Ils sont efficaces contre des alternatives non spécifiées et sont généralement basés sur la fonction de répartition expérimentale ou sur la fonction caractéristique expérimentale. On peut citer par exemple les tests de Kolmogorov, d’Anderson-Darling ou de Cramér-von Mises. Les tests « directionnels » quant à eux permettent de prendre en compte certaines informations sur les écarts les plus plausibles à l’hypothèse nulle. Ils sont construits de façon à détecter avec plus de puissance certains types d’orientation que pourrait prendre la distribution de $Y$. Au cours de la première partie de la recherche envisagée, on s’est intéressé à la seconde classe en adaptant la théorie des tests lisses, introduite par Neyman (1937)(12), au contexte particulier de données dépendantes, issues d’une loi non entièrement spécifiée.

En effet, une autre branche importante et originale de la statistique concerne l’analyse des séries chronologiques. Sa caractéristique essentielle réside en une dépendance des phénomènes étudiés vis-à-vis du temps, concept essentiel tant au niveau scientifique que philosophique. Il est de fait peu de disciplines qui ne soient confrontées à l’étude de variables évoluant dans le temps et qu’on désire décrire, expliquer, contrôler ou prévoir. Cette discipline puise ses origines dans le Moyen Âge comme en témoigne ce diagramme temporel (représentant l’inclinaison des orbites de planètes en fonction du temps) considéré comme l’un des plus anciens du monde occidental.

FIG. 1.1: 1. 10th Century time line Funkhauser (1936), pp 260-262(6)

Une avancée importante dans l’étude des séries temporelles a été de supposer que la série chronologique observée est engendrée par un processus stochastique $\left\{Y_t,t\in \mathbb{\mathbb{Z}}\right\}$. Une condition souvent imposée sur ce processus générateur est qu’il soit stationnaire du second ordre. Un processus digne d’intérêt satisfaisant à ces conditions est le processus autorégressif à moyenne mobile (ARMA). Ce processus est très utilisé du fait de sa simplicité. Son introduction nécessite quelques définitions préalables.

Nous avons aussi besoin de la notion de bruit blanc (ou white noise).

En s’appuyant sur ces deux définitions, on peut introduire le modèle ARMA.

Dans la démarche de modélisation d’une série temporelle, il est courant de suivre la procédure indiquée par Box et Jenkins (1976)(3). Cette procédure se déroule en cinq étapes : « Stationnarisation », « Désaisonnalisation », « Identification », « Validation et Tests », « Prévisions ».

L’attention dans la première partie de cette étude s’est portée sur la phase de « Validation et Tests », et plus particulièrement sur la construction d’un test lisse de normalité pour les erreurs d’un modèle ARMA($p$,$q$) univarié complètement identifié, de moyenne connue.

Pour cela, la statistique du score de Rao est un outil classique pour la construction de tests d’hypothèses de la forme $H_0:\eta ={\eta }_0$. Le test qui en découle est basé sur le principe général que le vecteur gradient du modèle non restreint (par $H_0$), évalué en l’estimateur restreint, suit asymptotiquement une loi normale de moyenne 0, si $H_0$ est vraie. Si l’hypothèse alternative est décrite par une certaine famille exponentielle de dimension $K$, le test du score résultant est aussi appelé test lisse (smooth test) ou test lisse de Neyman (1937)(12) d’ordre $K$. L’idée du test lisse est en fait d’emboîter la fonction de densité de l’hypothèse nulle dans une famille paramétrique plus générale. Cette famille doit être choisie pour détecter les alternatives les plus probables si l’hypothèse nulle est fausse. De cette façon, l’hypothèse nulle devient une hypothèse paramétrique où l’on cherche à tester la nullité de paramètres de la densité alternative. Cette approche fournit non seulement une statistique de test simple, mais aussi une bonne puissance pour une vaste famille d’alternatives. Considérons un échantillon ${\epsilon }_1,\dots ,{\epsilon }_n$ de variables aléatoires continues i.i.d. ayant pour fonction de répartition $F$ et pour lequel on souhaite tester l’hypothèse $H_0:F=F_0$. Il est possible de transformer cet échantillon en un échantillon $U_1=2F_0\left({\epsilon }_1\right)-1,\dots ,U_n=2F_0\left({\epsilon }_n\right)-1$ de variables aléatoires i.i.d. de densité $g$ qui, sous $H_0$, sont de loi uniforme sur l’intervalle [-1,1]. Utilisant cette propriété, Neyman (1937)(12) propose de considérer l’hypothèse

où

Ces systèmes de polynômes orthonormaux peuvent être construits de plusieurs façons (voir Marsden, (1974), p.347(11)). Neyman (1937)(12), pour sa part, utilise le système de polynômes de Legendre. La famille d’imbrication s’écrit alors

Alors la statistique du score de Rao (1947) est

où

est la matrice d’information de Fisher de $\eta$. On peut ensuite montrer que, sous $H_0$, $R_K\stackrel{L}{\to }{\chi }_K^2$, loi du khi-deux à $K$ degrés de liberté.

Cette présentation du test de Neyman (1937)(12) repose sur l’hypothèse que $F_0$ est entièrement spécifiée. Une généralisation au cas où un ou plusieurs paramètres seraient inconnus a été faite par Kopecky et Pierce (1979)(10) et Rayner et Best (1988)(14).

Il est possible d’adapter ce qui précède au cas de données issues d’un processus de type ARMA, c’est l’objet du Chapitre 2.

Le Chapitre 3 est consacré à un problème connexe. On pourrait en effet supposer, dans le même ordre d’idée de la problématique précédente, que les erreurs ${\epsilon }_t$ du modèle ARMA sont Gaussiennes et se demander si ces erreurs sont engendrées par un processus bruit blanc ou, ce qui est équivalent dans ce cas de figure, s’il y a indépendance sérielle entre les ${\epsilon }_t$. Dans l’optique d’une future généralisation des résultats du Chapitre 2 au cas d’un ARMA multivarié, il semble intéressant de construire un test d’indépendance sérielle pour des vecteurs aléatoires. De plus, afin de mieux appréhender la complexité du problème, il s’avère avantageux d’échelonner la réponse à cette question en commençant par bâtir un test d’indépendance dans le cas non sériel.

La construction de ce test non paramétrique s’appuie sur une caractérisation de l’indépendance introduite par Ghoudi et al. (2001)(7) et le résultat obtenu est une statistique de type Cramér-von Mises d’un certain processus empirique. Ghoudi et al. (2001)(? ) ont défini leur processus en utilisant la fonction de répartition empirique. Ici, le processus empirique est basé sur la fonction caractéristique empirique multivariée. Pour être plus formel, considérons le vecteur aléatoire $\epsilon =\left({\epsilon }^{\left(1\right)},\dots ,{\epsilon }^{\left(p\right)}\right)$, constitué de $p$ sous-vecteurs de dimension $q$ et le vecteur $t=\left(t^{\left(1\right)},\dots ,t^{\left(p\right)}\right)$ partitionné de la même façon. En outre, pour tout $A\subset \left\{1,\dots ,p\right\}$ de cardinalité supérieure à 1, introduisons la fonction ${\mu }_A$ définie par

avec

L’objet $C_p$ est la fonction caractéristique conjointe de $\epsilon$ et les $C^{\left(j\right)}$ sont les fonctions caractéristiques des marginales ${\epsilon }^{\left(j\right)}$. Il est alors possible de montrer que ${\epsilon }^{\left(1\right)},\dots ,{\epsilon }^{\left(p\right)}$ sont indépendants si et seulement si ${\mu }_A\equiv 0$. Disposant d’un échantillon ${\epsilon }_1,\dots ,{\epsilon }_n$, cela amène assez naturellement à définir le processus $R_{n,A}$, sous l’hypothèse de multinormalité des ${\epsilon }_i^{\left(j\right)}$, par

est la fonction caractéristique empirique de l’échantillon et $\phi$ est la fonction caractéristique d’une loi normale $N_q\left(0,I\right)$. La statistique de Cramér-von Mises et le test qui en découle seront construits à partir de ce processus. Introduisons maintenant quelques définitions et notations utiles pour la suite portant sur la convergence faible d’éléments aléatoires dans un espace métrique $S$.

Le théorème qui suit (Billingsley (1968), p. 30)(1) est très utile dans la pratique puisqu’il permet de prouver la convergence faible des mesures induites sur $\mathbb{ℝ}$ par différentes fonctions réelles $h$ à partir de la convergence faible dans des espaces métriques généraux.

On va maintenant donner une caractérisation pratique de la convergence faible mais pour cela on a préalablement besoin d’introduire les deux définitions suivantes.

Il est facile de montrer que $P_n\Rightarrow P$ si et seulement si les lois de dimension finie des $P_n$ convergent faiblement vers celles de $P$ et $\left\{P_n\right\}$ est relativement compacte. Une façon simple de démontrer la compacitude relative d’une famille de mesures est d’utiliser la notion de tension de cette famille.

Le résultat liant les deux concepts précédents peut être résumé ainsi.

Dans cette optique, un théorème très utilisé, par exemple pour démontrer la convergence en loi de la statistique « classique » de Cramér-von Mises est le suivant.

Dans le cas qui nous préoccupe ici, la fonctionnelle de Cramér-von Mises, basée sur la fonction caractéristique empirique, n’est même pas définie sur $C\left({\mathbb{ℝ}}^{pq},\mathbb{ℂ}\right)$ et on ne pourra pas utiliser le Théorème 1. Pour résoudre ce problème, on a généralisé le Théorème 3.3 de Kellermeir (1980)(9). Par ailleurs, dans le contexte particulier d’un processus basé sur la fonction caractéristique empirique, qui prend ses valeurs dans l’ensemble $\mathbb{ℂ}$ des nombres complexes et dont l’ensemble des indices est ${\mathbb{ℝ}}^n$, le problème est bien plus compliqué que dans le cas « classique ». Pour cela, il est utile d’introduire les éléments suivants.

Notons $C\left({\mathbb{ℝ}}^{pq},\mathbb{ℂ}\right)$ l’ensemble des fonctions continues de ${\mathbb{ℝ}}^{pq}$ dans $\mathbb{ℂ}$. Schématiquement, la correspondance du processus $R_{n,A}$ de (4) peut se traduire ainsi.

On définit une métrique $\rho$ sur l’espace de Fréchet séparable $C\left({\mathbb{ℝ}}^{pq},\mathbb{ℂ}\right)$ par

avec ${\rho }_j\left(x,y\right)=\underset{\parallel t\parallel \le j}{sup}\mid x\left(t\right)-y\left(t\right)\mid$, où $\mid \cdot \mid$ désigne le module sur $\mathbb{ℂ}$. Notons que ${\rho }_j$ est bien définie car une fonction continue sur un compact est bornée.

On note $S$ la tribu engendrée par les ouverts de $C\equiv C\left({\mathbb{ℝ}}^{pq},\mathbb{ℂ}\right)$ pour la métrique $\rho$, ${\mathbb{ℝ}}_j^{pq}$ la boule fermée de centre $0$ et de rayon $j$ dans ${\mathbb{ℝ}}^{pq}$, $C_j\equiv C\left({\mathbb{ℝ}}_j^{pq},\mathbb{ℂ}\right)$ et $S_j$ la tribu borélienne sur $C_j$ pour la métrique ${\rho }_j$.
Notons aussi

la restriction d’un élément $x$ de $C\left({\mathbb{ℝ}}^{pq},\mathbb{ℂ}\right)$ à $C_j$. Puisque ${\mathbb{ℝ}}^{pq}$ est localement compact, séparable et Hausdorff on a, d’après la Proposition 14.6 de Kallenberg (1997) p. 260(8),

On peut donc restreindre l’étude du processus $R_{n,A}$ aux sous-espaces compacts de $C$.
Maintenant, d’après le Lemme 14.2 Kallenberg (1997) p. 256(8), on a
$r_j\left(R_{n,A}\right)\stackrel{L}{\to }{r}_j\left(R_A\right)$ si et seulement si $r_j\left(R_{n,A}\right)\stackrel{fd}{\to }{r}_j\left(R_A\right)$ et ${\left\{r_j\left(R_{n,A}\right)\right\}}_n$ est une famille relativement compacte. De plus, d’après le Théorème 14.3 de Kallenberg (1997) p.257(8) et puisque $C_j$ est séparable et complet, on a l’équivalence entre la compacitude relative et la tension de ${\left\{r_j\left(R_{n,A}\right)\right\}}_n$. Pour prouver la convergence faible de ${\left\{R_{n,A}\right\}}_n$ vers l’élément aléatoire $R_A$ il suffit donc de montrer que les lois de dimension finie des $r_j\left(R_{n,A}\right)$ convergent faiblement vers celles des $r_j\left(R_A\right)$ et que $\forall j\ge 1,{\left\{r_j\left(R_{n,A}\right)\right\}}_n$ est tendue.

Tous ces résultats sont largement exploités et détaillés dans le Chapitre 3 pour construire un test semi-paramétrique d’indépendance, pour des marginales multinormales, qui peut être utile par exemple dans l’étude des données familiales. Ils sont ensuite généralisés au cas sériel.

Pour conclure, il apparait donc que notre problématique repose sur des questions ancrées dans les prémisses de la statistique tandis que notre recherche s’appuie sur des outils et techniques récentes et innovatrices empruntées à l’analyse multivariée (voir Bilodeau et Brenner (1999)(2)), à la théorie des processus stochastiques (voir Billingsley (1968)(1)) ainsi qu’aux méthodes asymptotiques (voir Ferguson (1996)(4)).

Bibliographie

Chapitre 2
Goodness-of-fit tests of normality for the innovations in ARMA models

Cet article a été accepté pour publication dans la revue Journal of Time Series Analysis.

Comme la coutume dans cette discipline le veut, l’ordre alphabétique des auteurs a été respecté.

Voici la liste des contributions principales de Pierre Lafaye de Micheaux à cet article :

• Recherche bibliographique ayant permis notamment la rédaction de la section 1.
• Démonstration des résultats de la section 2.
• Conception, écriture et validation des programmes Fortran77 pour obtenir la table 3.1.
• Conception, écriture et validation des programmes Fortran77 pour obtenir les résultats de la section 4.
• Conception, écriture et validation de l’exemple.
• Participation à la rédaction.

Key words : ARMA process, Gaussian white noise, Goodness-of-fit test, Normality of residuals, Smooth test.____________________________________________________________________________

1. Introduction

Let ($Y_t$, $t\in \mathbb{\mathbb{Z}}$) be a stationary process. In this paper, we consider the case where $E\left(Y_t\right)$ is known or has been estimated using information outside of the data set. Thus, without loss of generality, we set $E\left(Y_t\right)=0$. Consider the framework where ($Y_t$, $t\in \mathbb{\mathbb{Z}}$) obeys the causal and invertible finite order ARMA($p$, $q$) model

A sample $\left\{Y_1,...,Y_T\right\}$ is observed and model (1) is fitted by standard methods, for example the unconditional Gaussian maximum likelihood approach (see Brockwell and Davis (1991)(4), p. 256-257), yielding the estimator $\widehat{\beta }=\left(\widehat{\varphi }\text{T},\widehat{\theta }\text{T},\widehat{\sigma }\right)\text{T}$ of $\beta =\left(\varphi \text{T},\theta \text{T},\sigma \right)\text{T}$.

If it can be safely assumed that the distribution of the (${\epsilon }_t$, $t\in \mathbb{\mathbb{Z}}$) generating the $Y_t$’s is of a given form, in particular independent identically distributed (i.i.d.) normal (Gaussian) random variables, then better inference can be obtained from the fitted model. For example, such an assumption is helpful to get accurate confidence or tolerance bounds for a predicted $Y_{T+h}$. Moreover, under this Gaussian assumption, $\widehat{\beta }$ is asymptotically efficient. It is thus important to have a tool to check the null hypothesis

For the problem of testing (2), the few tests available fall roughly into two groups. Tests of the first group use the fact that for the ARMA ($p$, $q$) models, normality of the $Y_t$’s induces normality of the ${\epsilon }_t$’s and vice versa. Thus a test of the hypothesis that a process ($Y_t$, $t\in \mathbb{\mathbb{Z}}$) is Gaussian (Lomnicki (1961)(25) ; Hinich (1982)(16) ; Epps (1987)(9)) can serve for problem (2). This presents the advantage of not requiring the values of $p$ and $q$. But Gasser (1975)(? ) and Granger (1976)(13) have shown, and Lutkepohl and Schneider (1989)(26) have confirmed by simulation, that this approach may lose much power. This is because the central limit theorem forces the $Y_t$’s to be close to normality even when (2) is false. Moreover, the adaptation of standard normality tests to dependent data is not an easy task. A small simulation study by Heuts and Rens (1986)(15) has shown that, because of the serial correlation between the $Y_t$’s, the finite null behavior of standard normality tests based on the empirical distribution function (EDF) of the $Y_t$’s is different from what is obtained under $i.i.d.$ data. The same problem appears for tests based on the third or fourth moment of $Y_t$ (see Lomnicki (1961)(25) ; Lutkepohl and Schneider (1989)(26)) and for Pearson’s chi-square test (Moore (1982)(27)).

It thus appears better, when there are reasons to believe that a given ARMA($p$, $q$) model holds, to "inverse filter" the data and compute the residuals ${\widehat{\epsilon }}_t$ of the fitted model. These can then be subjected to some test of normality. Tests of the second group are based on this idea and some examples are listed in Hipel and McLeod (1994)(17). However, these and other authors use such tests in conjunction with critical values for $i.i.d.$ data. Since the residuals of an ARMA model are dependent, the null distribution of standard test statistics may be affected and critical values for $i.i.d.$ data may no longer be valid. It turns out that for AR models, there is theoretical evidence that this dependence affects only slightly the critical values, at least when $T$ is large. For an AR($p$) model with unknown $E\left(Y_t\right)$, Pierce (1985)(30) has shown that the asymptotic null distribution of any test statistic based on the EDF of the residuals coincides with that of the same statistic for $i.i.d.$ data with mean and variance unknown. Thus one can insert the residuals from an AR($p$) model into any of the standard EDF-based tests (Kolmogorov-Smirnov, Anderson-Darling) and if $T$ is large, use the critical values given, for example, in Chapter 4 of D’Agostino and Stephens (1986)(7), to obtain an asymptotically valid test strategy. In the same vein, Lee and Na (2001)(24) have recently adapted the Bickel-Rosenblatt test to this AR setting. Beiser (1985)(2) has found that for the AR(1) model, tests based on the skewness or kurtosis coefficient of the residuals (D’Agostino and Stephens (1986)(7), p. 408) in conjunction with the critical points derived for $i.i.d.$ data produce valid levels if $T$ is large and the AR-parameter is not too close to its boundary. This has been confirmed by Lutkepohl and Schneider (1989)(26). See also Andel (1997)(1).

For the general ARMA model, much less is known. Ojeda et al. (1997)(29) show that tests based on quadratic forms in differences between sample moments and expected values of certain non-linear functions of the sample have the same asymptotic distribution under the ARMA model as under $i.i.d.$ data. This suggests that a generalization of Pierce (1985)(30) theorem to ARMA models could hold although, to our knowledge, no proof of this has been published. In accordance with this conjecture, the practice recommended in many textbooks (see for example, Brockwell and Davis (1991)(4), p. 314 ; Hipel and McLeod (1994)(17), p. 241) is to use standard normality tests in conjunction with critical values for $i.i.d.$ data.

In this paper, we develop some tests designed specifically for problem (2) in the ARMA($p$, $q$) context. Our approach is based on the smooth test paradigm introduced by Neyman (1937)(28) and improved by the data driven technology introduced by Ledwina (1994)(23) to select the best order for the test. This approach has been shown in the $i.i.d.$ case to offer many advantages, both theoretically and empirically, over other tests. In particular, the test statistic we recommend for problem (2) is easy to compute with an asymptotic ${\chi }^2$ distribution that can be corrected in finite samples to yield a close to nominal level. Moreover, as a byproduct of the procedure, diagnostic information is available that helps in understanding which aspects of the null hypothesis are not supported by the data.

Note that we concentrate here on the development of valid tests along this paradigm and do not dwell into their theoretical properties (i.e. local power and asymptotic efficiency). We also stress that the tests proposed here are valid solely for the case where $E\left(Y_t\right)$ is assumed known. The case where an unknown trend is present in (1) requires a special treatment and is the object of current research.

The paper is organized as follows. In Section 2, we develop the smooth goodness-of-fit test in the ARMA($p$, $q$) context of (1). In Section 3, we describe the data-driven technology that allows to "fine tune" the test by choosing a good value for its order. In Section 4, a Monte-Carlo study is conducted for some values of ($p$, $q$) to study the behavior of the proposed tests under the null hypothesis and compare their power to some competitors. It emerges that, under the null hypothesis, one of our data driven smooth tests holds its level over most of the parameter space and, under the alternatives studied, is in general more powerful than other methods. It can thus be recommended as a good tool for problem (2). An example concludes the paper.

2. Smooth test of normality in the ARMA context

Let $\Phi \left(.\right)$ be the cumulative distribution function of the $N\left(0,1\right)$ distribution with density $\phi \left(.\right)$ and let $U_t=2\Phi \left({\epsilon }_t∕\sigma \right)-1$ with density $g\left(.\right)$. Under $H_0$ of (2), the $U_t$’s are $i.i.d.$ U[-1, 1] so that (2) reduces to testing $g\left(u\right)=1∕2$ on [-1, 1]. The ${\epsilon }_t$’s are unobserved so the test must be based on residuals. Since the process $\left(Y_t,t\in \mathbb{\mathbb{Z}}\right)$ is invertible, we have

It is possible to write $R_K$ in a form that makes it easy to use. A Cholesky decomposition of $\left(I_K-b_K{b}_K\text{T}∕2\right)$ yields ${\left(I_K-b_K{b}_K\text{T}∕2\right)}^{-1}=PP\text{T}$ with $P=\left(p_{ij}\right)$, an upper triangular matrix. Some algebra gives $p_{ij}=0$ if $i>j$, while

Thus

where

3. Choosing the order $K$ of the alternative

Before applying the test strategy of Section 2, one must choose the value of $K$. Ideally, this choice should be made so that members of the embedding family $g_K\left(.;\omega \right)$ of (4) provide a good approximation to any plausible density $g\left(.\right)$ of $U_t$ under the alternative. If $K$ is too small, this approximation may be crude and the test loses power. If $K$ is too large, power dilution can occur since $g_K\left(.;\omega \right)$ encompasses unnecessary "directions".

In practice, the user has only, at best, a qualitative idea of the plausible alternatives and no specific value of $K$ emerges naturally. In the $i.i.d.$ case, some authors (Rayner and Best (1989)(31)) argue that, as a rule of thumb, one can use a trade-off value of $K$ between 2 and 4.

Recently, Ledwina (1994)(23) and Kallenberg and Ledwina (1997a,b)(? 21) have proposed and explored for $i.i.d.$ data a method to choose adaptively a value for $K$. At the first step, Schwarz (1978)(33)’s criterion is used to choose the value $\widehat{K}$ that seems best in view of the data at hand. The smooth test strategy is then applied using the statistic $R_{\widehat{K}}$. Extensive simulations have shown that, even for small sample sizes, this so-called "data driven smooth test" can yield power close to what could be obtained if one knew the true form of the alternative and had chosen the best value of $K$ accordingly.

So far, this approach has been investigated for $i.i.d.$ data only but it can be extended to the ARMA context. Choose two integers $1\le d\le D$ and consider the set of statistics $\left(R_d,...,R_D\right)$. We seek a rule that will select a good $R_K$ in this set. Write

For finite sample sizes, the asymptotic null distribution of Theorem 2 may not provide a good approximation to that of $R_{\widehat{K}}\left(d\right)$ since there is a positive probability that $\widehat{K}\ge d+1$. A simple correction has been developed by Janic-Wroblewska and Ledwina (2000)(18) when $d=1$ ($i.i.d.$ data). Because of the asymptotic independence between the components of $R_k$, this correction can easily be extended to $d>1$ and to the present ARMA context. A direct application of the argument in their Section 4 leads to the following approximation, which can be solved for $x$ by numerical integration