Towards a Better Understanding of Rain Forecast Error and Skill

Abstract

Rain is an elegant phenomenon of nature that has aroused human interest and curiosity through the ages. Its complexity has challenged our knowledge and technology and continues to be an important issue of the meteorologists. This thesis is a continuum of essays dealing with our current ability in the forecast of rain by studying the errors, by offering methods for estimating them, by producing improved short-term forecasts, and by measuring forecast skills with an information-theoretic score.

In the first part of our study, errors were obtained in terms of innovations by comparing model forecasts against observations from radars. Bias of each forecast was quantified by comparing the overall distribution of average errors with a normal distribution. Variance of error was obtained from ensemble-based forecasts and innovation-based method, and the results were compared. It was observed that the innovation-based estimation using a local sampling can produce a similar non-uniform variance field of errors as that of the ensembles.

Errors of precipitation forecast are correlated through space and time. These correlations are important for practical purposes such as data assimilation. A non-parametric correlogram was used along with the Wiener-Khinchin theorem to estimate the auto-correlation function of errors (ACF). It was observed that these ACFs form shapes that can be approximated by ellipses and exponential profiles in lag distance units. Thus it became possible to reduce the representation of anisotropic error correlations to three scalar parameters by defining the major axis, the minor axis and the angle of rotation of these ellipses. Furthermore, local error correlation distances were examined and obtained from the variance field, by both ensemble-based and innovation-based estimations. It was observed and discussed that local error correlations of precipitation are better represented by less smooth functions such as low-order autoregressive functions rather than Gaussian.

In the second part, the practical knowledge about error covariance of rain was put to test by designing a predictive error covariance estimation and modeling within a data assimilation scheme. The assimilation method was an adoption of variational schemes modified for the problem of blending two independent sources of forecast in an optimum interpolation. The ability to implement non-homogeneous error correlations within grid-point space demanded an error modeling module that was equipped with an implicit diffusion scheme. The Assimilation Method for Blending Extrapolated Radar (AMBER) was tested on 60 real nowcasting cases and the results indicated average improvements over both forecast skills within 8 hours of lead-time, although this improvement was not always above statistical significance threshold.

Finally, the problem of precipitation forecast verification was addressed by introducing a measure of joint information between binary forecasts and observation with a distinction between favorable and unfavorable mutual information. The information-theoretical score (ITS) was compared with other traditional scores in a hypothetical test scenario and by means of an analytical sensitivity measure. Results indicate that ITS can be used as an alternative skill measure.

Alternate abstract:

La pluie est un phénomène élégant de la nature qui a suscité l'intérêt et la curiosité humaine à travers les âges. Sa complexité a contesté nos connaissances et notre technologie et elle continue d'être un enjeu important de météorologues aujourd’hui. Cette thèse est un collectif d'essais portant sur notre capacité actuelle en prévision de la pluie en étudiant les erreurs, offrant des méthodes pour les estimer, la production des prévisions améliorées à court terme, et, mesure des compétences de prévision avec un score d’information-théorique.

Dans la première partie de notre étude, les erreurs ont été obtenues en termes d'innovations en comparant les prévisions par rapport aux observations de radars. Le préjugé de chaque prévision était quantifié en comparant la répartition globale des erreurs moyennes avec une distribution normale. Variance de l'erreur a été obtenue à partir des prévisions sur la base d'ensemble et méthode fondée sur l'innovation, et, les résultats ont été comparés. Il a été observé que l'estimation fondée sur l'innovation au moyen d'un échantillonnage local peut produire un champ de variance non uniforme semblable d'erreurs que celle d'ensembles.

Les erreurs de prévision de précipitation sont reliées à travers l'espace et le temps. Ces corrélations sont importantes pour des raisons pratiques comme l'assimilation de données. Un corrélogramme non-paramétrique a été utilisé avec Wiener-Khinchin théorème d'estimer la fonction d'auto-corrélation des erreurs (FAC). Il a été observé que les formes des FACs peuvent être rapprochées par des ellipses et des profils exponentiels en unités de distance. Ainsi, il est devenu possible de réduire la présentation de corrélations d'erreurs anisotropes à trois paramètres scalaires définissant l’axe majeur, l'axe mineur et l’angle de rotation de ces ellipses. En outre, les distances de corrélation locales ont été examinés et obtenus à partir du champ de la variance, par les deux estimations de basée ensemble et d'innovation. Il a été observé et discuté que les corrélations d'erreur locaux de précipitations sont mieux présentés par moins de fonctions lisses telles que les fonctions d'ordre faible autorégressifs plutôt que de Gauss.

Dans la deuxième partie, les connaissances pratiques sur la covariance d’erreur de pluie a été mis à l'épreuve par la conception d’un module d'estimation covariance semi-opérationnelle et modélisation dans un système d'assimilation de données. La méthode d'assimilation était l'adoption de systèmes variationnels modifiés au problème de mélange de deux sources indépendantes de prévisions dans une interpolation optimale. La capacité de mettre en œuvre des corrélations d'erreur non-homogènes dans l’espace exigeait un module de modélisation de l'erreur qui a été équipé d'un système de diffusion implicite. La méthode d'assimilation pour le mélange de radar extrapolée (MAMRE) a été testée sur 60 cas réels de prévision court-terme. Les résultats indiquent améliorations moyennes sur les compétences prévues dans les 8 heures de prévision, bien que, cette amélioration n'a pas toujours été au-dessus du seuil de signification statistique.

Finalement, le problème de la vérification des prévisions de précipitation a été adressé par l'introduction d'une mesure de l'information conjointe entre les prévisions binaires et observation avec une distinction entre l'information mutuelle favorable et défavorable. Le score de l'information théorique (SIT) a été comparé à d'autres scores traditionnels dans un test hypothétique et au moyen d'une mesure de la sensibilité analytique. Les résultats indiquent que le SIT peut être utilisé comme une mesure alternative de compétences.