From: Benjamin Auder <benjamin.auder@somewhere>
Date: Fri, 14 Apr 2017 20:05:24 +0000 (+0200)
Subject: merge part 1 and part 2 into single report
X-Git-Url: https://git.auder.net/game/current/%7B%7B%20asset%28%27mixstore/js/doc/config.php?a=commitdiff_plain;h=b6233fa6fd52583035c43e8b4ded0e175cda3ced;p=talweg.git

merge part 1 and part 2 into single report
---

diff --git a/reports/report.gj b/reports/report.gj
index 0273a16..3edebca 100644
--- a/reports/report.gj
+++ b/reports/report.gj
@@ -1,25 +1,144 @@
+# Package R "talweg"
+
+Le package $-$ Time-series sAmpLes forecasted With ExoGenous variables $-$ contient le
+code permettant de (re)lancer les expériences numériques décrites dans cette partie et la
+suivante. Les fonctions principales sont respectivement
+
+ * **getData()** pour construire un objet R contenant les données à partir de fichiers
+CSV (extraits de bases de données). Le format choisi en R est une classe R6 (du package
+du même nom) exposant en particulier les méthodes *getSerie(i)* et *getExo(i)* qui
+renvoient respectivement la $i^{eme}$ série de 24h et les variables exogènes (mesurées)
+correspondantes. Voir ?Data pour plus d'information, une fois le package chargé.
+ * **computeForecast()** pour calculer des prédictions sur une certaine plage temporelle
+contenue dans *data <- getData(...)*
+ * **computeError()** pour évaluer les erreurs commises par différentes méthodes.
+
+Le package contient en outre diverses fonctions graphiques *plotXXX()*, utilisées dans la
+partie suivante.
+-----r
+# Chargement de la librairie (après compilation, "R CMD INSTALL .")
+library(talweg)
+
+# Acquisition des données (depuis les fichiers CSV)
+ts_data <- read.csv(system.file("extdata","pm10_mesures_H_loc.csv",
+	package="talweg"))
+exo_data <- read.csv(system.file("extdata","meteo_extra_noNAs.csv",
+	package="talweg"))
+data <- getData(ts_data, exo_data, input_tz="GMT",
+	date_format="%d/%m/%Y %H:%M", working_tz="GMT", predict_at=7, limit=120)
+# Plus de détails à la section 1 ci-après.
+
+# Prédiction de 10 courbes (jours 102 à 111)
+pred <- computeForecast(data, 101:110, "Persistence", "Zero", memory=50,
+	horizon=12, ncores=1)
+# Plus de détails à la section 2 ci-après.
+
+# Calcul des erreurs (sur un horizon arbitraire <= horizon de prédiction)
+err <- computeError(data, pred, horizon=6)
+# Plus de détails à la section 3 ci-après.
+
+# Puis voir ?plotError et les autres plot dans le paragraphe 'seealso'
+-----
+## getData()
+
+Les arguments de cette fonction sont, dans l'ordre :
+
+ 1. **ts_data** : séries temporelles (fichier CSV avec entête ou data.frame) ; la
+première colonne contient les heures, la seconde les valeurs.
+ 2. **exo_data** : variables exogènes (fichier CSV avec entête ou data.frame) ; la
+première colonne contient les jours, les $m$ suivantes les variables mesurées pour ce
+jour, et les $m$ dernières les variables prédites pour ce même jour. Dans notre cas $m=4$
+: pression, température, gradient de température, vitesse du vent.
+ 3. **input_tz** : zone horaire pour ts_data (défaut : "GMT").
+ 4. **date_format** : format des heures dans ts_data (défaut : "%d/%m/%Y %H:%M", format
+du fichier transmis par Michel).
+ 5. **working_tz** : zone horaire dans laquelle on souhaite travailler avec les données
+(défaut : "GMT").
+ 6. **predict_at** : heure à laquelle s'effectue la prévision $-$ et donc dernière heure
+d'un bloc de 24h, relativement à working_tz. data`$`getSerie(3) renvoit ainsi les 24
+valeurs de 8h à 7h pour le $3^{eme}$ bloc de 24h présent dans le jeu de données.
+-----r
+print(data)
+#?Data
+-----
+## computeForecast()
+
+Les arguments de cette fonction sont, dans l'ordre :
+
+ 1. **data** : le jeu de données renvoyé par getData()
+ 2. **indices** : l'ensemble de jours dont on veut prévoir les "lendemains" (prochains
+blocs de 24h) ; peut être donnée sous forme d'un vecteur de dates ou d'entiers
+(correspondants aux numéros des jours).
+ 3. **forecaster** : le nom du prédicteur principal à utiliser ; voir ?computeForecast
+ 4. **pjump** : le nom du prédicteur de saut d'une série à l'autre ; voir
+?computeForecast
+ 5. **memory** : le nombre de jours à prendre en compte dans le passé pour chaque
+prévision (par défaut : Inf, c'est-à-dire tout l'historique pris en compte).
+ 6. **horizon** : le nombre d'heures à prédire ; par défaut "data`$`getStdHorizon()",
+c'est-à-dire le nombre d'heures restantes à partir de l'instant de prévision + 1 jusqu'à
+minuit (17 pour predict_at=7 par exemple).
+ 7. **ncores** : le nombre de processus parallèles (utiliser 1 pour une exécution
+séquentielle)
+-----r
+print(pred)
+#?computeForecast
 -----
-<h2>Introduction</h2>
+## computeError()
 
-J'ai fait quelques essais pour la méthode "Neighbors", qui incorpore désormais la "variante Bruno/Michel".
+Les arguments de cette fonction sont, dans l'ordre :
 
- * avec simtype="mix" et raccordement "Neighbors" (p1) dans le cas "non local", i.e. on va
-   chercher des voisins n'importe où du moment qu'ils correspondent au premier élément d'un
-	 couple de deux jours consécutifs sans valeurs manquantes.
- * avec simtype="endo" + raccordement "Neighbors" (p2) puis "none" (p3, moyenne simple) + raccordement
-   "Zero" (sans ajustement) dans le cas "local" : voisins de même niveau de pollution et même saison.
+ 1. **data** : le jeu de données renvoyé par getData()
+ 2. **pred** : les prédictions renvoyées par computeForecast()
+ 3. **horizon** : le nombre d'heures à considérer pour le calcul de l'erreur ; doit être
+inférieur ou égal à l'horizon utilisé pour la prédiction (même valeur par défaut :
+"data`$`getStdHorizon()")
+-----r
+summary(err)
+summary(err$abs)
+summary(err$MAPE)
+-----
+## Graphiques
+
+Voir ?plotError : les autres fonctions graphiques sont dans la section 'seealso' :
 
-J'ai systématiquement comparé à une approche naïve : la moyenne des lendemains des jours
-"similaires" dans tout le passé (p4), ainsi qu'à la persistence (p5) -- reproduisant le jour courant ou
-allant chercher le futur similaire une semaine avant (argument "same_day").
+    ‘plotCurves’, ‘plotPredReal’, ‘plotSimils’, ‘plotFbox’,
+    ‘computeFilaments’, ‘plotFilamentsBox’, ‘plotRelVar’
+
+?plotXXX, etc.
+$\clearpage$
+-----
+# Expérimentations
 
-Ensuite j'affiche les erreurs, quelques courbes prévues/mesurées, quelques filaments puis les
-histogrammes de quelques poids. Concernant les graphes de filaments, la moitié gauche du graphe
-correspond aux jours similaires au jour courant, tandis que la moitié droite affiche les
-lendemains : ce sont donc les voisinages tels qu'utilisés dans l'algorithme.
+Cette partie montre les résultats obtenus via des variantes de l'algorithme décrit à la
+section 2, en utilisant le package présenté à la section 3. Cet algorithme est
+systématiquement comparé à deux approches naïves :
 
+ * la moyenne des lendemains des jours "similaires" dans tout le passé, c'est-à-dire
+prédiction = moyenne de tous les mardis passé si le jour courant est un lundi par
+exemple.
+ * la persistence, reproduisant le jour courant ou allant chercher le lendemain de la
+dernière journée "similaire" (même principe que ci-dessus ; argument "same\_day").
+
+Concernant l'algorithme principal à voisins, trois variantes sont étudiées dans cette
+partie :
+
+ * avec simtype="mix" et raccordement "Neighbors" dans le cas "non local", i.e. on va
+chercher des voisins n'importe où du moment qu'ils correspondent au premier élément d'un
+couple de deux jours consécutifs sans valeurs manquantes.
+ * avec simtype="endo" + raccordement "Neighbors" puis simtype="none" + raccordement
+"Zero" (sans ajustement) dans le cas "local" : voisins de même niveau de pollution et
+même saison.
+
+Pour chaque période retenue $-$ chauffage, épandage, semaine non polluée $-$ les erreurs
+de prédiction sont d'abord affichées, puis quelques graphes de courbes réalisées/prévues
+(sur le jour "en moyenne le plus facile" à gauche, et "en moyenne le plus difficile" à
+droite). Ensuite plusieurs types de graphes apportant des précisions sur la nature et la
+difficulté du problème viennent compléter ces premières courbes. Concernant les graphes
+de filaments, la moitié gauche du graphe correspond aux jours similaires au jour courant,
+tandis que la moitié droite affiche les lendemains : ce sont donc les voisinages tels
+qu'utilisés dans l'algorithme.
 <%
-list_titles = ['Pollution par chauffage', 'Pollution par épandage', 'Semaine non polluée']
+list_titles = ['Pollution par chauffage','Pollution par épandage','Semaine non polluée']
 list_indices = ['indices_ch', 'indices_ep', 'indices_np']
 %>
 -----r
@@ -28,11 +147,14 @@ library(talweg)
 P = ${P} #instant de prévision
 H = ${H} #horizon (en heures)
 
-ts_data = read.csv(system.file("extdata","pm10_mesures_H_loc_report.csv",package="talweg"))
-exo_data = read.csv(system.file("extdata","meteo_extra_noNAs.csv",package="talweg"))
-# NOTE: 'GMT' because DST gaps are filled and multiple values merged in above dataset.
-# Prediction from P+1 to P+H included.
-data = getData(ts_data, exo_data, input_tz = "GMT", working_tz="GMT", predict_at=P)
+ts_data = read.csv(system.file("extdata","pm10_mesures_H_loc_report.csv",
+	package="talweg"))
+exo_data = read.csv(system.file("extdata","meteo_extra_noNAs.csv",
+	package="talweg"))
+# NOTE: 'GMT' because DST gaps are filled and multiple values merged in
+# above dataset. Prediction from P+1 to P+H included.
+data = getData(ts_data, exo_data, input_tz = "GMT", working_tz="GMT",
+	predict_at=P)
 
 indices_ch = seq(as.Date("2015-01-18"),as.Date("2015-01-24"),"days")
 indices_ep = seq(as.Date("2015-03-15"),as.Date("2015-03-21"),"days")
@@ -40,7 +162,8 @@ indices_np = seq(as.Date("2015-04-26"),as.Date("2015-05-02"),"days")
 
 % for i in range(3):
 -----
-<h2 style="color:blue;font-size:2em">${list_titles[i]}</h2>
+% #<h2 style="color:blue;font-size:2em">${list_titles[i]}</h2>
+## ${list_titles[i]}
 -----r
 p1 = computeForecast(data, ${list_indices[i]}, "Neighbors", "Neighbors", horizon=H,
 	simtype="mix", local=FALSE)
@@ -60,12 +183,33 @@ e5 = computeError(data, p5, H)
 options(repr.plot.width=9, repr.plot.height=7)
 plotError(list(e1, e5, e4, e2, e3), cols=c(1,2,colors()[258],4,6))
 
-# noir: Neighbors non-local (p1), bleu: Neighbors local endo (p2), mauve: Neighbors local none (p3),
-# vert: moyenne (p4), rouge: persistence (p5)
+# noir: Neighbors non-local (p1), bleu: Neighbors local endo (p2),
+# mauve: Neighbors local none (p3), vert: moyenne (p4),
+# rouge: persistence (p5)
 
 sum_p123 = e1$abs$indices + e2$abs$indices + e3$abs$indices
-i_np = which.min(sum_p123)
-i_p = which.max(sum_p123)
+i_np = which.min(sum_p123) #indice de (veille de) jour "facile"
+i_p = which.max(sum_p123) #indice de (veille de) jour "difficile"
+-----
+% if i == 1
+L'erreur absolue dépasse 20 sur 1 à 2 jours suivant les modèles (graphe en haut à
+droite). C'est au-delà de ce que l'on aimerait voir (disons +/- 5 environ). Sur cet
+exemple le modèle à voisins "contraint" (local=TRUE) utilisant des pondérations basées
+sur les similarités de forme (simtype="endo") obtient en moyenne les meilleurs résultats,
+avec un MAPE restant en général inférieur à 30% de 8h à 19h (7+1 à 7+12 : graphe en bas à
+gauche).
+% else if i == 2
+Il est difficile dans ce cas de déterminer une méthode meilleure que les autres : elles
+donnent toutes de plutôt mauvais résultats, avec une erreur absolue moyennée sur la
+journée dépassant presque toujours 15 (graphe en haut à droite).
+% else
+Dans ce cas plus favorable les intensité des erreurs absolues ont clairement diminué :
+elles restent souvent en dessous de 5. En revanche le MAPE moyen reste au-delà de 20%, et
+même souvent plus de 30%. Comme dans le cas de l'épandage on constate une croissance
+globale de la courbe journalière d'erreur absolue moyenne (en haut à gauche) ; ceci peut
+être dû au fait que l'on ajuste le niveau du jour à prédire en le recollant sur la
+dernière valeur observée.
+% endif
 -----r
 options(repr.plot.width=9, repr.plot.height=4)
 par(mfrow=c(1,2))
@@ -79,20 +223,77 @@ plotPredReal(data, p2, i_p); title(paste("PredReal p2 day",i_p))
 plotPredReal(data, p3, i_np); title(paste("PredReal p3 day",i_np))
 plotPredReal(data, p3, i_p); title(paste("PredReal p3 day",i_p))
 
-# Bleu: prévue, noir: réalisée
+# Bleu : prévue ; noir : réalisée
+-----
+% if i == 1
+Le jour "facile à prévoir", à gauche, se décompose en deux modes : un léger vers 10h
+(7+3), puis un beaucoup plus marqué vers 19h (7+12). Ces deux modes sont retrouvés par
+les trois variantes de l'algorithme à voisins, bien que l'amplitude soit mal prédite.
+Concernant le jour "difficile à prévoir" il y a deux pics en tout début et toute fin de
+journée (à 9h et 23h), qui ne sont pas du tout anticipés par le programme ; la grande
+amplitude de ces pics explique alors l'intensité de l'erreur observée.
+% else if i == 2
+Dans le cas d'un jour "facile" à prédire $-$ à gauche $-$ la forme est plus ou moins
+retrouvée, mais le niveau moyen est trop bas (courbe en bleu). Concernant le jour
+"difficile" à droite, non seulement la forme n'est pas anticipée mais surtout le niveau
+prédit est très inférieur au niveau de pollution observé. Comme on le voit ci-dessous
+cela découle d'un manque de voisins au comportement similaire.
+% else
+La forme est raisonnablement retrouvée pour les méthodes "locales", l'autre version
+lissant trop les prédictions. Le biais reste cependant important, surtout en fin de
+journée sur le jour "difficile".
+% endif
 -----r
 par(mfrow=c(1,2))
-f_np1 = computeFilaments(data, p1, i_np, plot=TRUE); title(paste("Filaments p1 day",i_np))
-f_p1 = computeFilaments(data, p1, i_p, plot=TRUE); title(paste("Filaments p1 day",i_p))
+f_np1 = computeFilaments(data, p1, i_np, plot=TRUE)
+	title(paste("Filaments p1 day",i_np))
+f_p1 = computeFilaments(data, p1, i_p, plot=TRUE)
+	title(paste("Filaments p1 day",i_p))
 
-f_np2 = computeFilaments(data, p2, i_np, plot=TRUE); title(paste("Filaments p2 day",i_np))
-f_p2 = computeFilaments(data, p2, i_p, plot=TRUE); title(paste("Filaments p2 day",i_p))
+f_np2 = computeFilaments(data, p2, i_np, plot=TRUE)
+	title(paste("Filaments p2 day",i_np))
+f_p2 = computeFilaments(data, p2, i_p, plot=TRUE)
+	title(paste("Filaments p2 day",i_p))
+-----
+% if i == 1
+Les voisins du jour courant (période de 24h allant de 8h à 7h le lendemain) sont affichés
+avec un trait d'autant plus sombre qu'ils sont proches. On constate dans le cas non
+contraint (en haut) une grande variabilité des lendemains, très nette sur le graphe en
+haut à droite. Ceci indique une faible corrélation entre la forme d'une courbe sur une
+période de 24h et la forme sur les 24h suivantes ; **cette observation est la source des
+difficultés rencontrées par l'algorithme sur ce jeu de données.**
+% else if i == 2
+Les observations sont les mêmes qu'au paragraphe précédent : trop de variabilité des
+lendemains (et même des voisins du jour courant).
+% else
+Les graphes de filaments ont encore la même allure, avec une assez grande variabilité
+observée. Cette observation est cependant trompeuse, comme l'indique plus bas le graphe
+de variabilité relative.
+% endif
 -----r
 par(mfrow=c(1,2))
 plotFilamentsBox(data, f_np1); title(paste("FilBox p1 day",i_np))
 plotFilamentsBox(data, f_p1); title(paste("FilBox p1 day",i_p))
 
-# Too few neighbors in the local case for this plot
+# En pointillés la courbe du jour courant + lendemain (à prédire)
+-----
+% if i == 1
+Sur cette boxplot fonctionnelle (voir la fonction fboxplot() du package R "rainbow") l'on
+constate essentiellement deux choses : le lendemain d'un voisin "normal" peut se révéler
+être une courbe atypique, fort éloignée de ce que l'on souhaite prédire (courbes bleue et
+rouge à gauche) ; et, dans le cas d'une courbe à prédire atypique (à droite) la plupart
+des voisins sont trop éloignés de la forme à prédire et forcent ainsi un aplatissement de
+la prédiction.
+% else if i == 2
+On constate la présence d'un voisin au lendemain complètement atypique avec un pic en
+début de journée (courbe en vert à gauche), et d'un autre phénomène semblable avec la
+courbe rouge sur le graphe de droite. Ajouté au fait que le lendemain à prévoir est
+lui-même un jour "hors norme", cela montre l'impossibilité de bien prévoir une courbe en
+utilisant l'algorithme à voisins.
+% else
+On peut réappliquer les mêmes remarques qu'auparavant sur les boxplots fonctionnels :
+lendemains de voisins atypiques, courbe à prévoir elle-même légèrement "hors norme".
+% endif
 -----r
 par(mfrow=c(1,2))
 plotRelVar(data, f_np1); title(paste("StdDev p1 day",i_np))
@@ -101,7 +302,25 @@ plotRelVar(data, f_p1); title(paste("StdDev p1 day",i_p))
 plotRelVar(data, f_np2); title(paste("StdDev p2 day",i_np))
 plotRelVar(data, f_p2); title(paste("StdDev p2 day",i_p))
 
-# Variabilité globale en rouge ; sur les 60 voisins (+ lendemains) en noir
+# Variabilité globale en rouge ; sur les voisins (+ lendemains) en noir
+-----
+% if i == 1
+Ces graphes viennent confirmer l'impression visuelle après observation des filaments. En
+effet, la variabilité globale en rouge (écart-type heure par heure sur l'ensemble des
+couples "aujourd'hui/lendemain"du passé) devrait rester nettement au-dessus de la
+variabilité locale, calculée respectivement sur un voisinage d'une soixantaine de jours
+(pour p1) et d'une dizaine de jours (pour p2). Or on constate que ce n'est pas du tout le
+cas sur la période "lendemain", sauf en partie pour p2 le jour 4 $-$ mais ce n'est pas
+suffisant.
+% else if i == 2
+Comme précédemment les variabilités locales et globales sont confondues dans les parties
+droites des graphes $-$ sauf pour la version "locale" sur le jour "facile"; mais cette
+bonne propriété n'est pas suffisante si l'on ne trouve pas les bons poids à appliquer.
+% else
+Cette fois la situation idéale est observée : la variabilité globale est nettement
+au-dessus de la variabilité locale. Bien que cela ne suffise pas à obtenir de bonnes
+prédictions de forme, on constate au moins l'amélioration dans la prédiction du niveau.
+% endif
 -----r
 par(mfrow=c(1,2))
 plotSimils(p1, i_np); title(paste("Weights p1 day",i_np))
@@ -109,13 +328,42 @@ plotSimils(p1, i_p); title(paste("Weights p1 day",i_p))
 
 plotSimils(p2, i_np); title(paste("Weights p2 day",i_np))
 plotSimils(p2, i_p); title(paste("Weights p2 day",i_p))
+-----
+% if i == 1
+Les poids se concentrent près de 0 dans le cas "non local" (p1), et se répartissent assez
+uniformément dans [ 0, 0.2 ] dans le cas "local" (p2). C'est ce que l'on souhaite
+observer pour éviter d'effectuer une simple moyenne.
+% else if i == 2
+En comparaison avec le pragraphe précédent on retrouve le même (bon) comportement des
+poids pour la version "non locale". En revanche la fenêtre optimisée est trop grande sur
+le jour "facile" pour la méthode "locale" (voir affichage ci-dessous) : il en résulte des
+poids tous semblables autour de 0.084, l'algorithme effectue donc une moyenne simple $-$
+expliquant pourquoi les courbes mauve et bleue sont très proches sur le graphe d'erreurs.
+% else
+Concernant les poids en revanche, deux cas a priori mauvais se cumulent :
 
-# - pollué à gauche, + pollué à droite
+ * les poids dans le cas "non local" ne sont pas assez concentrés autour de 0, menant à
+un lissage trop fort $-$ comme observé sur les graphes des courbes réalisées/prévues ;
+ * les poids dans le cas "local" sont trop semblables (à cause de la trop grande fenêtre
+optimisée par validation croisée, cf. ci-dessous), résultant encore en une moyenne simple
+$-$ mais sur moins de jours, plus proches du jour courant.
+% endif
 -----r
-# Fenêtres sélectionnées dans ]0,7] / non-loc 2 premières lignes, loc ensuite
+# Fenêtres sélectionnées dans ]0,7] :
+# "non-local" 2 premières lignes, "local" ensuite
 p1$getParams(i_np)$window
 p1$getParams(i_p)$window
 
 p2$getParams(i_np)$window
 p2$getParams(i_p)$window
 % endfor
+-----
+## Bilan
+
+Nos algorithmes à voisins ne sont pas adaptés à ce jeu de données où la forme varie
+considérablement d'un jour à l'autre. Plus généralement cette décorrélation de forme rend
+ardue la tâche de prévision pour toute autre méthode $-$ du moins, nous ne savons pas
+comment procéder pour parvenir à une bonne précision.
+
+Toutefois, un espoir reste permis par exemple en aggréger les courbes spatialement (sur
+plusieurs stations situées dans la même agglomération ou dans une même zone).