attempt to fix F_Neighbors2

[talweg.git] / reports / report.gj

-----
<h2>Introduction</h2>

J'ai fait quelques essais dans différentes configurations pour la méthode "Neighbors"
(la seule dont on a parlé) et sa variante récente appelée pour l'instant "Neighbors2",
avec simtype="mix" : deux types de similarités prises en compte, puis multiplication des poids.
Pour Neighbors on prédit le saut (par la moyenne pondérée des sauts passés), et pour Neighbors2
on n'effectue aucun raccordement (prévision directe).

J'ai systématiquement comparé à une approche naïve : la moyenne des lendemains des jours
"similaires" dans tout le passé, ainsi qu'à la persistence -- reproduisant le jour courant ou
allant chercher le futur similaire une semaine avant.

Ensuite j'affiche les erreurs, quelques courbes prévues/mesurées, quelques filaments puis les
histogrammes de quelques poids. Concernant les graphes de filaments, la moitié gauche du graphe
correspond aux jours similaires au jour courant, tandis que la moitié droite affiche les
lendemains : ce sont donc les voisinages tels qu'utilisés dans l'algorithme.

<%
list_titles = ['Pollution par chauffage', 'Pollution par épandage', 'Semaine non polluée']
list_indices = ['indices_ch', 'indices_ep', 'indices_np']
%>
-----r
library(talweg)

P = ${P} #instant de prévision
H = ${H} #horizon (en heures)

ts_data = read.csv(system.file("extdata","pm10_mesures_H_loc_report.csv",package="talweg"))
exo_data = read.csv(system.file("extdata","meteo_extra_noNAs.csv",package="talweg"))
# NOTE: 'GMT' because DST gaps are filled and multiple values merged in above dataset.
# Prediction from P+1 to P+H included.
data = getData(ts_data, exo_data, input_tz = "GMT", working_tz="GMT", predict_at=P)

indices_ch = seq(as.Date("2015-01-18"),as.Date("2015-01-24"),"days")
indices_ep = seq(as.Date("2015-03-15"),as.Date("2015-03-21"),"days")
indices_np = seq(as.Date("2015-04-26"),as.Date("2015-05-02"),"days")

% for i in range(3):
-----
<h2 style="color:blue;font-size:2em">${list_titles[i]}</h2>
-----r
p_nn = computeForecast(data, ${list_indices[i]}, "Neighbors", "Neighbors", horizon=H)
p_nn2 = computeForecast(data, ${list_indices[i]}, "Neighbors2", "Zero", horizon=H)
p_az = computeForecast(data, ${list_indices[i]}, "Average", "Zero", horizon=H)
p_pz = computeForecast(data, ${list_indices[i]}, "Persistence", "Zero", horizon=H, same_day=${'TRUE' if loop.index < 2 else 'FALSE'})
-----r
e_nn = computeError(data, p_nn, H)
e_nn2 = computeError(data, p_nn2, H)
e_az = computeError(data, p_az, H)
e_pz = computeError(data, p_pz, H)
options(repr.plot.width=9, repr.plot.height=7)
plotError(list(e_nn, e_pz, e_az, e_nn2), cols=c(1,2,colors()[258], 4))

# Noir: Neighbors, bleu: Neighbors2, vert: moyenne, rouge: persistence

i_np = which.min(e_nn$abs$indices)
i_p = which.max(e_nn$abs$indices)
-----r
options(repr.plot.width=9, repr.plot.height=4)
par(mfrow=c(1,2))

plotPredReal(data, p_nn, i_np); title(paste("PredReal nn day",i_np))
plotPredReal(data, p_nn2, i_p); title(paste("PredReal nn day",i_p))

plotPredReal(data, p_nn2, i_np); title(paste("PredReal nn2 day",i_np))
plotPredReal(data, p_nn2, i_p); title(paste("PredReal nn2 day",i_p))

plotPredReal(data, p_az, i_np); title(paste("PredReal az day",i_np))
plotPredReal(data, p_az, i_p); title(paste("PredReal az day",i_p))

# Bleu: prévue, noir: réalisée
-----r
par(mfrow=c(1,2))
f_np = computeFilaments(data, p_nn, i_np, plot=TRUE); title(paste("Filaments nn day",i_np))
f_p = computeFilaments(data, p_nn, i_p, plot=TRUE); title(paste("Filaments nn day",i_p))

f_np2 = computeFilaments(data, p_nn2, i_np, plot=TRUE); title(paste("Filaments nn2 day",i_np))
f_p2 = computeFilaments(data, p_nn2, i_p, plot=TRUE); title(paste("Filaments nn2 day",i_p))
-----r
par(mfrow=c(1,2))
plotFilamentsBox(data, f_np); title(paste("FilBox nn day",i_np))
plotFilamentsBox(data, f_p); title(paste("FilBox nn day",i_p))

# Generally too few neighbors:
#plotFilamentsBox(data, f_np2); title(paste("FilBox nn2 day",i_np))
#plotFilamentsBox(data, f_p2); title(paste("FilBox nn2 day",i_p))
-----r
par(mfrow=c(1,2))
plotRelVar(data, f_np); title(paste("StdDev nn day",i_np))
plotRelVar(data, f_p); title(paste("StdDev nn day",i_p))

plotRelVar(data, f_np2); title(paste("StdDev nn2 day",i_np))
plotRelVar(data, f_p2); title(paste("StdDev nn2 day",i_p))

# Variabilité globale en rouge ; sur les 60 voisins (+ lendemains) en noir
-----r
par(mfrow=c(1,2))
plotSimils(p_nn, i_np); title(paste("Weights nn day",i_np))
plotSimils(p_nn, i_p); title(paste("Weights nn day",i_p))

plotSimils(p_nn2, i_np); title(paste("Weights nn2 day",i_np))
plotSimils(p_nn2, i_p); title(paste("Weights nn2 day",i_p))

# - pollué à gauche, + pollué à droite
-----r
# Fenêtres sélectionnées dans ]0,7] / nn à gauche, nn2 à droite
p_nn$getParams(i_np)$window
p_nn$getParams(i_p)$window

p_nn2$getParams(i_np)$window
p_nn2$getParams(i_p)$window
% endfor