Repository of Reproducible Computations

Free Statistics

of Irreproducible Research!

Author's title

Author

*The author of this computation has been verified*

R Software Module

rwasp_variancereduction.wasp

Title produced by software

Variance Reduction Matrix

Date of computation

Fri, 05 Dec 2008 04:42:42 -0700

Cite this page as follows

Statistical Computations at FreeStatistics.org, Office for Research Development and Education, URL https://freestatistics.org/blog/index.php?v=date/2008/Dec/05/t1228477763eq4vbwz337tkhp2.htm/, Retrieved Thu, 16 May 2024 07:29:05 +0000

Statistical Computations at FreeStatistics.org, Office for Research Development and Education, URL https://freestatistics.org/blog/index.php?pk=29197, Retrieved Thu, 16 May 2024 07:29:05 +0000

QR Codes:

Paste this QR Code to cite your computation.

Original text written by user:

IsPrivate?

No (this computation is public)

User-defined keywords

Estimated Impact

274

Family? (F = Feedback message, R = changed R code, M = changed R Module, P = changed Parameters, D = changed Data)

-     [Univariate Data Series] [data set] [2008-12-01 19:54:57] [b98453cac15ba1066b407e146608df68]
F RMP     [Variance Reduction Matrix] [Q2] [2008-12-05 11:42:42] [d41d8cd98f00b204e9800998ecf8427e] [Current]

Feedback Forum

2008-12-10 20:16:42 [c97d2ae59c98cf77a04815c1edffab5a] [reply] 
1) VRM 
de eerste kolom geeft de manier van differentiëren weer, de tweede kolom berekent de variantie van de tijdreeks, NA differentiatie. Het is logisch dat de variantie het kleinst moet zijn, dus de parameters die gepaard gaan met de kleinste variantie moeten gebruikt worden om de tijdreeks te differentiëren. 
Hier vinden we inderdaad d=1 en D=1 
Stel: we hebben te maken met een tijdreeks waar ook outliers aanwezig zijn, dan gaan we kijken naar de getrimde variantie.hier wordt eerst gedifferentieerd, dan worden outliers weggelaten en dan wordt de variantie berekend.(in dit geval bekomen we hetzelfde resultaat als zonder wegneming van de outliers bij de berekening van de variantie) 
 
2) ACF 
Bij de ACF van de oorspronkelijke tijdreeks herkennen we het hangmatpatroon. Dit is een typisch patroon voor een autocorrelatie die langzaam dalend is en dus een LT trend vertoont.Alle correlaties zijn ook positief en significant verschillend van 0. 
deze LT trend gaan we verwijderen door de transformatie d=1 toe te passen. 
dan verkrijgen we deze link:http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/08/t1228768310bfwg0qq0xcwgccs.htm 
hier zien we duidelijk dat de LT trend verdwenen is, maar de 'palen' van de hangmat zijn nog steeds aanwezig. deze vallen niet toevallig op de 12e, 24e, 36e,... maand. dit wijst op seizoenaliteit: een patroon dat jaarlijks terugkomt. 
al de coefficienten van de autocorrelatie die op seizoenaliteit wijzen zijn significant EN langzaam dalend. 
we gaan deze seizoenaliteit wegwerken door een seizoenale differentiatie toe te passen nl D=1. 
resultaat: http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/08/t1228767599kbcnyk5enkf0r9h.htm 
LT trend is weg: geen langzaam dalend patroon meer 
seizoenaliteit is weg: pieken zijn verdwenen 
 
3) Cum Per: http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/08/t12287677674p2ukw11qdwbaig.htm 
het cum per is steil stijgend aan de linkerkant van de grafiek. dit wijst op een LT trend, want de golfbewegingen met lage frequenties en dus een lange periode zijn dominant en verklaren ongeveer 70% van de tijdreeks. we gaan dus differentiëren met d=1 om deze LT trend weg te werken. 
gevolg: http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/08/t12287678997xvx5emfntrptc3.htm 
het nieuwe cum per na differentiatie met d=1 vertoont geen LT trend meer, want de grafiek ligt niet meer uiterst links. dit wil zeggen dat de golfwebwegingen met een lt trend niet meer dominant zijn. 
we kunnen nog wel seizoenaliteit opmerken. dit wordt getoond door de trappenbeweging. 
we differentiëren dus nog extra seizoenaal met D=1 
het resultaat: http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/08/t1228767992v4qd4ebuntb9jey.htm 
de grafiek geeft geen indicatie meer van een LT trend: stijl steigende lijn links is verdwenen en er is geen seizoenaliteit meer, want de trappenbeweging is verdwenen. 
2008-12-11 18:32:04 [An Knapen] [reply] 
De student heeft de vraag niet volledig beantwoord. Er werd immers gevraagd om de drie verschillende methode toe te passen om zo de graad van differentiatie te bepalen. De VRM werd reeds besproken in de eerste vraag.  
De tweede methode is de autcorreltion function: 
De student heeft de vraag goed opgelost in de verschillende stappen. 
Eerst werd de ACF toegepast zonder een differentiatie toe te passen. We konden dan duidelijk op de grafiek zien dat er een lange termijn trend aanwezig is en vermoedelijk ook seizoenaliteit. 
We gaan daarom eerst de kleine d gelijk stellen aan 1 om zo de lange termijn trend te verwijderen. 
Wanneer we dit gedaan hebben, dan kan je duidelijk zien dat er nog pieken zijn die voorkomen op regelmatige tijdstippen. dit duidt echt op seizoenaliteit. Om ook die te verwijderen, moeten we D nu ook gelijkstellen aan 1. 
Na differentie(seizoenaal en niet-seizoenaal), kunnen we op de grafiek dus duidelijk vaststellen dat zowel de lange termijn trend als de seizoenaliteit volledig verdwenen zijn. De correlatie bij staafje 12 is zelfs negatief geworden.
2008-12-11 18:35:22 [An Knapen] [reply] 
Spectraal analyse is de derde methode die gebruikt wordt om de graad van differentiatie te bepalen. Deze methode heeft de student echter niet toegepast. 
http://www.freestatistics.org/blog/index.php?v=date/2008/Dec/06/t1228588174zvytefur6dpn1dw.htm 
Deze link bevat de toepassing van spectraalanalyse op de unemployment data. 
 
 
Stap 1: differentiatie met kleine d gelijk aan 1 
Conclusie: 
We kunnen duidelijk zien dat de lange termijn trend volledig verdwenen is. De pieken doen zich echter wel nog voor tijdens dezelfde perioden en volgen elkaar zeer snel op. 
Op het cumulatief periodogram kunnen we duidelijk trapvormen herkennen. Deze zijn een aanwijzing voor seizoenaliteit 
We moeten bijgevolg nog de seizonaliteit eruit halen en dit doen we door D=1. 
 
Stap 2: d=1 en D=1 
 
Raw periodogram: 
Op deze figuur kunnen we duidelijk zien dat er geen trend meer aanwezig is. De pieken bevinden zich snel na elkaar en er is ook geen duidelijk patroon meer te herkennen. 
 
Cumulatief periodogram: 
Op deze grafiek is er geen enkele indicatie meer voor een lange termijn trend. Ook de zogenaamde ‘trappen’ ,zijn verdwenen. Verder kunnen we opmerken dat de curve niet op de diagonaal gelegen is, wat er op wijst dat er toch nog golven in de curve zitten die bepaalde zaken kunnen verklaren. De afwijking(van de diagonaal) bevindt zich aan de bovenkant. Dit wijst erop dat we hier waarschijnlijk te maken hebben met een AR proces. 
2008-12-14 10:24:27 [94a54c888ac7f7d6874c3108eb0e1808] [reply] 
1) VRM 
In deze tabel kunnen we aflezen welke variantie en getrimde variantie verkregen worden bij de verscheidene waarden die d en D tegelijk aannemen. Wanneer gezocht wordt naar de waarden voor d en D die leiden tot de kleinste variantie wanneer differentiatie toegepast wordt, kan duidelijk afgelezen worden dat deze V(Y[t],d=1,D=1) is.  We zoeken immers naar de kleinste waarde voor de variantie omdat deze leidt tot de beste stationaire verdeling. De variantie is bij d=1 en D=1 gelijk aan 795.48 wat dus de kleinste waarde uit de kolom vormt.  
 
2) ACF 
Hierop is een langzaam dalende trend waar te nemen, wat erop wijst dat het gemiddelde niet stationair is. Om deze trend te verwijderen, zullen we moeten differentiëren. Vooreerst kunnen we in de transformatie d gelijkstellen aan 1. Dit heeft tot gevolg dat de lange termijn trend weggewerkt is. Om ook deze seizonaliteit weg te werken, moet zowel d als D gelijkgesteld worden aan 1. 
 
3) Een cumulatief periodogram dat steil stijgt duidt op een lange termijn trend. Daarbovenop zien we dat er zich een trapverloop/trapfunctie voordoet. Dit wijst dan weer op seizonaliteit. We zien ook dat 70% van de tijdsreeks verklaard kan worden. 
Tot slot zien we dat de lijn goed tussen het 95% betrouwbaarheidsinterval ligt. Er is echter nog wel een bepaalde mate van voorspelbaarheid, gezien de curve nog voor een groot stuk buiten het betrouwbaarheidsinterval ligt. 
 

Post a new message

Dataseries X:

Download CSV

Histogram

Boxplots

Summary of computational transaction
Raw Input	view raw input (R code)
Raw Output	view raw output of R engine
Computing time	1 seconds
R Server	'Gwilym Jenkins' @ 72.249.127.135

\begin{tabular}{lllllllll}
\hline
Summary of computational transaction \tabularnewline
Raw Input & view raw input (R code)  \tabularnewline
Raw Output & view raw output of R engine  \tabularnewline
Computing time & 1 seconds \tabularnewline
R Server & 'Gwilym Jenkins' @ 72.249.127.135 \tabularnewline
\hline
\end{tabular}
%Source: https://freestatistics.org/blog/index.php?pk=29197&T=0

[TABLE]
[ROW][C]Summary of computational transaction[/C][/ROW]
[ROW][C]Raw Input[/C][C]view raw input (R code) [/C][/ROW]
[ROW][C]Raw Output[/C][C]view raw output of R engine [/C][/ROW]
[ROW][C]Computing time[/C][C]1 seconds[/C][/ROW]
[ROW][C]R Server[/C][C]'Gwilym Jenkins' @ 72.249.127.135[/C][/ROW]
[/TABLE]
Source: https://freestatistics.org/blog/index.php?pk=29197&T=0

Globally Unique Identifier (entire table): ba.freestatistics.org/blog/index.php?pk=29197&T=0

As an alternative you can also use a QR Code:

The GUIDs for individual cells are displayed in the table below:

Summary of computational transaction
Raw Input	view raw input (R code)
Raw Output	view raw output of R engine
Computing time	1 seconds
R Server	'Gwilym Jenkins' @ 72.249.127.135

Variance Reduction Matrix
V(Y[t],d=0,D=0)	24040.7319917109	Range	708.9	Trim Var.	14891.1423067379
V(Y[t],d=1,D=0)	1855.27831616522	Range	306.2	Trim Var.	1019.21726473461
V(Y[t],d=2,D=0)	3601.51571083278	Range	388.2	Trim Var.	1764.07169175190
V(Y[t],d=3,D=0)	10155.4683153647	Range	595.5	Trim Var.	5250.86267655406
V(Y[t],d=0,D=1)	10061.5318845559	Range	585.7	Trim Var.	5798.12009737033
V(Y[t],d=1,D=1)	795.483036989776	Range	221.9	Trim Var.	451.063415764475
V(Y[t],d=2,D=1)	1251.20020977106	Range	223.4	Trim Var.	751.938251968809
V(Y[t],d=3,D=1)	3933.17493248985	Range	389.7	Trim Var.	2351.74535475078
V(Y[t],d=0,D=2)	23022.65043915	Range	819	Trim Var.	13637.4877562041
V(Y[t],d=1,D=2)	2352.87163598807	Range	333.6	Trim Var.	1332.90434353283
V(Y[t],d=2,D=2)	3506.43060400436	Range	407	Trim Var.	2059.39114521349
V(Y[t],d=3,D=2)	10920.6579647792	Range	659.1	Trim Var.	6490.07402051023

\begin{tabular}{lllllllll}
\hline
Variance Reduction Matrix \tabularnewline
V(Y[t],d=0,D=0) & 24040.7319917109 & Range & 708.9 & Trim Var. & 14891.1423067379 \tabularnewline
V(Y[t],d=1,D=0) & 1855.27831616522 & Range & 306.2 & Trim Var. & 1019.21726473461 \tabularnewline
V(Y[t],d=2,D=0) & 3601.51571083278 & Range & 388.2 & Trim Var. & 1764.07169175190 \tabularnewline
V(Y[t],d=3,D=0) & 10155.4683153647 & Range & 595.5 & Trim Var. & 5250.86267655406 \tabularnewline
V(Y[t],d=0,D=1) & 10061.5318845559 & Range & 585.7 & Trim Var. & 5798.12009737033 \tabularnewline
V(Y[t],d=1,D=1) & 795.483036989776 & Range & 221.9 & Trim Var. & 451.063415764475 \tabularnewline
V(Y[t],d=2,D=1) & 1251.20020977106 & Range & 223.4 & Trim Var. & 751.938251968809 \tabularnewline
V(Y[t],d=3,D=1) & 3933.17493248985 & Range & 389.7 & Trim Var. & 2351.74535475078 \tabularnewline
V(Y[t],d=0,D=2) & 23022.65043915 & Range & 819 & Trim Var. & 13637.4877562041 \tabularnewline
V(Y[t],d=1,D=2) & 2352.87163598807 & Range & 333.6 & Trim Var. & 1332.90434353283 \tabularnewline
V(Y[t],d=2,D=2) & 3506.43060400436 & Range & 407 & Trim Var. & 2059.39114521349 \tabularnewline
V(Y[t],d=3,D=2) & 10920.6579647792 & Range & 659.1 & Trim Var. & 6490.07402051023 \tabularnewline
\hline
\end{tabular}
%Source: https://freestatistics.org/blog/index.php?pk=29197&T=1

[TABLE]
[ROW][C]Variance Reduction Matrix[/C][/ROW]
[ROW][C]V(Y[t],d=0,D=0)[/C][C]24040.7319917109[/C][C]Range[/C][C]708.9[/C][C]Trim Var.[/C][C]14891.1423067379[/C][/ROW]
[ROW][C]V(Y[t],d=1,D=0)[/C][C]1855.27831616522[/C][C]Range[/C][C]306.2[/C][C]Trim Var.[/C][C]1019.21726473461[/C][/ROW]
[ROW][C]V(Y[t],d=2,D=0)[/C][C]3601.51571083278[/C][C]Range[/C][C]388.2[/C][C]Trim Var.[/C][C]1764.07169175190[/C][/ROW]
[ROW][C]V(Y[t],d=3,D=0)[/C][C]10155.4683153647[/C][C]Range[/C][C]595.5[/C][C]Trim Var.[/C][C]5250.86267655406[/C][/ROW]
[ROW][C]V(Y[t],d=0,D=1)[/C][C]10061.5318845559[/C][C]Range[/C][C]585.7[/C][C]Trim Var.[/C][C]5798.12009737033[/C][/ROW]
[ROW][C]V(Y[t],d=1,D=1)[/C][C]795.483036989776[/C][C]Range[/C][C]221.9[/C][C]Trim Var.[/C][C]451.063415764475[/C][/ROW]
[ROW][C]V(Y[t],d=2,D=1)[/C][C]1251.20020977106[/C][C]Range[/C][C]223.4[/C][C]Trim Var.[/C][C]751.938251968809[/C][/ROW]
[ROW][C]V(Y[t],d=3,D=1)[/C][C]3933.17493248985[/C][C]Range[/C][C]389.7[/C][C]Trim Var.[/C][C]2351.74535475078[/C][/ROW]
[ROW][C]V(Y[t],d=0,D=2)[/C][C]23022.65043915[/C][C]Range[/C][C]819[/C][C]Trim Var.[/C][C]13637.4877562041[/C][/ROW]
[ROW][C]V(Y[t],d=1,D=2)[/C][C]2352.87163598807[/C][C]Range[/C][C]333.6[/C][C]Trim Var.[/C][C]1332.90434353283[/C][/ROW]
[ROW][C]V(Y[t],d=2,D=2)[/C][C]3506.43060400436[/C][C]Range[/C][C]407[/C][C]Trim Var.[/C][C]2059.39114521349[/C][/ROW]
[ROW][C]V(Y[t],d=3,D=2)[/C][C]10920.6579647792[/C][C]Range[/C][C]659.1[/C][C]Trim Var.[/C][C]6490.07402051023[/C][/ROW]
[/TABLE]
Source: https://freestatistics.org/blog/index.php?pk=29197&T=1

Globally Unique Identifier (entire table): ba.freestatistics.org/blog/index.php?pk=29197&T=1

As an alternative you can also use a QR Code:

The GUIDs for individual cells are displayed in the table below:

Variance Reduction Matrix
V(Y[t],d=0,D=0)	24040.7319917109	Range	708.9	Trim Var.	14891.1423067379
V(Y[t],d=1,D=0)	1855.27831616522	Range	306.2	Trim Var.	1019.21726473461
V(Y[t],d=2,D=0)	3601.51571083278	Range	388.2	Trim Var.	1764.07169175190
V(Y[t],d=3,D=0)	10155.4683153647	Range	595.5	Trim Var.	5250.86267655406
V(Y[t],d=0,D=1)	10061.5318845559	Range	585.7	Trim Var.	5798.12009737033
V(Y[t],d=1,D=1)	795.483036989776	Range	221.9	Trim Var.	451.063415764475
V(Y[t],d=2,D=1)	1251.20020977106	Range	223.4	Trim Var.	751.938251968809
V(Y[t],d=3,D=1)	3933.17493248985	Range	389.7	Trim Var.	2351.74535475078
V(Y[t],d=0,D=2)	23022.65043915	Range	819	Trim Var.	13637.4877562041
V(Y[t],d=1,D=2)	2352.87163598807	Range	333.6	Trim Var.	1332.90434353283
V(Y[t],d=2,D=2)	3506.43060400436	Range	407	Trim Var.	2059.39114521349
V(Y[t],d=3,D=2)	10920.6579647792	Range	659.1	Trim Var.	6490.07402051023

Parameters (Session):

par1 = 12 ;

Parameters (R input):

par1 = 12 ;

R code (references can be found in the software module):

par1 <- as.numeric(par1)
n <- length(x)
sx <- sort(x)
load(file='createtable')
a<-table.start()
a<-table.row.start(a)
a<-table.element(a,'Variance Reduction Matrix',6,TRUE)
a<-table.row.end(a)
for (bigd in 0:2) {
for (smalld in 0:3) {
mylabel <- 'V(Y[t],d='
mylabel <- paste(mylabel,as.character(smalld),sep='')
mylabel <- paste(mylabel,',D=',sep='')
mylabel <- paste(mylabel,as.character(bigd),sep='')
mylabel <- paste(mylabel,')',sep='')
a<-table.row.start(a)
a<-table.element(a,mylabel,header=TRUE)
myx <- x
if (smalld > 0) myx <- diff(x,lag=1,differences=smalld)
if (bigd > 0) myx <- diff(myx,lag=par1,differences=bigd)
a<-table.element(a,var(myx))
a<-table.element(a,'Range',header=TRUE)
a<-table.element(a,max(myx)-min(myx))
a<-table.element(a,'Trim Var.',header=TRUE)
smyx <- sort(myx)
sn <- length(smyx)
a<-table.element(a,var(smyx[smyx>quantile(smyx,0.05) & smyxa<-table.row.end(a)
}
}
a<-table.end(a)
table.save(a,file='mytable.tab')

Free Statistics

Description of Statistical Computation

Tree of Dependent Computations

Dataset

Tables (Output of Computation)

Figures (Output of Computation)

Input Parameters & R Code