HadCRUT, GISTEMP og andre temperaturserier

Jan-Erik Solheim, Ole Humlum og Kjell Stordahl (SSH) prøver igjen i en kommentar på Dagsavisen Nye Meninger å så tvil om globale og lokale temperaturserier som ikke passer med solsyklusmodellen deres. Dette innlegget viser at de ikke har belegg for å så tvil om temperaturseriene. Det har vært en oppvarming i de siste 40 årene som modellen ikke modellerer. Problemet ligger i modellen, ikke i temperaturseriene.

Dette innlegget inneholder motsvar til flere av SSHs påstander om temperaturserier, og i mine kommentarer på Dagsavisen vil jeg linke til innlegget. Innlegget kan leses uavhengig av debatten på Dagsavisen.

Autokorrelasjon i solsyklusmodellens residualer

Dette er en fortsettelse av innleggene om solsyklusmodellen i august og oktober 2014.

Jan-Erik Solheim, Ole Humlum og Kjell Stordahl (SSH) skrev i diskusjonen på Dagsavisen Nye Meninger at de i sin opprinnelige artikkel fra 2012 tok forbehold når det gjelder HadCRUT3 serien for den nordlige halvkulen pga. autokorrelasjon i modellresidualene. Dette bruker de nå for å bagatellisere det faktum at solsyklusmodellens prediksjoner basert på denne temperaturserien har feilet totalt siden midten av 1970-tallet. Denne bagatelliseringen er misvisende av to årsaker. SSH kom med prediksjoner for den nordlige halvkulen på tross av autokorrelasjonen. Og autokorrelasjonen i modellresidualene er et tegn på at det er noe galt med modellen, ikke at det er noe galt med de globale temperaturseriene. Dette vil jeg vise og forklare i dette innlegget, både med HadCRUT3 temperaturene og med simulerte temperaturer.

Artikkelen fra 2012 sier at det hefter usikkerhet ved resultatene med temperaturserien for den nordlige halvkulen pga. autokorrelasjon i modellresidualene. Det underbygges i tabell 2, som inneholder mange tall i forbindelse med en Durbin-Watson test som gjøres for å bestemme om en ev. autokorrelasjon er statistisk signifikant. Men på tross av den påståtte usikkerheten står det klart i konklusjonen 'Our forecast indicates an annual average temperature drop of 0.91 °C in the Northern Hemisphere during solar cycle 24.' Etter denne setningen står det ingenting i artikkelen om usikkerhet pga. autokorrelasjon. Jeg oppfatter den setningen som artikkelens konklusjon mht. modellens gyldighet for den nordlige halvkulen.

Men tilbake til autokorrelasjon i modelresidualene.

Konfidensintervall og test av solsyklusmodellen

Jan-Erik Solheim skrev i diskusjonen på Dagsavisen Nye Meninger (DNM) at han og medforfatterne Ole Humlum og Kjell Stordahl testet solsyklusmodellen ved å sammenligne målte middeltemperaturer i solsyklus 23 med modellens prediksjoner og 95% konfidensintervall. De har ikke, hverken i diskusjonen på DNM eller i sin opprinnelige artikkel, gitt detaljer rundt denne testen som gjør leseren i stand til å vurdere resultatet. Som et svar på dette hevdet jeg at solsyklusmodellen feilet i den testen, og at den ligger an til å feile enda mer i inneværende solsyklus 24. Jeg har tidligere underbygget dette med numeriske detaljer i tabell 3 og 4 i innlegget Solar Cycle Model fails after mid-1970s. Nå i ettertid har jeg arbeidet med å fremstille dette grafisk. Jeg kan ikke inkludere grafikk i diskusjonen på DNM, og jeg legger den derfor inn i dette innlegget på egen blogg.

Oslotemperaturer og Solsyklusmodellen

Som kommentar til innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM) skrev Jan-Erik Solheim i kommentar #18 bl.a.:

'Når det gjelder norske målestasjoner viser Almanakk for Norge 2014 på side 75 kurver fra Meteorologisk Institutt for 8 steder i Norge, glattet med filter1. Alle disse kurvene, bortsett fra Spitzbergen, viser en topp omkring 2005 og deretter fallende temperaturer. Så for fastlands Norge viser offisielle data en avkjøling de siste årene.'

Figurene på side 75 i almanakken viser to filtrerte kurver for åtte lokale stasjoner. Filter1, som Solheim referer til, beskriver variasjoner over perioder på om lag ti år og Filter2 over perioder på om lag tretti år. Filter1 kurvene for de syv stasjonene på fastlands Norge er som Solheim beskriver; det er en dipp nedover i 2012 og noen år før det. Men ingen av Filter2 kurvene har noen dipp nedover etter 1980, noe Solheim ikke nevner.

Filter-kurvene er trukket helt frem til 2012, som er det siste året med tilgjengelige årstemperaturer da almanakken ble skrevet. Det angis ikke hvordan det gjøres, men det er rimelig å anta at de siste årene får stor betydning i slutten av Filter-kurvene. Filter-kurvene er mye glattere enn kurvene for glidende middelverdier over henholdsvis ti og tretti år, og de avviker mye fra disse. Det er vanskelig å kommentere Filter-kurvene nærmere uten å vite hvordan de er beregnet. Solheim eller en annen kan kanskje bidra med forklaringer her.

Jeg har lastet ned og gjort beregninger med Oslotemperaturene med utgangspunkt i de månedlige temperaturene fra Meteorologisk Institutt. Valget falt på Oslo fordi det er den første på side 75 i almanakken og fordi Oslo ser ut til å være representativ for de syv værstasjonene på fastlands Norge. Figur 1 i slutten av dette innlegget viser ti og tretti års glidende middeltemperatur. Tretti års glidende middel stiger jevnt. Ti års glidende middel varierer mye. Det er et lite fall (0,185°C) mellom 2004 og nå. Men tilsvarende fall på 1990-tallet (0,26°C) og omkring 1980 (0,71°C) er mye større, uten at noen påstår at oppvarmingen i Oslo stoppet da. Det glidende tretti års middelet stiger jevnt også i periodene med fall i ti års middelet. Ti års middelet er nå på forlengelsen av det stabilt stigende tretti års middelet.

Figurene på side 75 i almanakken mangler de siste 1,5 år i datagrunnlaget sitt. Som vi ser i Figur 1 er det de siste 1,5 årene som gjør at ti års glidende middelet har begynt å stige igjen etter fallet fra toppen i 2004. Når vi vurderer såpass korte midlingsperioder som ti år for å se hva som nå er i ferd med å skje, er det viktig å bruke også de siste 1,5 årene med målinger. Almanakken bruker årsgjennomsnitt av målt temperatur, fordi det er det interessante for de fleste almanakkleserne. Jeg har brukt månedlige temperaturanomalier for også å kunne bruke temperaturene i januar til juli i 2014. Et månedlig anomali er differansen mellom temperaturen i en måned og gjennomsnittstemperaturen i den samme måneden i normalperioden 1961 til 1990. Nedlastinger fra Meteorologisk institutt inneholder både målt temperatur og temperatur anomali.

Innlegget som starter tråden på DNM er om solsyklusmodellen. Den har feilet i sine prediksjoner etter midten av 1970-tallet for temperaturseriene som SSH analyserte i sine opprinnelige artikler fra årsskiftet 2011/2012. Innlegget handler ikke om stabiliteten til den glattete Filter1 kurven som Solheim nå viser til. Men Filter1 kurven beskriver endringer over om lag 10 år, dvs. over omtrent like lenge som en solsyklus varer, og den er derfor interessant i diskusjonen. Men fordi jeg ikke vet hvordan den beregnes, og fordi den ikke tar med temperaturene i de siste 1,5 årene, vil jeg gå tilbake til 10 års glidende middelet i Figur 1. Der ser temperaturen så langt i inneværende solsyklus 24 ut til å være lavere enn den var i forrige solsyklus, som sluttet i utgangen av 2008. Solsyklusmodellen predikterer temperaturfall i inneværende solsyklus, så det er interessant å kjøre modellen med Oslotemperaturene.

Figur 2 i slutten av dette innlegget viser resultatet når solsyklusmodellen kjøres med Oslotemperaturene. Temperaturen så langt i inneværende solsyklus er litt lavere enn den var i forrige solsyklus, men likevel 1°C varmere enn normalperioden til Meteorologisk institutt. Det interessante er imidlertid at prediksjonen for inneværende solsyklus er -0,27°C, dvs. at målingene så langt ligger 1,27°C høyere enn modellens prediksjon. I de to tilbakelagte solsyklusene etter 1986 lå temperaturene henholdsvis 0,64 og 1,08°C  høyere enn prediksjonene til modellen. Det er praktisk talt null sannsynlighet for å observere så høye temperaturer i Oslo som det har vært gjort i de siste nesten tretti årene gitt at solsyklusmodellen er riktig. Ingenting tyder på at det er i ferd med å endre seg.

HadCRUT4_NH temperaturene og Solsyklusmodellen

Som kommentar til innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM) skrev Jan-Erik Solheim i #18 bl.a.:

'Når det gjelder påstanden om at prognosene fra solsyklusmodellen feiler for den nordlige halvkule, kan jeg henvise til et diagram som også finnes på climate4you for temperaturendring for nordlig halvkule fra HadCRUT4. 3 års løpende gjennomsnitt viser en topp i 2005 og deretter synkende temperatur, ca 0,1 grad til 2012.'

Tre års glidende middel (løpende gjennomsnitt) er midling over for kort periode til å se klimaendringer. WMO definer klima som gjennomsnittlig vær gjennom tretti år. Tretti års glidende middel viser jevn stigning frem til nå. Det er selvfølgelig tillatt å se på tre års glidende middel for å fange opp noe som en tror skjer nå. Men da må en bruke så ferske målinger som mulig, dvs. frem t.o.m. juni 2014, noe Climate4you figuren ikke gjør. Figur 1 viser tre og tretti års glidende middel for HadCRUT4_NH, som er HadCRUT4 temperaturene for den nordlige halvkulen. Vi ser at tretti års glidende middel stiger jevnt. Tre års glidende middel varierer mye, og i to perioder på 1980- og 1990-tallet sank det to til tre ganger mer enn det har gjort i de siste åtte årene uten at noen påstår at global oppvarming stoppet opp da. Tre års glidende middel er nå omtrent på forlengelsen av det stabilt stigende tretti års glidende middelet. HadCRUT4_NH gir overhodet ikke grunnlag for å hevde at vi går mot kaldere klima på den nordlige halvkulen.

Innlegget som startet tråden på DNM er om solsyklusmodellen. Det er skrevet fordi modellen har feilet i sine prediksjoner siden midten av 1970-tallet. Innlegget handler ikke om stabiliteten til glidende middel over tre år; det har ikke noe med solsyklusmodellen å gjøre. Så la oss gå tilbake til modellen.

I en tidligere kommentar skrev Solheim på vegne av seg selv og sine medforfattere (SSH) at solsyklusmodellen ikke fungerer bra for den nordlige halvkulen. Det var basert på analyser med HadCRUT3_NH temperaturserien. SSH kritiserer HadCRUT3_NH for diverse svakheter og prøver dermed å legge skylden på temperaturserien i stedet for på modellen.

HadCRUT4_NH er en forbedret temperaturserie for den nordlige halvkulen med bedre dekning i Arktis og med kompensering for tidligere feil i målinger av overflatetemperaturen i havet. HadCRUT4_NH  temperaturene var ikke med i analysene i SSHs opprinnelige artikler fra årsskiftet 2011/2012. Jeg har derfor gjentatt modellkjøringen med HadCRUT4_NH. Resultatet er nedslående for modellen. Det er praktisk talt null sannsynlighet for å observere så høye temperaturer som det har vært gjort i de siste førti årene gitt at modellen er riktig. Temperaturene i den forrige solsyklusen (nummer 23) var 0,545°C varmere enn modellens prediksjon, og så langt i inneværende solsyklus (nummer 24) har de vært 0.971°C varmere enn modellens prediksjon. Figur 2 viser at modellen ikke fungerer med HadCRUT4_NH etter midten av 1970-tallet.

HadCRUT3 temperaturene og Solsyklusmodellen

Som kommentar til innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM) skrev Solheim, Stordahl og Humlum (SSH) i #10 bl.a.

'Vi vil påpeke følgende:

- ved å sammenligne data i HadCRUT3 nedlastet nylig med data nedlastet i februar 2008 finner vi etterfølgende administrative endringer opp til 0.2°C for månedsmiddelverdier. (www.climate4you.com). Det er derfor ikke sikkert at Jacobsen har analysert de samme data.'

Dette utsagnet fra SSH er både irrelevant og feil.

SSH og jeg brukte HadCRUT3 temperaturene for den nordlige halvkulen i våre analyser med Solsyklusmodellen. Det interessante er derfor endringene som er gjort i den serien, ikke endringer som er gjort i den globale serien.

I sin opprinnelige artikkel predikterte SSH temperaturen i solsyklus 24 basert på temperaturene t.o.m. solsyklus 23. Solsyklus 23 endte helt i slutten av 2008. De må derfor ha brukt temperaturserier lastet ned mye senere enn februar 2008. Artikkelen ble levert i juni 2011 og revidert i februar 2012. SSH skriver ikke når temperaturserien de benyttet i sine analyser ble lastet ned, men det er rimelig å anta at det ble gjort tidlig i 2011. Det interessante er derfor hvor mye HadCRUT3 temperaturene for den nordlige halvkulen er endret i nedlastinger gjort nå sammenlignet med nedlastinger som ble gjort i begynnelsen av 2011. Figur 1 viser at det praktisk talt ikke er gjort endringer i eldre temperaturer mellom disse nedlastingene. For temperaturene mellom 1850 og utgangen av 2008 er bare 10 månedstemperaturer justert, og disse justeringene er opp eller ned bare 0,001°C. Justeringene er opp til 0,03°C for de siste månedene i den gamle nedlastingen, men det er temperaturer i solsyklus 24 og de betyr ingenting for solsyklusmodellens prediksjon av temperaturen i solsyklus 24.

Så ja, SSH og jeg brukte praktisk talt de samme HadCRUT3 temperaturene for den nordlige halvkulen når vi ved hjelp av solsyklusmodellen predikterte temperaturen for den neste solsyklusen. Under arbeidet med solsyklusmodellen i 2012, som er oppsummert i dette innlegget, sammenlignet jeg hele tiden mine resultater med resultatene i SSHs artikler fra årsskiftet 2011/2012. Jeg fikk omtrent de samme resultatene som de gjorde, og jeg har derfor hele tiden vært rimelig sikker på at vi brukte de samme data og at vi programmerte modellen likt. Jeg oppsummerte sammenligningene mellom mine og SSHs resultater i et eget innlegg i desember 2012.

Met Office har i ettertid gjort større endringer i gamle HadCRUT temperaturer, akkurat som de andre leverandørene av temperaturserier har gjort. Men det er ikke 'administrative' endringer, som SSH skriver. Endringene gjøres fordi vitenskapsmennene oppdager og retter feil, og fordi prosedyrer og algoritmer forbedres. Met Office skriver litt om det her. Det ser ut som at det omkring årsskiftet 2009/2010 ble gjort større endringer i gamle HadCRUT temperaturer pga feil i landtemperaturene i Australia, New Zealand og USA i de eldre temperaturseriene. Figur 2 viser endringene som er gjort i gamle HadCRUT3 temperaturer mellom nedlasting gjort i juli 2014 og i februar 2008. Førstnevnte nedlasting inneholder temperaturer t.o.m. mai 2014 og sistnevnte temperaturer t.o.m. desember 2007. De største månedlige endringene er mindre enn 0,05°C, dvs. mye mindre enn SSHs påstand om opp mot 0,2°C. Middelverdi og standardavvik av endringene er henholdsvis 0.001°C og 0.006°C. Figuren viser at det er spesielt temperaturer omkring 1870 som nå er justert opp. Dvs. at justeringene bidrar til en reduksjon, helt ubetydelig riktignok, av trenden i temperaturstigningen mellom førindustriell tid og nå.

Solsyklusmodellen, en oppdatering juli 2014

Jeg har tidligere skrevet flere innlegg om solsyklusmodellen, med dette fra 2012 som det mest omfattende. I juli 2014 skrev jeg innlegget Solsyklusmodell feiler i prediksjon om kaldere klima på Dagsavisen Nye Meniger (DNM). Innlegget som du leser nå på hpklima, er en kommentar til Jan-Erik Solheims forsvar av modellen på DNM. Kommentaren er publisert på DNM, men uten figurene som det ikke er mulig å få med i kommentarene der.

Solheim, Stordahl og Humlum (SSH) forsvarer solsyklusmodellen i et pdf notat på Dropbox, se kommentar #10. Her skriver de at modellen feiler for den nordlige halvkulen. Jeg støtter Christian Moes kommentar #14 om dette. Videre skriver de at modellen stemmer best i et begrenset område, og i Figur 1 i notatet sitt sirkler de inn dette begrenset området med de fem værstasjonene Longyearbyen, Tromsø, Bodø, Akureyri (Island) og Torshavn (Færøyene). Jeg har nå undersøkt temperaturseriene for disse fem værstasjonene nærmere. Konklusjonen min er at modellen ikke stemmer for disse heller.

Tabell 3 i dette innlegget viser hvordan prediksjonene for de foregående solsyklusene stemte for 13 lokale temperaturserier som SSH analyserte i sin opprinnelige artikkel fra februar 2012. For de lokale seriene, også for de fem innenfor det begrensete området, feilet modellen grovt i prediksjonene for solsyklus 23 (den varte fra 1996 til 2008). Målt middeltemperatur i solsyklus 23 for både Longyearbyen, Tromsø og Bodø var alle høyere enn øvre grense i 95% konfidensintervallet rundt sine prediksjoner. For Akureyri og Torshavn var også de målte middeltemperaturene mye høyere enn sine prediksjoner. Det er ikke nødvendig å vente til solsyklus 24 er ferdig for å si at modellen feiler også i det begrensete området.

Om temperaturen i den først og i den siste halvdelen av en solsyklus skriver SSH:

' - at det har vært varmere hittil i solflekkperiode 24 enn vår prognose kan forklares ved at temperaturen ofte går opp i begynnelsen av en solflekkperiode, og at det er tiden etter solflekkmaksimum som er avkjølingsfasen. Jo lengre denne blir, jo mer faller temperaturen. Dette er hovedgrunnen til at vi mener at vi må vente til solflekkperioden er over før vi kan vurdere hvor god vår prognose har vært.'

Om Longyearbyen spesifikt skriver de:

'Vi er enige i at temperaturen så langt i solflekkperiode 24 er langt høyere enn vår prognose. Men også her mener vi det er for tidlig å felle noen dom. Vi ser i mange tidligere solflekkperioder en kraftig avkjøling i siste del av perioden.'

Vi er nå ca halvveis i inneværende solsyklus 24. Påstanden om at temperaturen i den siste halvdelen av en solsyklus skal være lavere enn i den første halvdelen er derfor interessant. Jeg utvidet programmene mine for å sjekke dette, og jeg så da at påstanden er feil både for globale og lokale temperaturserier. For alle de fem lokale temperaturseriene innenfor SSHs begrensete område har temperaturen i den siste halvdelen i snitt vært høyere enn i den første.

Middeltemperaturen så langt i solsyklus 24 ligger for alle de fem lokale stasjonene langt over den øvre grensen i 95% konfidensintervallet rundt solsyklusmodellens prediksjoner. Som forklart i forrige avsnitt tilsier ikke historikken til temperaturseriene at dette vil snu. Tvertimot, denne historikken gir oss ytterligere grunn til å frykte at oppvarmingen vil fortsette også i den siste halvdelen av inneværende solsyklus.

Jeg har dokumentert dette med figurer og numeriske resultater i Figur 2 til 6. Temperaturen for de fem lokale værstasjonene er hentet fra rimfrost.no og er ajour t.o.m. juli 2014. Jeg har beregnet og brukt anomaliene relativt normalperioden januar 1961 til desember 1990, som også Meteorologisk institutt bruker.

HadCRUT4 temperaturene var ikke oppdatert t.o.m. juli 2014 da innlegget ble skrevet. Figur 7 med HadCRUT4 temperaturene for den nordlige halvkulen ble derfor lagt inn noe senere. HadCRUT4 temperaturene er også anomalier relativt normalperioden januar 1961 til desember 1990. De viser det samme som de lokale temperaturene, både mht. at temperaturen så langt i solsyklus 24 er mye høyere enn den øvre grensen i 95% konfidensintervallet rundt solsyklusmodellens prediksjoner og mht. at temperaturen i de siste halvdelene av solsyklusene i snitt har vært høyere enn i de første halvdelene.

Høyre plot i figurene viser temperaturen som en funksjon av lengden på den forrige solsyklusen. Denne lengden ser ikke ut til å påvirke om temperaturen i den første eller i den siste halvdelen er varmest.

Piecewise linear regression applied to temperature trends

This is the fifth blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 5 Piecewise linear regression applied to temperature trends

The temperature trend line from December 2000 to December 2013 is flat, while the one from January 1984 to November 2000 increases with 0.22°C/decade, as shown with the two blue lines in Figure 5.1.

Figure 5.1: Monthly temperatures in the last 30 years with trend lines

This leads many contrarians to argue that the increasing temperature trend before the turn of the millennium is followed by a flat trend, and they often illustrate their claim with the red schematic line in Figure 5.1. The red line is, however, not based on calculations, and it does not match the monthly temperatures that it claims to represent. The two blue lines are calculated with linear regression analysis, and they represent the temperatures in their segments when the segments are evaluated isolated from each other. But the trend lines are not continuous at the breakpoint between November and December 2000, and they therefore do not represent the trend for the whole time period in Figure 5.1.

We may calculate a piecewise linear trend line that is continuous at the breakpoint. This new trend line is a “best fit” to the temperatures in the whole time period, just as the two blue lines are the best fits for their time periods. The new trend line has an increasing trend also after the turn of the millennium, as the green line in Figure 5.1 shows. It is calculated with piecewise linear regression analysis.

Statistical power of temperature trends

This is the fourth blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 4 Statistical power of temperature trends

β (beta) is the probability of not rejecting the null hypothesis H0 when it is false. This is a type II error. Statistical power is the probability of rejecting a false null hypothesis. It is 1 minus β.

We assume that the null hypothesis is false and that the alternative hypothesis H1 is true, i.e. that there is a true long term temperature trend different from zero. But we do not know the true trend, only that it is different from zero. The t-value is the slope of the trend divided with its 1-σ uncertainty. We need the t-value of a trend under the alternative hypothesis in order to calculate β and statistical power. In lack of better information we may assume that the trend calculated based on a set of temperature measurements (later called a dataset) is the true trend, and therefore use the t-value of that trend as the t-value under the alternative hypothesis. With this approach we calculate the post-hoc (retrospective) statistical power. Another approach is to estimate the trend and its noise based on available knowledge independent of a specific dataset being analyzed, and thereafter use this for the trend under the alternative hypothesis. With this approach we calculate the a-priori (prospective) statistical power.

Confidence intervals around temperature trend lines

This is the third blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals around temperature trend lines
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 3, Confidence intervals around temperature trend lines:

Figure 3.1 shows the monthly temperatures in the last 30 years as blue dots. The solid red line shows the temperature trend in these 30 years.

Figure 3.1: Monthly temperatures from January 1984 to December 2013 with trend line

The red line is a “best fit” to the blue dots. The slope and the intersection with the vertical Y axis are estimated with linear regression analysis. The slope is defined with its value and its uncertainty, both with units °C/year. The uncertainty is decided by both the length of the interval which the trend is calculated over and by the noise on the temperatures. Long intervals give low uncertainty, and much noise gives high uncertainty. The uncertainty is usually specified with its 1-sigma value σ. See more details in post 1.

The 95% confidence interval around an estimated value has a 95% likelihood of covering the true value. The upper endpoint of the confidence interval has a 97.5% likelihood of exceeding the true value, and the lower endpoint has a 97.5% likelihood of being less than it.

The red regression line in Figure 3.1 may be regarded as a model. It may be used in two different ways. One way is to estimate the most likely temperature at a given time. The red dotted lines show the 95% confidence interval around this estimation. Another way is to predict a measurement at a given time. The blue dotted lines show the 95% confidence interval around this prediction. It is wider than the confidence interval for the estimate because it also includes the uncertainty of the measurement that is being predicted.

Hypothesis testing of temperature trends

This is the second blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals of temperature trends
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 2, Hypothesis testing of temperature trends:

The decision of whether a calculated temperature trend is statistically significant or not is based on hypothesis testing. The null hypothesis H0 is that the underlying long term trend is zero and that a calculated trend different from zero is caused by random noise on the measurements. The alternative hypothesis H1 is that the underlying long term trend is different from zero.

The t-value of the trend is its estimated slope [°C/year] divided with its 1-σ uncertainty [°C/year]. It is a dimensionless number. The t-value follows a Student's t-distribution when the noise on the temperature measurements is random. The probability density function (pdf) of the t-distribution is symmetrical and bell-shaped, as shown in Figure 2.1. The degrees of freedom of the t-distribution is the number of independent measurements minus two.

The absolute value of the t-value is a measure of the probability that the slope is different from zero. A t-value less than 1 tells that the uncertainty of the calculated slope is greater than the slope itself; then the true slope may very well be zero. If, however, the t-value is much greater than 1, the true slope is probably different from zero.

When we calculate a temperature trend different from zero, we do not know if it is caused by random noise on the measurements or by a long term trend different from zero. The calculated trend is statistically significant at the α significance level if the probability to calculate such an extreme trend is less than α, given that the null hypothesis is true. The term 'Such an extreme trend' means a trend that is as big as or even bigger than the calculated trend, positive or negative. This is illustrated in Figure 2.1, which shows the pdf of the t-value under the null hypothesis.

Figure 2.1: The Student's t-distribution with illustration of the significance level α equal to 0.05.The plot assumes that the null hypothesis H0 is true.

Linear regression analysis

This is the first blog post in a series of five that analyse trends in the global surface temperatures. The posts put emphasis on the mathematics and the statistics used in the analyses. The posts are numbered 1 to 5. They should be read consecutively.

Post 1    Linear regression analysis
Post 2    Hypothesis testing of temperature trends
Post 3    Confidence intervals of temperature trends
Post 4    Statistical power of temperature trends
Post 5    Piecewise linear regression applied to temperature trends

The posts are gathered in this pdf document.

Start of post 1 Linear regression analysis

The colored lines in Figure 1.1 show the monthly temperature anomalies from January 1984 to December 2013 for five different temperature series. A temperature anomaly is the difference between the real temperature and the average temperature. A base period is a time interval in which the average temperature is calculated. For brevity we often write temperature instead of temperature anomaly. The five series contain the global land and ocean surface temperature anomalies.

Figure 1.1: Temperatures in the last 30 years for five different temperature series. The trend line is calculated based on the average of the temperature series.

Utledning og tolkning av helningen i lineær regresjonsanalyse

Mange tidligere innlegg på bloggen handler om lineær regresjonsanalyse. Der har jeg skrevet at regneark og matematikkprogram inneholder bibliotekfunksjoner for å regne ut helningen til regresjonslinjen og dens skjæringspunkt med den vertikale y aksen. Nå vil jeg vise hvordan formlene for disse verdiene kan utledes.

Formelen for helningen kan også skrives som kovariansen mellom X og Y dividert med variansen til X. Den siste delen av innlegget utleder denne sammenhengen.

Disse utledningene er enkel matematikk som alle med realfaglig bakgrunn og interesse kan gjennomføre. Jeg skriver innlegget fordi jeg tror at kjennskap til disse utledningene øker forståelsen av lineær regresjonsanalyse. Jeg tror også at jevnlig gjennomgang av slike utledninger hjelper til å vedlikeholde egne matematikkferdigheter.

Jeg skrevet fem innlegg på engelsk om statistisk analyse av global overflatetemperatur etter at dette innlegget ble lagt ut. Det første av disse gjentar matematikken i dette innlegget. Det gjøres for at de fem innleggene på engelsk skal bli mer fullstendige enn de ville vært uten.

Stor usikkerhet i temperaturtrender over korte tidsintervaller

Innlegget Stigende temperaturtrend i de siste tiårene på Dagsavisen Nye Meninger (DNM) tok utgangspunkt i den forrige blogposten her på hpklima. Innlegget fokuserte på den stigende temperaturtrenden i de siste tiårene, og deretter på at det ikke er holdepunkter for å hevde at den er avløst av en flat eller synkende trend etter tusenårsskiftet. Noen av kommentarene både til det innlegget og til andre innlegg på DNM kirsebærplukket starttidspunkter rundt år 2000 for å få en synkende temperaturtrend. Det inspirerte til å generere Figur 1 og Figur 2. De viser at trender beregnet med disse kirsebærplukkete starttidspunktene har så stor usikkerhet at de ikke motsier trenden beregnet over 20 til 40 år. Den langsiktige trenden er stigende med ca 0,15°C per tiår, og den er godt innenfor 95% konfidensintervallene til trendene beregnet med kirsebærplukkete starttidspunkter.

Figur 1: Trend fra år langs x-aksen frem til november 2013. Beregningene er basert på en kombinasjon av GISTEMP, HadCRUT4 og NCDC globale overflatetemperaturer.