Data Ninja

http://dataninja.wordpress.com/category/stata/

Error bars en error area

Zoals iedereen weet is Stata fantastisch. Soms moet je het een en ander wel wat forceren, zoals error bars en areas. Drie links:

• http://www.ats.ucla.edu/stat/stata/faq/barcap.htm
• http://www.stata.com/help.cgi?twoway+rcap
• http://www.stata.com/help.cgi?twoway_rarea

Pearson correlatie: interpretatie en statistische intuïtie

Update 30 december 2014

"Hoe moeten we dit nu interpreteren?" - Het is een terechte vraag bij elke parameter die je voorlegt en dus zeker bij de onvermijdelijke Pearson correlatiecoëfficiënt. Deze geeft weer hoe sterk variabelen samenhangen. Het teken toont in welke richting. Zo'n simpele correlatie zal je typisch gebruiken bij een exploratieve analyse. Het is ook een belangrijke bouwsteen van allerhande regressieanalyses, factoranalyses, en SEM-modellen. Een tussenstap tussen eenvoudige correlaties en deze technieken zijn de (semi)partiële correlaties, waar je abstractie maakt van bepaalde andere variabelen die een effect mediëren.

Niemand kan echter precies zeggen hoe je dit cijfer, dat tussen -1 en 1 ligt, moet interpreteren. Het is een uitdrukking van de sterkte van een lineair verband meet. Plot de variabelen op een assenstelsel, en je zou een puntenwolk moeten zien waar zich een rechte lijn in aftekent. Kwadrateer je de correlatie, dan krijg je te zien hoeveel procent van de totale variantie door die rechte lijn wordt gevat. Dat is de technische interpretatie, maar meestal kwadrateren we niet. We hanteren in de plaats een vuistregel die sterk varieert van discipline tot discipline - geneeskundige statistiek, sociometrie, psychometrie of econometrie. In de handboeken zeilt men ook liever om de interpretatie heen. Mijn interpretatie (in sociologie & arbeidseconomie) is dit:

• r < .10: geen verband
• r < .30: zwak verband
• r < .50: matig verband
• r < .80: sterk verband
• r > .80: zeer sterk verband

Een experiment

Als alle punten van de puntenwolk exact op een rechte lijn liggen, dan is de correlatie perfect (r = 1). Hoge correlaties krijg je echter ook bij verbanden die helemaal niet zo sterk zijn, dus laat je niet misleiden. Hier een klein experiment dat je in Excel kan doen:

Maak een dataset voor 37 eenheden die elk 10 keer geobserveerd worden (dus 370 observaties in totaal, voor de snelle rekenaar). Eén maat is random veranderlijk over alle observaties, de andere is het gemiddelde per eenheid. We kunnen enige correlatie verwachten, want de twee variabelen zijn niet onafhankelijk, maar voor elke eenheid zijn er ongeveer evenveel cases onder als boven het gemiddelde, wat de correlatie laag zou moeten houden.

Welnu, de Pearson correlatie tussen de veranderlijke en haar gemiddeldes is - met de random getallen die ik verkreeg - 0.9974. Onze statistische intuïtie is duidelijk feilbaar.

Kladblok voor gevorderden

Vroeger was ik fan van Crimson Editor, maar aangezien de ontwikkeling is stopgezet, ging ik verder met Notepad ++.

Voordelen

• Geen tekstopmaak, dus geen nutteloze markup. Zeer nuttig bij het copy-pasten uit websites.
• 'Mono(space)' of 'console'-lettertypes voor een vaste letterafstand
• Syntax highlighting voor statistische programma's (soms moet je een plugin inladen)
• Verticaal tekst selecteren (kolommen)
• Gratis

LaTeX Tables

updated September 2013

I am not a big believer of LaTeX, but I do use it. One reason to dislike LaTeX is the way you need to make tables. It is very easy to mess up and very hard to debug.

From your stats package to LaTeX

My workflow is the following: make every table with just data in Excel, then convert using excel2latex and paste it in your .tex file. If you happen to have crazy formulas in your table, do the same but use codes in your excel table which you then replace by the formulas in LaTeX.

Do not, as a rule, use tabout-like output that Stata delivers. I prefer a little adjustment of Excel matrix output, which is good nowadays, over the burden to look into the LaTeX puzzle. Face it: when we use tables, it's generally for several models or with a combination of different analyses. So for me -tabout- is worthless.

Adjustments to LaTeX tables

The standard LaTeX-layout, which is good enough, has very large margins. That's nice, but it limits your tables. To cope with that, I've read about two solutions:

• The tabularx package
• Put the table inside a minipage and scale it to fit

We're left with just a few more issues: 

• Landscape pages (fear, anger, hate!)
• Wrapping lines
• Wide tables (through -tabularx-)

As for landscapes, I have no clue for the moment. You may want to check here. And pdflscape may be it.

Wrapping lines I've done. It's cumbersome. Basically, you will want to limit the size of a column. You do that through specifying p{3 cm} in your {l l l c r r r c} series of column specifications, where each of l, r, c refers to a column that is left aligned, right aligned or centered. p{} replaces such a specification, so you lose your control over alignment! To solve this issue, you need yet another package: arrays. Then, and I'm not joking, your wrapped left aligned column should be specified as:

>{\raggedright\arraybackslash}p{width}

It is really that stupid. Never saw a > in LaTeX syntax before? Neither did I. As always, there will be some logic behind it, for which a Ph.D. level IQ will suffice, but even if it is understandable, we don't want to waste our time figuring out. 

Links

If you don't want to google, hit some old bookmarks (2010):

• http://programming.itags.org/tex/126082/
• http://www.latex-community.org/forum/viewtopic.php?f=45&t=5089
• http://radio.wihome.net/wiki/?article=LaTeX:tablefootnotes
• http://www.vision.ime.usp.br/~jmena/misc/latex/tables_with_latex.pdf
• http://www.latex-community.org/forum/viewtopic.php?f=45&t=6322&p=24742
• http://www.math.uiuc.edu/~hildebr/tex/packages.html
• http://people.csail.mit.edu/jrennie/latex/

Word of LaTeX?

Dingen die goed werken, interesseren mij, en men zegt dat LaTeX goed werkt. Effectief, de output ziet er behoorlijk uit. Saai, maar consistent. Die twee dingen gaan samen en zijn voor bepaalde opdrachten gewenst.

Maar wat er bij mij niet ingaat is hoe je een tekst kunt schrijven in LaTeX. De markup code stuurt je in de war en tijdens het typen is de bladspiegel niet om aan te zien. Hou er rekening mee dat veel, zo niet de meeste, teksten vooral gelezen worden vóór ze afgedrukt of gefinaliseerd worden. Dat heet dan een werkdocument.

Eén optie is te starten in Word, en de finale versie in LaTeX te maken indien nodig. In veel gevallen zal dat niet kunnen, omdat er bijvoorbeeld een template opgelegd wordt door een consortium of een opdrachtgever.

• Type de tekst in Word, tenzij er wiskundige afleidingen in voorkomen, dan ga je meteen aan de slag in LaTeX.
• Exporteer het bestand (.doc) naar LaTeX (.tex) met Word-to-LaTeX
• Maak de tabellen altijd in Excel
• Converteer de tabel naar LaTeX met Excel2latex
• Voeg de tabellen in en check de cross-references
• Kuis de opmaak
• \title{titel hier} in de heading
• \data{datum hier} in de heading
• \maketitle als titel
• \section{} en \subsection{} als titels van de paragrafen
• \usepackage{verbatim} in de heading en \begin{comment} \end{comment} om tijdelijk syntax weg te laten (vb. uit Word overgenomen marges)

Voordeel: je ziet meteen een behoorlijke tekst en moet alleen kleine wijzigingen doorvoeren in de .tex-file.

Nadeel: met het gratis programma worden formules overgenomen als afbeeldingen. Je kan ze dus niet bewerken. Er zijn enkele betalende alternatieven, zoals GrindEQ, die dit wel kunnen. Ze doen het echter niet noodzakelijk beter voor andere omzettingen.

De tweede optie is meteen een LaTeX document maken.

• Werken met twee schermen is een must.
• Voor documenten met veel verwijzingen, grafieken en formules is dit een must.
• Grafieken kan je in één map plaatsen als pdf's, aangeduid via graphicspath. De kwaliteit van vectorafbeeldingen is niet te evenaren met .jpg/.bmp/.png of zelfs .tiff. Word kan overweg met .emf en .wmf, maar microsoft ontmoedigt deze formaten zelf in de recentere windows versies. Bovendien blijft consistent schalen een probleem in MS Office en is de controle over de bladspiegel onmogelijk. LaTeX daarentegen heeft eigen algoritmes om figuren een plaats te geven, die je desnoods kan overrulen.
• Je kan de tex-file altijd downgraden naar een ander soort tekstbestand. Er is een optie om te exporten naar html en naar rdf, maar ik heb die nog niet aan de praat gekregen.
• Het grootste probleem zijn de vreemde tekens, waar LaTeX niet mee overweg kan: een ö wordt in LaTeX \"{o}. Voor ç, û, etc. gelden gelijkaardige problemen. LaTeX verstaat deze karakters echt wél mits het oproepen van inputenc: \usepackage[utf8]{inputenc}. Dat kon gebruiksvriendelijker, natuurlijk.
• Ik heb geen idee of de bibliografie dan ineens mee geëxporteerd wordt. Laten we het hopen.

Links

• Een overzicht van de packages van LaTeX: http://philippleser.de/physics/latex

Kaartjes maken in Stata

Er bestaat speciale software voor het maken van landkaarten met statistische informatie. Als ik die zou ontwikkelen, zou ik die InfoMaps dopen, dus waarschijnlijk heet het programma zo (edit: het programma heet MapInfo). Maar voor de arme assistent die het met zijn Stataatje moet doen, is er een oplossing:

spmap

Wat je in elk geval nodig hebt zijn Shapefiles. Die kun je dan omzetten naar punten op een assenstelsel, die de grenzen van de landen weergeven. En goede files vind je hier:

• data: http://www.cdc.gov/epiinfo/europe.htm (programma EpiInfo)
• nog meer data: http://www.diva-gis.org/gData
• voorbeeld + kritische kijk op kaarten: http://www.themonkeycage.org/2009/02/mapping_religiosity_in_the_sta.html#comments