Tag Archives: Gravemaskinen

Buzzer.no

Buzzer.no er en mobil web app som bruker “social buzz” til å plukke de til enhver tid mest engasjerende norske nyhetene. Jeg har brukt den selv til å følge med på nyhetene den siste uken, og i går la jeg den ut i en åpen beta.

I utgangspunktet jobbet jeg egentlig med å oppgradere Siste Nytt for iPhone og iPad, men en bug i den oppgraderte utgaven av Apple’s XCode fikk meg til å ta et avbrekk og sysle litt med web og html5 i steden for. Det var både enklere og bedre enn jeg på forhånd trodde, og jeg ble fascinert av hvor mye bedre web apps har blitt på så kort tid.

HTML er ganske mye enklere å forholde seg til enn Objective-C, og selv om det er flere begrensninger på hva som er mulig, er det også flere muligheter. HTML-koden støtter touch, og det er jo veldig praktisk å kunne lage et enkelt mobilgrensesnitt som virker på tvers av iPhone, Android og Windows Mobile(?).

Hvorvidt jeg kommer til å konvertere Siste Nytt til å bruke HTML gjenstår å se. Jeg trenger å gjøre meg noen flere erfaringer først, og jeg må også se litt på hva slags funksjonalitet jeg legger ved.

I utgangspunktet har jeg tenkt å lage tre visningsmoduser: Siste Nytt, Snakkisene og Buzzer.

Siste Nytt forblir som før. Den viser nyhetene kun sortert etter publiseringstidspunkt.

Snakkisene er en forløper til Buzzer (som ikke er lagt ut noe sted ennå) der jeg tok utgangspunkt i antall Facebook “Likes” på artiklene for så å sortere på det innenfor dagens dato. Det fungerer ganske bra, men morgensakene kommer litt for sterkt ut samtidig som kveldssakene i for stor grad blir ignorert.

Buzzer bruker diverse sosiale parametere i kombinasjon med tidsstempelet. Den foreløpige vektingen fungerte veldig godt i utvelgelsen av artiklene i den ekstreme nyhetsuken vi har hatt, men det gjenstår å se hvor godt den fungerer nå som nyhetsbildet etterhvert normaliserer seg noe. Vi kommer uansett til å justere og videreutvikle algoritmen fremover.

Buzzer er forøvrig utviklet med Gravemaskinen’s API, og tjenesten kjører på våre servere i nettskyen til Amazon. Foruten å være en tjeneste vi selv har hatt glede av, ser vi også på den som et eksempel på tjenester som nettaviser og andre medier selv kan lage med Gravemaskinen.

I første omgang har vi ikke lagt inn så mye funksjonalitet i denne mobile web appen utover selve utvelgelsen av artiklene som vises, men vi har begynt å legge inn noe ekstra informasjon på menyvalget til høyre for hver enkelt artikkel. Her vil vi eksperimentere litt i tiden fremover, og vi er selvsagt åpne for innspill og ønsker.

Selv bruker jeg Buzzer først og fremst for å få et raskt nyhetsoverblikk når jeg er ute på tur eller når jeg trenger et kjapt avbrekk fra det jeg jobber med. Det foretrekker jeg å gjøre via mobilen min, og det er derfor Buzzer.no kun er tilpasset mobiltelefonenes skjermstørrelser. Den virker selvsagt også på nettbrett og PC-er, men det er sekundært.

Hvis du ikke allerede har prøvd den, kan du gå til Buzzer.no og sjekke den ut nå.

VG’s mest engasjerende artikler

Første halvår er straks over, og jeg bruker anledningen til å spørre Gravemaskinen om hvilke saker som var de mest engasjerende i VG hittil i år (2011):

  1. Dommedagsprofet: Jeg bommet med fem måneder
  2. Ungdom onanerte i medelevers brownies
  3. Amerikaner (19) i dameundertøy skal ha drept naboens pygmegeit
  4. Dommedagsprofet: Jorden går under lørdag
  5. – Lubne lever lengst
  6. Gutt (13) holdt fanget i hundebur, drept og begravd i sement
  7. Norge innfører datalagringsdirektivet
  8. Obama bin Laden skal være død
  9. Nadia gir bort alle konfirmasjonspengene
  10. Her får anda Veranda politieskorte over veien
  11. Vulkanutbrudd på Island
  12. Her slår læreren elevene sine
  13. Forskning: Mer miljøvennlig å ha SUV enn schæfer
  14. Nå kommer sommeren
  15. En liten historie om luft og kjærlighet
  16. VGTV direkte – i tilfelle jorden går under
  17. Ektepar fikk villsau i tv-kabelen
  18. Maria Amelie: – De bør si unnskyld
  19. – Hundeeier satte fyr på sin egen hund
  20. Har du sett et mer spektalulært straffespark?
  21. – Folk på vestkanten blir stadig penere enn på østkanten
  22. Krekar blir henrettet ved Irak-retur
  23. «Jackass»-stjerne døde
  24. Tykk og sunn bedre enn tynn og utrent
  25. Obama: Osama bin Laden ble drept på søndag

Listen genereres automatisk ut fra måleparametere hentet ut via sosiale medier, og et kladdeutkast av artikkelen ble publisert direkte fra et script jeg sitter og jobber med. Tanken er å la Gravemaskinen lage kladdeutkast med de mest interessante statistikkene, for så å fylle ut med kommentarer og tekst på tradisjonelt vis.

Det er ikke nødvendigvis samsvar mellom hvilke saker som er mest lest og hvilke som har skapt mest engasjement i sosiale medier, men det er en viss korrelasjon. Dette er en algoritme på et relativt tidlig stadie, men den er allerede ganske god til å plukke ut de mest engasjerende sakene på dagsbasis, og så vidt jeg kan se er det trolig en god korrelasjon med det jeg vil anta er mest lest.

Nå blir det litt arbeid med å finjustere algoritmen, samt legge på ytterligere variabler slik at det blir mulig å identifisere dagens “snakkiser” på tvers av nettaviser med forskjellig størrelse.

Dette er forøvrig ett av mange eksempler på det vi kaller “journalyse”. Journalyse er et ord satt sammen av analyse og journalistikk, og vi bruker det som et begrep for å beskrive analyser av journalistisk innhold. Det er noe jeg jobber en del med i forbindelse med Gravemaskinen.

Nyhetsdøgnet med Osama Bin Laden

Det ble mange artikler om Osama Bin Laden i norske nettaviser mandag 2. mai 2011, og for meg var det en passende anledning til å teste en ny funksjon i Gravemaskinen.

Sent i går kveld la vi inn en ny funksjon som gjør det mulig å lage en rekke rapporter sortert på timene i et døgn. Den kan brukes på alle variablene og måleparameterne vi bruker til å lage redaksjonelle samfunnsregnskap i våre journalyser.

Ved å søke på “Osama Bin Laden” i noen utvalgte norske nettaviser får jeg frem en slik graf:

Her ser vi at norsk presse raskt hev seg rundt tidlig på morgenen da nyheten ble kjent. De første artiklene kom i firetiden på morgenkvisten og da klokken passerte 07:00 var det fullt publiseringstrykk.

Med unntak av en liten lunsjpause rundt 12:00-13:00 holdt det seg jevnt til langt ut på kvelden. Da gikk nettavisene litt på tomgang i timen fra 21:00-22:00 før de igjen produserte for fullt frem til midnatt.

Tidligere har vi hatt muligheten til å aggregere denne informasjonen over en periode for så å spre den utover døgnets timer. Det nye nå er at vi kan isolere rapporteringen for hvert enkelt døgn slik at vi både kan gå tilbake til spesifikke dager og også se dagen i dag i tilnærmet sanntid.

Dette blir forhåpentligvis en nyttig og mye brukt funksjon i redaksjonene fremover. I dette eksempelet har vi valgt en relativt enkel og standard vinkling med fokus på antall artikler som inneholder et navn, men tilsvarende rapporter kan også genereres for å vise f.eks. kildevariasjon, tekstlengder og språkbruk.

Metoderapport til SKUP

Gravemaskinens første graveprosjekt ble gjennomført i fjor høst, og bidraget var en av 66 som konkurrerte om SKUP-prisen.

Vi nådde ikke opp i år, men det tar vi ikke så tungt. Gravemaskinen er et langsiktig prosjekt, og for oss var det viktigste å komme med et bidrag slik at vi signaliserer hva slags ambisjoner vi har med dette redaksjonelle verktøyet.

Nå har SKUP lagt ut alle metoderapportene for både vinnerne og resten av bidragene, og de finner du her på SKUP’s hjemmeside.

For de som er spesifikt interessert i Gravemaskinens bidrag, publiserer jeg det i sin helhet her:

SKUP Metoderapport

 

1. Journalist

Anders Brenna

2. Prosjektnavn

Gravemaskinen.no: Kulturdepartementet somler med journalføringen

3. Publiseringer

Kulturdepartementet somler med journalføringen
http://blogg.abrenna.com/kulturdepartementet-somler-med-journalf%C3%B8ringen/
12. oktober 2010

4. Redaksjon

blogg.abrenna.com

v/Anders Brenna
Solhaugveien 77
1337 Sandvika
Mobil: 90077860
abrenna@gmail.com
twitter.com/abrenna
blogg.abrenna.com

Gravemaskinen AS

PB 227
1300 Sandvika
abrenna@gravemaskinen.no
gravemaskinen.no

5. Kontaktinfo

Anders Brenna
Solhaugveien 77
1337 Sandvika
Mobil: 90077860
abrenna@gmail.com

6. Arbeidet

A: Slik startet det

Ulovlig fildeling på nettet er et stort problem for innholdsbransjene (musikk, film, programvare etc) og de ønsker derfor både en strengere lovgivning og tilgang til flere virkemidler for å få bukt med problemet.

Mange av disse tiltakene kan imidlertid enkelt misbrukes dersom de blir implementert som en del av norsk lovgivning, og det finnes mange internasjonale eksempler på at dette ikke bare er en teoretisk problemstilling.Meningene er derfor sterke, og partene står steilt mot hverandre i samfunnsdebatten rundt hva som kan og bør gjøres.

Fredag 8. oktober 2010 sendte borgerrettsorganisasjonen Elektronisk Forpost Norge (EFN) ut en pressemelding der de vedla et notat sendt fra “Dele – ikke stjele”-kampanjen til Kulturdepartementet. De beskrev det som et “Hemmelig retthaversk notat” som vil “amputere person- og rettsvernet”.

Bransjenyhetsnettstedende Computerworld og digi.no fulgte opp med pressedekning. De intervjuet notatets avsendere – som nektet for at det var forsøkt hemmeligholdt på noe som helst vis.Undertegnede bestemte seg for å sjekke om notatet var tilgjengelig på Offentlig Elektronisk Postjournal (OEP.no).

Det var det ikke, men etter å ha søkt forgjeves på flere forskjellige relevante nøkkelord ble det etterhvert klart Kulturdepartementets journal ikke var særlig oppdatert. Det var på det tidspunktet ingen dokumenter som var nyere enn en måned gamle.Noen stikkprøver på journalene til andre departement viste at enkelte departement hadde relativt ferske oppdateringer av sine journalføringer, mens andre var tregere. Det var imidlertid ingen av de andre departementene som var så dårlig oppdatert som Kulturdepartementets journalføringer.

Konklusjonen ble derfor at “Dele ikke stjele”-kampanjen ikke hadde hemmeligholdt notatet, og at det var den trege journalføringen som forårsaket et unødvendig ekstra konfliktnivå i en allerede betent samfunnsdebatt.Utover å informere om dette på Twitter og gjennom ytterligere nettdebatt ble det ikke laget noen redaksjonell sak om selve hemmeligholdet.

B: Den sentrale problemstillingen

Den interessante redaksjonelle problemstillingen lå i å sjekke hvorvidt treg journalføring var et systematisk problem eller en tilfeldighet, samt om det var store forskjeller mellom hvordan departementene håndterte journalføringen.

Hver journalføring har lagt ut informasjon om virksomhet, sak, dokumenttittel, saksnummer, dokumentnummer, dokumenttype, avsender, dokumentdato, journaldato, publiseringsdato, unntaksgrunnlag og kontaktpunkt med telefonnummer og e-post. Denne informasjonen er publisert som en webside, og den er ikke tilgjengeliggjort i et regenark eller i noen form for maskinlesbart dataformat. Det betyr at man må besøke hver eneste side, klippe ut hvert enkelt informasjonsfelt og legge det inn i et regneark. Ettersom det legges ut mange tusen journalføringer på OEP.no ville det vært en uoverkommerlig jobb å gjøre arbeidet manuelt.

C: Dokumentasjon av systematisk journalsommel

Resultatet av det redaksjonelle gravearbeidet ble en oversikt som avslørte at Kulturdepartementet i snitt brukte 28,3 dager på å offentliggjøre sin journalførte kommunikasjon. Det var nesten 3 ganger så lang tid som departementenes snitt på 9,2 og markant mye lengre enn Miljøverndepartementets snitt på 3,5 dager.Flere skal tidligere ha påpekt at det somles med journalføringen i diverse departementer, men det redaksjonelle arbeidet som ble gjort i dette graveprosjektet ga ubestridelig dokumentasjon på departementenes sviktende journalføringspraksis.

Med faktagrunnlaget fra blogginnlegget fikk Presseforbundet endelig ubestridte fakta som Kulturdepartementet måtte forholde seg til. Dette ble da også fulgt opp i et radioinnslag på NRK Kulturnytt hvor undertegnede primært bidro med å forklare hvordan datagrunnlaget ble innhentet og analysert.Etter blogginnlegget og dette graveprosjektet har Kulturdepartementet skjerpet sin praksis. Stikkprøver viser at de ligger på rundt en ukes forsinkelse nå, og ytterligere dokumentasjon på dette vil foreligge i løpet av våren når datasystemet Gravemaskinen blir klar med kontinuerlig analyse av journalføringen i tilnærmet sanntid.

D: Gravemaskinen

Som nevnt ville det vært en uoverkommerlig oppgave å samle inn og strukturere informasjon om alle journalføringer manuelt. Det ville også vært for tidkrevende å lage et nytt dedikert dataprogram eller et automatisert script fra bunnen av, ettersom det er snakk om både en komplisert innsamlingsprosess og en ressurskrevende analyse.Graveprosjektet var imidlertid et perfekt pilotprosjekt for Gravemaskinen.no, et redaksjonelt IT-system som utvikles for journalister av undertegnede i samarbeid med tildligere ansatte i Google som har erfaring fra utvikling av avansert søketeknologi.

Gravemaskinen.no er en redaksjonell søkemotor som finner, identifiserer og strukturerer faktaopplysninger i store tekstmengder. Mens tradisjonelle søkemotorer som Google, Bing m.fl. viser de 10 mest relevante dokumentene som inneholder faktaopplysningene man leter etter, presenterer Gravemaskinen de mest relevante faktaopplysningene som finnes i disse dokumentene.

Gravemaskinen er delvis utviklet som en generell søkemotor for å kunne tilby basisinformasjon når journalister søker etter faktaopplysninger på tvers av datakilder, men er primært utviklet for å raskt kunne tilpasses journalistiske graveprosjekter i utvalgt kildemateriale. Dette innebærer blant annet å lage automatiserte journalistiske algoritmer som leter på samme måte som en journalist.En tradisjonell søkemotor bygger en indeks med alle ordene som finnes i tekster for så å la brukerne søke raskt gjennom alt etterpå. Slike søkemotorer vet ikke hva de leter etter, men legger i steden tilrette for brukerne som vet hva de søker etter.Journalister derimot, vet hva de ser etter når de manuelt leter etter informasjon i en tekst. I dette tilfellet ville en journalist lett etter alle journalføringer på OEP.no der journaldato og publiseringsdato er oppført for så å klippe ut informasjonen og legge den inn i et regneark.

Dette arbeidet ble i steden overlatt til Gravemaskinenmgjennom å raskt lage noen spesialiserte digitale “journalister” som hentet ut informasjonen og la den inn i et regneark. Totalt tok det noen få timer å konfigurere systemet, samt å hente ut informasjonen fra OEP.no.Deretter ble dataene manuelt analysert i et regneark. Det innebar stort sett enkle grep som å sortere datoene pr. departement, samt regne ut snitt og andre relevante statistiske beregninger.

Ettersom langt fra alle er komfortable med tabeller og regneark, og med tanke på at de er visuelt kjedelige, ble det eksperimentert med en rekke forskjellige grafer for å illustrere faktaopplysningene om journalføringen som ble dokumentert. Det inkluderte blant annet søylediagrammer, speedometerdiagrammer og såkalte radardiagrammer. Hvilke grafer som egnet seg best er fortsatt usikkert, men resultatet ble solid dokumentasjon presentert på en enkel visuell måte som er lett å forstå for alle som leser blogginnlegget.Ettersom dette var et pilotprosjekt med ny datateknologi ble det brukt mye tid på å gå gjennom deler av datasettet manuelt for å sjekke at ikke programvarefeil forårsaket feil i datagrunnlaget.

Det ble ikke utført intervjuer i forbindelse med dette graveprosjektet. Målet var å finne frem redaksjonelt interessante faktaopplysninger om departementenes journalføringspraksis ved hjelp av datastøttet journalistikk, og det lykkes.

7. Spesielle erfaringer

Hele prosjektet må i seg selv anses som en spesiell erfaring. Foruten det er det to momenter som undertegnede ønsker å trekke frem. Det første går på redaksjonell interesse for datastøttet journalistikk, og det andre går på Offentlig Elektronisk Postjournals tekniske praktisering av offentlige journaler.

Før blogginnlegget ble publisert ble flere redaksjoner tilbudt saken på frilansbasis, og etter publisering på bloggen ble det sendt ut tips til en rekke redaksjoner. Foruten Kristine Foss i Norsk Presseforbund – som fant blogginnlegget på eget initiativ og fulgte opp med eget innlegg på offentlighet.no – var det ingen interesse.OEP.no er laget for å bidra til meroffentlighet, men gjør det på en lite hensiktsmessig måte. Det burde ikke være nødvendig å måtte bygge et produkt som Gravemaskinen for i det hele tatt å kunne gjøre en systematisk analyse av OEP.no. Det ligger jo til og med i navnet at dette er en “offentlig” postjournal.

8. Sted & dato

Anders Brenna
Sandvika, 15. januar 2010

Her kan du laste metoderapporten ned som et PDF-dokument.

Grav deg ned i tide

Endelig er den min! SKUP’s legendariske T-skjorte der det står “Grav deg ned i tide“.

Dette er samme T-skjorte som Julian Assange fikk da han besøkte SKUP i fjor, og som han hadde på seg da det blåste som verst like etter fjorårets første store lekkasje fra WikiLeaks.

Som daglig leder og gründer av Gravemaskinen AS, måtte jeg selvsagt ha denne T-skjorten. Sammen med mine partnere i Atbrox AS (som jeg selvsagt også har kjøpt denne T-skjorten til) har vi jo laget den avbildede Gravemaskinen.

Gravemaskinen er utviklet for å hjelpe alle journalister med gravejournalistikk, og T-skjorten har derfor dobbelt mening for oss.

At teksten også sier at vi må grave oss ned i tide, velger jeg også å tolke relatert til Datalagringsdirektivet som vil tvinge alle journalister til å skjule seg selv og kildene for statens overivrige overvåkere. Litt søkt kanskje, men det er et ubestridelig faktum at det er god gravejournalistikk som må til for å avsløre slike farlige maktmennesker.

Og når man først har både T-skjorten og Gravemaskinen, så må jeg jo si meg godt fornøyd med at jeg også har en skikkelig arbeidshjelm. Med dette føler jeg meg godt rustet til å sette i gang med litt skikkelig gravearbeid…