Twingly gikk ned

Vi har brukt litt tid på Twingly i det siste ettersom vi har forberedt implementasjonen på Teknisk Ukeblad. Etter en liten tjuvstart, fortalte vi litt om den her på Teknisk Beta, og i dag informerte vi resten av leserne på TU.no.

Jeg ble derfor litt skuffet når jeg logget meg på i kveld, og så at det var helt tomt. Det tar selvsagt tid å få i gang en nettdebatt på tvers av nettsteder, men jeg hadde trodd at noen skulle klare å finne veien.

Skuffelsen ble til undring da jeg tittet innom bloggen til Twingly, og så meldingen de la ut om at Teknisk Ukeblad og Vi i Villa var nye partnere. Like over sto imidlertid svaret: Twingly er nede (forhåpentligvis vil vi snart bytte til ordet “var”).

Our full team of technicians are working around the clock to bring indexing back to life again. No data loss have occured, the problems are temporary and will be solved. Twingly.com and Twingly Blogstream remain functional except for the fact that new data is currently not indexed. Twingly Blogstream administration is also affected.

I en oppdatering kommer det frem hva som er årsaken:

The exact problem is that a file belonging to the database running on the faulting server existed only on the crashed raid set and the database refuses to start without it. The missing file doesn’t contain vital data, but it is required by the database and our efforts to recreate the file have so far been without result. The database is a MS SQLServer unfortunately still taking part in our indexing for legacy reasons. Blog data passes it before being sharded into MySQL.

Sånt skjer, men det var litt frustrerende at det skulle skje akkurat i dag da vi la ut en artikkel om vår bruk av Twingly. Jeg vet ikke hvor mange, om noen, som ble påvirket, men jeg håper de gir oss en ny sjanse.

Jeg regner med at bloggene som lenker til oss uansett vil dukke opp når problemet er løst, og jeg skal ta en runde innom de for å sjekke at alt er som det skal.

OPPDATERT:

Twingly er fortsatt nede, og problemet ser ut til å være verre enn først antatt.

UPDATE 2: Bad news are now worse. Gandalf (the server in question) has been pronounced dead for the time being. Data recovery service is an option, but shortest path to restoring service is now to reroute data around Gandalf straight to MySQL. This ups the complexity plenty and will take several long hours, we are looking at getting fresh data in again some time during the afternoon tomorrow (thursday). Stay tuned for updates right here and on twitter.

Jeg har jobbet mye med IT-drift i et tidligere liv, og vet at det er et helvete når sånt pågår, så jeg har forståelse for at ting kan gå galt. Det gleder meg også at Twingly har brukt både bloggen sin og Twitter til å rapportere om status, og at de i tillegg kommenterer i debatten under dette innlegget:

 

Hej, jag förstår frustrationen och ber djupt om ursäkt. Det vore lätt att skylla på andra faktorer, men till syvende och sist är det vi misslyckats med att uppfylla förväntningarna. Det är väldigt tråkigt att det inträffade samma dag som ni lanserade.

Vi jobbar fortfarande med att få igång indexeringen, uppdateringar kommer i bloggen.

Vänligen,
Martin Källström
VD Twingly

 

Dessuten fikk jeg også en e-post:

Hi,

Since yesterday early afternoon the display of new bloglinks in the Twingly Widget is affected by a temporary server outage at our end – here is our official blog post regarding the unfortunate matter: http://blog.twingly.com/2009/02/11/trouble-at-the-hard-end-of-the-ware/

Affected is: 
– the display of new blog links in the Twingly Widget (since early afternoon of the 11th of February)
– the Twingly Administration – means you right now cannot block or free up any bloglinks for the Twingly widget. 

NOT affected is: 
– the registration of pings that we receive from bloggers – they are in a queue right now and will be processed as soon as the server is repaired.
– indexing of blog posts and microblog posts for Twingly.com. 

We expect everything to be back on track by the end of the day – there will be updates on the blog post above as well a viaTwitter.com/twingly

We do apologize sincerely for the trouble caused and thank you very much for your understanding. 

Please contact us for any questions you might have or receive, and also please feel free to pass this message on.

Technical questions and urgent support issues can be sent directly to support@twingly.com

Thank you, 

Dette anser jeg som god service i en kjip situasjon, og det gir meg tro på at videre samarbeid kommer til å bli veldig bra.

Som nevnt tidligere, var det maksimal uflaks med tidspunktet. Ikke bare fordi det var vår lanseringsdag, men også fordi vi i dag har en stor annonse på Aftenposten. 

tuannonsemedtwingly

Som dere kan se, er vår informasjonsak om Twingly en av de tre artiklene vi plukket ut til vises i denne annonsen.

Mange nettaviser har de siste årene kjøpt annonseplass i andre medier. Ønsket er selvsagt å få økt trafikk, for å komme høyest opp på den offisielle Topplisten. Det er viktig for oss, men det er faktisk ikke det viktigste.

Alle kan skrive en helt hinsides tabloid vinkling, for å lokke lesere til sin artikkel. Det gir kjempeutslag på statistikken, men i mine øyne er det en katastrofal tabbe å gjøre noe sånt. Man ødelegger merkevaren sin, og man ødelegger også for nettaviser som mediekanal.

Teknisk Ukeblad er en 156 år gammel publikasjon, og har i mine øyne en bunnsolid merkevare i form av at journalistikken er seriøs og grundig. Det var viktig for meg da jeg bestemte meg for å ta jobben her. I mine øyne har TU.no artikler som burde leses av langt flere enn de som gjør det i dag, og annonsen vi kjører i dag er et middel for å få flere lesere til å skjønne denne “sannheten”. Den forståelsen får vi ikke hvis fokuserer på klikkmagneter i annonsen vår.

Å velge ut artikkelen om Twingly var et valg som ble gjort selv om vi visste at det ikke er en klikkmagnet. Den ble likevel satt der fordi vi ønsker å fortelle at vi tar samspillet mellom journalistikken og bloggere på alvor. Det er derfor ekstra synd at det var akkurat i dag at Twingly ikke fungerer, selv om lenkene blir liggende og vil bli fanget opp i ettertid.

Vi måtte derfor bytte ut Twingly-saken med en ny vanlig nyhetsartikkel:

 

aputentwingly-saken2

Selv om Twingly-saken nå er tatt bort, så er det fortsatt veldig synd. Vi har en lang og god sak om solforskeren og hva han sier om Al Gore, og det er et tema som hadde fortjent en god debatt på tvers av nettaviser og blogger.

De to andre sakene burde også være interessante for mange. “Vil ha servicehefte for hus” tar for seg et interessant forslag som burde diskuteres seriøst, og det samme er tilfellet med saken om den ulovlige statsstøtten som må tilbakebetales flere år i ettertid.

Nå håper jeg at Twingly raskt finner ut av problemene, slik at vi kan legge inn Twingly-saken vår for leserne som besøker Aftenposten på kveldstid.

  • http://blog.twingly.com Martin Källström

    Hej, jag förstår frustrationen och ber djupt om ursäkt. Det vore lätt att skylla på andra faktorer, men till syvende och sist är det vi misslyckats med att uppfylla förväntningarna. Det är väldigt tråkigt att det inträffade samma dag som ni lanserade.

    Vi jobbar fortfarande med att få igång indexeringen, uppdateringar kommer i bloggen.

    Vänligen,
    Martin Källström
    VD Twingly

  • http://twitter.com/twingly Anton

    Hej, tänkte bara uppdatera er på att problemen börjar lösa sig och att det förhoppningsvis kommer börja funka igen under eftermiddagen.

    Återigen, vi är väldigt ledsna över detta och ska göra allt vi kan för att det inte ska hända igen.

    Hör gärna av dig om du har frågor eller undrar något.

    /Anton Johansson
    anton@twingly.com
    skype: antjoh766

  • http://www.tu.no/ Anders Brenna