2012-08-12 Utvärdering av IT under O-Ringen 2012 Vid spakarna, Oskar Berg, IT-chef O-Ringen i Halland 2012 Åsikter även från Robert Bengtsson, vice IT-chef samt Erik Berg, IT-chef arena Mål Jag anser att vi nådde de mål vi hade satt upp så när som på två detaljer. Största missen var att AXA-stafettens databas försvann. Den andra missen var att www.oringenonline.se låg nere vid ett flertal tillfällen. Utöver det har vi levererat det vi skulle och varit snabba med åtgärder då problem har uppstått. Målen har dock varit egenuttalade då det för IT inte finns någon kravspecifikation från O-Ringen ännu. Större problem - AXA-databasen försvann Detta var pinsamt, men har i mångt och mycket reparerats genom att leta data på olika datorer mm. Anledningen till att den försvann var flera. Till en början med så frågade Jkp (benämner de 10 eleverna från Jönköpings tekniska Högskola med Jkp för att inte peka ut någon enskild individ fortsättningsvis, det skulle ändå inte leda till något bra eller dåligt) om de efter AXAs genomförande behövdes backup. Mitt svar blev Nej utan att mer tänka på det. I min värld så betyder det att man kan sluta ta backup, i deras värld betydde det att man stänger av backuperna samt tar bort alla backuper man har. Ett beklagansvärt missförstånd i kombination med orutin. Senare visade det sig att även databasen för AXA hade försvunnit. Det var dock ett misstag av Jkp tyvärr. Min gissning är att den försvann när man labbade för att få igång replikering av den skarpa O-Ringendatabasen. - Team Sportia, vad ska man säga Har nog aldrig varit med om människor som har skämt ut sig så komplett som dessa. IT fick uppskattningsvis lägga ca 40 arbetstimmar på att hjälpa dem med deras krånglande betalterminaler fast de inte ville bli hjälpta och bara skällde och betedde sig vansinnigt otrevligt. Till slut lyckades Jkp hitta problemet, och det var att Team Sportias betalterminaler var inställda på att köra över mobilnätet istället för över vårt fasta nät som vi hade byggt åt dem. När Team Sportia konfigurerade om sina terminaler så fungerade de utmärkt i vårt nät. Här fick både Jkp och flera andra i IT-gruppen ta oförskämt mycket utskällning och mycket negativ energi som jag tror kom upp till ytan senare under O- Ringen. Eloge till alla som trots detta jobbade vidare för att hjälpa Team Sportia!! Har i efterhand fått reda på att Team Sportia bett Mark Baljeu om ursäkt för sitt beteende. - www.oringenonline.se hade inte uppdaterad data vid flera tillfällen samt låg helt nere vid ett tillfälle. Här saknades bevakning. Vi fick bland annat istället rapport från folk som letade rätt på IT-chefens mobilnr och SMS:ade problemen till honom. Bör vara proaktivt, inte reaktivt. Siten är viktig att den fungerar under O-Ringen. Första gången hjälpte det att starta om webservern, andra gången berodde det på att synkningen av data inte fungerade och sista gången misstänker jag att Jkp helt enkelt stängde ner siten utan att säga till. Det var på söndagen efter O-Ringen. Då fick utvecklaren av siten rycka in och snabbt lägga upp årets databas på den vanliga siten samt att vi styrde om pekningen till den siten, så fungerade det igen. Dock en nertid på ca 7 timmar bara dagar efter O-Ringen, inte snyggt.
- OLA där hade vi en del strul. - Vid ett tillfälle gick OLA segt, det visade sig vara en låg standardgräns för minne i MySQL i Linux. Jkp fick åtgärda detta. - Vi hade flera hängningar av den OLA-servern som speakern körde mot. Både på fysisk samt virtuell Windowsserver. - Speaker och resultatskärmarna tappade bort vissa resultat. De dök helt enkelt inte upp. Efter en hel del funderande och diskuterande så kom vi fram till att det förmodligen berodde på att vi körde mot ett kluster av 3 virtuella OLA-servrar. Då virtuella servrar i praktiken aldrig har samma tid (för tekniskt för att förklara här), så löste vi det genom att ta en VMwareserver och installera den som en fysisk OLA-server istället (fysisk för att även se om hängningarna i OLA hade med virtuella servrar att göra). Då försvann problemen med resultaten. Vi hade hoppats att OLA-hängningarna för speakern skulle försvinna också, men det gjorde de inte. Det hade gått att köra virtuella OLA-servrar om alla som skriver resultat till OLA kör mot samma virtuella OLA-server, alltså inte ett kluster. De som är viktiga att de kör mot samma OLA-server är avläsningen i mål samt Sportident för radiokontroller mm. - Direktanmälan hade problem med att anmälningar inte sparades i OLA-databasen ibland fast folk hade fått en nummerlapp utskriven. I loggarna syntes enligt OLA-utvecklarna nätverksproblem. När vi gav direktanmälan en egen fiberkabel torsdag och fredag så försvann problemen. Det positiva - Det fanns en enorm arbetsvilja trots långa arbetspass!! Både Jkp och andra i IT kom oftast runt 3 på natten till arenan och åkte sällan hem förrän runt 18-19! - Samarbetet och fördelningen av arbete på chefsnivå funkade finfint inom IT. - Välarrangerat från alla grupper inom O-Ringen! - Fantastisk samarbetsvilja över gränserna bland orienterarna. Som exempel så hade vi panik i Vilshärad för att gräva ner ny kabel på morgonen. När jag stod ensam och vilt grävde ner en 60-meterskabel så stod där helt plötsligt 5-6 man med spadar som de hade letat upp och frågade vad som skulle grävas ner och vart! Sen gick det undan! Då är det så man får en tår i ögonvrån mitt i all stress! - Vi löste problem genom att ändra den tekniska lösningen medan tävlingen pågick. Hittade även problem med att OLA hängde sig samt att den inte kunde startas med 2 GB minne. Det ligger nu på OLA-utvecklarnas bord. Felsökning i skarpt läge och under stress, bra gjort Jkp! - En kabeldragargrupp som hela tiden låg en etapp före och ordnade den stora kabeldragningen mellan tält samt till internet. - En serverbuss, en materialbuss samt 2 lånebilar till Jkp var ypperligt att ha till etapperna! Kringarrangemang hade en egen buss som de använde. Den användes även vid avvecklingen i slutet av veckan. - Varje funktion packade varje dag upp sin utrustning ur sina egna lådor och plockade även ner utrustningen i lådorna på eftermiddagen. IT transporterade den i sina bussar som stod inlåsta över kvällen /natten i varmgarage. Varje morgon bar IT ut alla lådor till rätt funktion. Funkade jättebra! - Trådbundna betalterminaler=inte så mycket strul. Funkade finfint! - Alla orienterarna i IT högg i där det behövdes och backade inte för något! Rejäl arbetsvilja! Om det så var gräva kabel, koppla upp PC:s, hjälpa Henrik Bengtsson med webkamera eller hjälpa till med målklockan, inget var några problem! - Funkade jättebra att ha följande grupper: o IT Staden o IT Arena o Kabeldragargrupp
o Kringarrangemang (AXA-stafetten och MTB-O). Pre-O skötte sig själva. - En fantastik upplevelse och erfarenhet. Interna IT-problem mm - Djupt beroende av de 10 Jkpstudenterna som inte har något egenintresse av att se O-Ringen som en succé då de inte är orienterare. Deras primära mål var deras tekniska lösning. - Mestadels orutinerade studenter som inte är vana vid stress. Inte heller vana att ha en chef. - Dålig kommunikation med Jkp innan O-Ringen, förmodligen mycket beroende på att de hade missförstått sitt uppdrag. De trodde att de hade fria händer att lösa uppgiften, medan jag nog trodde att jag hade förklarat att jag är deras chef och ska ha slutordet om den tekniska lösningen. Dock fick de aldrig fram någon teknisk dokumentation att diskutera runt trots påstötningar. När de väl kom ner på plats var det försent att påverka lösningen. Jag måste dock säga att lösningen var bra och säkert helt by the book på ett större företag. - Jkp såg sig i mångt och mycket som en egen enhet med självstyre och tålde inte alltid inblandning och hjälpte inte till i alla delar av IT på samma sätt som orienterarna. - Jkp hade stora problem att tackla när de fick kritik på vissa delar av sin tekniska lösning trots problem med den. - Jkp hade även stora problem att tackla en förändring i sin miljö som berodde på framkomna tekniska begränsningar med OLA (3 virtualiserade OLA-servrar som inte gick i synk med tiden. Virtualiserade servrar går aldrig exakt). Inget som de hade fått info om innan, utan det framkom under evenemanget, så det var ju ingen kritik mot dem, men de tog det så. - Att de såg miljön som sin och inte O-Ringens är inte heller bra, då det är O-Ringen ( arbetsgivaren )som ska komma först. - För krånglig nätverksmiljö, tog mycket onödig tid och gjorde att vi fick starta tidigare varje morgon än vad som annars hade varit fallet. - Jkp saknade förståelse för stabil miljö. De gjorde konfigändringar alldeles för tätt inpå tävlingar. På genrepet tex gjordes en felaktig konfigändring 10 minuter innan Go. Med felsökning och åtgärd så fördröjde det genrep med ca 40 minuter. - Arenans IT-miljö var trots att Jkp sa att de hade fixat allt innan, långt från klar när vi kom ut på genrepet, så trots GOTT om tid, ca 5 timmar, så lyckades IT fördröja genrepet. - Alla funktioner var inte med på genrepet, vilket gjorde att vi inte hittade alla problem med arenans IT-miljö förrän runt etappstart dag 1! Tex så var BABS-terminalernas vlan inte konfigurerat i alla switcharna. - Mycket tid och framförallt energi gick till att hålla Jkp-gänget glada och nöjda för att de inte skulle sura. Väldigt nära till tjurighet hela tiden. Alla led naturligtvis av sömnbrist, men det finns gränser för vad som är acceptabelt även i en sådan situation. - Byte av bostad för Jkpgänget halvvägs in i evenemanget, tog både tid och energi som vi hade behövt lägga på arrangemanget istället. - Det borde ha varit avspärrat för bilar att köra in till vårdhallarna, förutom för arrangörer. På stadsnätssprinten hade en dansk deltagare parkerat sin bil framför garageporten där serverbussen stod. På det sättet äventyrades hela sprinten för en felparkerad bil. Vi löste problemet genom att tråckla oss mellan bord och priser och ta oss ut genom en annan garageport. - MySQL-kompetensen var låg i början av evenemanget. En klar risk då vi är djupt beroende av den. Inga script var färdiga för överflyttning av aktiv databas mellan arenan och staden. De skapades under etapp 1. - När MySQL-synkningen dog en av gångerna så berodde det på att de inte hade satt de passiva databaserna till read only. När sedan någon skrev till den passiva databasen så hamnade databaserna ur synk och synkroniseringen dog och så även oringenonline. - Backup av databasen var inte planerad, det fick vi övertala Jkp att lägga in. Orutin.
- Sista etappen saknade många en pappersstartlista på arenan (jaktstartlista). - Jkp valde att köra MySQL i Linux för bättre prestanda, vilket och andra sidan ledde till att man inte kunde installera OLA på den som en snabb failoverlösning. Hade vi dock haft reservservrar så hade det ju inte varit något problem. - Jag trodde att jag hade blivit lovad ett antal fysiska reservservrar. När Jkp väl kom ner så fanns inga reservservrar med. - Kommunikationsproblem. Jag hade kontakt med endast 1 Jkp-elev oftast och denne var projektledare för resten av Jkp. Fungerade inte bra. Kändes som det blev för mycket missar i kommunikationen. Sen om det var mitt fel eller inte, det ska jag inte uttala mig om, men jag tror att det hade varit bättre att i ett tidigt skede dela upp Jkp i sina respektive områden och sedan kommunisera med alla i varje grupp om just deras saker. - Man kom åt OLA från det trådlösa pressnätet pga Jkp att glömt spara konfigen. Dock krävde OLA i sig lösenord. - Vid ett tillfälle så dog nätverket både i Staden och på Arenan. Det visade sig efter felsökning av Jkp att det var fiberkonvertern från Halmstads Stadsnät som strulade. Efter utbyte av den så fungerade det finfint. De satte därefter på dämpare på konvertern, som sedan funkade felfritt resten av veckan! Bra jobbat! - På en etapp kom Jkp 05:30 fram till att inga kablar ut till kringliggande tält fungerade. Då var det gasen i botten och vi drog snabbt nya kablar och grävde ner vissa. Bra med reservkablar och spade! Problemet visade sig senare vara att kabeldragargruppen inte hade klämt kontakterna tillräckligt hårt. De hade dragit TP-kabel från trumma och sedan klämt på egna kontakter. Hade vi mätt alla kablar redan då så hade vi hittat problemet kvällen innan. Sen kan jag tycka att vi borde ha upptäckt det tidigare då Jkp kom kl 3 och började ställa ut sina switchar. Nu grävde vi ner de sista kablarna medan folk anlände till arenan - De PC:s som Jkp installerade var långt från klara efter deras handpåläggning. Vi bestämde oss pga den låga kvalitén att färdigställa dem själva. Det tog en hel del tid att åtgärda dem. Då hade jag ändå manuellt installerat upp 90 PC innan för att vara på säkra sidan. Jkp fick installera 30 stycken. - Kommentarer som "-Jag tänker inte gräva, det är inte mitt jobb" eller "-Jag är hungrig, kan jag åka och handla frukost" när det brinner i knutarna är inget man vill höra från Jkp vilket vi fick Här måste man innan upplysa ordentligt om vad som gäller ute på arenorna och vad som är prio 1. Få upp arenan. Sen äta och vila. Självklart kan man äta under tiden om man har mackor med sig. Se till att informera Jkp om att ta med sig allt man kan tänkas behöva tills kioskerna öppnar. Förbättringar - Sätt upp pappersstartlistor på arenan sista etappen (jaktstartlistor). - Alla funktioner ska vara med på genrepet, även kiosker, barnpassning och speaker! - Lägg mer tid på att styra Jkp under våren. Det är värt det senare. Gör även tydligt vem som bestämmer och vad som är viktigast (=O-Ringen). Gör gärna en egen skiss på hur du förväntar dig miljöerna så ni har att diskutera runt om inte Jkp skapar en. - Se till att MySQL-kompetens finns inom IT innan evenemanget. - Kräv rutinbeskrivning för MySQL-arbetet med att flytta aktiv databas. Ju kortare tid OLA ligger nere, ju bättre. Skapa script. Kräv även rutinbeskrivning för katastrofåterställning av databas vid krasch. - Ha minst 2 fysiska reservservrar! - Jag tror att det hade varit bättre att i ett tidigt skede dela upp Jkp i sina respektive områden och sedan kommunisera med alla i varje grupp om just deras saker istället för att ha en projektledare för alla Jkp som jag hade. - Efter varje etapp/tävling (AXA osv), spara en backup på ett USB-minne som förvaras på säkert ställe.
- Kör MySQL på en Windowsserver så kan man ha den som räddningslina om man behöver en fysisk OLA-server. - Se till att alla PC:s har ett snabbmeddelandeprogram så man snabbt kan meddela alla vid flytt av aktiv databas. - Tala om för Jkp att ta med sig mat och dryck ut på arenorna. Det hade vi inte tänkt på att det skulle behövas. Gå noggrant igenom att på arenorna gör alla allt och hjälps åt. - Se till att mäta alla längre kablar, nedgrävda så väl som hängande i luften, direkt efter utläggandet. Mät med TP-kabeltestarverktyg. Mät även fiberkablar om ni har tillgång till sådant verktyg. Vi mätte genom att sätta dit fiberkonverter och PC i varje ände. Sen fasta IP på PC:na och testa att pinga (stäng av brandvägg). Att mäta kablarna kvällen innan kan vara skillnaden mellan en lugn morgon och ett fantastiskt stressigt motionspass med spade och nya kablar på morgonen ;-) Tankegångar Nedanstående tankegångar är mina egna (Oskar Berg) och ingen annans. Jag arbetar i det civila med att hålla igång en IT-miljö för 500 användare på 10 olika ställen i Sverige med en servermiljö på över 170 servrar. Jag ensam håller igång servrarna och systemen som rullar på dem samt hjälper supportarna vid djupare problem. Nedanstående tankegångar ska läsas ur mitt perspektiv. Är det rätt att ha ett samarbete med Jkp? Är samarbetet på rätt nivå? Hade vi otur i år? Så här i efterhand känner jag att en mindre grupp på kanske 6 personer från Jkp som endast skötte nätverket hade varit det optimala. Eleverna läser nätverk, och det är inte bra att sätta folk som ska lära sig nätverk att sköta servrar eller klona PC:s. Hade man haft 6 personer från Jkp så hade man kunnat ha 2 personer i staden som turades om med förmiddagspass och eftermiddagspass. På arenan hade man kunnat ha motsvarande fast 2 i varje pass. Det bör räcka för att sätta ut 8-10 switchar och lite trådlösa accesspunkter samt koppla ihop det nätverksmässigt på morgonen. Anledningen till att man bör ha 2 är för att de ska ha någon att diskutera med om de är osäkra på något. Sen har man en grupp serverfolk (2 bör räcka), helst orienterare, som sköter servrar och system. Kanske folk som man hyr in från år till år, precis som man hyr in OLA-kompetens. De ska då sköta OLA-servrarna, MySQL, oringenonline, printerservrar, DNS mm. Har man kvar nätverksdelen med Jkp så bör man fortfarande kunna få använda deras internetlina för att hosta oringenonline under O- Ringen. Har man samma folk som sköter servrarna från år till år så slipper man uppfinna hjulet varje år och minimerar misstagen som görs. Man vet också vad som behöver övervakas och hur. Förbättringar sker från år till år istället för att varje år börja om från noll. Till detta har man sedan en grupp med PC-kunnigt folk och kabeldragare från den lokala arrangören. Självklart en lokal IT-chef också som håller ihop allt och ordnar utrustningen. De inhyrda serverteknikerna kan ju också fungera som bollplank under året för de kommande arrangörerna. De är ju med från år till år och har mycket kunskap att dela med sig av. En annan anledning att endast ta 6 personer från Jkp är att en mindre grupp är enklare för IT-chefen att styra och få en positiv anda i. Som sagt så ska detta läsas ur mina erfarenheter från i år. Andra år har det fungerat på annat sätt. Mycket beror på vilket folk som sätts samman och deras kompetens inom olika områden. Med förhoppning om ett fortsatt fantastiskt O-Ringen för alla deltagare och arrangörer. Oskar Berg IT-chef O-Ringen i Halland 2012