Februari Litteraturstudie. Autonomkörning HF/MTO

Transkript

1 Februari 2014 Autonomkörning HF/MTO

2 Transportstyrelsen Väg och järnvägsavdelningen Enheten för behörigheter Författare Anna-Lena Elmquist Månad År Februari 2014 Eftertryck tillåts med angivande av källa. 2 (30)

3 Innehåll SAMMANFATTNING INLEDNING Syfte och mål Metod Frågeställningar och omfattning Termer/Begrepp FORSKNING OCH UTVECKLING Automatisk körning i tät trafik Forskningsprogram och projekt SARTRE Safe Road Trains for the Environment Forskningscentret SAFER Vehicle and Traffic Safety centre, Chalmers Smart driving cars Euro NCAP VINNOVA - FFI- Fordon & Trafiksäkerhet Förstudie om hur kognitiv robotik kan skapa nya dimensioner för MMI i bilar VOLVO Personvagnar EUROFOT AdaptIVE (Automated Driving Applications & Technologies for Intelligent Vehicles) CityMobil Advanced transport for the urban environment HAVEit Intelligent copilot MIT Järnväg Luftfart Aktörer CIS The Center for Internet and Society Viktoria Swedish ICT ERFARENHETER FRÅN FLYGET HUMAN FACTORS/MÄNNISKA- TEKNIK-ORGANISATION (HF/MTO) Hur påverkar automationen flygningen Positiva och negativa effekter Orsaker till automationens problem Interaktionen mellan automation/systemet och piloten HUMAN-CENTERED AUTOMATION Grunderna för Billings metod/filosofi FORDONS AUTOMATION OCH HUMAN FACTORS (30)

4 5.1 Föraranpassning och uppmärksamhet Befogenhet och ansvar Sociala överväganden och kollektivt beteende Förväntningar och problem med en hög grad av automation Vad säger konsumenterna? SLUTDISKUSSION Vad behöver tas med i resonemanget kring autonoma fordon? REFERENSER Litteratur Internet (30)

5 Sammanfattning Inom Transportstyrelsen pågår ett projekt om autonomkörning som bedrivs som en förstudie. Projektet syftar till att identifiera om, hur och vilken lagstiftning som behöver ändras för att möjliggöra delvis eller helt automatiserad körning samt förbereda inför den försöksverksamhet som ska starta under På längre sikt syftar projektet även till att möjliggöra en introduktion av delvis eller helt automatiserad körning på väg Inom projektet har den här litteraturstudien om samspelet mellan människa maskin gjorts eftersom det är en av de centrala delarna/frågorna inom autonom körning. Ett bra samspel mellan människan och tekniken är en förutsättning för att automationen ska fungera. Detta visar både erfarenheter och forskning. Den mesta forskningen med ett människa maskin perspektiv finns inom flygområdet eftersom arbetet med automation och tekniskt avancerade system inom flyget pågått länge. Det vi vet om människors interaktion med autonoma fordonssystem är till stor del baserad på kunskap från forskning från flyget och processtyrning. Det går till viss del att dra paralleller mellan flyget och vägfordon men bilkörning är något helt annorlunda och det har påtalats att det är mer sårbart att utelämna föraren vid utformning av fordonsautomation. Att beakta HF/MTO i ett tidigt stadium av både tillverkning och utformning av systemen blir mycket viktigt för att skapa möjligheter för människans förutsättningar och begränsningar i samspelet med automationen. Inom flyget har man lyft fram vanliga för- och nackdelar med automation och det handlar om ökad säkerhet, avlägsnande av mänskliga misstag och att den avancerade teknik som finns i ett flygplan måste kunna övervakas. Ekonomi och tillförlitlighet, minskad arbetsbelastning och ökad exakthet i kontroll och navigering är andra saker som sagts vara fördelar med automationen. Flera av dessa argument är inte självklara fördelar när man ser tillbaka på utvecklingen inom flygområdet. Människan ansågs vara den primära orsaken till olyckor vilket ledde till att man automatiserade det man kunde och inte bara det som borde automatiseras. Systemens komplexitet har bidragit till nya möjliga misstag och även lett till en ökad mental belastning för piloterna. Automationen har bidragit till en ökad säkerhet och effektivitet, men även tillfört ytterligare systemkomplexitet. Detta har bl.a. resulterat i att piloten inte alltid förstår logiken bakom automationen. En av de mest centrala frågeställningarna är vem som ska bära ansvaret i ett autonomt fordon. Vikten av att kontinuerligt arbeta med HF/MTO kan inte underskattas; hur avancerade system vi än producerar kommer alltid individen ha en eller flera centrala roller i systemens framgång. Det ska inte antas att automationen helt problemfritt kan ersätta föraren. Det kan heller 5 (30)

6 inte antas att föraren på ett säkert sätt kan anpassa sig till automationens begräsningar. Man bör därför även beakta den roll människan ska ha i ett fordon med en hög grad av automation och vilket stöd föraren behöver om den ska anses ansvarig för kontrollen av fordonet. Två saker som lyfts fram som klassiska problem vid införandet av automatiska funktioner är att automatiken inte nödvändigtvis löser de svåraste momenten, utan lämnar kvar dem åt föraren och när man förlitar sig tekniska hjälpmedlen, kommer den egna kompetensen så småningom att falla bort. Fordonsautomation kommer troligen att förändra förarens roll, särskilt eftersom förare anpassar sig till automation över tid. 6 (30)

7 1 Inledning Inom Transportstyrelsen pågår ett projekt om autonomkörning som bedrivs som en förstudie. Projektet syftar till att identifiera om, hur och vilken lagstiftning som behöver ändras för att möjliggöra delvis eller helt automatiserad körning samt förbereda inför den försöksverksamhet som ska starta under På längre sikt syftar projektet även till att möjliggöra en introduktion av delvis eller helt automatiserad körning på väg Inom projektet har även en litteraturstudie om samspelet mellan människa maskin gjorts. Studien omfattar frågan om hur den här typen av teknik påverkar mänskligt agerande med avseende på trafiksäkerhet, miljö m.m. Studien gör ett nedslag i litteratur, artiklar och annan aktuell forskning som finns inom området autonomkörning. Det främsta syftet är att öka Transportstyrelsens kunskap om interaktionen mellan Människa-Teknik- Organisation (MTO). Ambitionen är inte att ge en heltäckande bild av området men att i så stor utsträckning som möjligt besvara de frågeställningar som ligger till grund för studien och försöka peka på de centrala frågorna inom området autonomkörning. 1.1 Syfte och mål Att öka Transportstyrelsens kunskap kring säkerhetseffekter av olika grad av överlämnande av förarens kontroll till tekniska system, främst när det gäller automatisering av längre körsekvenser i syfte att avlasta föraren. Särskilt viktigt är att skapa ett underlag för att förstå och hantera eventuella risker med den teknik Volvo PV avser prova och utvärdera på allmän väg. 1.2 Metod Studien har genomförts som en litteraturstudie. 1.3 Frågeställningar och omfattning Risker och möjligheter med olika grad av automatisering av köruppgiften. - Hur reagerar människan på olika grader av kontrollövertagande och stöd? - Studien bör omfatta litteratur inom andra säkerhetskritiska system såsom luftfart, sjöfart, järnväg och kärnkraft. Trafiksäkerhetspotential för system som i olika grad tar över förarens kontroll. - Finns det några empiriska eller teoretiska studier som påvisar vilka säkerhetseffekter olika system kan få och har man i sådana studier 7 (30)

8 vägt in frågan om människans mer långsiktiga beteendeförändringar? Finns det metoder för att utvärdera långsiktiga beteende-förändringar genom automatisering av köruppgiften t.ex. Field Operational Tests? Hur kan man kompensera för eventuella risker? Finns det några studier gjorda som belyser potentialen för förbättrad tillgänglighet och miljö? 1.4 Termer/Begrepp I säkerhetsarbetet inom olika transportsystem benämns ofta samverkan mellan människor och andra delar i systemet som Human Factors (HF) och/eller Människa-Teknik-Organisation (MTO). HF/MTO är ett centralt begrepp i denna litteraturstudie. SAE International har publicerat en ny standard (SAE J3016) som behandlar begrepp och definitioner relaterade till automation av vägfordon No automation 2. Assisted automation 3. Partial automation 4. Conditional automation 5. Hich automation 6. Full automation Definitioner har även tagits fram av NHTSA 2 och BASt 3 och där utgår man ifrån fem nivåer men både terminologin och vad som inkluderas i respektive nivå skiljer sig åt. 4 NHTSA 1. No automation 2. Functional-specific automation 3. Combined function automation 4. Limited self-driving automation 5. Full self-driving automation 1 Nyhetsbrev Omvärldsanalys av autonoma vägfordon 31 januari Amerikanska trafiksäkerhetsverket 3 Tyskt statligt trafikforskningsinstitut 4 Nyhetsbrev Omvärldsanalys av autonoma vägfordon 31 januari (30)

9 BASt: 1. Driver only 2. Driver assistance 3. Partial automation 4. High automation 5. Full automation Det förekommer även en klassificering i tre nivåer: 1. Non-automated 2. Semi/Partly automated 3. Fully automated Samliga definitioner är ungefär lika vanligt förekommande och dess innebörd varierar en hel del beroende på användaren. Det förekommer dessutom flera olika termer när man pratar om fordon som på något sätt har funktioner som stödjer föraruppgiften vilket skapar en del förvirring. Följande termer har återfunnits i arbetet med denna litteraturstudie: Autonomous Self-driving Robotic Driverless Unmanned Piloted 9 (30)

10 2 Forskning och utveckling Det här avsnittet kommer att visa på forskningsprogram och utveckling som på något sätt har en koppling till autonomkörning. Resultat från forskning och utvecklingsprojekt kommer även att redovisas i kapitel 3-5. Medan Nordamerikansk forskning inom det här området till övervägande del fokuserat på automatiserade landsvägssystem har europeisk forskning lämnat detta område för att utveckla fordon för den befintliga infrastrukturen. Exempel på sådan forsning är SARTRE (platooning), HAVEit och CityMobil. Större delen av dessa projekt har fokuserat på att praktiskt lösa implementeringen av hårdvara och mjukvara t.ex. att försäkra att kameror och sensorer fungerar och att den infrastruktur som behövs finns. Tyvärr har det varit mycket mindre förståelse för hur användare av sådana system skulle kunna interagera med dessa fordon. Den kunskap som finns om människors interaktion med automatiserade fordon är till stor del baserad på det vi vet från forskning inom flyg och processtyrning/processreglering. Den typen av forskning ger värdefulla erfarenheter men bilkörningen skiljer sig från flygning och det är påtagligt mer sårbart att förbise föraren vid utformning av autonoma fordon. Det finns forskning som behandlar betydelsen av överföringen mellan automation och manuell körning t.ex. CityMobil och HAVEit och intelligent copilot MIT Automatisk körning i tät trafik Scania håller på att utveckla ett system för automatisk körning i tät trafik. Den nya autopiloten ska minska risken för incidenter, samtidigt som föraren kan ägna sig åt andra uppgifter eller vila. Enligt Scania skulle detta kunna resultera i att chaufförens tillåtna körtider kan förlängas. Ett annat starkt argument för detta system är att bränsleförbrukningen skulle sjunka. En central fråga i utvecklingsarbetet är att det aldrig ska råda något tvivel om vem som kör bilen eller chauffören. Det ljuder en signal när kontrollen lämnas över, och skärmen på instrumentpanelen byter utseende och föraren kan när som helst ta över körningen. Den självstyrande lastbilen håller reda på andra fordon och väglinjer med hjälp av radar, kameror samt ultraljud. Systemet använder bildbehandling för att skilja på fasta och rörliga föremål. Än så länge rör det sig om forskning och tidig utveckling, och Scania ger inga besked om när tekniken kan nå marknaden. 5 Anderson, Karumanchi & Iagnemma, (30)

11 Scania utvecklar, liksom Volvo, även teknik för att köra fordon i kolonn tätt efter varandra på motorvägen, vilket även minskar luftmotståndet och därmed bränsleförbrukningen. Bromsarna ska exempelvis aktiveras på samtliga fordon i kolonnen om ledarbilen bromsar Forskningsprogram och projekt SARTRE Safe Road Trains for the Environment Projektet delfinansieras av EU-kommissionen genom det sjunde ramprogrammet. Det leds av Ricardo UK Ltd i samarbete med flera internationella företag, SP Sveriges Tekniska Forskningsinstitut, Volvo Personvagnar och Volvo Technology. Projekt syftar till att utveckla och testa teknik för fordon som kör sig själva i långa tåg på motorvägen. Tekniken skulle kunna förbättra trafikflödet och restider, öka förarens komfort, mindre antal olyckor och sänka bränsleförbrukningen och därmed också koldioxidutsläppen. Tyngdpunkten i projektet ligger på utveckling och på att anpassa den teknik som redan finns Forskningscentret SAFER Vehicle and Traffic Safety centre, Chalmers På en av sessionerna på 2012-års Transportforum (Autonomkörning när kan fordonet ta över) ingick SAFER-forskare och hade fokus på autonom körning. Följande projekt presenterades på konferensen: Platooning hur får man alla fordon att kommunicera? Cristofer Englund, Viktoriainstitutet Kommunikation mellan fordon och infrastruktur, Erik Ström, Chalmers Fordonsdynamik i undanmanövrar, Mathias Lidberg, Chalmers Förarbeteende vid plötsliga systemingrepp, Christian Larsson, Volvo Resultat från platooningprojektet Sartre, Andreas Ekfjorden, Volvo Hur lär sig föraren nya tekniska system i bilen? Christina Stave, VTI Projekt inom SAFER: VHM Volvo Human Monitoring Att studera människans mentala status under bilkörning kommer att ge värdefull input till utveckling av framtida säkerhetssystem. Projektets fokus och mål är att undersöka möjliga egenskaper inom människans mentala status för att mäta och analysera för att kunna bygga upp en kompetensplattform i Göteborg (30)

12 2.2.3 Smart driving cars Euro NCAP VINNOVA - FFI- Fordon & Trafiksäkerhet Methods for designing Future Autonomous Systems (MODAS) Scania koordinerar detta projekt som pågår under perioden Projektets syfte är att studera och implementera metoder för att designa fordon med hög grad av autonomitet. Modern teknologi har potentialen att skapa ett paradigmskifte i förhållandet mellan för föraren och fordonet. Syftet med MODAS är att ta ett helhetsgrepp avseende designen av framtidens förarmiljö Förstudie om hur kognitiv robotik kan skapa nya dimensioner för MMI i bilar Viktoria Swedish ICT AB koordinerar projektet. Förstudien har uppnått sitt syfte genom att experimentet påvisar en skillnad i beteende/attityd beroende på upplev nivå av intelligens och resultatet visar på att experimentupplägget där olika nivåer av intelligens manipuleras kan användas i framtidens studier som utforskar detta ämne ytterligare. Inom ramen för förstudien genomfördes ett experiment med 30 förare som fick interagera med bilar som upplevs ha olika nivåer av intelligens. Experimentet innefattade olika typer av navigationssupport till förarna. Hypotesen som testades var att förares beteende/attityd förändrades (ökar/minskar) i takt med upplevd intelligens, dvs. förares beteende/attityd fångades upp före och efter att de använt de olika typerna av navigationssupporten VOLVO Personvagnar Volvo Personvagnars forskning är koncentrerad till tre områden: Säker filkörning Undvikande av korsningsolyckor Undvikande av viltolyckor Forskningsprojekt som ingår i forskningen är Autonomous Driving Support, Intersection Support och Animal Detection EUROFOT Ett EU-projekt med 28 partners. Har samlat data under fyra år för att få kunskap om interaktionen mellan förare som har ADAS (Advanced Driver Assistance Systems). Huvudresultatet var att dessa system är accepterade bland Europeiska förare och förbättrar generellt körningen. De minskar 12 (30)

13 antalet olyckor, ökar körsäkerheten och komforten och bidrar till bränsleeffektivitet AdaptIVE (Automated Driving Applications & Technologies for Intelligent Vehicles) 7 Är ett nytt EU-forskningsprojekt vars mål är att utveckla och testa nya teknologier som möjliggör delvis eller helt automatiserad körning på motorvägar och i tätbebyggda områden. Projektet kommer att pågå i 3,5 år och leds av Volkswagen och involverar 29 olika organisationen. Huvudfokus ligger på dynamisk anpassning av automationen till olika trafiksituationer och samverkan mellan fordonet och föraren. Projektet kommer även att titta på rättsliga frågor och ansvarsfrågor för förare och fordonstillverkare. Olika automatiserade funktioner kommer att demonstreras i sju personbilar och en lastbil. Projektet är en fortsättning på HAVEit och interaktive CityMobil Advanced transport for the urban environment Projektet arbetade med automatiserade transportsystem i stadsmiljö och det var 28 partners från tio olika länder i konsortiet bland annat Uppsala kommun från Sverige. Projektet finansierades via EU:s sjätte ramprogram och avslutades HAVEit Ett EU-finansierat projekt med 18 partners däribland Volvo Technology Corporation AB. Projekts mål är att förbättra trafiksäkerheten och effektiviteten genom att bl.a. utveckla och utvärdera nästa generation ADAS, optimalt system samarbete och interaktion mellan föraren och systemet genom olika nivåer av autonom körning Intelligent copilot MIT 2.3 Järnväg Flyget har autopilot och tåget fick något liknande genom European Rail Traffic Management System - ERTMS som är ett standardiserat europeiskt säkerhetssystem för järnvägen. Botniabanan var först i Norden med ERTMS och syftet med införandet var att möjliggöra effektiv gränsöverskridande tågtrafik. Grunden till att systemet installeras var ett EU-direktiv som gick ut på att göra gränsöverskridande tågtrafik konkurrenskraftigt tidsmässigt gentemot långtradarna. Systemet ska införas på alla högtrafikerade banor i Europa. Samma lok och lokförare ska kunna köra tåg genom hela Europa. 7 Nyhetsbrev Omvärldsanalys av autonoma vägfordon 16 december (30)

14 Skyltar och signaler tas bort och tåget får ett system som kommunicerar med järnvägsanläggningen. 8 Mer information om järnvägen och den riskhanteringsmetod som används finns beskriven i huvudrapporten om autonomkörning. 2.4 Luftfart Det finns stor erfarenhet och forskning att hämta från flygsidan eftersom man använt automation inom flyget länge. Detta gör flyget till en central del i litteraturstudien. Information om flyget finns under kapitel Aktörer CIS The Center for Internet and Society Centret för Internet och samhället (The Center for Internet and Society) vid Stanford Law School är ledande i forskningen inom lagar och policy frågor avseende Internet och andra kommande teknologier Viktoria Swedish ICT Sustainable mobility är ett affärsområde där autonomkörning och autonoma fordon återfinns. Viktoria Swedish ICT verkar inom detta område (30)

15 3 Erfarenheter från flyget Human Factors/Människa-Teknik-Organisation (HF/MTO) I säkerhetsarbetet inom olika transportsystem benämns ofta samverkan mellan människor och andra delar i systemet som Human Factors (HF) och/eller Människa-Teknik-Organisation (MTO). Den forskning som kommit längst inom detta område är den som rör flyget och användningen av autopilot. Dessa erfarenheter går även till stora delar att applicera på andra trafikslag t.ex. bilar/fordon på väg. Den gemensamma faktorn är automationen d.v.s. interaktionen mellan människan och ett system. Detta gör den här jämförelsen relevant även om bilkörning avsevärt skiljer sig från flygning. 3.1 Hur påverkar automationen flygningen Positiva och negativa effekter Tidiga argument till ökad säkerhet var att piloten, ansågs vara den primära orsaken till olyckor vilket ledde till att man automatiserade vad som kunde automatiseras och inte vad som borde automatiseras. Onekligen avlastar automationen piloter under olika faser av flygningen och det finns olika system som bidrar till stabilare inflygningar och säkrare landningar. Flygets utveckling har även tillfört en hög nivå av komplexitet som gör att piloten behöver redskap för att säkert kunna hantera flygplanen. Det är många olika parametrar som ska övervakas på ett säkert och effektivt sätt. Det har även skett en förskjutning av misstagen, dvs. automationens komplexitet har istället bidragit till nya mänskliga misstag. Ett exempel är svårigheter i att förstå logiken i automationens beteende, vilket gör det svårare för piloten att förutse automationens nästa drag. 9 Automationen har minskat pilotens fysiska arbetsbelastning och genom att slippa manuell handflygning av flygplanet frigörs utrymme för andra arbetsuppgifter. Erfarenhet pekar dock på att den mentala arbetsbelastningen inte minskat i samma omfattning utan snarare ökat. Under planflykt minskar automationen den mentala arbetsbelastningen och under mer krävande situationer underlättar den inte i samma omfattning, utan snarare ökar belastningen. Detta kan framförallt ske under flygfaser där arbetsbelastningen redan är hög, som vid t.ex. inflygnings- och landningsfasen. När oförutsedda saker inträffar under en flygning kan piloterna få svårt att flyga manuellt. Det beror bland annat på att de inte märker att autopiloten 9 Se bl.a. Dekker, S. W. & Hollnagel, E. (1999). Coping with Computers in the Cockpit. Aldershot, UK: Ashgate Publishing. 15 (30)

16 kopplats ur. Efter flera uppmärksammade olyckor är experter i EU och USA nu oroliga för att piloter inte längre kan hantera nödlägen. En specifik typ av olyckor på senare år, med bland andra europeiska och amerikanska passagerarplan, uppmärksammans nu i flygvärlden. Det handlar om incidenter då piloterna av olika skäl förlorat kontrollen över planet. I branschen kallas olyckstypen för "loss of control". En fråga som aktualiserats är om piloterna får den träning i att flyga manuellt som de behöver för att klara nödlägen. Trängsel bland molnen, snävare inflygningar och allt mer integrerade system driver på användningen av autofunktioner ombord. 10 Det finns uppgifter om att piloterna i två tredjedelar av de mindre incidenterna och i en tredjedel av de större olyckorna hade svårigheter att flyga manuellt, eller gjorde misstag kopplat till autokontrollerna. Vanligt var att de inte märkte att autopiloten kopplats ur. "Eftersom systemen är så integrerade i dagens plan, kan ett felfungerande system eller en enda trasig dator plötsligt resultera i en serie andra fel, vilket är bekymmersamt för piloterna, som har utbildats i att lita på utrustningen", skriver nyhetsbyrån AP angående studien. Det finns även exempel som visar att piloter klarat mycket svåra situationer efter att de förlorat all elektronik på grund av brand. 11 Enligt Stig Franzén, professor i människa-maskininteraktion vid Chalmers i Göteborg finns det klassiska problem kopplade till införandet av automatiska funktioner som även styrker tidigare resonemang såsom: 12 Att automatiken inte nödvändigtvis löser de svåraste momenten, utan lämnar kvar dem åt föraren. Att när du hela tiden förlitar dig på de tekniska hjälpmedlen, så kommer din egen kompetens att falla bort i sinom tid. Det blir samtidigt allt säkrare att flyga i världen. Enligt Easa inträffad i fjol ingen dödsolycka inom det kommersiella flyget inom EU. Flygsäkerhetsansvariga och piloter uppger att datoriseringen av tekniken ombord är en starkt bidragande faktor till den ökade säkerheten. Tidig forskning om automationens potentiella inverkan på piloters arbetssätt har bl.a. visat på risker med att öka nivån av automationen. 13 Antagandet baseras på att piloter inte längre fysiskt handflyger flygplanen och att vi som människor vanligtvis är dåliga övervakare av komplexa och oftast välfungerande system. Automationen anses ha tagit över för stora delar av http:// 11 Ibid 12 Ibid. 13 Wiener, E. L. & Curry, R. E. (1980). Flight Deck Automation: Promises and Problems. Ergonomics, 23, (30)

17 flygplans styr- och övervakningsfunktioner. Argumentet är att automation bidragit till högre nivåer av tristess och självgodhet, även kallat automation complacency. Ytterligare risker som angavs var urholkning av kompetens och färdighet och förlorad situationsmedvetenhet av rum och tid. I olika olycksutredningar anges ibland riskerna ovan som direkta eller indirekta orsaker till olyckans eller tillbudets uppkomst. Åtgärder tenderar då att ligga på individnivå, dvs. piloten får kompletterande utbildning, procedurer skrivs om etc Orsaker till automationens problem Det finns synsätt där man inte söker orsaken till problemen i att piloten t.ex. varit för passiv i sin övervakning utan där man istället anser att det inte existerar några empiriska belägg för detta. Ett sådant perspektiv på interaktionen mellan pilot och automation utgår istället från att automationen oftast fungerar precis som avsett, och att problemet istället ligger i interaktionen mellan dem båda. Det som då delvis kan konstateras är att samma faktorer som oftast leder till systemets framgång (interaktion) även kan bidra till misstag och i värsta fall även till olyckor och tillbud. Den forskning som finns har funnit olika orsaker till automationens problem. Nedan redovisas några reflektioner: 14 Fellägen: Ett systems felläge beskrivs som att piloten trodde att flygplanets dator var i ett läge, och agerade utifrån detta medan datorn var i ett annat läge. Vilse i programvaran: Piloten har för få antal skärmar i förhållande till det antal processer som datorn utför. Att bli överbelastad: Automationen kräver ofta samspel och interaktion under flygfaser. Piloterna ska även övervaka och analysera stora mängder data, vilket gör att risken ökar för att viktig information inte uppmärksammas. Svårt att upptäcka förändringar i automationen: I komplexa system är oftast data mer dolt än synligt, förändringar, processer och även avvikelser kopplat till automationens funktionalitet synliggörs inte för piloten. Skärmarna i cockpit tenderar att enbart visa systemets status, läget den befinner sig i, s.k. mode, snarare än systemets beteende och prestanda. 3.2 Interaktionen mellan automation/systemet och piloten Även om automationen har bidragit till en positiv utveckling inom områden som säkerhet, effektivitet och ekonomi har det även tillfört ökad 14 Se bl.a. Dekker S. W. A. (2004). On the Other Side of a Promise: What Should We Automate Today? I: Harris, D. Human Factors for Civil Flight Deck Design (sid ). Aldershot, UK: Ashgate. 17 (30)

18 systemkomplexitet. Detta synliggörs bl.a. genom piloters otrygghet vad gäller kunskap och förståelse av automationens utformning och återkoppling av systemets status. En studie av införandet av automation i cockpit visade att över hälften av piloterna efter ett år av aktiv tjänst på samma flygplanstyp vid olika tillfällen förvånats över automationens beteende. 15 Det var ca 20 procent som ansåg att de inte fullt ut förstod automationens olika funktioner och lägen. Automation har en tendens att gömma sina processer för användaren, så är även fallet med automation i förarkabinen. Piloten väljer aktivt att aktivera olika funktioner och efter det följer en lång serie av processer helt eller delvis osynliga för piloten. Piloten har ett utpekat ansvar att övervaka och ingripa vid behov, vilket kan vara svårt att uppfylla om man inte vet vad som sker. Att beakta HF/MTO i ett tidigt stadium av både tillverkning och utformning av systemen blir således mycket viktigt för att skapa möjligheter för människans förutsättningar och begränsningar i samspelet med automationen. Vid utformning och design inom flygbranschen börjar man allt oftare fundera över hur man på bästa sätt uppnår ett så säkert och effektivt samspel mellan människa (pilot) och teknik (automation). Framgångsrik automation står inte bara att finna i frågor om vem som har kontroll över vad och hur mycket utan även; utifrån pilotens förutsättningar och begränsningar (fysiska, kognitiva och sociala), hur väl kommer pilot och automation överens? Forskning inom HF/MTO och systemsäkerhet formulerar bl.a. frågan om hur vi förvandlar automation till effektiva lagspelare? 16 Bra lagspelare gör nämligen sina aktiviteter iakttagbara och lättförståeliga för resterande lagmedlemmar. Om automation ska kunna bli mer av en lagspelare måste det utvecklas mer väldokumenterade HF/MTO applikationer. Forskningen har identifierat tre centrala egenskaper hos automationen: Den ska vara händelsebaserad dvs. automationens presentationer behöver lyfta fram förändringar och händelser. 15 Sarter, N. B. & Woods, D. D. (1994). Pilot Interaction with Cockpit Automation: An Experimental Study of Pilot s Mental Model and Awareness of the Flight Management System. International Journal of Aviation Psychology, 4, Se bl.a. Sarter, N. B. & Woods, D. D. (1997). Team play with a powerful and independent agent: A corpus of operational experiences and automation surprises on the Airbus A320. Human Factors, 39, Se t.ex. Dekker, S. W. (2005). Ten questions about human error: A new view of human factors and system safety. New Jersey, NJ: Lawrence Erlbaum Associates, Publishers. 18 (30)

19 2. Den bör även vara framtidsorienterad vilket innebär att piloten måste ha tillgång till information och stöd för att kunna förutse förändringar, veta vad följderna blir och var man ska titta härnäst för att få ytterligare information. 3. Genom strukturbaserad automation kan piloten lättare skanna förarkabinens olika bildskärmar och uppmärksamma förändringar t.ex. systemavvikelser. Detta kan resultera i att piloten inte behöver engagera sig i avancerade beräkningar, integrationer, extrapoleringar av olika bitar av data etc. Problemet med gömda processer i automation bör inte underskattas. När vi inkluderar HF/MTO i utveckling av automation breddar vi våra referensramar för hur vi på ett bättre sätt kan beakta människan i teknisk utformning. Intressanta och viktiga frågor som vi tidigare kanske inte tänkt på träder fram: Medger systemet åtgärder som korresponderar med pilotens avsikter? Ger systemet tydlig och tolkningsbar återkoppling av skillnader mellan vad piloten önskar (avsikt med sin åtgärd) och vad som verkligen sker? Har man i tillräcklig utsträckning gett piloten möjlighet att övervaka systemets status? Vilken nivå av auktoritet (makt) har getts till systemet för att ta befäl över olika parametrar eller helt åsidosätta pilotens kontroll av flygplanet? Hur påverkar systemet pilotens arbetsbelastning? Anses systemet alltid reducera arbetsbelastningen eller utgår man istället från att arbetsbelastning förändras och/eller skiftas beroende på t.ex. flygfasernas olika intensitet av arbetsuppgifter? Hur bör piloterna utbildas i användandet av automationen? Utöver den grundläggande typutbildningen, införs det även i t.ex. piloters utbildning i CRM? 18 Har man automatiserat allt som kan automatiseras (utgångspunkt teknik), eller vad man bör automatisera?(utgångspunkt människa och teknik). 18 CRM står för Crew Resource Management och kan kort beskrivas som ett träningsprogram för piloter och kabinbesättning i beslutsfattande, kommunikation, samarbete, informationshantering, ledarskap och människans förutsättningar och begränsningar (eng. Human Factors). 19 (30)

20 4 Human-Centered Automation Inom flyget har man sett att den nuvarande utvecklingen och implementeringen av automation i förarkabinen kan riskera att isolera piloten ytterligare från systemen om inte hänsyn tas till ett HF/MTOperspektiv. Detta kan minska pilotens förståelse för automationens operativa status i olika situationer, t.ex. vad gör den nu? Det finns ytterligare anledning till varför man i ett tidigt stadium av tillverkning och design av automation bör ta hänsyn till HF/MTO. Bl.a. har utredningar av olika olyckor som inträffat i organisationer där man dagligen använder sig av avancerad automation och högteknologiska system visat på orsaksfaktorer som bristfälliga gränssnitt (samspel) mellan människa och teknik. 19 De s.k. mänskliga misstagen i olyckorna var till följd av bl.a. dålig design, bristfälliga rutiner, otillräcklig utbildning m.m. En viktig slutsats är att mänskliga misstag eller försämrade mänskliga prestationer ofta induceras av faktorer som kan undvikas genom att beakta individens förutsättningar och begränsningar i ett tidigt designstadium. Ett sätt att arbeta med automation och HF/MTO är att använda sig av metoden Human-centred Automation. Metoden bygger på ett systemkoncept, dvs. för att uppnå de fastställda målen är automationen utformad med fokus på samarbete mellan teknik (automation) och människa (pilot). Dr. Charles Billings, tidigare chef vid NASA/AMES forskningscentrum i USA beskrivs som delvis upphovsman till metoden Human-centred Automation. Hans arbete har bidragit till att utveckla konkreta redskap och grundläggande principer för människans roll i automatiserade system. Inom flygbranschen behövde designers och ingenjörer vägledning vid tillverkning av automatiserade system med särskilt fokus på samspelet mellan pilot och automation. Billings utvecklade en metod, kallad Billings automationsfilosofi, för implementering av automation i förarkabinen. Metoden kräver att automationen och dess system bygger på samspel med piloterna i utövandet av deras arbetsuppgifter. Denna metod går under benämningen Human-Centered Automation. 20 Human-Centered Automation bygger på att så länge människan bär det fulla ansvaret för säkerheten vid drift av olika system (transport, tillverkning, underhåll etc.), bör verktyg som t.ex. automation utformas utifrån människans förutsättningar och begränsningar. För att göra det måste man 19 Bl.a. Rymdfarkosten Challenger, kärnkraftsolyckan i Chernobyl (Se ICAO, Human Factors Training Manual, 1998). Flygolyckan i Nagoya, Japan med en Airbus 300 (Se Aircraft Accident Investigation Commission: Ministry of Transport, Japan, 1994). 20 Se bl.a. Billings, C. E. (1997). Aviation automation: The Search for a Human-Centered Approach. Lawrence Erlbaum Associates, Mahwah, New Jersey. Dr. Charles Billings, tidigare chef vid NASA/AMES forskningscentrum i USA beskrivs som upphovsmannen till metoden Human-centered Automation. 20 (30)

21 utgå ifrån helheten i automationen, dvs. att människan samspelar med automationen. Det är även viktigt att regler och rutiner som på olika sätt adresserar automationen är möjliga att följa, lätta att förstå och inte riskerar att misstolkas. Utrustning och teknik kopplat till automationen får inte heller vara för komplicerad. Kommunikation som t.ex. återkopplar systemstatus mellan pilot och automation måste fungera och både den fysiska och organisatoriska arbetsmiljön i cockpit måste vara bra. 4.1 Grunderna för Billings metod/filosofi Som grund för sin metod/filosofi utgick Billings från att människan bär det yttersta ansvaret för säkerheten, därför måste vissa HF/MTO krav uppfyllas: Piloten måste föra befälet: För att kunna ta det yttersta ansvaret för säkerheten bör piloten i princip ges obegränsat utrymme till kontroll av flygningen. Syftet med automationen måste vara att assistera piloten, inte tvärtom. För att kunna föra ett effektivt befäl måste piloten vara delaktig: Automationen måste utformas och kunna användas på ett sådant sätt att piloten inte blir avskild eller sekundär som användare. Automationen måste kräva ett aktivt deltagande. Detta uppnås bl.a. genom relevanta och meningsfulla arbetsuppgifter. Forskning inom HF/MTO har visat att vi människor tenderar att inte vara så bra övervakare av system med hög tillförlitlighet, särskilt under längre perioder. För att kunna vara delaktig måste piloten vara informerad: Utan information försämras pilotens delaktighet. Piloten måste ha tillgång till kontinuerligt flöde av relevant information om systemen och automationen, som t.ex. status, förlopp, intention och återkoppling. Sett från ett HF/MTO perspektiv blir informationens karaktär, tid, form och framförallt hur den presenteras betydelsefull. Information blir relevant först när den presenteras på ett sätt som är meningsfullt för piloten. Flygplanets olika funktioner får endast automatiseras om det finns god anledning till det: Valet att automatisera olika system måste baseras på pilotens behov och inte om det är tekniskt genomförbart, dvs. viktiga frågor i termer av HF/MTO är; vad bör vi automatisera istället för vad kan vi automatisera och hur tar vi hänsyn till pilotens förutsättningar att på ett säkert och effektivt sätt fungera tillsammans med automationen. Piloten måste kunna övervaka de automatiserade systemen: Möjligheten att övervaka de automatiserade systemen är nödvändigt dels för att piloten ska kunna följa dess framgång, dels för att automationen 21 (30)

22 inte är felfri. Automation som ger möjligheter för god övervakning bidrar till att piloten kan fatta säkrare och effektivare beslut. De automatiserade systemen måste vara förutsägbara: För att piloten ska kunna agera och fatta bra beslut måste automationen bete sig utifrån en förutsägbar prestanda, en ram för vad som är normalt respektive abnormalt systembeteende. Förutsägbarhet ger piloten möjlighet att lättare bedöma avvikelser och reagera korrekt. De automatiserade systemen måste kunna övervaka piloten: Liksom automationen så är piloten inte heller felfri. Trötthet, stress och andra orsaker kan bidra till att misstag begås som felaktig programmering och hantering av automationen. Det är därför nödvändigt att genom design integrera felsöknings-, diagnos- och korrektionsåtgärder. Automatiska system måste utformas så att de är lätta att lära sig och använda: Automationen är en produkt som används i många olika och föränderliga flygsituationer. Flertalet är väldigt krävande och omhändertas av piloter under hög arbetsbelastning, dåliga väderförhållanden, komplexa inflygningar och även ibland under nödsituationer. Enkelhet, tydlighet och användarvänlighet baserade på beaktande av HF/MTO måste således vara hörnstenar i utformning och design av automation. Principerna för Human-Centered Automation är avsedda att fungera som ett stöd, en metod som säkerställer att ett HF/MTO- perspektiv omhändertas i ett tidigt stadium av design av flygplans förarkabiner. Denna metod borde även kunna appliceras på design och utformning av andra förarutrymmen. 22 (30)

23 5 Fordons automation och Human Factors Det här avsnittet/kapitlet är en sammanställning av 10 artiklar från Europeiska och Nordamerikanska forskare som presenterar studier om förarinteraktion och avancerad fordonsautomation. 21 De flesta artiklar i denna sammanställning handlar om assisterande körning med system såsom adaptiv farthållning (ACC) eller kollisionsvarning (FCW) som skilda företeelser och inte i kombination med styrassistans och navigationssystem som kanske skulle kunna utgöra ett helt autonomt fordon. Forskning om konsekvenserna av fullt automatiserade fordon är inte särskilt omfattande. Den snabba teknikutvecklingen och ett ökat fokus mot fordon med en hög grad av automation påvisar behovet av forskning inom detta område. Forskning som beaktar konsekvenserna av autonomkörning fullt ut är inte lika omfattande som den forskning som fokuserar på filhantering och speed control systems var för sig och inte som ett system. De studier som finns pekar på två underliggande utformningsfilosofier: automatiserad körning och stödsystem för körning. Resultat från flera studier, som behandlar tidigare forskning inom andra områden, tror att den autonoma filosofin kan försena förarreaktioner vid incidenter där föraren måste ingripa och återta kontrollen från automationen. Att förstå hur man ska organisera/hantera överföring eller delning av kontroll mellan system och förare, särskilt vid kritiska incidenter, framstår som en central utmaning. Dagens fordon kan utföra allt fler grundläggande köruppgifter eftersom det finns fordon med flera grader av automation tillgängliga. Exempel på avancerade stödsystem, ADAS, inkluderar parkeringshjälp, filhantering, adaptiv fartkontroll, kollisionsvarning, hastighetsreglering, varning vid kurvor och döda vinkeln varnare. Att införliva alla dessa system i ett fordon skulle kunna innebär att systemen har mer kontroll på fordonet än föraren. Resultat från det första stora Europeiska projektet med fältstudier (eurofot) presenterades i juni Projektet omfattar 28 partners inklusive de stora biltillverkarna. Data samlades in under fyra år för att få kunskap om interaktionen mellan förare som har ADAS. Resultatet visar att dessa system accepteras bland europeiska förare, förbättrar generellt körningen, minskar antalet olyckor, ökar körsäkerheten och komforten och bidrar till bränsleeffektivitet. Fördelarna med ADAS uppmuntrar tillverkare att inkludera fler ADAS-funktioner i fordon. 21 Human Factors: The Journal of the Human Factors and Ergonomics Society. Natasha Merat, University of Leeds, Leeds, United Kingdom, and John D. Lee, Univeristy of Wisconsin-Madison 23 (30)

24 Utöver det ökande antalet ADAS-funktioner i fordon ökar även användningen av sensorer och trådlös kommunikation i fordon, vilket tillåter kommunikation mellan fordonen och kanske även kommunikation mellan fordon och andra väganvändare till exempel cyklar, motorcyklar eller fotgängare. När Nordamerikansk forskning från 90-talet koncentrerades på autonoma motorvägssystem 22 har europeisk forskning gått ifrån detta område till att utveckla fordon för den redan existerande väginfrastrukturen 23 Exempel på sådan forskning är SARTRE ett projekt där platooning ingår, HAVEit och CityMobile. En majoritet av dessa projekt har fokuserat på att praktiskt implementera hårdvara och mjukvara för att t.ex. se till att kameror och sensorer fungerar och att den infrastruktur som krävs finns på plats. Tyvärr har man inte i lika stor utsträckning tittat på hur användarna av dessa system skulle kunna interagera med den typen av fordon. Det vi vet om människors interaktion med autonoma fordonssystem är till stor del baserad på kunskap från forskning inom flyget och processtyrning. Denna forskning ger värdefulla erfarenheter men bilkörning är något annat och det är ändå mer sårbart att utelämna föraren vid utformningen av fordonsautomation. Forskning om fordon med en hög grad av automation har dock ökat såsom forskning som omfattar påverkan av övergången mellan automation och manuell körning i projekt som CityMobil och HAVEit. 5.1 Föraranpassning och uppmärksamhet Resultat från forskning visar att förtroendet ökar för en ny företeelse i och med att vanan ökar men det gör inte acceptansen. Studier har gjorts av hur körstil och personlighet påverkar föraranpassningen till ACC. En klusteranalys har gjorts för att identifiera tre grupper av förare baserad på deras benägenhet till riskfyllt beteende. Tre författare hävdar att personlighet, utbildning och erfarenhet av liknande system starkt påverkar anpassningen till automationen. Tre artiklar tar upp frågan om hur föraranpassning till fordonsautomation eventuellt kan interagera med två framträdande olycksorsaker såsom trötthet och distraktion. 24 I de fall då föraren har kontroll över automationen uppnås samma stressnivå och trötthet som tvingande fordonsautomation. Frivillig kontroll av automation mildrar inte trötthet och en trött förare var mer benägen att använda automationen vilket ledde till ökade problem. Det framkom även att själva hanteringen av automationen kan distrahera föraren 22 Horowitz & Varaiya 2000: Levitan, Golembiewski & Bloomfield, Parent, Neubauer, Matthews, Langheim och Saxby (2012) 24 (30)

25 och trötta förare reagerar långsammare. Slutsatser blir att automation inte nödvändigtvis minskar tröttheten utan tvärtom kan förvärra effekterna av trötthet. Det finns resultat som föreslår att ansträngningen av att hantera själva fordonsautomationen kan utgöra en distraktion. 25 Två artiklar påvisar den potentiella faran som en hög nivå av automation i kombination med att föraren utför andra uppgifter/distraktion kommer att resultera i en lägre nivå av situationsmedvetenhet. 26 Flera artiklar visar att automation kan påverka förarprestationen på oförutsedda sätt särskilt när automationen har en mer central roll i fordonets kontrolloop. Tidigare forskning om automation har påvisat ansträngningen/svårigheten med att återta kontrollen (resumption costs) förknippade med personer som är utanför kontrolloopen men som behöver återta kontrollen 27. Automation kan kräva att föraren återtar kontrollen inom millisekunder, men att återgå till kontrolloopen kan ta sekunder. Det ironiska med fordonsautomation är att den kan ge stöd i de minst krävande förarsituationerna och uppmuntra föraren att koppla bort körningen, men kräver sedan att föraren återtar kontrollen i de svåraste situationerna. 5.2 Befogenhet och ansvar Ett sätt att balansera befogenhet och ansvar är att stödja snarare än att automatisera förarens uppgift. Det finns system/automation som är utformade för att behålla föraren i loopen så mycket som möjligt snarare än att kontrollera fordonet eller att varna föraren vid omedelbara risker för olyckor. Det finns studier som visar att automation kan vara mer effektiv om den engagerar föraren i kontrolloopen. Flera andra artiklar/författare lutar åt att vilja behålla föraren i kontrolloopen genom att dela ansvaret mellan föraren och automationen. Man strävar efter att minimera problemen med att återföra kontrollen till föraren då automationen misslyckas genom att fokusera på delad kontroll. Vid delad kontroll har föraren manuell kontroll över fordonet men får återkommande stöd från automationen. Ett sådant angreppsätt försäkrar att föraren är engagerad i uppgiften och inte bara övervakar systemet vilket leder till en försenad respons när föraren måste ingripa i oanade situationer Sociala överväganden och kollektivt beteende Flera författare argumenterar för vikten av delade mål mellan föraren och fordonsautomationen. De menar att människor påverkas/reagerar på teknik 25 Neubauer et. al. (2012) 26 Carsten, Lai, Barnard, Jamson, and Merat (2012) 27 Wickens &Kessel, 1979, Mulder et al. 25 (30)

26 på ett socialt sätt, motsvarande hur människor reagerar på andra människor. Om målen för automationen stämmer med förarens mål är sannolikheten större att tilliten och acceptansen ökar. Denna hypotes stöds av det försök som gjordes med ACC. När man kom på att om ACC utformats för att stödja förarens mål hade den en högre trovärdighet än ACC som inte stödjer förarens mål. Allt eftersom tekniken blir mer sofistikerad och förmänskligad, särskilt den röstbaserade interaktionen, kan trovärdighet och andra sociala reaktioner bli än mer kritiska. En annan viktig aspekt som lyfts fram är hur förare av vanliga fordon reagerar på fordon med en hög grad av automation som kanske bryter mot sociala normer och ett förväntat beteende från en typisk förare. 5.4 Förväntningar och problem med en hög grad av automation Några artiklar påvisar att fordons automation och stödsystem både kan öka och minska körsäkerheten. I viss utsträckning kan nyttan med säkerheten bero på om förarens roll, antagen av utformaren, överensstämmer med den roll som föraren anser sig ha. Den teknik som anses ha tagit över förarrollen kommer troligen att förvärra distraktionen och tendensen för andra roller att byta ut människan som förare. Vilket lämnar människan sårbar för situationer som automationen inte kan hantera. Förare i farozonen/riskförare kan ha mest att vinna på fordonsautomation men kan även vara de som är mest sårbara för deras brister. Det är viktigt att överväga det mest sammanhängande sättet att integrera fordons automation istället för att genom en stegvis ansats bygga en allt högre grad av automation från existerande system. Forskning från automation inom flyget visar att system som byggs upp i små steg kan leda till komplicerad interaktion och förvirring även bland tränade piloter. 5.5 Vad säger konsumenterna? En undersökning som Cisco gjort tidigare i år visar att 57 procent av världens konsumenter skulle kunna tänka sig att åka med en självkörande bil. I Brasilien litar 95 procent på autonoma bilar och i Indien och Kina är siffran 86 procent respektive 70 procent. Japan ligger lägst av de tillfrågade länderna. Man kan fråga sig om det beror på kulturella eller tekniska orsaker. Som helhet i världen ligger siffran på 57 procent. Strax över snittet ligger USA på 60 procent, vilket skulle bero på att tre delstater redan har legaliserat självkörande bilar. Undersökningen bygger på svar från (30)

27 personer från tio länder. De gröna staplarna visar hur många procent som skulle tillåta sina barn att åka med en förarlös bil (30)

28 6 Slutdiskussion Ett bra samspel mellan människan och tekniken är en förutsättning för att automationen ska fungera. Detta visar både erfarenheter och forskning. Den mesta forskningen med människa maskin perspektiv finns inom flygområdet eftersom arbetet med automation och tekniskt avancerade system inom flyget pågått länge. Allt eftersom automation blivit aktuellt även på fordonssidan har behovet av forskning ökat även inom detta område. Det vi vet om människors interaktion med autonoma fordonssystem är till stor del baserad på kunskap från forskning från flyget och processtyrningen. Det går till viss del att dra paralleller mellan flyget och vägfordon men bilkörning är något annat och det har påtalats att det möjligen är mer sårbart att utelämna föraren vid utformning av fordonsautomation. Forskning om fordon med en hög grad av automation har dock ökat liksom forskning som omfattar påverkan av övergången mellan automation och manuell körning såsom i projekten CityMobil och HAVEit. Att beakta HF/MTO i ett tidigt stadium av både tillverkning och utformning av systemen blir därför mycket viktigt för att skapa möjligheter för människans förutsättningar och begränsningar i samspelet med automationen. Inom flyget har man lyft fram vanliga för- och nackdelar med automation och det handlar om ökad säkerhet, avlägsnande av mänskliga misstag och att den avancerade teknik som finns i ett flygplan måste kunna övervakas. Ekonomi och tillförlitlighet, minskad arbetsbelastning och ökad exakthet i kontroll och navigering är andra saker som sagts vara fördelar med automationen. Flera av dessa argument är inte självklara fördelar när man ser tillbaka på utvecklingen inom flygområdet. Människan ansågs vara den primära orsaken till olyckor vilket ledde till att man automatiserade det man kunde och inte bara det som borde automatiseras. Systemens komplexitet har bidragit till nya möjliga misstag och även lett till en ökad mental belastning för piloterna. Automationen har bidragit till en ökad säkerhet och effektivitet, men även tillfört ytterligare systemkomplexitet. Detta har bl.a. resulterat i att piloten inte alltid förstår logiken bakom automationen. Två saker som lyfts fram som klassiska problem vid införandet av automatiska funktioner är att automatiken inte nödvändigtvis löser de svåraste momenten, utan lämnar kvar dem åt föraren och när man förlitar sig tekniska hjälpmedlen, kommer den egna kompetensen så småningom att falla bort. En metod som används inom flyget, Human-centred Automation, och som utgår ifrån att människan bär det yttersta ansvaret för säkerheten har ställt 28 (30)