Institutionen för Datavetenskap Department of Computer Science BTRfs: Nästa generations filsystem för Linux Rapport utfört i EDT621 Datorarkitekturer med operativsystem vid Lunds Tekniska Högskola vid Lunds universitet av Johan Byrlén
Innehållsförteckning 1. Sammanfattning... 3 2. Introduktion... 3 3. B+ träd... 4 4. Funktioner... 5 4.1 Copy-on-write... 5 4.2 Snapshots... 5 4.3 Kryptering... 5 4.4 Komprimering... 6 5. Jämförelse med Ext4... 6 6. Slutsats... 8 Referenser... 9 2
1. Sammanfattning Rapporten behandlar dem fundamentalla funktionerna i filsystemet Btrfs så som Copy-on-write, snapshots, kryptering och komprimering. Datastrukten B+ träd ligger som grund för hela filsystemet och därför fördjupar rapporten sig i det och förklarar varför det passar bra in i ett filsystem som Btrfs. Sist görs en sammanfattning mellan Btrfs och Ext4 där slutsatsen blir att Ext4 är det mest optimala valet för dagligt bruk pågrund av prestandan och stabiliteten, men Btrfs är på uppgång och det kan därför konkluderas att Btrfs kan tänkas bli något stort i den närmsta framtiden. 2. Introduktion Syftet med den här rapporten är att beskriva filsystemet Btrfs och därefter göra en mindre jämförelse med det filsystem som för tillfälligt är mest populär bland Linux distributioner, Ext4. Btrfs är nästa generations filsystem som är baserat på datastrukturen B+ träd och utformat specifikt för Linux. Utvecklingen av Btrfs startades 2007 av Chris Mason där han kombinerade idéer från ReiserFS tillsammans med copy-on-write vänliga datastrukturen B-tree. Idag har projektet många utvecklare, där till ett flertal kommersiella företag som Facebook, Intel, Linux Foundation, Oracle samt Red Hat (Btrfs Contributors 2015) och det är påväg att bli ett standard filsystem för Linux. Filsystemet ska lösa skalbarheten för större och snabbare lagring, samt utöver det lägga till funktioner som befintliga Linux filsystem saknar idag. Rapporten kommer att bearbeta och fördjupa sig i designen, arkitekturen samt de funktioner som gör att filsystemet skiljer sig som mest mot Ext4. Funktionerna som kommer få störst fokus i denna rapport är snapshots, copy-on-write, kryptering och komprimering. Därefter kommer även en prestandajämförelse att göras under varierande arbetsvillkor i samma hårdvaramiljö. Rapporten kommer framförallt att fokusera på s.k. skrivbordsklienter men även gå in lite kort på fördelar och nackdelar med att använda nämnda filsystem i en servermiljö. 3
3. B+ träd Figur 1: Ett exmpel på ett B+ träd där nycklar numrerat 1 till 7 är länkade till datan d1 till d7. Dem röda rutorna visar på den länkade strukturen (lista) som tillåter in-order traversering (vilket är en skillnad i jämförelse med ett vanligt B-träd) (Wikipedia, B+ tree 2015). Datastrukturen B+ träd står som grund i Btrfs och är ett balanserat sökträd där all data är lagrat i trädets lövnoder. B+ träd är en väldigt effektiv datastruktur i block-baserad lagring då man får en stor utbredning och ett lågt djup i jämförelse med andra sökträd som B-träd. Större utbredning och lägre djup leder till att du kan läsa in mindre antal datablock från lagringsenheten samt att mindre I/O operationer behövs för att hitta ett element i sökträdet. Modifiering av ett B+ träd i Btrfs sker med hjälp av funktionen copy-on-write, vilket betyder att när ett block ska ändras så skrivs datan över till ett nytt block istället för att modifiera det nuvarande blocket, vilket är mycket användbart vid t.ex en datorkrasch som sker samtidigt som skrivning görs till lagringsenheten och gör det därför lätt att reparera lagringsmediet i efterhand utan att bli av med information (Wikipedia, Btrfs 2015). Fördelen med att använda sig av B+ träd i jämförelse med vanliga B-träd är att B+ träd inte har någon data associerad med dess inre noder, det leder till att flera nycklar kan få plats i minnet och cache missar blir därför mindre vanligt när den hämtar data från lövnoderna. En annan fördel med B+ är att som Figur 1 visar, så är lövnoderna länkade med varandra i en lista, vilket leder till att en sökning av ett objekt eller data sker linjärt bland lövnoderna istället för att behöva traversera igenom varje nivå av sökträden som krävs att göras i ett vanligt B-träd. Således, blir det inte bara en långsammare sökning, utan det kommer även resultera i flera cache missar. 4
4. Funktioner 4.1 Copy-on-write Copy-on-write ( kopiera vid skrivning ) är en optimeringsstrategi som används i moderna filsystem (bl.a i Btrfs) för att förse systemet med metadata och datakonsistens med hjälp av transaktions semantik samt billiga och omedelbara backups med hjälp av snapshots och kloner (Wikipedia, Copy-on-write 2015). En fördel med att använda copy-on-write är att den bara skriver datan till lagringsenheten en gång, om du därefter skapar en identisk kopia av datan eller filen så pekar dem båda identiska filerna till samma källa, det är bara när du gör en modifiering till filen som den skriver över datan till en annan plats (Sakis Kasampalis 2010). Det sparar på lagringsutrymme och leder således till mindre I/O operationer för ditt minne vilket är bra för flash baserat minne som har en livslängd beroende på antal skrivningar. 4.2 Snapshots Ett snapshot är tillståndet för ett system, fil eller allmänt data vid en viss tidpunkt. Det finns olika typer av snapshots som kan vara låsta för endast läsning (skrivskyddad) men det finns även dem som går att modifiera och skriva över och dem kallas för en klon (Rodeh, Bacik, Mason 2013). Snapshots är väldigt användbara vid t.ex data reperation, online data skydd, ångra operationer i filsystemet, testa nya installationer och konfigurationer, backups m.m. Ett sätt att se på det är att snapshots är väldigt billiga backups, det går väldigt snabbt och tar inte mycket minnesutrymme. Dagliga backups kan komma att vara väldigt bra att ha till hands vid vissa situationer då man råkar ta bort eller modifiera viktig data, men det är inte något som görs ofta av vanliga användare eftersom det vanligtvis är väldigt tidskrävande. Därför anses snabba, billiga och automatiska snapshots vara en bra lösning att ha integrerat i sitt filsystem. 4.3 Kryptering Huvudansvarig utvecklare och grundare av Btrfs Chris Mason har sagt att integrerad kryptering i Btrfs är plannerad men ännu inte implementerad. Under tiden som den integrerade krypteringen implementeras så rekommenderas det (Btrfs Encryption 2015) att man använder sig av alternativ som dm-crypt/luks på den underliggande enheten och därefter skapar Btrfs ovanpå det lagret, men viktigt att notera är att det endast anses som stabilt för Linux 3.2 eller senare (Btrfs Development 2012). 5
4.4 Komprimering Idag har Btrfs inbyggd support för två komprimeringsalgoritmer, ZLIB och LZO. Komprimeringen sker på filnivå, ej i block. Därför tillåts du att välja vilken typ av komprimeringsalgoritm du vill använda i ditt filsystemet, beroende på vilka filer du har. Eftersom dagens processorer är betydligt snabbare i proportion till datorns minne, så kan det vara användbart att just komprimera datan för att öka den effektiva kapaciteten och minska antal I/O operationer och således prestandan för minnets I/O. I Btrfs tillåts du även använda en blandning av ZLIB, ZLO och okomprimerat. ZLIB: Långsam komprimering men ger högre komprimerings ratio. ZLIB är en av dem vanligaste komprimeringsalgoritmerna bland standard dokument, där flera applikationer använder sig av det både direkt och indirekt. Mjukvara som Apache HTTP Server, FFmpeg, dpkg, rsync, Linux kärnan, Git m.m använder sig av ZLIB (ZLIB 2015). LZO: Snabbare komprimering men lägre komprimerings ratio. Det är en s.k lossless ( felfri komprimering alt. Icke-förstörande komprimering ) komprimeringsalgoritm som fokuserar på snabb dekompression (Oberhumer 2015). 5. Jämförelse med Ext4 Citat av EXT4 s huvudansvariga utvecklare Theodore Ts o [Btrfs is the better direction], it offers improvements in scalability, reliability, and ease of management. (Ars Technica 2009). I figur 2 visas resultaten av ett test mellan Btrfs och Ext4 som är gjort av Ohad Rodeh, Josef Bacik och Chris Mason. Hårdvaran som användes är en single-socket 3.2 GHz quad core x86 processor med 8GB av RAM och en SATA hårddisk kopplat med en länk för stöd upp till 6GB/s. Linux kärnan som användes var 3.4. Testet utformades på det sättet att dem gjorde en make operation (dvs. kompilation) på Linux kärnan där åtta stycken parallella trådar används för att kompilera C koden och länka det med kompilatorn gcc. 6
Figur 2 Figurerna ovan visar en jämförelse i genomströmning, antal sökningar samt I/O operationer. Btrfs har en mindre men noterbar genomströmning i jämförelse med Ext4. Antal sökningar per sekund är ytterst jämnt, men Btrfs gör lite mindre genomsnittliga sökningar per sekund. Den andra bilden visar att Btrfs gör väldigt många sökningar per sekund i början och det ser ut att bero på att funktionen copy-on-write som bara används i Btrfs studsar mellan olika blockgrupper just i början (Rodeh, Bacik, Mason 2013). 7
6. Slutsats Som det ser ut just nu är Ext4 det smartaste valet pågrund av en större utredning, bekvämlighet, stabilitet och bättre prestanda vid filöverföringar. Ext4 har support för logiska volymer på upp till 1 exabyte och en filstorlek på upp till 16 terabyte (Wikipedia, Ext4 2015) vilket är mer än tillräckligt för en normal användare, även så för de flesta servermiljöer. Därför kan jag inte se en markant skillnad på hur lagringskapacitet spelar en större roll under val av filsystem i praktiken, även om fallet är så att Btrfs har support för 16 exabyte istället för 1 exabyte i ext4. Även om ext4 kan nå högre överföringshastigheter vilket är en viktig jämförelse att se till som betyder mycket i praktiken, så är det inte allt. Det finns andra viktiga aspekter till ett bra filsystem och man kan därför inte bara se till filöverföringar. Btrfs har mer avancerade funktioner som copy-on-write, omfattande felkontroll, deduplikation, snapshots, automatisk reperering av data samt andra förbättringar för att säkerställa en bättre dataintegritet. Det är viktigt att förstå att Btrfs inte är en färdigt produkt utan att det är ett pågående arbete. Funktioner, prestanda förbättringar och diverse buggfixar sker kontinuerligt vid varje uppdatering av Linux kärnan. Btrfs måste ses som ett mycket lovande alternativ men det återstår trots allt en hel del som måste genomföras och åtgärdas till det på allvar kommer bli betraktat som ett våra vanligaste och mest använda filsystem. Därför går valet idag till Ext4, men det är som sagt definitivt värt att hålla ögonen öppna för Btrfs under dem närmsta åren. 8
Referenser 1. RODEH, O, BACIK, J, & MASON, C 2013, 'BTRFS: The Linux B-Tree Filesystem', ACM Transactions On Storage, 9, 3, p. 1, Publisher Provided Full Text Searching File, EBSCOhost, viewed 3 December 2015. 2. Sakis Kasampalis (2010). 'Copy On Write Based File Systems Performance Analysis And Implementation'. Denmark: Kongens Lyngby. p19-21. 3. Wikipedia. (2015). B+ tree. Available: https://en.wikipedia.org/wiki/b%2b_tree. Last accessed 3rd Dec 2015. 4. Wikipedia. (2015). Btrfs. Available: https://en.wikipedia.org/wiki/btrfs. Last accessed 3rd Dec 2015. 5. Wikipedia. (2015). Copy-on-write. Available: https://en.wikipedia.org/wiki/copy-on-write. Last accessed 3rd Dec 2015. 6. Wikipedia. (2015). Ext4. Available: https://en.wikipedia.org/wiki/ext4. Last accessed 3rd Dec 2015. 7. Linux Foundation (2009). B+ tree. Available: http://www.linuxfoundation.org/newsmedia/blogs/browse/2009/06/conversation-chris-mason-btrfs-nextgeneration-file-system-linux. Last accessed 3rd Dec 2015. 8. Btrfs Contributors. (2015). Btrfs. Available: https://btrfs.wiki.kernel.org/index.php/contributors. Last accessed 3rd Dec 2015. 9. Btrfs Development. (2012). Btrfs. Available: http://permalink.gmane.org/gmane.comp.file-systems.btrfs/15564 Last accessed 3rd Dec 2015. 10. Oberhumer. (2015). LZO. Available: http://www.oberhumer.com/opensource/lzo/ Last accessed 3rd Dec 2015. 11. ZLIB. (2015). ZLIB. Available: http://zlib.net/ Last accessed 3rd Dec 2015. 12. Ars Technica. (2009). Linux Collaboration Summit. Available: http://arstechnica.com/information-technology/2009/04/linuxcollaboration-summit-the-kernel-panel/ Last accessed 3rd Dec 2015. 9
13. Btrfs Encryption. (2015). Btrfs. Available: https://btrfs.wiki.kernel.org/index.php/faq#does_btrfs_support_encryptio n.3f Last accessed 3rd Dec 2015. 10