Peer-to-peer-videoflöden

Transkript

1 Peer-to-peer-videoflöden Seminarieuppsats i kurs 6511 Petter Sandvik Institutionen för informationsbehandling Åbo Akademi, FIN Åbo, Finland psandvik@abo.fi

2 Abstrakt Denna uppsats behandlar peer-to-peer-videoflöden; hur peer-to-peer-tekniken har utvecklats till den som finns idag och hur de fungerar. Jag kommer också att titta närmare på några av de program som idag finns för peer-to-peer-videoflöden, samt att föreslå idéer till förbättringar till nuvarande implementationer. Klassificering Enligt ACM Computing Classification System: C.2.4 Distributed Systems Enligt ACM Special Interest Groups: SIGCOMM - Special Interest Group on Data Communications 1. Introduktion Det har skrivits och talats mycket om peer-to-peer-fildelning den senaste tiden. Dess decentraliserade struktur har från vissa håll uppmärksammats på grund av svårigheten att kontrollera, och från andra håll på grund av den effektivare användningen av bandbredd och större variation i utbudet än de tidigare fildelningsprogrammen, vilka var baserade på klient-servermodellen. Även inom IP-telefoni har peer-to-peer-tekniken uppmärksammats, om än inte i samma utsträckning. Idén till att undersöka detta ämne fick jag när jag och flera bekanta på olika håll såg på videoflödet (eng. video stream) från Apple Expo i Paris i slutet av sommaren 2004, och jag funderade över att det förmodligen hade minskat bandbreddskraven på servern om vi hade kunnat distribuera videoflödet mellan oss istället för att alla skulle få samma videoflöde direkt från servern. Jag har nu därför försökt undersöka vilka möjligheter det finns inom peer-to-peer-videoflöden, eftersom det inte har uppmärksammats på samma sätt som peer-to-peer-fildelning. Jag kommer att börja med att introducera peer-to-peer och sedan gå vidare till att beskriva hur peer-to-peer-tekniken har utvecklats fram till den form den har idag. 2. Vad peer-to-peer innebär Ett peer-to-peer-nätverk, även kallat P2P-nätverk, definieras av Wikipedia som "ett datornätverk av sammankopplade noder som inte kommunicerar enligt klient-server-modellen [1]. Ibland har beteckningen P2P även använts för alla program som skickar data mellan olika klienter och inte bara mellan server och klient, men oftast menas med peer-to-peer-nätverk ett nätverk där alla noder tar del av de administrativa uppgifter som annars sköts av servern. John Hammarberg skriver om peer-to-peer-nätverk att ett helt rent P2P-system går inte att stänga centralt. [2] 2.1 Vad peer-to-peer-videoflöden innebär Peer-to-peer-videoflöden innebär videoflöden som inte distribueras på traditionellt sätt från en eller ett förutbestämt antal servrar till ett oftast icke förutbestämt antal klienter, utan att alla klienter också kan ta del av distributionen av flödet vidare till andra klienter.

3 3. Föregångare till peer-to-peer-modellen Eftersom peer-to-peer-tekniken är förhållandevis ny tänkte jag börja med att introducera dess föregångare och stegen på vägen till den peer-to-peer-teknik som används idag. 3.1 Klient-server-modellen Den enklaste modellen för överföring av data är klient-server-modellen, där det finns minst en server, som erbjuder tjänster, och klienter som använder sig av de tjänsterna. En stor del av alla Internetbaserade tjänster som används idag är uppbyggda på detta sätt, delvis för att det av tradition är enklast så, och delvis för att det ju innebär total kontroll över distributionen för den som kontrollerar servern. För att erbjuda en tjänst åt dubbelt så många krävs med dubbelt så mycket kapacitet hos servern dubbelt så mycket bandbredd, och det är därför främst inom resurskrävande områden som man har försökt hitta alternativ. Figur 1: dataöverföring enligt klient-server-modellen Figur 1 visar hur data överförs i nätverket från servern till klienterna A, B och C. Om A, B och C alla får samma data innebär det en hel del redundanta dataöverföringar, speciellt i närheten av servern. 3.2 Enkla speglingar Ett enkelt sätt minska belastningen på en enskild server är naturligtvis att använda flera, och ett sätt att göra detta är speglingar (eng. mirrors). Wikipedia definierar en spegling som en direkt kopia av en mängd data [3] (fritt översatt), och påpekar att spegling inte bara används för att minska belastningen på servern (till exempel [4]) utan också för att försvåra censurering av innehåll och för

4 att bevara sådant som annars skulle kunna gå förlorat (till exempel [5]). Enkla speglingar lämpar sig på grund av sin natur bäst för data som är förhållandevis statiskt, till exempel statiska webbsidor eller filarkiv, men inte för ljud- och videoflöden. När det gäller användandet av speglingar måste man komma ihåg att de kan vara manuellt gjorda och att innehållet därför inte alltid är aktuellt. Figur 2: dataöverföring via spegling Figur 2 visar ett exempel på hur dataöverföring via spegling kan se ut. Klienterna A och B efterfrågar data från S1 och får därför data från servern S1, trots att S2 i B:s fall hade varit närmare. Användaren av klienten C känner dock till att data från S1 är speglad på S2 samt att S2 är närmare, och frågar därför efter data från S Distribuerade servrar Ett steg närmare peer-to-peer-tekniken är distribuerade servrar. Dessa kan fungera både som ett slags speglingar men också distribuera videoflöden. Akamai EdgePlatform har, enligt Akamai över servrar och upp till 15% av all global webbtrafik [6]. EdgePlatform strävar efter att vara helt transparent, och till exempel ser besökarna till Apples webbsidor [7] utan att läsa sidornas html-källkod inte att det är Akamais servrar som används. Enligt Netcraft används Akamais tjänster också av till exempel amerikanska staten. [8] Akamais servernätverk används även för att distribuera videoflöden, till exempel från Apple. [9]

5 Figur 3: Dataöverföring via distribuerade servrar Figur 3 visar ett exempel på hur dataöverföring via distribuerade servrar kan gå till. Alla tre klienterna A, B och C begär samma data, men får data från den server som är närmast. Akamai är inte det enda företaget som erbjuder den här typen av tjänster; till exempel Speedera har liknande utbud[10]. Coral [11] har en annan inriktning och är inte lika transparent för användaren som Akamai och Speedera, men till skillnad från dessa kan Coral användas i samband med alla webbplatser det är användaren av klienten som väljer om Coral ska användas, och inte serveroperatören. 4. Tidigare användning av peer-to-peer-teknik 4.1 Filöverföring Eftersom en av peer-to-peer-teknikens främsta fördelar är den jämnare fördelningen av bandbredd än i klient-server-modellen, är det kanske inte så konstigt att de första tillämpningarna av peer-to-peerteknik var inom ett av de mest bandbreddskrävande områdena; filöverföring. Det finns filöverföringsprotokoll som har kallats peer-to-peer utan att egentligen vara det. Exempel på sådana är det ursprungliga Napster [12] och Direct Connect [13]. Dessa nätverk har dock minst en central nod (kallad server i Napster och hubb i Direct Connect), som visserligen inte har några filer utan endast har en administrativ uppgift. Själva överföringen sker direkt från slutnod till slutnod, och inte på ett distribuerat sätt. Dessa nätverk är därför sårbara, eftersom hela nätverket slutar fungera om den centrala noden dör, och brandväggar kan också utgöra problem på det sättet att två noder bakom olika brandväggar inte kan överföra filer mellan varandra. [14]

6 Nyare peer-to-peer-filöverföringsnätverk och -program som FastTrack (Kazaa) och Overnet (edonkey2000/emule) [15, 16] har en hel del gemensamt med de tidigare men har förbigått en stor del av begränsningarna. Det fildelningsprotokoll som kanske är mest äkta peer-to-peer och helt decentraliserat är Gnutella, vilket bland annat används av programmet Limewire [17], men det peerto-peer-fildelningsprotokoll jag här har tänkt beskriva närmare är BitTorrent BitTorrent BitTorrent har, enligt dess utvecklare Bram Stoker, nått popularitet kanske främst på grund av att det är så enkelt att använda. [18] Där andra protokoll kräver att användaren först ansluter till andra noder och sedan söker efter filer att överföra, använder BitTorrent för varje överförbar fil eller filsamling, vilket jag här kallar ett arkiv, en fil kallad en "torrent", vilken kan hämtas från t.ex. en webbsida. Denna fil innehåller information om arkivet samt adressen till en tracker server, som håller reda på vilka andra noder som har arkivet eller delar av det. När en nod hämtar delar av ett arkiv skickar den samtidigt åt andra noder de delar av arkivet den redan har. Figur 4: förenklad bild av äkta peer-to-peer-fildelning Figur 4 visar ett exempel på hur peer-to-peer-fildelning kan gå till. Noden S har ett arkiv att distribuera, och 1/3 av datan (heldragen linje) skickas till A, 1/3 till C (streckad linje) samt 1/3 till D (prickad linje). I nästa steg får nod B data från A (heldragen), C (streckad) och D (prickad); nod C får data från D (prickad) och nod D får data från A (heldragen) samt C (streckad). I nästa steg får A data från B (prickad) och D (streckad), och C får data från B (heldragen). Nu har alla noderna alla tre delarna av arkivet. Riktigt så här enkelt och perfekt fungerar det naturligtvis inte i praktiken, men figur 4 visar ändå teorin bakom hur det ska fungera.

7 4.2 Kommunikation Tidiga kommunikationsverktyg använde ofta servrar eller nätverk av servrar, och många av de som används idag, till exempel e-post [19] och news (nntp) [20] samt de flesta s.k. kompisprogram såsom ICQ [21], är också klient-server-baserade. IP-telefoni (voice-over-ip, VoIP) har tidigare använt sig av direktkontakt mellan noderna i nätverket, men detta försvåras av brandväggar och den ökade användningen av NAT (Network Address Translation).[22, 23] Både text- och röstbaserad kommunikation använder därför i allt större utsträckning peer-to-peer-teknik. Det finns ett flertal nya program för peer-to-peer-telefoni, men Skype [24] är det mest populära programmen just nu, med över en miljon användare [25]. Skype är dels ett program för peer-to-peer-telefoni, dels ett decentraliserat nätverk som möjliggör programmets funktion. Exakt information om exakt hur Skype fungerar är för tillfället inte tillgänglig, eftersom protokollet som används är privat och Skype inte har öppen källkod. Det berättas ändå att dataöverföringen, som ju sker endast från en slutnod till en annan, kan gå via vilken som helst av de andra noderna i nätet [26], vilket gör det möjligt att kringgå brandväggar. För att informationen inte ska gå att avlyssna används kryptering. 5. Peer-to-peer-flöden i praktiken Det finns tyvärr ännu ingen allmän standard för peer-to-peer-flöden. Ett flertal program för peer-topeer-flöden finns dock tillgängliga, men de har alla har egna protokoll och metoder som gör dem inkompatibla. Jag kommer här att presentera exempel på några av de program som finns tillgängliga idag. 5.1 PeerCast PeerCast[27] riktar sig främst till de som vill sända egna egna ljudflöden, "Internetradio", och kan därför också användas som en traditionell server för ljudflöden av typen Icecast/SHOUTcast, vilka kan använda formaten MP3 och Ogg. PeerCast kan också användas för flöden av typ NSV (Nullsoft Video), OGM (Ogg Media File) och WMV (Windows Media Video). Nätverket som bildas av PeerCast påstås vara helt decentraliserat [28] och programmet är öppen källkod under GPL-licens. PeerCast använder Gnutella-fildelningsprotokollet för att ansluta klienter till varandra. 5.2 P2P-Radio P2P-Radio [29] har ungefär samma användningsområde som PeerCast, men riktar sig mera till peerto-peer-återsändning av existerande flöden. P2P-Radio är, liksom PeerCast, öppen källkod under GPL-licens, men stöder till skillnad från PeerCast endast ljudformaten MP3 och Ogg samt videoformatet NSV. [30] Även om PeerCast och P2P-Radio inte är kompatibla är det möjligt att använda båda samtidigt och vidaresända strömmen från det ena programmet med det andra. [31] 5.3 End System Multicast (ESM) Om jag nu lämnar de små hobbyprojekten och går över till större, mer seriösa projekt så kan jag börja med att nämna ESM. [32] Detta system är utvecklat vid Carnegie Mellon University, och namnet End System Multicast kommer av att det är de enskilda noderna själva som är ansvariga för att data når alla noder, inte nätverket såsom i IP-baserad multicast. Protokollet, kallat Narada,

8 organiserar nätverket automatiskt i en hierarki, som kan ändra efterhand beroende på nätverkstrafik. [33] ESM är i sitt nuvarande utförande inriktat på videoflöden, och använder QuickTime med Qualcomm PureVoice som komprimeringsmetod för ljud och Sorenson Video 3 som komprimeringsmetod för video. [34]. Anledningen till att QuickTime har använts är att det stöder ett standardiserat protokoll för flöden, RTP/RTCP (Realtime Transport Protocol), medan flöden av till exempel Real- och Windows Media enligt ESM:s utvecklare använder privata, ej standardiserade protokoll. [35] 5.4 ChainCast ChainCast Virtual Multicast Routing (VMR) [36] har samma grundidé som ESM, men VMR består dessutom av ett nätverk av distribuerade servrar med olika uppgifter. Slutnoderna har vad ChainCast kallar Client Proxy, vilket är ett ActiveX-program som sköter om att distribuera data noderna sinsemellan. VMR fungerar endast med operativsystemet Windows i kombination med Windows Media Player eller RealOne Player. VMR är kommersiellt och verkar vara inriktat främst mot storföretag. 6. Sammanfattning och idéer till förbättringar De senaste åren har peer-to-peer-tekniken utvecklats intensivt. Nya, förbättrade och mer decentraliserade protokoll, främst inom filöverföring, har utvecklats och lanserats. Tack vare den utvecklingen finns det idag användbara implementationer av peer-to-peer-flöden. Jag tror dock att tekniken kommer att utvecklas ännu mer under de närmaste åren, för redan nu satsas det på krypterad peer-to-peer, både inom protokoll som strävar till total anonymitet (till exempel Freenet [37]) och dess motsats, trusted P2P, där dataöverföring endast sker mellan personer som känner varandra (till exempel Gaim Filesharing Plugin [38]). Ett område där stora förbättringar fortfarande kan göras är användarvänligheten. Målet här ska naturligtvis vara att det ska gå lika enkelt att använda som traditionella klient-server-lösningar, och min åsikt är att så är ännu inte fallet. Ett annan viktig förbättring vore ett standardprotokoll för peer-to-peer-videoflöden; ett protokoll som skulle gå att använda oberoende av vilket videoformat flödet använder. Det är kanske inte möjligt i praktiken, men att åstadkomma kompatibilitet mellan olika lösningar som använder samma videoformat borde inte vara omöjligt. Jag är förvånad över att så gott som ingen peer-to-peer-videflödeslösning i praktiken använder MPEG-4, som ju trots allt är ett standardformat. Det har ju dock forskats en hel del i hur MPEG-4 kan användas i peer-to-peer-videoflöden (till exempel [39]), och Dr. C.-C. Jay Kuo, professor vid University of Southern California, skriver i sin artikel Coming At You: MPEG-4 så här: MPEG- 4 has the potential for high-quality, low-bandwidth video over a network. Whether that takes the form of peer-to-peer or of tapping into a central broadcast remains to be seen. [40] Bristen på intresse för MPEG-4 i peer-to-peer-videoflöden i praktiken kan visserligen tänkas bero på de licensavgifter som tas ut för användandet av MPEG-4, men med tanke på att mer än 150 företag innehar licens [41] så kanske det är andra orsaker som ligger bakom. Min egen vision av det perfekta peer-to-peer-videoflödessystemet vore något i stil med BitTorrent, fast anpassat för flöden istället för filer. Naturligtvis skulle skillnaderna jämfört med BitTorrent komma att bli relativt betydande; filöverföring är ju inte tidskritisk på samma sätt som flöden, medan det i filöverföring ju är ytterst viktigt att exakt all information kommer fram, felfri

9 något som har mindre betydelse i flöden. Jag hoppas kunna gå närmare in på detta ämne under mina fortsatta studier och kanske även utveckla ett sådant protokoll som jag här har beskrivit. 7. Referenser Alla webbsidor som nämns har accesserats den 17 november [1] P2P-Nätverk, [2] Peer-to-peer, [3] Mirror (computing), [4] MirrorDot - Solving the Slashdot Effect, [5] Internet Archive, [6] Akamai: EdgePlatform - Computing platform for on demand content and application delivery, [7] Apple, [8] Netcraft What s That Site Running Results - OS, Web Server and Hosting History for [9] Apple - QuickTime - Apple Event Oct 2004, [10] Speedera Services - SpeedSuite - Distributed on-demand computing services for delivering your Web site globally, [11] Coral: The NYU Distribution Network, [12] Napster, [13] NeoModus - Home of Direct Connect, [14] NeoModus - What are the drawbacks of passive mode? / Who needs to use passive mode?, [15] edonkey Overnet, [16] emule-project.net - Den officiella hemsidan för emule, [17] LimeWire - Running the Gnutella Network, [18] BitTorrent Economics Paper - Incentives Build Robustness in BitTorrent, Bram Cohen, 22 maj 2003,

10 [19] Internet RFC Simple Mail Transfer Protocol, [20] Internet RFC Network News Transfer Protocol, [21] Howstuffworks - How Instant Messaging Works: ICQ, [22] VOIP vs. Firewalls, Eric Krapf, Business Communications Review, juli 2002, s. 10 [23] NAT and VOIP, [24] Skype - Free Internet telephony that just works, [25] Skype ready for both telephone worlds, Ben Chamy, CNet News.com, 9 november 2004, [26] Skype P2P Telephony Explained, [27] PeerCast P2P Radio, [28] PeerCast Features, [29] P2P-Radio: Peer to Peer Streaming, [30] More about P2P-Radio, [31] P2P-Radio Frequently Asked Questions, [32] End System Multicast, [33] A Case for End System Multicast, Yang-hua Chu, Sanjay G. Rao, Srinivasan Seshan och Hui Zhang, IEEE Journal on Selected Areas in Communication (JSAC), Special Issue on Networking Support for Multicast, Vol. 20, No. 8, 2002 [34] End System Multicast Frequently Asked Questions - What are the encoding formats of the audio and video streams?, [35] End System Multicast Frequently Asked Questions - Do you support other media players, such as Real or Windows Media?, [36] ChainCast Networks - ChainCast Virtual Multicast Routing (VMR) Technology, [37] The Free Network Project,

11 [38] Downhill Battle Labs - Gaim Filesharing Plugin, [39] A Peer-to-Peer Architecture for Distributed Video-on-Demand Appliances in Enterprise Networks Michael Ditze, Chris Loeser och Peter Altenbernd, [40] Coming At You: MPEG-4, Dr. C.-C. Kuo, [41] MPEG LA - Licensees,