TDP013. Node.js, Mocha, Istanbul. Anders Fröberg Institutionen för Datavetenskap

TDP013 Node.js, Mocha, Istanbul Anders Fröberg Institutionen för Datavetenskap

Load up your guns, and bring your friends This is the end the only end my Friend Äntligen stod prästen i predikstolen I ll be back

Innan vi börjar Ber om ursäkt för inte lagt upp förra årets föreläsningen Redovisa labbar gitlab.ida.liu.se

Återblick - Progressive Enhancement

HTML, CSS, JavaScript - Klienten

Den statiska webben... Vi känner till HTML, CSS och JavaScript. Dokument som skickas till och tolkas av webbläsaren. Informationen är dock statisk, dessa dokument förändras aldrig. Vad innebär en dynamisk webb? Är det ett problem?

Klient 1 begär statiska dokument (html, css, js) Klient 1 och Klient 2 känner inte till varandra. Klient 2 begär statiska dokument (html, css, js)

Användare fyller i formulär. Annons visas på hemsidan. Vem skapar HTML, CSS och Javascript för annonssidan?

Söker på ordet bike, så listas bilder och text. Hur skapades den här listan? Vem skrev HTML, CSS och Javascript? Hur visste de att jag skulle söka på bike? Finns det färdiga HTML sidor för alla tänkbara nyckelord?

Det saknas något... Det räcker alltså inte med att kunna HTML, CSS och Javascript för att uppnå det dynamiska som ofta visas på webbplatser idag.???? Men webbläsaren förstår inget annat än HTML, CSS och Javascript.

Vi behöver något som kan dynamiskt skapa innehåll som vi kan presentera för användaren

Statisk filserver Vi vill kunna skicka information till servern via HTTP som vi senare kan hämta igen och uppdatera vår sida med.?

Node.js En miljö för att köra JavaScript på servern, dvs man kan köra JavaScript utanför webbläsaren. Bygger vidare på V8 - Googles opensource JavaScript motor. Node.js är inte en HTTP server, men det är väldigt lätt att skriva en sådan i Node.js. JavaScript har en event-struktur med callbacks som används kraftigt i Node.js, därför kan det vara lite ovant i början för programmerare som inte arbetat så förut. Man hittar Node.js på GitHub

Callbacks Funktioner som argument till funktioner Lämnar över ansvaret för att fånga upp data och event till den kallade funktionen Stor del av JavaScript och tredjeparts-bibliotek Om jag ger dig mitt telefonnummer så ringer du mig när du laddat ner nästa avsnitt av The Newsroom (2012) [red. anm. från itunes]... 15

Node.js Med Node.js skapar vi en HTTP server med hjälp av JavaScript Denna server kan ta emot data skickat via HTTP GET och POST (och andra HTTP metoder), och skicka tillbaka data i t ex JSON format Förutom att ta emot och skicka tillbaka data så kan Node.js kommunicera med en databas Detta gör det möjligt att ha persistent data som vi kan skriva och hämta ifrån

Node.js Hello World! var http = require( http ); Require används för att använda funktioner från andra moduler (filer). Detta modulsystem tillhör Node.js och kan inte användas när man skriver JavaScript i Webbläsaren. http.createserver( function(request, response) { }).listen(8888); Vi använder http (den modul vi inkluderade) och anropar funktionen createserver. Som argument till funktionen skickar vi en callback funktion. Denna funktion kommer exekveras för varje HTTP request.

Node.js Hello World! var http = require( http ); http.createserver( function(request, response) { }).listen(8888); response.writehead(200, { Content-Type : text/plain }); response.write( Hello World ); response.end(); Returnera HTTP status 200 och Hello World för alla anrop till servern.

HTTP GET Såhär kan vi skicka parametrar till vår server för att testa att det fungerar som tänkt. Namnet på parametern är "name" och värdet är "marcus".

Node.js GET Parameters var http = require('http'); var url = require('url'); http.createserver(function(request,response) { var urlparts = url.parse(request.url, true); }).listen(8888); response.writehead(200, {'Content-Type':'text/plain'}); response.write('hello, ' + urlparts.query['name']); response.end();

Node.js GET Parameters var http = require('http'); var url = require('url'); http.createserver(function(request,response) { var urlparts = url.parse(request.url, true); }).listen(8888); response.writehead(200, {'Content-Type':'text/plain'}); response.write('hello, ' + urlparts.query['name']); response.end(); Anropa detta: http://localhost:8888/?name=marcus Output: Hello, Marcus

Det klassiska sättet servern tar hand om requests att skapa en ny tråd för varje inkommande anrop, dessa trådar delar CPU tid. Ett problem med detta är att det tar tid att skapa trådar (och minne), och har man många små requests blir det krävande.

I Node.js har vi bara en tråd. Alla requests hamnar i en event-loop. Detta gör att vi slipper de restriktioner och overhead som det innebär med trådade servrar. Läs mer på node.js/about

Node.js Event-loop Node.js använder bara en tråd, alla requests kör i denna. Detta innebär att man måste tänka sig för på vissa punkter. Om Node.js väntade på varje rad kod att exekvera innan den fortsatte skulle detta innebära att alla som gjorde anrop till servern fick vänta. var data = module.longrunningprocess(); Om vi är oförsiktiga och använder kod som denna på fel ställe kan det resultera i att alla anrop får vänta väldigt länge på varandra.

Node.js Event-loop http.createserver( function(request, response) { var data = module.longrunningprocess(); }).listen(8888); Servern kan inte ens börja ta hand om inkommande requests tills den första är klar.

Node.js Asynchronous callback module.longrunningprocess(function(data) { //Do something }); Istället för att vänta på svar från en funktion som tar lång tid så skickar vi med en callback. När funktionen är klar exekveras vår callback. På så vis kan vi fortsätta hantera andra requests i väntan på longrunningprocess() Asynchronous callbacks är ett centralt begrepp i Node.js och används väldigt mycket

Node.js Vi har tittat på callbacks som en del av Node.js Innan vi tittar på ett större exempel ska vi titta på: Egna moduler Organisation av filer i projekt NPM (plugin system till Node.js) Istanbul (code-coverage) Mocha (unit tests)

Node.js - Modules var http = require("http"); function start() { function onrequest(request, response) { console.log("request received."); response.writehead(200, {"Content-Type": "text/plain"}); response.write("hello World"); response.end(); Vi använde tidigare http } modulen, hur skapar vi egna? http.createserver(onrequest).listen(8888); console.log("server has started."); } exports.start = start; Spara koden i en fil som kallas server.js Lite annorlunda upplägg på server koden här

Node.js - Modules var server = require("./server"); server.start(); I en annan fil kan vi nu inkludera vår modul server

Node.js - Organisation & NPM Skapa en mapp för projektet (projektmappen) I projektmappen skapar man mapparna lib och test NPM är ett paket system som laddar ner moduler, lite som apt i Debian baserade Linux system När man använder NPM skall man stå i roten av projektet (dvs projektmappen) Första gången man använder NPM skapas mappen node_modules i projektmappen. 13

Mocha Testning av Node.js Stå i roten av projektet och exekvera npm install mocha -g //installera globalt npm install should npm install superagent Skriv testfall och placera de i mappen test Observera: Testverktyget Mocha tillåter många olika sätt att skriva testfall på. mocha 15

Mocha Code Coverage Installera Istanbul npm install istanbul -g istanbul cover _mocha -- test 16

Node.js Standard uppsättning /lib requesthandlers.js route.js server.js main.js /lib-coverage "instrumented" versioner /npm_modules Installerade moduler /test test.js Läs på http://www.nodebeginner.org/ 14

Node.js Express Ett ramverk för node Underlätta och snabba upp utveckling av node.js backends mkdir app cd app npm init npm install express save var express = require('express'); var app = express(); app.get('/', function (req, res) { res.send('hello World!'); }); var server = app.listen(3000, function () { var host = server.address().address; var port = server.address().port; console.log('example app listening at http://%s:%s', host, port); }); 14

Node.js express-generator Stövelstroppa utvecklingen npm install express-generator -g

Laboration 2 Kom ihåg att en del av kravlistan är att installera Node.js, NPM, express, Mocha, Istanbul och MongoDB. Men hjälp gärna varandra, detta räknas inte som fusk. 17

TDP013 MongoDB & Node.js MongoDB Driver Anders Fröberg Institutionen för Datavetenskap (IDA)

Statisk filserver Vi vill kunna skicka information till servern via HTTP som vi senare kan hämta igen och uppdatera vår sida med. Node.js

Information skickas in via s k query eller förfrågan till databasen. Information hämtas från databasen via en annan typ av query.

Vi vill att detta ska ske från Node.js, eftersom det är vår server som skall skriva till och hämta data via queries. Man kan ofta nå databasen från command line, vilket vi också ska titta på.

ID NAME BALANCE 1 Anders 100 2 Erik 20 3 Jalal 200 Cassandra CouchDB MongoDB DynamoDB Datastore... Sparar information annorlunda, grafer, key-value, json, xml, etc...

MongoDB - humongous db Istället för att spara information i tabeller (som vi är vana vid hos SQL databaser så som MySQL), så sparas information som JSON objekt. JSON objekten sparas i Collections, t ex Movie, Actor, Director etc, detta kan man jämföra med tabeller hos SQL databaser. Den stora skillnaden är att vi aldrig talar om för databasen vad en Movie innehåller, dvs vi definierar aldrig några kolumner. Vi säger bara till MongoDB att spara ett JSON objekt som en Movie. Det finns alltså ingen garanti att två Movie objekt innehåller samma typer av värden, t ex title, length, etc...

MongoDB - Exempel (MongoDB måste vara installerad och startad) Logga in via terminal: mongo Visa alla databaser: show dbs JSON objekt Använd databasen tdp013: use tdp013 OBS: Om databasen inte finns så skapas den Spara ett nytt objekt i collection movie i tdp013: db.movie.insert({ a : 1 }) Lista alla objekt i collection movie: db.movie.find() Läs på om alla funktioner i MongoDB dokumentationen

Node.js MongoDB Driver npm install mongodb (stå i projektmappen) var mongo = require('mongodb'); var server = new mongo.server('localhost', 27017); var db = new mongo.db('tdp013, server); db.open(function(err, db) { if(!err) { console.log("we are connected"); } }); Återigen, async callbacks...

Node.js MongoDB Driver Alla JSON objekten hamnar i db.collection( person', function(err, collection) { samma collection person, men inte alla definierar age var doc1 = {name : 'anders'}; var doc2 = {name : 'rita'}; var docs = [{name : 'd', age : 25}, {name : 'f', age : 22}]; collection.insert(doc1); collection.insert(doc2, function(err, result) { console.log("inserted doc2"); }); }); } }); collection.insert(docs); Om man vill kan man definiera en callback

Node.js MongoDB Driver var findbyname = function(namevalue, callback) { db.open(function(err, db) { if(!err) { db.collection( person', function(err, collection) { collection.find({ name : namevalue }).toarray(function(err, docs) { callback(docs); }); });}});}; findbyname('anders', function(docs) { console.log(docs); db.close(); });

Node.js MongoDB Driver - Find Terminal: db.person.find() { "name" : "anders", "_id" : ObjectId("500c6a8dce38750d46000001") } { "name" : "rita", "_id" : ObjectId("500c6a8dce38750d46000002") } { "name" : "d", "age" : 25, "_id" : ObjectId("500c6a8dce38750d46000003") } { "name" : "f", "age" : 22, "_id" : ObjectId("500c6a8dce38750d46000004") } Alla objekt som skrivs till databasen får ett ObjectId

Node.js MongoDB Driver - Id var findbyid = function(stringid, callback) { db.open(function(err, db) { if(!err) { var objectid = new mongo.objectid(stringid); db.collection( person', function(err, collection) { collection.findone({ _id : objectid}, function(err, docs) { callback(docs); }); });}});}; findbyid("500c6a8dce38750d46000002", function(docs) { console.log(docs); });

Nu har vi alla bitar vi behöver för att uppnå det vi först eftersökte... Laboration 2

www.liu.se