Databaser. TDDD80 Mobila och sociala applikationer

Transkript

1 Databaser TDDD80 Mobila och sociala applikationer

2 Översikt Relationsdatabaser (tabeller) SQL (Structured Query Language) Relationsmodeller Många-till-många relationer Alchemy Enhetstestning Modulär kod designmönstret MVC

3 Olika typer av databaser Relationsdatabaser (SQL-databaser) Fokus på entiteter och relationer mellan dessa Tabeller Unika rader NoSQL databaser Dokument-orienterade databaser (t.ex. MongoDB) JSON-databaser (t.ex. Firebase) Key-value databaser (Redis)

4 SQLite Liten SQL-databas som kan lagras på en fil Oftast lokalt på egen dator Används med fördel för utveckling och testing

5 Entity-relationship diagram (ER) en många noll el. många

6 Relationsdatabaser har tabeller ISBN titel författare

7 Nycklar Varje tabell har primär nyckel (ID) Alltid unik för varje rad Dvs. varje relationstupel kan hittas entydigt via primär nyckeln Foreign key Referens till annan tabells primär nyckel T.ex. länka bok till bok-exemplar, till lån, etc.

8 Tabeller (exempel) Foreign key (kopplar till annan tabell) primär nyckel (för denna tabell) primär nyckel (för denna tabell) data saknas (motsv. ingen som har läst detta meddelande)

9 Schema ( tabellhuvud ) Mall, bestämmer vilka kolumner som ingår i tabellen Namn Typ av tillåtna värden Integer String Constraints Unik Non-null

10 Data (tabellrader) Läggs till t.ex. när app körs Krux Singulära värden i tabellen, dvs. ej listor, etc. Ställer krav på hur data organiseras i tabeller Relationsmodellering

11 Relationsmodeller ER (Entity-Relationship diagrams )

12 many one

13 Modell = data + relationer mellan dessa One-to-one relation Kan läggas i samma tabell Men, kanske konceptuellt tydligare i två tabeller One-to-many Två tabeller, där den ena länkar till den andra via foreign key

14 One-to-many relation

15 Many-to-many relation associationstabell

16 Associationstabell

17 SQL Structured Query Language

18 Structured Query Language (SQL) Microsoft Access Vill ha ut dessa två kolumner SELECT [Firstname], [Lastname] FROM [Employees] WHERE [Lastname] = "Davolio"; Från dennatabell Dettakriterium

19 Ibland måste tabeller kombineras Ge mig alla avdelningar och dess chef, i hela företaget Två tabeller behöver kombineras! tabell kolumn SELECT Employees.[Department], Managers.[Manager] FROM Employees INNER JOIN Managers WHERE Employees.[Department] = Managers.[Department];

20 Inner join B 1 D 2 F 3 A B C D E B 1 D 2 A INNER JOIN B behåll bara matchande rader

21 Left join (outer join) B 1 D 2 F 3 A B C D E A B 1 C D 2 E A LEFT JOIN B behåll alla rader från B

22 Right join (outer join) B 1 D 2 F 3 A B C D E x z g h p B 1 z D 2 h F 3 A RIGHT JOIN B alla rader från A

23 Join Läs mer på:

24 SQLAlchemy

25 SQLAlchemy Object-Relational Mapper (ORM) Du kan definiera klasser och metoder som vanligt SQLAlchemy översätter Klass till tabell Variabler till kolumner Metoder till queries

26 Sätta upp en databas from flask_sqlalchemy import SQLAlchemy db_path = os.path.join(os.path.dirname( file ), 'app.db') db_uri = 'sqlite:///{}'.format(db_path) app.config['sqlalchemy_database_uri'] = config.db_uri app.config['sqlalchemy_track_modifications'] = True db = SQLAlchemy(app)

27 Flask-SQLAlchemy Configurerar Alchemy, ger db-objekt Tabell: class User(db.Model): tablename = 'users' id = db.column(db.integer, primary_key=true) name = db.column(db.string(5))

28 Exempel (Flask-SQLAlchemy) class User(Base): tablename = 'users' id = Column(Integer, Sequence('user_id_seq'), primary_key=true) name = Column(String(50)) fullname = Column(String(50)) password = Column(String(12)) def repr (self): return "<User(name='%s', fullname='%s', password='%s')>" % ( self.name, self.fullname, self.password)

29 Flask-SQLAlchemy queries inom klassdef class User(db.Model): #... def follow(self, user): if not self.is_following(user): self.followed.append(user) return self def unfollow(self, user): if self.is_following(user): self.followed.remove(user) return self def is_following(self, user): return self.followed.filter(followers.c.followed_id == user.id).count() > 0

30 SQLAlchemy query (forts) Tillåter vanlig python -syntax Dina egna data-repr i form av klasser och objekt T.ex. message.users.append(user) Bakom ligger databas-tabeller och SQL-queries

31 Tre lager av query-syntax Flask-SQLAlchemy Konfigurerar Alchemy åt oss, förenklad syntax (query_by, etc.) Alchemy Kan använda Klasser och vanliga metoder istf lågnivå SQL-queries SQL Allt översätts till SQL som loggas om man är i debug-mode

32 Exempel1 db.session.query(employees.lastname). filter_by(lastname= Davalio ).all() Employees.query. filter(last_name= Davalio ).all() SELECT [lastname] FROM [Employees] WHERE [lastname] = "Davolio";

33 Exempel2 db.session.query(user). filter(user.name.like('%ed')).order_by(user.id) SELECT users.id AS users_id, users.name AS users_name, users.fullname AS users_fullname, users.password AS users_password FROM users WHERE users.name LIKE? ORDER BY users.id ('%ed',)

34 Join i Alchemy (exempel) db.session.query(message).join(user). filter(user.name == Kalle ).all() Skapar en sammanslagen tmp-tabell, med kolumner från båda tabellerna och de rader som matchar (jfr. outerjoin) Se vidare:

35 Dynamic queries Om man anger lazy= dynamic i sin tabell-def: Query exekveras inte utan kan byggas på Kan lägga på ytterligare filter på en query Exekveras vid trigger, t.ex. all() Ändringar i databasen måste commit:as

36 Alchemy session Ändringar i databasen måste commit:as Tex. skapa nytt objekt från User db.session.add(user1) Session.dirty flaggar nu True db.session.commit() Lägg in ändringar i databasen

37 Many-to-many relationer survey_questions = db.table( 'survey_questions', db.column('survey_id', db.integer, db.foreignkey('surveys.id')), db.column('question_id', db.integer, db.foreignkey('questions.id'))) class Survey(db.Model): tablename = 'surveys' id = db.column(db.integer, primary_key=true) name = db.column(db.string(50), unique=true) ending = db.column(db.datetime) class Question(db.Model): tablename = 'questions' id = db.column(db.integer, primary_key=true) text = db.column(db.text) help = db.column(db.text)

38 Ytterligare exempel read_by = db.table( 'read_by', db.column('user_id', db.integer, db.foreignkey('users.id')), db.column('message_id', db.integer, db.foreignkey('messages.id ))) class User(db.Message): tablename = messages

39 Exempel på vanlig tabell class Message(db.Model): tablename = 'messages' id = db.column(db.integer, primary_key=true) mess_id = db.column(db.integer, unique=true) message = db.column(db.string(140)) users = db.relationship('user', secondary=read_by, primaryjoin=(read_by.c.message_id == id), # back_populates='messages', backref=db.backref('messages', lazy='dynamic'), lazy="dynamic")

40 Many-to-many relationships Läs vidare på: tml Klicka på navigationsfältet: Building a Many to Many Relationship

41 Statiskt schema dynamiska data

42 Statiska klasser dynamiskt skapade objekt Java Klasser statiska (finns i koden, filerna) Objekt skapas när ett javaprogram körs igång Skilda världar Kan t.ex. inte komma åt vanliga variabler förrän ett objekt har skapats som är värd för variabeln Detta eftersom olika objekt kan ha olika värden på samma variabel mytriangle = new Triangle().setColor( Red ) histriangle = new Triangle().setColor( Blue )

43 Modell databas Modell (databas-schema) statisk Anger vilken typ av data som ska repr Databas dynamisk Innehåller data från en speciell körning Data för företag X vs. data för företag Y Data under utveckling och testning!= data för deployment (sjösatt system)

44 Kod som ska sjösättas All kod Utom log-filer, etc. Datamodell Ej själva databasen Databasen skapas dynamiskt på plats (på den server som ska hantera de riktiga kunderna) Databasen ska inte versionshanteras Om man inte vill ha hårdlödd databas

45 Enhetstestning

46 Skickar fejk requests Sätter upp test-databas med start-data Kör ett antal testfall Varje testfall: sekvens av anrop som bygger upp scenen T.ex. Steg för steg, lägg i 2 meddelanden i databasen, med första meddelandet läst av Kalle Slutligt anrop som utvärderas i scenen som skapades

47 Exempel def test_mark_and_retrieve_message(self): payload = {'message': 'hej3'} rv = self.app.post('/messages', data=json.dumps(payload), content_type='application/json') message_id1 = rv.data assert rv.status_code == 200 assert len(message_id1) == 8 rv = self.app.post('/messages/' + message_id1 + '/flag/' + user_name1) assert rv = self.app.get('/messages/unread/' + user_name2) assert b'hej3' in rv.data assert b'hejhej3' in rv.data

48 Sätta upp/ta ner tmp-databas def setup(self): self.db_fd, app.config['database'] = tempfile.mkstemp() app.config['testing'] = True self.app = app.test_client() with app.app_context(): data.initialize_db() Anrop till egen databashanteringsmodul def teardown(self): os.close(self.db_fd) os.unlink(app.config['database'])

49 MVC (Model-View-Controler)

50 MVC Databashanteringskod Serverkod (views)

51 Modulär kod Bra om kod kan återanvändas T.ex. db-anrop direkt från unit_test Bra om db och views kan bytas oberoende av varandra, dvs. plug-n-play metoderna i server.py eller views.py Lägg databas-hantering i egen modul (egen mapp eller fil)

52 Cirkulära referenser Problem att vyn är beroende av data och vice versa (för initiering av db) Läs mer på: ges/

53 Modulär kodstruktur app.py from lab2 import app if name ==' main ': app.run(host=' , port=8080)

54 Modulär kodstruktur init.py from lab2 import config app = Flask( name ) app.config['debug'] = config.debug_flag app.config['sqlal '] = config.db_uri import lab2.server

55 Modulär kodstruktur server.py from lab2 import app from lab2 import data data.initialize_db()

56 Modulär kodstruktur data.py from lab2 import app db = SQLAlchemy(app)

57