Merge remote-tracking branch 'origin/pycurl' into planetlab-4_0-branch
[plcapi.git] / planetlab4.sql
index 9e1d1d5..a879d24 100644 (file)
@@ -9,9 +9,11 @@
 --
 -- Copyright (C) 2006 The Trustees of Princeton University
 --
--- $Id: planetlab4.sql,v 1.27 2006/11/03 20:36:05 thierry Exp $
+-- $Id: planetlab4.sql 6903 2007-11-12 22:45:01Z tmack $
 --
 
+SET client_encoding = 'UNICODE';
+
 --------------------------------------------------------------------------------
 -- Aggregates and store procedures
 --------------------------------------------------------------------------------
@@ -25,6 +27,18 @@ CREATE AGGREGATE array_accum (
     initcond = '{}'
 );
 
+--------------------------------------------------------------------------------
+-- Version
+--------------------------------------------------------------------------------
+
+-- Database version
+CREATE TABLE plc_db_version (
+    version integer NOT NULL,
+    subversion integer NOT NULL DEFAULT 0
+) WITH OIDS;
+
+INSERT INTO plc_db_version (version, subversion) VALUES (4, 9);
+
 --------------------------------------------------------------------------------
 -- Accounts
 --------------------------------------------------------------------------------
@@ -40,7 +54,7 @@ CREATE TABLE persons (
     enabled boolean NOT NULL DEFAULT false, -- Has been disabled
 
     -- Password
-    password text NOT NULL, -- Password (md5crypted)
+    password text NOT NULL DEFAULT 'nopass', -- Password (md5crypted)
     verification_key text, -- Reset password key
     verification_expires timestamp without time zone,
 
@@ -67,6 +81,7 @@ CREATE TABLE sites (
     login_base text NOT NULL, -- Site slice prefix
     name text NOT NULL, -- Site name
     abbreviated_name text NOT NULL, -- Site abbreviated name
+    enabled boolean NOT NULL Default true, -- Is this site enabled
     deleted boolean NOT NULL DEFAULT false, -- Has been deleted
     is_public boolean NOT NULL DEFAULT true, -- Shows up in public lists
     max_slices integer NOT NULL DEFAULT 0, -- Maximum number of slices
@@ -76,6 +91,7 @@ CREATE TABLE sites (
     latitude real,
     longitude real,
     url text,
+    ext_consortium_id integer, -- external consortium id
 
     -- Timestamps
     date_created timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
@@ -102,14 +118,14 @@ ORDER BY is_primary DESC;
 -- Sites that each person is a member of
 CREATE VIEW person_sites AS
 SELECT person_id,
-array_to_string(array_accum(site_id), ',') AS site_ids
+array_accum(site_id) AS site_ids
 FROM person_site_ordered
 GROUP BY person_id;
 
 -- Accounts at each site
 CREATE VIEW site_persons AS
 SELECT site_id,
-array_to_string(array_accum(person_id), ',') AS person_ids
+array_accum(person_id) AS person_ids
 FROM person_site
 GROUP BY site_id;
 
@@ -151,8 +167,8 @@ CREATE INDEX address_address_type_address_type_id_idx ON address_address_type (a
 
 CREATE VIEW address_address_types AS
 SELECT address_id,
-array_to_string(array_accum(address_type_id), ',') AS address_type_ids,
-array_to_string(array_accum(address_types.name), ',') AS address_types
+array_accum(address_type_id) AS address_type_ids,
+array_accum(address_types.name) AS address_types
 FROM address_address_type
 LEFT JOIN address_types USING (address_type_id)
 GROUP BY address_id;
@@ -167,7 +183,7 @@ CREATE INDEX site_address_address_id_idx ON site_address (address_id);
 
 CREATE VIEW site_addresses AS
 SELECT site_id,
-array_to_string(array_accum(address_id), ',') AS address_ids
+array_accum(address_id) AS address_ids
 FROM site_address
 GROUP BY site_id;
 
@@ -191,16 +207,14 @@ CREATE TABLE keys (
 
 -- Account authentication key(s)
 CREATE TABLE person_key (
-    person_id integer REFERENCES persons NOT NULL, -- Account identifier
-    key_id integer REFERENCES keys NOT NULL, -- Key identifier
-    PRIMARY KEY (person_id, key_id)
+    key_id integer REFERENCES keys PRIMARY KEY, -- Key identifier
+    person_id integer REFERENCES persons NOT NULL -- Account identifier
 ) WITH OIDS;
 CREATE INDEX person_key_person_id_idx ON person_key (person_id);
-CREATE INDEX person_key_key_id_idx ON person_key (key_id);
 
 CREATE VIEW person_keys AS
 SELECT person_id,
-array_to_string(array_accum(key_id), ',') AS key_ids
+array_accum(key_id) AS key_ids
 FROM person_key
 GROUP BY person_id;
 
@@ -217,10 +231,6 @@ INSERT INTO roles (role_id, name) VALUES (10, 'admin');
 INSERT INTO roles (role_id, name) VALUES (20, 'pi');
 INSERT INTO roles (role_id, name) VALUES (30, 'user');
 INSERT INTO roles (role_id, name) VALUES (40, 'tech');
-INSERT INTO roles (role_id, name) VALUES (1000, 'node');
-INSERT INTO roles (role_id, name) VALUES (2000, 'anonymous');
--- xxx not sure this us useful yet
---INSERT INTO roles (role_id, name) VALUES (3000, 'peer');
 
 CREATE TABLE person_role (
     person_id integer REFERENCES persons NOT NULL, -- Account identifier
@@ -232,8 +242,8 @@ CREATE INDEX person_role_person_id_idx ON person_role (person_id);
 -- Account roles
 CREATE VIEW person_roles AS
 SELECT person_id,
-array_to_string(array_accum(role_id), ',') AS role_ids,
-array_to_string(array_accum(roles.name), ',') AS roles
+array_accum(role_id) AS role_ids,
+array_accum(roles.name) AS roles
 FROM person_role
 LEFT JOIN roles USING (role_id)
 GROUP BY person_id;
@@ -253,39 +263,27 @@ INSERT INTO boot_states (boot_state) VALUES ('rins');
 INSERT INTO boot_states (boot_state) VALUES ('rcnf');
 INSERT INTO boot_states (boot_state) VALUES ('new');
 
--- Peers
-CREATE TABLE peers (
-     peer_id  serial PRIMARY KEY, -- identifier
-     peername text NOT NULL,      -- free text
-     peer_url text NOT NULL,      -- the url of that peer's API
-     person_id integer REFERENCES persons NOT NULL, -- the account we use for logging in
-       
-     deleted boolean NOT NULL DEFAULT false
-) WITH OIDS;
-
-
 -- Nodes
 CREATE TABLE nodes (
     -- Mandatory
     node_id serial PRIMARY KEY, -- Node identifier
     hostname text NOT NULL, -- Node hostname
-    site_id integer REFERENCES sites, -- At which site (clause NOT NULL removed for foreign_nodes)
+    site_id integer REFERENCES sites NOT NULL, -- At which site 
+
     boot_state text REFERENCES boot_states NOT NULL DEFAULT 'inst', -- Node boot state
-    cached boolean NOT NULL DEFAULT false,  -- is this entry cached from a peer ?
-    peer_id integer REFERENCES peers,      -- if cached, then from what peer
     deleted boolean NOT NULL DEFAULT false, -- Is deleted
 
     -- Optional
     model text, -- Hardware make and model
     boot_nonce text, -- Random nonce updated by Boot Manager
     version text, -- Boot CD version string updated by Boot Manager
-    -- XXX Should be key_id integer REFERENCES keys
     ssh_rsa_key text, -- SSH host key updated by Boot Manager
     key text, -- Node key generated by API when configuration file is downloaded
 
     -- Timestamps
     date_created timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
-    last_updated timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP
+    last_updated timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP,
+    last_contact timestamp without time zone   
 ) WITH OIDS;
 CREATE INDEX nodes_hostname_idx ON nodes (hostname) WHERE deleted IS false;
 CREATE INDEX nodes_site_id_idx ON nodes (site_id) WHERE deleted IS false;
@@ -293,24 +291,11 @@ CREATE INDEX nodes_site_id_idx ON nodes (site_id) WHERE deleted IS false;
 -- Nodes at each site
 CREATE VIEW site_nodes AS
 SELECT site_id,
-array_to_string(array_accum(node_id), ',') AS node_ids
+array_accum(node_id) AS node_ids
 FROM nodes
+WHERE deleted IS false
 GROUP BY site_id;
 
--- Nodes at each peer
-CREATE VIEW peer_nodes AS
-SELECT peer_id,
-array_to_string(array_accum(node_id), ',') AS node_ids
-FROM nodes 
-GROUP BY peer_id;
-
-CREATE VIEW view_peers AS
-SELECT 
-peers.*, 
-peer_nodes.node_ids 
-FROM peers
-LEFT JOIN peer_nodes USING (peer_id);
-
 --------------------------------------------------------------------------------
 -- Node groups
 --------------------------------------------------------------------------------
@@ -334,14 +319,14 @@ CREATE INDEX nodegroup_node_node_id_idx ON nodegroup_node (node_id);
 -- Nodes in each node group
 CREATE VIEW nodegroup_nodes AS
 SELECT nodegroup_id,
-array_to_string(array_accum(node_id), ',') AS node_ids
+array_accum(node_id) AS node_ids
 FROM nodegroup_node
 GROUP BY nodegroup_id;
 
 -- Node groups that each node is a member of
 CREATE VIEW node_nodegroups AS
 SELECT node_id,
-array_to_string(array_accum(nodegroup_id), ',') AS nodegroup_ids
+array_accum(nodegroup_id) AS nodegroup_ids
 FROM nodegroup_node
 GROUP BY node_id;
 
@@ -375,14 +360,14 @@ CREATE INDEX conf_file_node_node_id_idx ON conf_file_node (node_id);
 -- Nodes linked to each configuration file
 CREATE VIEW conf_file_nodes AS
 SELECT conf_file_id,
-array_to_string(array_accum(node_id), ',') AS node_ids
+array_accum(node_id) AS node_ids
 FROM conf_file_node
 GROUP BY conf_file_id;
 
 -- Configuration files linked to each node
 CREATE VIEW node_conf_files AS
 SELECT node_id,
-array_to_string(array_accum(conf_file_id), ',') AS conf_file_ids
+array_accum(conf_file_id) AS conf_file_ids
 FROM conf_file_node
 GROUP BY node_id;
 
@@ -397,14 +382,14 @@ CREATE INDEX conf_file_nodegroup_nodegroup_id_idx ON conf_file_nodegroup (nodegr
 -- Node groups linked to each configuration file
 CREATE VIEW conf_file_nodegroups AS
 SELECT conf_file_id,
-array_to_string(array_accum(nodegroup_id), ',') AS nodegroup_ids
+array_accum(nodegroup_id) AS nodegroup_ids
 FROM conf_file_nodegroup
 GROUP BY conf_file_id;
 
 -- Configuration files linked to each node group
 CREATE VIEW nodegroup_conf_files AS
 SELECT nodegroup_id,
-array_to_string(array_accum(conf_file_id), ',') AS conf_file_ids
+array_accum(conf_file_id) AS conf_file_ids
 FROM conf_file_nodegroup
 GROUP BY nodegroup_id;
 
@@ -461,10 +446,71 @@ ORDER BY is_primary DESC;
 -- Network interfaces on each node
 CREATE VIEW node_nodenetworks AS
 SELECT node_id,
-array_to_string(array_accum(nodenetwork_id), ',') AS nodenetwork_ids
+array_accum(nodenetwork_id) AS nodenetwork_ids
 FROM nodenetworks_ordered
 GROUP BY node_id;
 
+--------------------------------------------------------------------------------
+-- Nodenetwork setting types and nodenetworks settings
+--------------------------------------------------------------------------------
+
+CREATE TABLE nodenetwork_setting_types (
+    nodenetwork_setting_type_id serial PRIMARY KEY,    
+                                               -- Setting Type Identifier
+    name text UNIQUE NOT NULL,                 -- Setting Name    
+    description text,                          -- Optional Description
+    category text NOT NULL,                    -- Category, e.g. Wifi, or whatever
+    min_role_id integer references roles       -- If set, minimal role required
+) WITH OIDS;
+
+CREATE TABLE nodenetwork_setting (
+    nodenetwork_setting_id serial PRIMARY KEY, -- Nodenetwork Setting Identifier
+    nodenetwork_id integer REFERENCES nodenetworks NOT NULL,
+                                               -- the nodenetwork this applies to
+    nodenetwork_setting_type_id integer REFERENCES nodenetwork_setting_types NOT NULL,
+                                               -- the setting type
+    value text
+) WITH OIDS;
+
+CREATE OR REPLACE VIEW nodenetwork_settings AS 
+SELECT nodenetwork_id,
+array_accum(nodenetwork_setting_id) AS nodenetwork_setting_ids
+FROM nodenetwork_setting
+GROUP BY nodenetwork_id;
+
+CREATE OR REPLACE VIEW view_nodenetwork_settings AS
+SELECT
+nodenetwork_setting.nodenetwork_setting_id,
+nodenetwork_setting.nodenetwork_id,
+nodenetwork_setting_types.nodenetwork_setting_type_id,
+nodenetwork_setting_types.name,
+nodenetwork_setting_types.description,
+nodenetwork_setting_types.category,
+nodenetwork_setting_types.min_role_id,
+nodenetwork_setting.value
+FROM nodenetwork_setting
+INNER JOIN nodenetwork_setting_types USING (nodenetwork_setting_type_id);
+
+CREATE OR REPLACE VIEW view_nodenetworks AS
+SELECT
+nodenetworks.nodenetwork_id,
+nodenetworks.node_id,
+nodenetworks.is_primary,
+nodenetworks.type,
+nodenetworks.method,
+nodenetworks.ip,
+nodenetworks.mac,
+nodenetworks.gateway,
+nodenetworks.network,
+nodenetworks.broadcast,
+nodenetworks.netmask,
+nodenetworks.dns1,
+nodenetworks.dns2,
+nodenetworks.bwlimit,
+nodenetworks.hostname,
+COALESCE((SELECT nodenetwork_setting_ids FROM nodenetwork_settings WHERE nodenetwork_settings.nodenetwork_id = nodenetworks.nodenetwork_id), '{}') AS nodenetwork_setting_ids
+FROM nodenetworks;
+
 --------------------------------------------------------------------------------
 -- Power control units (PCUs)
 --------------------------------------------------------------------------------
@@ -487,7 +533,7 @@ CREATE INDEX pcus_site_id_idx ON pcus (site_id);
 
 CREATE VIEW site_pcus AS
 SELECT site_id,
-array_to_string(array_accum(pcu_id), ',') AS pcu_ids
+array_accum(pcu_id) AS pcu_ids
 FROM pcus
 GROUP BY site_id;
 
@@ -503,15 +549,15 @@ CREATE INDEX pcu_node_node_id_idx ON pcu_node (node_id);
 
 CREATE VIEW node_pcus AS
 SELECT node_id,
-array_to_string(array_accum(pcu_id), ',') AS pcu_ids,
-array_to_string(array_accum(port), ',') AS ports
+array_accum(pcu_id) AS pcu_ids,
+array_accum(port) AS ports
 FROM pcu_node
 GROUP BY node_id;
 
 CREATE VIEW pcu_nodes AS
 SELECT pcu_id,
-array_to_string(array_accum(node_id), ',') AS node_ids,
-array_to_string(array_accum(port), ',') AS ports
+array_accum(node_id) AS node_ids,
+array_accum(port) AS ports
 FROM pcu_node
 GROUP BY pcu_id;
 
@@ -525,11 +571,13 @@ CREATE TABLE slice_instantiations (
 INSERT INTO slice_instantiations (instantiation) VALUES ('not-instantiated'); -- Placeholder slice
 INSERT INTO slice_instantiations (instantiation) VALUES ('plc-instantiated'); -- Instantiated by Node Manager
 INSERT INTO slice_instantiations (instantiation) VALUES ('delegated'); -- Manually instantiated
+INSERT INTO slice_instantiations (instantiation) VALUES ('nm-controller'); -- NM Controller
 
 -- Slices
 CREATE TABLE slices (
     slice_id serial PRIMARY KEY, -- Slice identifier
     site_id integer REFERENCES sites NOT NULL, -- Site identifier
+
     name text NOT NULL, -- Slice name
     instantiation text REFERENCES slice_instantiations NOT NULL DEFAULT 'plc-instantiated', -- Slice state, e.g. plc-instantiated
     url text, -- Project URL
@@ -537,7 +585,7 @@ CREATE TABLE slices (
 
     max_nodes integer NOT NULL DEFAULT 100, -- Maximum number of nodes that can be assigned to this slice
 
-    creator_person_id integer REFERENCES persons NOT NULL, -- Creator
+    creator_person_id integer REFERENCES persons, -- Creator
     created timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP, -- Creation date
     expires timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP + '2 weeks', -- Expiration date
 
@@ -562,22 +610,23 @@ SELECT * FROM slice_node;
 -- Nodes in each slice
 CREATE VIEW slice_nodes AS
 SELECT slice_id,
-array_to_string(array_accum(node_id), ',') AS node_ids
+array_accum(node_id) AS node_ids
 FROM slice_node
 GROUP BY slice_id;
 
 -- Slices on each node
 CREATE VIEW node_slices AS
 SELECT node_id,
-array_to_string(array_accum(slice_id), ',') AS slice_ids
+array_accum(slice_id) AS slice_ids
 FROM slice_node
 GROUP BY node_id;
 
 -- Slices at each site
 CREATE VIEW site_slices AS
 SELECT site_id,
-array_to_string(array_accum(slice_id), ',') AS slice_ids
+array_accum(slice_id) AS slice_ids
 FROM slices
+WHERE is_deleted is false
 GROUP BY site_id;
 
 -- Slice membership
@@ -592,17 +641,36 @@ CREATE INDEX slice_person_person_id_idx ON slice_person (person_id);
 -- Members of the slice
 CREATE VIEW slice_persons AS
 SELECT slice_id,
-array_to_string(array_accum(person_id), ',') AS person_ids
+array_accum(person_id) AS person_ids
 FROM slice_person
 GROUP BY slice_id;
 
 -- Slices of which each person is a member
 CREATE VIEW person_slices AS
 SELECT person_id,
-array_to_string(array_accum(slice_id), ',') AS slice_ids
+array_accum(slice_id) AS slice_ids
 FROM slice_person
 GROUP BY person_id;
 
+--------------------------------------------------------------------------------
+-- Slice whitelist
+--------------------------------------------------------------------------------
+-- slice whitelist on nodes
+CREATE TABLE node_slice_whitelist (
+    node_id integer REFERENCES nodes NOT NULL, -- Node id of whitelist
+    slice_id integer REFERENCES slices NOT NULL, -- Slice id thats allowd on this node
+    PRIMARY KEY (node_id, slice_id)
+) WITH OIDS;
+CREATE INDEX node_slice_whitelist_node_id_idx ON node_slice_whitelist (node_id);
+CREATE INDEX node_slice_whitelist_slice_id_idx ON node_slice_whitelist (slice_id);
+
+-- Slices on each node
+CREATE VIEW node_slices_whitelist AS
+SELECT node_id,
+array_accum(slice_id) AS slice_ids_whitelist
+FROM node_slice_whitelist
+GROUP BY node_id;
+
 --------------------------------------------------------------------------------
 -- Slice attributes
 --------------------------------------------------------------------------------
@@ -620,18 +688,126 @@ CREATE TABLE slice_attribute (
     slice_attribute_id serial PRIMARY KEY, -- Slice attribute identifier
     slice_id integer REFERENCES slices NOT NULL, -- Slice identifier
     node_id integer REFERENCES nodes, -- Sliver attribute if set
+    nodegroup_id integer REFERENCES nodegroups, -- Node group attribute if set
     attribute_type_id integer REFERENCES slice_attribute_types NOT NULL, -- Attribute type identifier
     value text
 ) WITH OIDS;
 CREATE INDEX slice_attribute_slice_id_idx ON slice_attribute (slice_id);
 CREATE INDEX slice_attribute_node_id_idx ON slice_attribute (node_id);
+CREATE INDEX slice_attribute_nodegroup_id_idx ON slice_attribute (nodegroup_id);
 
 CREATE VIEW slice_attributes AS
 SELECT slice_id,
-array_to_string(array_accum(slice_attribute_id), ',') AS slice_attribute_ids
+array_accum(slice_attribute_id) AS slice_attribute_ids
 FROM slice_attribute
 GROUP BY slice_id;
 
+--------------------------------------------------------------------------------
+-- Initscripts
+--------------------------------------------------------------------------------
+
+-- Initscripts
+CREATE TABLE initscripts (
+    initscript_id serial PRIMARY KEY, -- Initscript identifier
+    name text NOT NULL, -- Initscript name
+    enabled bool NOT NULL DEFAULT true, -- Initscript is active
+    script text NOT NULL, -- Initscript
+    UNIQUE (name)
+) WITH OIDS;
+CREATE INDEX initscripts_name_idx ON initscripts (name);
+
+
+--------------------------------------------------------------------------------
+-- Peers
+--------------------------------------------------------------------------------
+
+-- Peers
+CREATE TABLE peers (
+    peer_id serial PRIMARY KEY, -- Peer identifier
+    peername text NOT NULL, -- Peer name
+    peer_url text NOT NULL, -- (HTTPS) URL of the peer PLCAPI interface
+    cacert text, -- (SSL) Public certificate of peer API server
+    key text, -- (GPG) Public key used for authentication
+    deleted boolean NOT NULL DEFAULT false
+) WITH OIDS;
+CREATE INDEX peers_peername_idx ON peers (peername) WHERE deleted IS false;
+
+-- Objects at each peer
+CREATE TABLE peer_site (
+    site_id integer REFERENCES sites PRIMARY KEY, -- Local site identifier
+    peer_id integer REFERENCES peers NOT NULL, -- Peer identifier
+    peer_site_id integer NOT NULL, -- Foreign site identifier at peer
+    UNIQUE (peer_id, peer_site_id) -- The same foreign site should not be cached twice
+) WITH OIDS;
+CREATE INDEX peer_site_peer_id_idx ON peers (peer_id);
+
+CREATE VIEW peer_sites AS
+SELECT peer_id,
+array_accum(site_id) AS site_ids,
+array_accum(peer_site_id) AS peer_site_ids
+FROM peer_site
+GROUP BY peer_id;
+
+CREATE TABLE peer_person (
+    person_id integer REFERENCES persons PRIMARY KEY, -- Local user identifier
+    peer_id integer REFERENCES peers NOT NULL, -- Peer identifier
+    peer_person_id integer NOT NULL, -- Foreign user identifier at peer
+    UNIQUE (peer_id, peer_person_id) -- The same foreign user should not be cached twice
+) WITH OIDS;
+CREATE INDEX peer_person_peer_id_idx ON peer_person (peer_id);
+
+CREATE VIEW peer_persons AS
+SELECT peer_id,
+array_accum(person_id) AS person_ids,
+array_accum(peer_person_id) AS peer_person_ids
+FROM peer_person
+GROUP BY peer_id;
+
+CREATE TABLE peer_key (
+    key_id integer REFERENCES keys PRIMARY KEY, -- Local key identifier
+    peer_id integer REFERENCES peers NOT NULL, -- Peer identifier
+    peer_key_id integer NOT NULL, -- Foreign key identifier at peer
+    UNIQUE (peer_id, peer_key_id) -- The same foreign key should not be cached twice
+) WITH OIDS;
+CREATE INDEX peer_key_peer_id_idx ON peer_key (peer_id);
+
+CREATE VIEW peer_keys AS
+SELECT peer_id,
+array_accum(key_id) AS key_ids,
+array_accum(peer_key_id) AS peer_key_ids
+FROM peer_key
+GROUP BY peer_id;
+
+CREATE TABLE peer_node (
+    node_id integer REFERENCES nodes PRIMARY KEY, -- Local node identifier
+    peer_id integer REFERENCES peers NOT NULL, -- Peer identifier
+    peer_node_id integer NOT NULL, -- Foreign node identifier
+    UNIQUE (peer_id, peer_node_id) -- The same foreign node should not be cached twice
+) WITH OIDS;
+CREATE INDEX peer_node_peer_id_idx ON peer_node (peer_id);
+
+CREATE VIEW peer_nodes AS
+SELECT peer_id,
+array_accum(node_id) AS node_ids,
+array_accum(peer_node_id) AS peer_node_ids
+FROM peer_node
+GROUP BY peer_id;
+
+CREATE TABLE peer_slice (
+    slice_id integer REFERENCES slices PRIMARY KEY, -- Local slice identifier
+    peer_id integer REFERENCES peers NOT NULL, -- Peer identifier
+    peer_slice_id integer NOT NULL, -- Slice identifier at peer
+    UNIQUE (peer_id, peer_slice_id) -- The same foreign slice should not be cached twice
+) WITH OIDS;
+CREATE INDEX peer_slice_peer_id_idx ON peer_slice (peer_id);
+
+CREATE VIEW peer_slices AS
+SELECT peer_id,
+array_accum(slice_id) AS slice_ids,
+array_accum(peer_slice_id) AS peer_slice_ids
+FROM peer_slice
+GROUP BY peer_id;
+
 --------------------------------------------------------------------------------
 -- Authenticated sessions
 --------------------------------------------------------------------------------
@@ -659,12 +835,41 @@ CREATE TABLE node_session (
     UNIQUE (session_id) -- Sessions are unique
 ) WITH OIDS;
 
+
+
+-------------------------------------------------------------------------------
+-- PCU Types
+------------------------------------------------------------------------------
+CREATE TABLE pcu_types (
+    pcu_type_id serial PRIMARY KEY,
+    model text NOT NULL ,               -- PCU model name
+    name text                           -- Full PCU model name
+) WITH OIDS;
+CREATE INDEX pcu_types_model_idx ON pcu_types (model);
+
+CREATE TABLE pcu_protocol_type (
+    pcu_protocol_type_id serial PRIMARY KEY,
+    pcu_type_id integer REFERENCES pcu_types NOT NULL,  -- PCU type identifier
+    port integer NOT NULL,                              -- PCU port
+    protocol text NOT NULL,                             -- Protocol
+    supported boolean NOT NULL DEFAULT True             -- Does PLC support
+) WITH OIDS;
+CREATE INDEX pcu_protocol_type_pcu_type_id ON pcu_protocol_type (pcu_type_id);
+
+
+CREATE OR REPLACE VIEW pcu_protocol_types AS
+SELECT pcu_type_id,
+array_accum(pcu_protocol_type_id) as pcu_protocol_type_ids
+FROM pcu_protocol_type
+GROUP BY pcu_type_id;
+
 --------------------------------------------------------------------------------
 -- Message templates
 --------------------------------------------------------------------------------
 
 CREATE TABLE messages (
     message_id text PRIMARY KEY, -- Message name
+    subject text, -- Message summary
     template text, -- Message template
     enabled bool NOT NULL DEFAULT true -- Whether message is enabled
 ) WITH OIDS;
@@ -673,91 +878,80 @@ CREATE TABLE messages (
 -- Events
 --------------------------------------------------------------------------------
 
--- Event types
-CREATE TABLE event_types (
-    event_type text PRIMARY KEY -- Event type
-) WITH OIDS;
-INSERT INTO event_types (event_type) VALUES ('Add');
-INSERT INTO event_types (event_type) VALUES ('AddTo');
-INSERT INTO event_types (event_type) VALUES ('Get');
-INSERT INTO event_types (event_type) VALUES ('Update');
-INSERT INTO event_types (event_type) VALUES ('Delete');
-INSERT INTO event_types (event_type) VALUES ('DeleteFrom');
-INSERT INTO event_types (event_type) VALUES ('Unknown');
-
--- Object types
-CREATE TABLE object_types (
-    object_type text PRIMARY KEY -- Object type 
-) WITH OIDS;
-INSERT INTO object_types (object_type) VALUES ('AddressType');
-INSERT INTO object_types (object_type) VALUES ('Address');
-INSERT INTO object_types (object_type) VALUES ('BootState');
-INSERT INTO object_types (object_type) VALUES ('ConfFile');
-INSERT INTO object_types (object_type) VALUES ('KeyType');
-INSERT INTO object_types (object_type) VALUES ('Key');
-INSERT INTO object_types (object_type) VALUES ('NetworkMethod');
-INSERT INTO object_types (object_type) VALUES ('NetworkType');
-INSERT INTO object_types (object_type) VALUES ('Network');
-INSERT INTO object_types (object_type) VALUES ('NodeGroup');
-INSERT INTO object_types (object_type) VALUES ('NodeNetwork');
-INSERT INTO object_types (object_type) VALUES ('Node');
-INSERT INTO object_types (object_type) VALUES ('PCU');
-INSERT INTO object_types (object_type) VALUES ('Person');
-INSERT INTO object_types (object_type) VALUES ('Role');
-INSERT INTO object_types (object_type) VALUES ('Session');
-INSERT INTO object_types (object_type) VALUES ('Site');
-INSERT INTO object_types (object_type) VALUES ('SliceAttributeType');
-INSERT INTO object_types (object_type) VALUES ('SliceAttribute');
-INSERT INTO object_types (object_type) VALUES ('Slice');
-INSERT INTO object_types (object_type) VALUES ('Unknown');
-
 -- Events
 CREATE TABLE events (
     event_id serial PRIMARY KEY,  -- Event identifier
     person_id integer REFERENCES persons, -- Person responsible for event, if any
     node_id integer REFERENCES nodes, -- Node responsible for event, if any
-    event_type text REFERENCES event_types NOT NULL DEFAULT 'Unknown', -- Event type 
-    object_type text REFERENCES object_types NOT NULL DEFAULT 'Unknown', -- Object type associated with event
+    auth_type text, -- Type of auth used. i.e. AuthMethod
     fault_code integer NOT NULL DEFAULT 0, -- Did this event result in error
-    call text NOT NULL, -- Call responsible for this event
-    runtime float, -- Event run time
-    time timestamp without time zone  NOT NULL DEFAULT CURRENT_TIMESTAMP -- Event timestamp
+    call_name text NOT NULL, -- Call responsible for this event
+    call text NOT NULL, -- Call responsible for this event, including parameters
+    message text, -- High level description of this event
+    runtime float DEFAULT 0, -- Event run time
+    time timestamp without time zone NOT NULL DEFAULT CURRENT_TIMESTAMP -- Event timestamp
 ) WITH OIDS;
 
--- Event objects
+-- Database object(s) that may have been affected by a particular event
 CREATE TABLE event_object (
     event_id integer REFERENCES events NOT NULL, -- Event identifier
-    object_id integer NOT NULL -- Object identifier
+    object_id integer NOT NULL, -- Object identifier
+    object_type text NOT NULL Default 'Unknown' -- What type of object is this event affecting
 ) WITH OIDS;
 CREATE INDEX event_object_event_id_idx ON event_object (event_id);
 CREATE INDEX event_object_object_id_idx ON event_object (object_id);
+CREATE INDEX event_object_object_type_idx ON event_object (object_type);
 
-CREATE VIEW event_objects AS
+CREATE OR REPLACE VIEW event_objects AS
 SELECT event_id,
-array_to_string(array_accum(object_id), ',') AS object_ids
+array_accum(object_id) AS object_ids,
+array_accum(object_type) AS object_types
 FROM event_object
 GROUP BY event_id;
 
 --------------------------------------------------------------------------------
 -- Useful views
 --------------------------------------------------------------------------------
+CREATE OR REPLACE VIEW view_pcu_types AS
+SELECT
+pcu_types.pcu_type_id,
+pcu_types.model,
+pcu_types.name,
+COALESCE((SELECT pcu_protocol_type_ids FROM pcu_protocol_types WHERE pcu_protocol_types.pcu_type_id = pcu_types.pcu_type_id), '{}') AS pcu_protocol_type_ids
+FROM pcu_types;
 
-CREATE VIEW view_events AS
+CREATE OR REPLACE VIEW view_events AS
 SELECT
 events.event_id,
 events.person_id,
 events.node_id,
-event_objects.object_ids,
-events.event_type,
-events.object_type,
+events.auth_type,
 events.fault_code,
+events.call_name,
 events.call,
+events.message,
 events.runtime,
-CAST(date_part('epoch', events.time) AS bigint) AS time
-FROM events
-LEFT JOIN event_objects USING (event_id);
+CAST(date_part('epoch', events.time) AS bigint) AS time,
+COALESCE((SELECT object_ids FROM event_objects WHERE event_objects.event_id = events.event_id), '{}') AS object_ids,
+COALESCE((SELECT object_types FROM event_objects WHERE event_objects.event_id = events.event_id), '{}') AS object_types
+FROM events;
 
-CREATE VIEW view_persons AS
+CREATE OR REPLACE VIEW view_event_objects AS 
+SELECT
+events.event_id,
+events.person_id,
+events.node_id,
+events.fault_code,
+events.call_name,
+events.call,
+events.message,
+events.runtime,
+CAST(date_part('epoch', events.time) AS bigint) AS time,
+event_object.object_id,
+event_object.object_type
+FROM events LEFT JOIN event_object USING (event_id);
+
+CREATE OR REPLACE VIEW view_persons AS
 SELECT
 persons.person_id,
 persons.email,
@@ -767,29 +961,45 @@ persons.deleted,
 persons.enabled,
 persons.password,
 persons.verification_key,
-persons.verification_expires,
+CAST(date_part('epoch', persons.verification_expires) AS bigint) AS verification_expires,
 persons.title,
 persons.phone,
 persons.url,
 persons.bio,
 CAST(date_part('epoch', persons.date_created) AS bigint) AS date_created,
 CAST(date_part('epoch', persons.last_updated) AS bigint) AS last_updated,
-person_roles.role_ids, person_roles.roles,
-person_sites.site_ids,
-person_keys.key_ids,
-person_slices.slice_ids
+peer_person.peer_id,
+peer_person.peer_person_id,
+COALESCE((SELECT role_ids FROM person_roles WHERE person_roles.person_id = persons.person_id), '{}') AS role_ids,
+COALESCE((SELECT roles FROM person_roles WHERE person_roles.person_id = persons.person_id), '{}') AS roles,
+COALESCE((SELECT site_ids FROM person_sites WHERE person_sites.person_id = persons.person_id), '{}') AS site_ids,
+COALESCE((SELECT key_ids FROM person_keys WHERE person_keys.person_id = persons.person_id), '{}') AS key_ids,
+COALESCE((SELECT slice_ids FROM person_slices WHERE person_slices.person_id = persons.person_id), '{}') AS slice_ids
 FROM persons
-LEFT JOIN person_roles USING (person_id)
-LEFT JOIN person_sites USING (person_id)
-LEFT JOIN person_keys USING (person_id)
-LEFT JOIN person_slices USING (person_id);
+LEFT JOIN peer_person USING (person_id);
 
-CREATE VIEW view_nodes AS
+CREATE OR REPLACE VIEW view_peers AS
+SELECT 
+peers.*, 
+COALESCE((SELECT site_ids FROM peer_sites WHERE peer_sites.peer_id = peers.peer_id), '{}') AS site_ids,
+COALESCE((SELECT peer_site_ids FROM peer_sites WHERE peer_sites.peer_id = peers.peer_id), '{}') AS peer_site_ids,
+COALESCE((SELECT person_ids FROM peer_persons WHERE peer_persons.peer_id = peers.peer_id), '{}') AS person_ids,
+COALESCE((SELECT peer_person_ids FROM peer_persons WHERE peer_persons.peer_id = peers.peer_id), '{}') AS peer_person_ids,
+COALESCE((SELECT key_ids FROM peer_keys WHERE peer_keys.peer_id = peers.peer_id), '{}') AS key_ids,
+COALESCE((SELECT peer_key_ids FROM peer_keys WHERE peer_keys.peer_id = peers.peer_id), '{}') AS peer_key_ids,
+COALESCE((SELECT node_ids FROM peer_nodes WHERE peer_nodes.peer_id = peers.peer_id), '{}') AS node_ids,
+COALESCE((SELECT peer_node_ids FROM peer_nodes WHERE peer_nodes.peer_id = peers.peer_id), '{}') AS peer_node_ids,
+COALESCE((SELECT slice_ids FROM peer_slices WHERE peer_slices.peer_id = peers.peer_id), '{}') AS slice_ids,
+COALESCE((SELECT peer_slice_ids FROM peer_slices WHERE peer_slices.peer_id = peers.peer_id), '{}') AS peer_slice_ids
+FROM peers;
+
+CREATE OR REPLACE VIEW view_nodes AS
 SELECT
 nodes.node_id,
 nodes.hostname,
 nodes.site_id,
 nodes.boot_state,
+nodes.deleted,
 nodes.model,
 nodes.boot_nonce,
 nodes.version,
@@ -797,129 +1007,87 @@ nodes.ssh_rsa_key,
 nodes.key,
 CAST(date_part('epoch', nodes.date_created) AS bigint) AS date_created,
 CAST(date_part('epoch', nodes.last_updated) AS bigint) AS last_updated,
-node_nodenetworks.nodenetwork_ids,
-node_nodegroups.nodegroup_ids,
-node_slices.slice_ids,
-node_pcus.pcu_ids,
-node_pcus.ports,
-node_conf_files.conf_file_ids,
-node_session.session_id AS session,
-nodes.deleted
-FROM nodes
-LEFT JOIN node_nodenetworks USING (node_id)
-LEFT JOIN node_nodegroups USING (node_id)
-LEFT JOIN node_slices USING (node_id)
-LEFT JOIN node_pcus USING (node_id)
-LEFT JOIN node_conf_files USING (node_id)
-LEFT JOIN node_session USING (node_id)
-WHERE nodes.cached=False;
-
-CREATE VIEW view_foreign_nodes AS
-SELECT
-nodes.node_id,
-nodes.hostname,
-nodes.peer_id,
-nodes.boot_state,
-nodes.model,
-nodes.version,
-CAST(date_part('epoch', nodes.date_created) AS bigint) AS date_created,
-CAST(date_part('epoch', nodes.last_updated) AS bigint) AS last_updated,
-node_slices.slice_ids,
-nodes.deleted
+CAST(date_part('epoch', nodes.last_contact) AS bigint) AS last_contact,  
+peer_node.peer_id,
+peer_node.peer_node_id,
+COALESCE((SELECT nodenetwork_ids FROM node_nodenetworks WHERE node_nodenetworks.node_id = nodes.node_id), '{}') AS nodenetwork_ids,
+COALESCE((SELECT nodegroup_ids FROM node_nodegroups WHERE node_nodegroups.node_id = nodes.node_id), '{}') AS nodegroup_ids,
+COALESCE((SELECT slice_ids FROM node_slices WHERE node_slices.node_id = nodes.node_id), '{}') AS slice_ids,
+COALESCE((SELECT slice_ids_whitelist FROM node_slices_whitelist WHERE node_slices_whitelist.node_id = nodes.node_id), '{}') AS slice_ids_whitelist,
+COALESCE((SELECT pcu_ids FROM node_pcus WHERE node_pcus.node_id = nodes.node_id), '{}') AS pcu_ids,
+COALESCE((SELECT ports FROM node_pcus WHERE node_pcus.node_id = nodes.node_id), '{}') AS ports,
+COALESCE((SELECT conf_file_ids FROM node_conf_files WHERE node_conf_files.node_id = nodes.node_id), '{}') AS conf_file_ids,
+node_session.session_id AS session
 FROM nodes
-LEFT JOIN node_slices USING (node_id)
-WHERE nodes.cached=True AND nodes.deleted=False;
+LEFT JOIN peer_node USING (node_id)
+LEFT JOIN node_session USING (node_id);
 
-CREATE VIEW view_nodegroups AS
+CREATE OR REPLACE VIEW view_nodegroups AS
 SELECT
-nodegroups.nodegroup_id,
-nodegroups.name,
-nodegroups.description,
-nodegroup_nodes.node_ids,
-nodegroup_conf_files.conf_file_ids
-FROM nodegroups
-LEFT JOIN nodegroup_nodes USING (nodegroup_id)
-LEFT JOIN nodegroup_conf_files USING (nodegroup_id);
-
-CREATE VIEW view_conf_files AS
+nodegroups.*,
+COALESCE((SELECT node_ids FROM nodegroup_nodes WHERE nodegroup_nodes.nodegroup_id = nodegroups.nodegroup_id), '{}') AS node_ids,
+COALESCE((SELECT conf_file_ids FROM nodegroup_conf_files WHERE nodegroup_conf_files.nodegroup_id = nodegroups.nodegroup_id), '{}') AS conf_file_ids
+FROM nodegroups;
+
+CREATE OR REPLACE VIEW view_conf_files AS
 SELECT
-conf_files.conf_file_id,
-conf_files.enabled,
-conf_files.source,
-conf_files.dest,
-conf_files.file_permissions,
-conf_files.file_owner,
-conf_files.file_group,
-conf_files.preinstall_cmd,
-conf_files.postinstall_cmd,
-conf_files.error_cmd,
-conf_files.ignore_cmd_errors,
-conf_files.always_update,
-conf_file_nodes.node_ids,
-conf_file_nodegroups.nodegroup_ids
-FROM conf_files
-LEFT JOIN conf_file_nodes USING (conf_file_id)
-LEFT JOIN conf_file_nodegroups USING (conf_file_id);
-
-CREATE VIEW view_pcus AS
+conf_files.*,
+COALESCE((SELECT node_ids FROM conf_file_nodes WHERE conf_file_nodes.conf_file_id = conf_files.conf_file_id), '{}') AS node_ids,
+COALESCE((SELECT nodegroup_ids FROM conf_file_nodegroups WHERE conf_file_nodegroups.conf_file_id = conf_files.conf_file_id), '{}') AS nodegroup_ids
+FROM conf_files;
+
+CREATE OR REPLACE VIEW view_pcus AS
 SELECT
-pcus.pcu_id,
-pcus.site_id,
-pcus.hostname,
-pcus.ip,
-pcus.protocol,
-pcus.username,
-pcus.password,
-pcus.model,
-pcus.notes,
-pcu_nodes.node_ids,
-pcu_nodes.ports
-FROM pcus
-LEFT JOIN pcu_nodes USING (pcu_id);
+pcus.*,
+COALESCE((SELECT node_ids FROM pcu_nodes WHERE pcu_nodes.pcu_id = pcus.pcu_id), '{}') AS node_ids,
+COALESCE((SELECT ports FROM pcu_nodes WHERE pcu_nodes.pcu_id = pcus.pcu_id), '{}') AS ports
+FROM pcus;
 
-CREATE VIEW view_sites AS
+CREATE OR REPLACE VIEW view_sites AS
 SELECT
 sites.site_id,
 sites.login_base,
 sites.name,
 sites.abbreviated_name,
 sites.deleted,
+sites.enabled,
 sites.is_public,
 sites.max_slices,
 sites.max_slivers,
 sites.latitude,
 sites.longitude,
 sites.url,
+sites.ext_consortium_id,
 CAST(date_part('epoch', sites.date_created) AS bigint) AS date_created,
 CAST(date_part('epoch', sites.last_updated) AS bigint) AS last_updated,
-site_persons.person_ids,
-site_nodes.node_ids,
-site_addresses.address_ids,
-site_slices.slice_ids,
-site_pcus.pcu_ids
+peer_site.peer_id,
+peer_site.peer_site_id,
+COALESCE((SELECT person_ids FROM site_persons WHERE site_persons.site_id = sites.site_id), '{}') AS person_ids,
+COALESCE((SELECT node_ids FROM site_nodes WHERE site_nodes.site_id = sites.site_id), '{}') AS node_ids,
+COALESCE((SELECT address_ids FROM site_addresses WHERE site_addresses.site_id = sites.site_id), '{}') AS address_ids,
+COALESCE((SELECT slice_ids FROM site_slices WHERE site_slices.site_id = sites.site_id), '{}') AS slice_ids,
+COALESCE((SELECT pcu_ids FROM site_pcus WHERE site_pcus.site_id = sites.site_id), '{}') AS pcu_ids
 FROM sites
-LEFT JOIN site_persons USING (site_id)
-LEFT JOIN site_nodes USING (site_id)
-LEFT JOIN site_addresses USING (site_id)
-LEFT JOIN site_slices USING (site_id)
-LEFT JOIN site_pcus USING (site_id);
+LEFT JOIN peer_site USING (site_id);
 
-CREATE VIEW view_addresses AS
+CREATE OR REPLACE VIEW view_addresses AS
 SELECT
-addresses.address_id,
-addresses.line1,
-addresses.line2,
-addresses.line3,
-addresses.city,
-addresses.state,
-addresses.postalcode,
-addresses.country,
-address_address_types.address_type_ids,
-address_address_types.address_types
-FROM addresses
-LEFT JOIN address_address_types USING (address_id);
-
-CREATE VIEW view_slices AS
+addresses.*,
+COALESCE((SELECT address_type_ids FROM address_address_types WHERE address_address_types.address_id = addresses.address_id), '{}') AS address_type_ids,
+COALESCE((SELECT address_types FROM address_address_types WHERE address_address_types.address_id = addresses.address_id), '{}') AS address_types
+FROM addresses;
+
+CREATE OR REPLACE VIEW view_keys AS
+SELECT
+keys.*,
+person_key.person_id,
+peer_key.peer_id,
+peer_key.peer_key_id
+FROM keys
+LEFT JOIN person_key USING (key_id)
+LEFT JOIN peer_key USING (key_id);
+
+CREATE OR REPLACE VIEW view_slices AS
 SELECT
 slices.slice_id,
 slices.site_id,
@@ -932,19 +1100,20 @@ slices.creator_person_id,
 slices.is_deleted,
 CAST(date_part('epoch', slices.created) AS bigint) AS created,
 CAST(date_part('epoch', slices.expires) AS bigint) AS expires,
-slice_nodes.node_ids,
-slice_persons.person_ids,
-slice_attributes.slice_attribute_ids
+peer_slice.peer_id,
+peer_slice.peer_slice_id,
+COALESCE((SELECT node_ids FROM slice_nodes WHERE slice_nodes.slice_id = slices.slice_id), '{}') AS node_ids,
+COALESCE((SELECT person_ids FROM slice_persons WHERE slice_persons.slice_id = slices.slice_id), '{}') AS person_ids,
+COALESCE((SELECT slice_attribute_ids FROM slice_attributes WHERE slice_attributes.slice_id = slices.slice_id), '{}') AS slice_attribute_ids
 FROM slices
-LEFT JOIN slice_nodes USING (slice_id)
-LEFT JOIN slice_persons USING (slice_id)
-LEFT JOIN slice_attributes USING (slice_id);
+LEFT JOIN peer_slice USING (slice_id);
 
-CREATE VIEW view_slice_attributes AS
+CREATE OR REPLACE VIEW view_slice_attributes AS
 SELECT
 slice_attribute.slice_attribute_id,
 slice_attribute.slice_id,
 slice_attribute.node_id,
+slice_attribute.nodegroup_id,
 slice_attribute_types.attribute_type_id,
 slice_attribute_types.name,
 slice_attribute_types.description,
@@ -953,7 +1122,7 @@ slice_attribute.value
 FROM slice_attribute
 INNER JOIN slice_attribute_types USING (attribute_type_id);
 
-CREATE VIEW view_sessions AS
+CREATE OR REPLACE VIEW view_sessions AS
 SELECT
 sessions.session_id,
 CAST(date_part('epoch', sessions.expires) AS bigint) AS expires,
@@ -981,22 +1150,3 @@ INSERT INTO sites
 (login_base, name, abbreviated_name, max_slices)
 VALUES
 ('pl', 'PlanetLab Central', 'PLC', 100);
-
--- federation stuff starting here
-
---CREATE TABLE foreign_nodes (
---     foreign_node_id serial PRIMARY KEY, -- identifier
---     hostname text NOT NULL, 
---     boot_state text NOT NULL,
---     peer_id integer REFERENCES peers NOT NULL,
---       
---     deleted boolean NOT NULL DEFAULT false
---) WITH OIDS;
-
---CREATE VIEW peer_foreign_nodes AS
---SELECT peer_id,
---array_to_string(array_accum(foreign_node_id), ',') AS foreign_node_ids
---FROM foreign_nodes
---GROUP BY peer_id;
-
-