PLC/Sites.py

   1 from types import StringTypes
   2 import string
   3
   4 from PLC.Faults import *
   5 from PLC.Parameter import Parameter
   6 from PLC.Debug import profile
   7 from PLC.Table import Row, Table
   8 from PLC.Persons import Person, Persons
   9 from PLC.Slices import Slice, Slices
  10 from PLC.PCUs import PCU, PCUs
  11 from PLC.Nodes import Node, Nodes
  12 from PLC.NodeGroups import NodeGroup, NodeGroups
  13
  14 class Site(Row):
  15     """
  16     Representation of a row in the sites table. To use, optionally
  17     instantiate with a dict of values. Update as you would a
  18     dict. Commit to the database with flush().
  19     """
  20
  21     fields = {
  22         'site_id': Parameter(int, "Site identifier"),
  23         'name': Parameter(str, "Full site name"),
  24         'abbreviated_name': Parameter(str, "Abbreviated site name"),
  25         'login_base': Parameter(str, "Site slice prefix"),
  26         'is_public': Parameter(bool, "Publicly viewable site"),
  27         'latitude': Parameter(float, "Decimal latitude of the site"),
  28         'longitude': Parameter(float, "Decimal longitude of the site"),
  29         'url': Parameter(str, "URL of a page that describes the site"),
  30         'nodegroup_id': Parameter(int, "Identifier of the nodegroup containing the site's nodes"),
  31         'organization_id': Parameter(int, "Organizational identifier if the site is part of a larger organization"),
  32         'ext_consortium_id': Parameter(int, "Consortium identifier if the site is part of an external consortium"),
  33         'date_created': Parameter(str, "Date and time when node entry was created"),
  34         'deleted': Parameter(bool, "Has been deleted"),
  35         }
  36
  37     # These fields are derived from join tables and are not actually
  38     # in the sites table.
  39     join_fields = {
  40         'max_slices': Parameter(int, "Maximum number of slices that the site is able to create"),
  41         'site_share': Parameter(float, "Relative resource share for this site's slices"),
  42         }
  43
  44     # These fields are derived from join tables and are not returned
  45     # by default unless specified.
  46     extra_fields = {
  47         'person_ids': Parameter([int], "List of account identifiers"),
  48         'slice_ids': Parameter([int], "List of slice identifiers"),
  49         'defaultattribute_ids': Parameter([int], "List of default slice attribute identifiers"),
  50         'pcu_ids': Parameter([int], "List of PCU identifiers"),
  51         'node_ids': Parameter([int], "List of site node identifiers"),
  52         }
  53
  54     default_fields = dict(fields.items() + join_fields.items())
  55     all_fields = dict(default_fields.items() + extra_fields.items())
  56
  57     # Number of slices assigned to each site at the time that the site is created
  58     default_max_slices = 0
  59
  60     # XXX Useless, unclear what this value means
  61     default_site_share = 1.0
  62
  63     def __init__(self, api, fields):
  64         Row.__init__(self, fields)
  65         self.api = api
  66
  67     def validate_login_base(self, login_base):
  68         if len(login_base) > 20:
  69             raise PLCInvalidArgument, "Login base must be <= 20 characters"
  70
  71         if not set(login_base).issubset(string.ascii_letters):
  72             raise PLCInvalidArgument, "Login base must consist only of ASCII letters"
  73
  74         login_base = login_base.lower()
  75         conflicts = Sites(self.api, [login_base])
  76         for site_id, site in conflicts.iteritems():
  77             if not site['deleted'] and ('site_id' not in self or self['site_id'] != site_id):
  78                 raise PLCInvalidArgument, "login_base already in use"
  79
  80         return login_base
  81
  82     def validate_latitude(self, latitude):
  83         if latitude < -90.0 or latitude > 90.0:
  84             raise PLCInvalidArgument, "Invalid latitude value"
  85
  86         if not self.has_key('longitude') or \
  87            self['longitude'] is None:
  88             raise PLCInvalidArgument, "Longitude must also be specified"
  89
  90         return latitude
  91
  92     def validate_longitude(self, longitude):
  93         if longitude < -180.0 or longitude > 180.0:
  94             raise PLCInvalidArgument, "Invalid longitude value"
  95
  96         if not self.has_key('latitude') or \
  97            self['latitude'] is None:
  98             raise PLCInvalidArgument, "Latitude must also be specified"
  99
 100         return longitude
 101
 102     def validate_nodegroup_id(self, nodegroup_id):
 103         nodegroups = NodeGroups(self.api)
 104         if nodegroup_id not in nodegroups:
 105             raise PLCInvalidArgument, "No such nodegroup"
 106
 107         return nodegroup_id
 108
 109     def validate_organization_id(self, organization_id):
 110         organizations = Organizations(self.api)
 111         if role_id not in organizations:
 112             raise PLCInvalidArgument, "No such organization"
 113
 114         return organization_id
 115
 116     def validate_ext_consortium_id(self, organization_id):
 117         consortiums = Consortiums(self.api)
 118         if consortium_id not in consortiums:
 119             raise PLCInvalidArgument, "No such consortium"
 120
 121         return nodegroup_id
 122
 123     def flush(self, commit = True):
 124         """
 125         Flush changes back to the database.
 126         """
 127
 128         self.validate()
 129
 130         try:
 131             if not self['name'] or \
 132                not self['abbreviated_name'] or \
 133                not self['login_base']:
 134                 raise KeyError
 135         except KeyError:
 136             raise PLCInvalidArgument, "name, abbreviated_name, and login_base must all be specified"
 137
 138         # Fetch a new site_id if necessary
 139         if 'site_id' not in self:
 140             rows = self.api.db.selectall("SELECT NEXTVAL('sites_site_id_seq') AS site_id")
 141             if not rows:
 142                 raise PLCDBError, "Unable to fetch new site_id"
 143             self['site_id'] = rows[0]['site_id']
 144             insert = True
 145         else:
 146             insert = False
 147
 148         # Create site node group if necessary
 149         if 'nodegroup_id' not in self:
 150             rows = self.api.db.selectall("SELECT NEXTVAL('nodegroups_nodegroup_id_seq') as nodegroup_id")
 151             if not rows:
 152                 raise PLCDBError, "Unable to fetch new nodegroup_id"
 153             self['nodegroup_id'] = rows[0]['nodegroup_id']
 154
 155             nodegroup_id = self['nodegroup_id']
 156             # XXX Needs a unique name because we cannot delete site node groups yet
 157             name = self['login_base'] + str(self['site_id'])
 158             description = "Nodes at " + self['name']
 159             is_custom = False
 160             self.api.db.do("INSERT INTO nodegroups (nodegroup_id, name, description, is_custom)" \
 161                            " VALUES (%(nodegroup_id)d, %(name)s, %(description)s, %(is_custom)s)",
 162                            locals())
 163
 164         # Filter out fields that cannot be set or updated directly
 165         fields = dict(filter(lambda (key, value): key in self.fields,
 166                              self.items()))
 167
 168         # Parameterize for safety
 169         keys = fields.keys()
 170         values = [self.api.db.param(key, value) for (key, value) in fields.items()]
 171
 172         if insert:
 173             # Insert new row in sites table
 174             self.api.db.do("INSERT INTO sites (%s) VALUES (%s)" % \
 175                            (", ".join(keys), ", ".join(values)),
 176                            fields)
 177
 178             # Setup default slice site info
 179             # XXX Will go away soon
 180             self['max_slices'] = self.default_max_slices
 181             self['site_share'] = self.default_site_share
 182             self.api.db.do("INSERT INTO dslice03_siteinfo (site_id, max_slices, site_share)" \
 183                            " VALUES (%(site_id)d, %(max_slices)d, %(site_share)f)",
 184                            self)
 185         else:
 186             # Update default slice site info
 187             # XXX Will go away soon
 188             if 'max_slices' in self and 'site_share' in self:
 189                 self.api.db.do("UPDATE dslice03_siteinfo SET " \
 190                                " max_slices = %(max_slices)d, site_share = %(site_share)f" \
 191                                " WHERE site_id = %(site_id)d",
 192                                self)
 193
 194             # Update existing row in sites table
 195             columns = ["%s = %s" % (key, value) for (key, value) in zip(keys, values)]
 196             self.api.db.do("UPDATE sites SET " + \
 197                            ", ".join(columns) + \
 198                            " WHERE site_id = %(site_id)d",
 199                            fields)
 200
 201         if commit:
 202             self.api.db.commit()
 203
 204     def delete(self, commit = True):
 205         """
 206         Delete existing site.
 207         """
 208
 209         assert 'site_id' in self
 210
 211         # Make sure extra fields are present
 212         sites = Sites(self.api, [self['site_id']],
 213                       ['person_ids', 'slice_ids', 'pcu_ids', 'node_ids'])
 214         assert sites
 215         self.update(sites.values()[0])
 216
 217         # Delete accounts of all people at the site who are not
 218         # members of at least one other non-deleted site.
 219         persons = Persons(self.api, self['person_ids'])
 220         for person_id, person in persons.iteritems():
 221             delete = True
 222
 223             person_sites = Sites(self.api, person['site_ids'])
 224             for person_site_id, person_site in person_sites.iteritems():
 225                 if person_site_id != self['site_id'] and \
 226                    not person_site['deleted']:
 227                     delete = False
 228                     break
 229
 230             if delete:
 231                 person.delete(commit = False)
 232
 233         # Delete all site slices
 234         slices = Slices(self.api, self['slice_ids'])
 235         for slice in slices.values():
 236             slice.delete(commit = False)
 237
 238         # Delete all site PCUs
 239         pcus = PCUs(self.api, self['pcu_ids'])
 240         for pcu in pcus.values():
 241             pcu.delete(commit = False)
 242
 243         # Delete all site nodes
 244         nodes = Nodes(self.api, self['node_ids'])
 245         for node in nodes.values():
 246             node.delete(commit = False)
 247
 248         # Clean up miscellaneous join tables
 249         for table in ['site_authorized_subnets',
 250                       'dslice03_defaultattribute',
 251                       'dslice03_siteinfo']:
 252             self.api.db.do("DELETE FROM %s" \
 253                            " WHERE site_id = %d" % \
 254                            (table, self['site_id']))
 255
 256         # XXX Cannot delete site node groups yet
 257
 258         # Mark as deleted
 259         self['deleted'] = True
 260         self.flush(commit)
 261
 262 class Sites(Table):
 263     """
 264     Representation of row(s) from the sites table in the
 265     database. Specify extra_fields to be able to view and modify extra
 266     fields.
 267     """
 268
 269     def __init__(self, api, site_id_or_login_base_list = None, extra_fields = []):
 270         self.api = api
 271
 272         sql = "SELECT sites.*" \
 273               ", dslice03_siteinfo.max_slices"
 274
 275         # N.B.: Joined IDs may be marked as deleted in their primary tables
 276         join_tables = {
 277             # extra_field: (extra_table, extra_column, join_using)
 278             'person_ids': ('person_site', 'person_id', 'site_id'),
 279             'slice_ids': ('dslice03_slices', 'slice_id', 'site_id'),
 280             'defaultattribute_ids': ('dslice03_defaultattribute', 'defaultattribute_id', 'site_id'),
 281             'pcu_ids': ('pcu', 'pcu_id', 'site_id'),
 282             'node_ids': ('nodegroup_nodes', 'node_id', 'nodegroup_id'),
 283             }
 284
 285         extra_fields = filter(join_tables.has_key, extra_fields)
 286         extra_tables = ["%s USING (%s)" % \
 287                         (join_tables[field][0], join_tables[field][2]) \
 288                         for field in extra_fields]
 289         extra_columns = ["%s.%s" % \
 290                          (join_tables[field][0], join_tables[field][1]) \
 291                          for field in extra_fields]
 292
 293         if extra_columns:
 294             sql += ", " + ", ".join(extra_columns)
 295
 296         sql += " FROM sites" \
 297                " LEFT JOIN dslice03_siteinfo USING (site_id)"
 298
 299         if extra_tables:
 300             sql += " LEFT JOIN " + " LEFT JOIN ".join(extra_tables)
 301
 302         sql += " WHERE deleted IS False"
 303
 304         if site_id_or_login_base_list:
 305             # Separate the list into integers and strings
 306             site_ids = filter(lambda site_id: isinstance(site_id, (int, long)),
 307                               site_id_or_login_base_list)
 308             login_bases = filter(lambda login_base: isinstance(login_base, StringTypes),
 309                                  site_id_or_login_base_list)
 310             sql += " AND (False"
 311             if site_ids:
 312                 sql += " OR site_id IN (%s)" % ", ".join(map(str, site_ids))
 313             if login_bases:
 314                 sql += " OR login_base IN (%s)" % ", ".join(api.db.quote(login_bases))
 315             sql += ")"
 316
 317         rows = self.api.db.selectall(sql)
 318         for row in rows:
 319             if self.has_key(row['site_id']):
 320                 site = self[row['site_id']]
 321                 site.update(row)
 322             else:
 323                 self[row['site_id']] = Site(api, row)