sfa/plc/slices.py

   1 import datetime
   2 import time
   3 import traceback
   4 import sys
   5
   6 from types import StringTypes
   7 from sfa.util.xrn import get_leaf, get_authority, hrn_to_urn, urn_to_hrn
   8 from sfa.util.plxrn import hrn_to_pl_slicename, hrn_to_pl_login_base
   9 from sfa.util.rspec import *
  10 from sfa.util.specdict import *
  11 from sfa.util.faults import *
  12 from sfa.util.record import SfaRecord
  13 from sfa.util.policy import Policy
  14 from sfa.util.prefixTree import prefixTree
  15
  16 MAXINT =  2L**31-1
  17
  18 class Slices:
  19
  20     rspec_to_slice_tag = {'max_rate':'net_max_rate'}
  21
  22     def __init__(self, api, ttl = .5, origin_hrn=None):
  23         self.api = api
  24         #filepath = path + os.sep + filename
  25         self.policy = Policy(self.api)
  26         self.origin_hrn = origin_hrn
  27         self.registry = api.registries[api.hrn]
  28         self.credential = api.getCredential()
  29
  30     def get_slivers(self, xrn, node=None):
  31         hrn, type = urn_to_hrn(xrn)
  32
  33         slice_name = hrn_to_pl_slicename(hrn)
  34         # XX Should we just call PLCAPI.GetSliceTicket(slice_name) instead
  35         # of doing all of this?
  36         #return self.api.GetSliceTicket(self.auth, slice_name)
  37
  38         # from PLCAPI.GetSlivers.get_slivers()
  39         slice_fields = ['slice_id', 'name', 'instantiation', 'expires', 'person_ids', 'slice_tag_ids']
  40         slices = self.api.plshell.GetSlices(self.api.plauth, slice_name, slice_fields)
  41         # Build up list of users and slice attributes
  42         person_ids = set()
  43         all_slice_tag_ids = set()
  44         for slice in slices:
  45             person_ids.update(slice['person_ids'])
  46             all_slice_tag_ids.update(slice['slice_tag_ids'])
  47         person_ids = list(person_ids)
  48         all_slice_tag_ids = list(all_slice_tag_ids)
  49         # Get user information
  50         all_persons_list = self.api.plshell.GetPersons(self.api.plauth, {'person_id':person_ids,'enabled':True}, ['person_id', 'enabled', 'key_ids'])
  51         all_persons = {}
  52         for person in all_persons_list:
  53             all_persons[person['person_id']] = person
  54
  55         # Build up list of keys
  56         key_ids = set()
  57         for person in all_persons.values():
  58             key_ids.update(person['key_ids'])
  59         key_ids = list(key_ids)
  60         # Get user account keys
  61         all_keys_list = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key', 'key_type'])
  62         all_keys = {}
  63         for key in all_keys_list:
  64             all_keys[key['key_id']] = key
  65         # Get slice attributes
  66         all_slice_tags_list = self.api.plshell.GetSliceTags(self.api.plauth, all_slice_tag_ids)
  67         all_slice_tags = {}
  68         for slice_tag in all_slice_tags_list:
  69             all_slice_tags[slice_tag['slice_tag_id']] = slice_tag
  70
  71         slivers = []
  72         for slice in slices:
  73             keys = []
  74             for person_id in slice['person_ids']:
  75                 if person_id in all_persons:
  76                     person = all_persons[person_id]
  77                     if not person['enabled']:
  78                         continue
  79                     for key_id in person['key_ids']:
  80                         if key_id in all_keys:
  81                             key = all_keys[key_id]
  82                             keys += [{'key_type': key['key_type'],
  83                                     'key': key['key']}]
  84             attributes = []
  85             # All (per-node and global) attributes for this slice
  86             slice_tags = []
  87             for slice_tag_id in slice['slice_tag_ids']:
  88                 if slice_tag_id in all_slice_tags:
  89                     slice_tags.append(all_slice_tags[slice_tag_id])
  90             # Per-node sliver attributes take precedence over global
  91             # slice attributes, so set them first.
  92             # Then comes nodegroup slice attributes
  93             # Followed by global slice attributes
  94             sliver_attributes = []
  95
  96             if node is not None:
  97                 for sliver_attribute in filter(lambda a: a['node_id'] == node['node_id'], slice_tags):
  98                     sliver_attributes.append(sliver_attribute['tagname'])
  99                     attributes.append({'tagname': sliver_attribute['tagname'],
 100                                     'value': sliver_attribute['value']})
 101
 102             # set nodegroup slice attributes
 103             for slice_tag in filter(lambda a: a['nodegroup_id'] in node['nodegroup_ids'], slice_tags):
 104                 # Do not set any nodegroup slice attributes for
 105                 # which there is at least one sliver attribute
 106                 # already set.
 107                 if slice_tag not in slice_tags:
 108                     attributes.append({'tagname': slice_tag['tagname'],
 109                         'value': slice_tag['value']})
 110
 111             for slice_tag in filter(lambda a: a['node_id'] is None, slice_tags):
 112                 # Do not set any global slice attributes for
 113                 # which there is at least one sliver attribute
 114                 # already set.
 115                 if slice_tag['tagname'] not in sliver_attributes:
 116                     attributes.append({'tagname': slice_tag['tagname'],
 117                                    'value': slice_tag['value']})
 118
 119             # XXX Sanity check; though technically this should be a system invariant
 120             # checked with an assertion
 121             if slice['expires'] > MAXINT:  slice['expires']= MAXINT
 122
 123             slivers.append({
 124                 'hrn': hrn,
 125                 'name': slice['name'],
 126                 'slice_id': slice['slice_id'],
 127                 'instantiation': slice['instantiation'],
 128                 'expires': slice['expires'],
 129                 'keys': keys,
 130                 'attributes': attributes
 131             })
 132
 133         return slivers
 134
 135     def get_peer(self, xrn):
 136         hrn, type = urn_to_hrn(xrn)
 137         # Becaues of myplc federation,  we first need to determine if this
 138         # slice belongs to out local plc or a myplc peer. We will assume it
 139         # is a local site, unless we find out otherwise
 140         peer = None
 141
 142         # get this slice's authority (site)
 143         slice_authority = get_authority(hrn)
 144
 145         # get this site's authority (sfa root authority or sub authority)
 146         site_authority = get_authority(slice_authority).lower()
 147
 148         # check if we are already peered with this site_authority, if so
 149         peers = self.api.plshell.GetPeers(self.api.plauth, {}, ['peer_id', 'peername', 'shortname', 'hrn_root'])
 150         for peer_record in peers:
 151             names = [name.lower() for name in peer_record.values() if isinstance(name, StringTypes)]
 152             if site_authority in names:
 153                 peer = peer_record
 154
 155         return peer
 156
 157     def get_sfa_peer(self, xrn):
 158         hrn, type = urn_to_hrn(xrn)
 159
 160         # return the authority for this hrn or None if we are the authority
 161         sfa_peer = None
 162         slice_authority = get_authority(hrn)
 163         site_authority = get_authority(slice_authority)
 164
 165         if site_authority != self.api.hrn:
 166             sfa_peer = site_authority
 167
 168         return sfa_peer
 169
 170     def verify_slice_records(self, hrn, slice_record, users, peer):
 171         """
 172         Creates required slice, site, person and key records in the Myplc db.
 173         """
 174         site = None
 175         slice = None
 176         persons = []
 177
 178         sfa_peer = self.get_sfa_peer(hrn)
 179         site = self.verify_site(hrn, slice_record, peer, sfa_peer)
 180         slice = self.verify_slice(hrn, slice_record, peer, sfa_peer)
 181         persons = self.verify_persons(hrn, slice, users, peer, sfa_peer)
 182
 183         if peer:
 184             # bind site
 185             try:
 186                 if site:
 187                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'site', \
 188                        site['site_id'], peer['shortname'], slice_record['site_id'])
 189             except Exception,e:
 190                 self.api.plshell.DeleteSite(self.api.plauth, site['site_id'])
 191                 raise e
 192
 193             # bind slice
 194             try:
 195                 if slice:
 196                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', \
 197                        slice['slice_id'], peer['shortname'], slice_record['slice_id'])
 198             except Exception,e:
 199                 self.api.plshell.DeleteSlice(self.api.plauth,slice['slice_id'])
 200                 raise e
 201
 202             # bind persons
 203             for person in persons:
 204                 try:
 205                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', \
 206                         person['person_id'], peer['shortname'], person['peer_person_id'])
 207
 208                     for (key, remote_key_id) in zip(person['keys'], person['key_ids']):
 209                         try:
 210                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key',\
 211                                 key['key_id'], peer['shortname'], remote_key_id)
 212                         except:
 213                             self.api.plshell.DeleteKey(self.api.plauth, key['key_id'])
 214                             self.api.logger("failed to bind key: %s to peer: %s " % (key['key_id'], peer['shortname']))
 215                 except Exception,e:
 216                     self.api.plshell.DeletePerson(self.api.plauth, person['person_id'])
 217                     raise e
 218
 219         return slice
 220
 221     def verify_site(self, slice_xrn, slice_record={}, peer=None, sfa_peer=None):
 222         (slice_hrn, type) = urn_to_hrn(slice_xrn)
 223         site_hrn = get_authority(slice_hrn)
 224         login_base = get_leaf(site_hrn)
 225         sites = self.api.plshell.GetSites(self.api.plauth, login_base)
 226         if not sites:
 227             # create new site record
 228             site = {'name': 'geni.%s' % login_base,
 229                     'abbreviated_name': login_base,
 230                     'login_base': login_base,
 231                     'max_slices': 100,
 232                     'max_slivers': 1000,
 233                     'enabled': True,
 234                     'peer_site_id': None}
 235             if peer:
 236                 site['peer_site_id'] = slice_record.get('site_id', None)
 237             site['site_id'] = self.api.plshell.AddSite(self.api.plauth, site)
 238             # exempt federated sites from monitor policies
 239             self.api.plshell.AddSiteTag(self.api.plauth, site['site_id'], 'exempt_site_until', "20200101")
 240
 241             # is this still necessary?
 242             # add record to the local registry
 243             if sfa_peer and slice_record:
 244                 peer_dict = {'type': 'authority', 'hrn': site_hrn, \
 245                              'peer_authority': sfa_peer, 'pointer': site['site_id']}
 246                 self.registry.register_peer_object(self.credential, peer_dict)
 247         else:
 248             site =  sites[0]
 249             if peer:
 250                 # unbind from peer so we can modify if necessary. Will bind back later
 251                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'site', site['site_id'], peer['shortname'])
 252
 253         return site
 254
 255     def verify_slice(self, slice_hrn, slice_record, peer, sfa_peer):
 256         slicename = hrn_to_pl_slicename(slice_hrn)
 257         parts = slicename.split("_")
 258         login_base = parts[0]
 259         slices = self.api.plshell.GetSlices(self.api.plauth, [slicename])
 260         if not slices:
 261             slice = {'name': slicename,
 262                      'url': slice_record.get('url', slice_hrn),
 263                      'description': slice_record.get('description', slice_hrn)}
 264             # add the slice
 265             slice['slice_id'] = self.api.plshell.AddSlice(self.api.plauth, slice)
 266             slice['node_ids'] = []
 267             slice['person_ids'] = []
 268             if peer:
 269                 slice['peer_slice_id'] = slice_record.get('slice_id', None)
 270             # mark this slice as an sfa peer record
 271             if sfa_peer:
 272                 peer_dict = {'type': 'slice', 'hrn': slice_hrn,
 273                              'peer_authority': sfa_peer, 'pointer': slice['slice_id']}
 274                 self.registry.register_peer_object(self.credential, peer_dict)
 275         else:
 276             slice = slices[0]
 277             if peer:
 278                 slice['peer_slice_id'] = slice_record.get('slice_id', None)
 279                 # unbind from peer so we can modify if necessary. Will bind back later
 280                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice',\
 281                              slice['slice_id'], peer['shortname'])
 282                 #Update existing record (e.g. expires field) it with the latest info.
 283             if slice_record and slice['expires'] != slice_record['expires']:
 284                 self.api.plshell.UpdateSlice(self.api.plauth, slice['slice_id'],\
 285                              {'expires' : slice_record['expires']})
 286
 287         return slice
 288
 289     def verify_persons(self, slice_hrn, slice_record, users, peer, sfa_peer):
 290         slicename = hrn_to_pl_slicename(slice_hrn)
 291         login_base = hrn_to_pl_login_base(slice_hrn)
 292
 293         # create a dict users keyed on the user's email
 294         users_dict = {}
 295         for user in users:
 296             if 'email' in user:
 297                 users_dict[user['email']] = user
 298             else:
 299                 fake_email = hrn_to_pl_slicename(slice_hrn) + "@geni.net"
 300                 user['email'] = fake_email
 301                 users_dict[fake_email] = user
 302
 303         # requested slice users
 304         requested_user_ids = users_dict.keys()
 305
 306         # existing users
 307         existing_users_filter = {'email': requested_user_ids}
 308         existing_users = self.api.plshell.GetPersons(self.api.plauth, \
 309             existing_users_filter, ['person_id', 'key_ids', 'email'])
 310         existing_user_ids = [user['email'] for user in existing_users]
 311
 312         # existing slice users
 313         existing_slice_users_filter = {'person_id': slice_record.get('person_ids', [])}
 314         existing_slice_users = self.api.plshell.GetPersons(self.api.plauth, \
 315              existing_slice_users_filter, ['person_id', 'key_ids', 'email'])
 316         existing_slice_user_ids = [user['email'] for user in existing_slice_users]
 317
 318         # users to be added, removed or updated
 319         added_user_ids = set(requested_user_ids).difference(existing_user_ids)
 320         added_slice_user_ids = set(requested_user_ids).difference(existing_slice_user_ids)
 321         removed_user_ids = set(existing_slice_user_ids).difference(requested_user_ids)
 322         updated_user_ids = set(existing_slice_user_ids).intersection(requested_user_ids)
 323
 324         # remove stale users
 325         for removed_user_id in removed_user_ids:
 326             self.api.plshell.DeletePersonFromSlice(self.api.plauth, removed_user_id, slicename)
 327
 328         # update_existing users
 329         updated_users_list = [user for user in users if user['email'] in updated_user_ids]
 330         self.verify_keys(existing_slice_users, updated_users_list, peer)
 331
 332         added_persons = []
 333         # add new users
 334         for added_user_id in added_user_ids:
 335             added_user = users_dict[added_user_id]
 336             hrn, type = urn_to_hrn(added_user['urn'])
 337             person = {
 338                 'first_name': added_user.get('first_name', hrn),
 339                 'last_name': added_user.get('last_name', hrn),
 340                 'email': added_user_id,
 341                 'peer_person_id': None,
 342                 'keys': [],
 343                 'key_ids': added_user.get('key_ids', []),
 344             }
 345             person['person_id'] = self.api.plshell.AddPerson(self.api.plauth, person)
 346             if peer:
 347                 person['peer_person_id'] = added_user['person_id']
 348             added_persons.append(person)
 349
 350             # enable the account
 351             self.api.plshell.UpdatePerson(self.api.plauth, person['person_id'], {'enabled': True})
 352
 353             # add person to site
 354             self.api.plshell.AddPersonToSite(self.api.plauth, added_slice_user_id, login_base)
 355
 356             for key_string in added_user.get('keys', []):
 357                 key = {'key':key_string, 'key_type':'ssh'}
 358                 key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, person['person_id'], key)
 359                 person['keys'].append(key)
 360
 361             # add the registry record
 362             if sfa_peer:
 363                 peer_dict = {'type': 'user', 'hrn': hrn, 'peer_authority': sfa_peer, \
 364                     'pointer': person['person_id']}
 365                 self.registry.register_peer_object(self.credential, peer_dict)
 366
 367         for added_slice_user_id in added_slice_user_ids.union(added_user_ids):
 368             # add person to the slice
 369             self.api.plshell.AddPersonToSlice(self.api.plauth, added_slice_user_id, slicename)
 370
 371
 372             # if this is a peer record then it should already be bound to a peer.
 373             # no need to return worry about it getting bound later
 374
 375         return added_persons
 376
 377
 378     def verify_keys(self, persons, users, peer):
 379         # existing keys
 380         key_ids = []
 381         for person in persons:
 382             key_ids.extend(person['key_ids'])
 383         keylist = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key'])
 384         keydict = {}
 385         for key in keylist:
 386             keydict[key['key']] = key['key_id']
 387         existing_keys = keydict.keys()
 388         persondict = {}
 389         for person in persons:
 390             persondict[person['email']] = person
 391
 392         # add new keys
 393         requested_keys = []
 394         updated_persons = []
 395         for user in users:
 396             user_keys = user.get('keys', [])
 397             updated_persons.append(user)
 398             for key_string in user_keys:
 399                 requested_keys.append(key_string)
 400                 if key_string not in existing_keys:
 401                     key = {'key': key_string, 'key_type': 'ssh'}
 402                     try:
 403                         if peer:
 404                             person = persondict[user['email']]
 405                             self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'])
 406                         key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, user['email'], key)
 407                         if peer:
 408                             key_index = user_keys.index(key['key'])
 409                             remote_key_id = user['key_ids'][key_index]
 410                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key', key['key_id'], peer['shortname'], remote_key_id)
 411
 412                     finally:
 413                         if peer:
 414                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'], user['person_id'])
 415
 416         # remove old keys
 417         removed_keys = set(existing_keys).difference(requested_keys)
 418         for existing_key_id in keydict:
 419             if keydict[existing_key_id] in removed_keys:
 420                 try:
 421                     if peer:
 422                         self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'key', existing_key_id, peer['shortname'])
 423                     self.api.plshell.DeleteKey(self.api.plauth, existing_key_id)
 424                 except:
 425                     pass
 426
 427     def create_slice_aggregate(self, xrn, rspec):
 428         hrn, type = urn_to_hrn(xrn)
 429         # Determine if this is a peer slice
 430         peer = self.get_peer(hrn)
 431         sfa_peer = self.get_sfa_peer(hrn)
 432
 433         spec = RSpec(rspec)
 434         # Get the slice record from sfa
 435         slicename = hrn_to_pl_slicename(hrn)
 436         slice = {}
 437         slice_record = None
 438         registry = self.api.registries[self.api.hrn]
 439         credential = self.api.getCredential()
 440
 441         site_id, remote_site_id = self.verify_site(registry, credential, hrn, peer, sfa_peer)
 442         slice = self.verify_slice(registry, credential, hrn, site_id, remote_site_id, peer, sfa_peer)
 443
 444         # find out where this slice is currently running
 445         nodelist = self.api.plshell.GetNodes(self.api.plauth, slice['node_ids'], ['hostname'])
 446         hostnames = [node['hostname'] for node in nodelist]
 447
 448         # get netspec details
 449         nodespecs = spec.getDictsByTagName('NodeSpec')
 450
 451         # dict in which to store slice attributes to set for the nodes
 452         nodes = {}
 453         for nodespec in nodespecs:
 454             if isinstance(nodespec['name'], list):
 455                 for nodename in nodespec['name']:
 456                     nodes[nodename] = {}
 457                     for k in nodespec.keys():
 458                         rspec_attribute_value = nodespec[k]
 459                         if (self.rspec_to_slice_tag.has_key(k)):
 460                             slice_tag_name = self.rspec_to_slice_tag[k]
 461                             nodes[nodename][slice_tag_name] = rspec_attribute_value
 462             elif isinstance(nodespec['name'], StringTypes):
 463                 nodename = nodespec['name']
 464                 nodes[nodename] = {}
 465                 for k in nodespec.keys():
 466                     rspec_attribute_value = nodespec[k]
 467                     if (self.rspec_to_slice_tag.has_key(k)):
 468                         slice_tag_name = self.rspec_to_slice_tag[k]
 469                         nodes[nodename][slice_tag_name] = rspec_attribute_value
 470
 471                 for k in nodespec.keys():
 472                     rspec_attribute_value = nodespec[k]
 473                     if (self.rspec_to_slice_tag.has_key(k)):
 474                         slice_tag_name = self.rspec_to_slice_tag[k]
 475                         nodes[nodename][slice_tag_name] = rspec_attribute_value
 476
 477         node_names = nodes.keys()
 478         # remove nodes not in rspec
 479         deleted_nodes = list(set(hostnames).difference(node_names))
 480         # add nodes from rspec
 481         added_nodes = list(set(node_names).difference(hostnames))
 482
 483         try:
 484             if peer:
 485                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice', slice['slice_id'], peer)
 486
 487             self.api.plshell.AddSliceToNodes(self.api.plauth, slicename, added_nodes)
 488
 489             # Add recognized slice tags
 490             for node_name in node_names:
 491                 node = nodes[node_name]
 492                 for slice_tag in node.keys():
 493                     value = node[slice_tag]
 494                     if (isinstance(value, list)):
 495                         value = value[0]
 496
 497                     self.api.plshell.AddSliceTag(self.api.plauth, slicename, slice_tag, value, node_name)
 498
 499             self.api.plshell.DeleteSliceFromNodes(self.api.plauth, slicename, deleted_nodes)
 500         finally:
 501             if peer:
 502                 self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', slice['slice_id'], peer, slice['peer_slice_id'])
 503
 504         return 1
 505