sfa/managers/aggregate_manager.py

   1 import datetime
   2 import time
   3 import traceback
   4 import sys
   5 import re
   6 from types import StringTypes
   7
   8 from sfa.util.faults import *
   9 from sfa.util.xrn import get_authority, hrn_to_urn, urn_to_hrn, Xrn, urn_to_sliver_id
  10 from sfa.util.plxrn import slicename_to_hrn, hrn_to_pl_slicename, hostname_to_urn
  11 from sfa.util.record import SfaRecord
  12 from sfa.util.policy import Policy
  13 from sfa.util.record import *
  14 from sfa.trust.sfaticket import SfaTicket
  15 from sfa.plc.slices import Slices
  16 from sfa.trust.credential import Credential
  17 import sfa.plc.peers as peers
  18 from sfa.plc.network import *
  19 from sfa.plc.api import SfaAPI
  20 from sfa.plc.aggregate import Aggregate
  21 from sfa.plc.slices import *
  22 from sfa.util.version import version_core
  23 from sfa.rspecs.version_manager import VersionManager
  24 from sfa.rspecs.rspec import RSpec
  25 from sfa.util.sfatime import utcparse
  26 from sfa.util.callids import Callids
  27
  28 def GetVersion(api):
  29
  30     version_manager = VersionManager()
  31     ad_rspec_versions = []
  32     request_rspec_versions = []
  33     for rspec_version in version_manager.versions:
  34         if rspec_version.content_type in ['*', 'ad']:
  35             ad_rspec_versions.append(rspec_version.to_dict())
  36         if rspec_version.content_type in ['*', 'request']:
  37             request_rspec_versions.append(rspec_version.to_dict())
  38     default_rspec_version = version_manager.get_version("sfa 1").to_dict()
  39     xrn=Xrn(api.hrn)
  40     version_more = {'interface':'aggregate',
  41                     'testbed':'myplc',
  42                     'hrn':xrn.get_hrn(),
  43                     'request_rspec_versions': request_rspec_versions,
  44                     'ad_rspec_versions': ad_rspec_versions,
  45                     'default_ad_rspec': default_rspec_version
  46                     }
  47     return version_core(version_more)
  48
  49 def __get_registry_objects(slice_xrn, creds, users):
  50     """
  51
  52     """
  53     hrn, type = urn_to_hrn(slice_xrn)
  54
  55     hrn_auth = get_authority(hrn)
  56
  57     # Build up objects that an SFA registry would return if SFA
  58     # could contact the slice's registry directly
  59     reg_objects = None
  60
  61     if users:
  62         # dont allow special characters in the site login base
  63         #only_alphanumeric = re.compile('[^a-zA-Z0-9]+')
  64         #login_base = only_alphanumeric.sub('', hrn_auth[:20]).lower()
  65         slicename = hrn_to_pl_slicename(hrn)
  66         login_base = slicename.split('_')[0]
  67         reg_objects = {}
  68         site = {}
  69         site['site_id'] = 0
  70         site['name'] = 'geni.%s' % login_base
  71         site['enabled'] = True
  72         site['max_slices'] = 100
  73
  74         # Note:
  75         # Is it okay if this login base is the same as one already at this myplc site?
  76         # Do we need uniqueness?  Should use hrn_auth instead of just the leaf perhaps?
  77         site['login_base'] = login_base
  78         site['abbreviated_name'] = login_base
  79         site['max_slivers'] = 1000
  80         reg_objects['site'] = site
  81
  82         slice = {}
  83
  84         # get_expiration always returns a normalized datetime - no need to utcparse
  85         extime = Credential(string=creds[0]).get_expiration()
  86         # If the expiration time is > 60 days from now, set the expiration time to 60 days from now
  87         if extime > datetime.datetime.utcnow() + datetime.timedelta(days=60):
  88             extime = datetime.datetime.utcnow() + datetime.timedelta(days=60)
  89         slice['expires'] = int(time.mktime(extime.timetuple()))
  90         slice['hrn'] = hrn
  91         slice['name'] = hrn_to_pl_slicename(hrn)
  92         slice['url'] = hrn
  93         slice['description'] = hrn
  94         slice['pointer'] = 0
  95         reg_objects['slice_record'] = slice
  96
  97         reg_objects['users'] = {}
  98         for user in users:
  99             user['key_ids'] = []
 100             hrn, _ = urn_to_hrn(user['urn'])
 101             user['email'] = hrn_to_pl_slicename(hrn) + "@geni.net"
 102             user['first_name'] = hrn
 103             user['last_name'] = hrn
 104             reg_objects['users'][user['email']] = user
 105
 106         return reg_objects
 107
 108 def __get_hostnames(nodes):
 109     hostnames = []
 110     for node in nodes:
 111         hostnames.append(node.hostname)
 112     return hostnames
 113
 114 def SliverStatus(api, slice_xrn, creds, call_id):
 115     if Callids().already_handled(call_id): return {}
 116
 117     (hrn, type) = urn_to_hrn(slice_xrn)
 118     # find out where this slice is currently running
 119     slicename = hrn_to_pl_slicename(hrn)
 120
 121     slices = api.plshell.GetSlices(api.plauth, [slicename], ['slice_id', 'node_ids','person_ids','name','expires'])
 122     if len(slices) == 0:
 123         raise Exception("Slice %s not found (used %s as slicename internally)" % (slice_xrn, slicename))
 124     slice = slices[0]
 125
 126     # report about the local nodes only
 127     nodes = api.plshell.GetNodes(api.plauth, {'node_id':slice['node_ids'],'peer_id':None},
 128                                  ['node_id', 'hostname', 'site_id', 'boot_state', 'last_contact'])
 129     site_ids = [node['site_id'] for node in nodes]
 130     sites = api.plshell.GetSites(api.plauth, site_ids, ['site_id', 'login_base'])
 131     sites_dict = dict ( [ (site['site_id'],site['login_base'] ) for site in sites ] )
 132
 133     result = {}
 134     top_level_status = 'unknown'
 135     if nodes:
 136         top_level_status = 'ready'
 137     slice_urn = Xrn(slice_xrn, 'slice').get_urn()
 138     result['geni_urn'] = slice_urn
 139     result['pl_login'] = slice['name']
 140     result['pl_expires'] = datetime.datetime.fromtimestamp(slice['expires']).ctime()
 141
 142     resources = []
 143     for node in nodes:
 144         res = {}
 145         res['pl_hostname'] = node['hostname']
 146         res['pl_boot_state'] = node['boot_state']
 147         res['pl_last_contact'] = node['last_contact']
 148         if node['last_contact'] is not None:
 149             res['pl_last_contact'] = datetime.datetime.fromtimestamp(node['last_contact']).ctime()
 150         sliver_id = urn_to_sliver_id(slice_urn, slice['slice_id'], node['node_id'])
 151         res['geni_urn'] = sliver_id
 152         if node['boot_state'] == 'boot':
 153             res['geni_status'] = 'ready'
 154         else:
 155             res['geni_status'] = 'failed'
 156             top_level_staus = 'failed'
 157
 158         res['geni_error'] = ''
 159
 160         resources.append(res)
 161
 162     result['geni_status'] = top_level_status
 163     result['geni_resources'] = resources
 164     return result
 165
 166 def CreateSliver(api, slice_xrn, creds, rspec_string, users, call_id):
 167     """
 168     Create the sliver[s] (slice) at this aggregate.
 169     Verify HRN and initialize the slice record in PLC if necessary.
 170     """
 171     if Callids().already_handled(call_id): return ""
 172
 173     aggregate = Aggregate(api)
 174     slices = Slices(api)
 175     (hrn, type) = urn_to_hrn(slice_xrn)
 176     peer = slices.get_peer(hrn)
 177     sfa_peer = slices.get_sfa_peer(hrn)
 178     slice_record=None
 179     if users:
 180         slice_record = users[0].get('slice_record', {})
 181
 182     # parse rspec
 183     rspec = RSpec(rspec_string)
 184     requested_attributes = rspec.version.get_slice_attributes()
 185
 186     # ensure site record exists
 187     site = slices.verify_site(hrn, slice_record, peer, sfa_peer)
 188     # ensure slice record exists
 189     slice = slices.verify_slice(hrn, slice_record, peer, sfa_peer)
 190     # ensure person records exists
 191     persons = slices.verify_persons(hrn, slice, users, peer, sfa_peer)
 192     # ensure slice attributes exists
 193     slices.verify_slice_attributes(slice, requested_attributes)
 194
 195     # add/remove slice from nodes
 196     requested_slivers = [str(host) for host in rspec.version.get_nodes_with_slivers()]
 197     slices.verify_slice_nodes(slice, requested_slivers, peer)
 198
 199     # hanlde MyPLC peer association.
 200     # only used by plc and ple.
 201     slices.handle_peer(site, slice, persons, peer)
 202
 203     return aggregate.get_rspec(slice_xrn=slice_xrn, version=rspec.version)
 204
 205
 206 def RenewSliver(api, xrn, creds, expiration_time, call_id):
 207     if Callids().already_handled(call_id): return True
 208     (hrn, type) = urn_to_hrn(xrn)
 209     slicename = hrn_to_pl_slicename(hrn)
 210     slices = api.plshell.GetSlices(api.plauth, {'name': slicename}, ['slice_id'])
 211     if not slices:
 212         raise RecordNotFound(hrn)
 213     slice = slices[0]
 214     requested_time = utcparse(expiration_time)
 215     record = {'expires': int(time.mktime(requested_time.timetuple()))}
 216     try:
 217         api.plshell.UpdateSlice(api.plauth, slice['slice_id'], record)
 218         return True
 219     except:
 220         return False
 221
 222 def start_slice(api, xrn, creds):
 223     hrn, type = urn_to_hrn(xrn)
 224     slicename = hrn_to_pl_slicename(hrn)
 225     slices = api.plshell.GetSlices(api.plauth, {'name': slicename}, ['slice_id'])
 226     if not slices:
 227         raise RecordNotFound(hrn)
 228     slice_id = slices[0]['slice_id']
 229     slice_tags = api.plshell.GetSliceTags(api.plauth, {'slice_id': slice_id, 'tagname': 'enabled'}, ['slice_tag_id'])
 230     # just remove the tag if it exists
 231     if slice_tags:
 232         api.plshell.DeleteSliceTag(api.plauth, slice_tags[0]['slice_tag_id'])
 233
 234     return 1
 235
 236 def stop_slice(api, xrn, creds):
 237     hrn, type = urn_to_hrn(xrn)
 238     slicename = hrn_to_pl_slicename(hrn)
 239     slices = api.plshell.GetSlices(api.plauth, {'name': slicename}, ['slice_id'])
 240     if not slices:
 241         raise RecordNotFound(hrn)
 242     slice_id = slices[0]['slice_id']
 243     slice_tags = api.plshell.GetSliceTags(api.plauth, {'slice_id': slice_id, 'tagname': 'enabled'})
 244     if not slice_tags:
 245         api.plshell.AddSliceTag(api.plauth, slice_id, 'enabled', '0')
 246     elif slice_tags[0]['value'] != "0":
 247         tag_id = attributes[0]['slice_tag_id']
 248         api.plshell.UpdateSliceTag(api.plauth, tag_id, '0')
 249     return 1
 250
 251 def reset_slice(api, xrn):
 252     # XX not implemented at this interface
 253     return 1
 254
 255 def DeleteSliver(api, xrn, creds, call_id):
 256     if Callids().already_handled(call_id): return ""
 257     (hrn, type) = urn_to_hrn(xrn)
 258     slicename = hrn_to_pl_slicename(hrn)
 259     slices = api.plshell.GetSlices(api.plauth, {'name': slicename})
 260     if not slices:
 261         return 1
 262     slice = slices[0]
 263
 264     # determine if this is a peer slice
 265     peer = peers.get_peer(api, hrn)
 266     try:
 267         if peer:
 268             api.plshell.UnBindObjectFromPeer(api.plauth, 'slice', slice['slice_id'], peer)
 269         api.plshell.DeleteSliceFromNodes(api.plauth, slicename, slice['node_ids'])
 270     finally:
 271         if peer:
 272             api.plshell.BindObjectToPeer(api.plauth, 'slice', slice['slice_id'], peer, slice['peer_slice_id'])
 273     return 1
 274
 275 # xxx Thierry : caching at the aggregate level sounds wrong...
 276 #caching=True
 277 caching=False
 278 def ListSlices(api, creds, call_id):
 279     if Callids().already_handled(call_id): return []
 280     # look in cache first
 281     if caching and api.cache:
 282         slices = api.cache.get('slices')
 283         if slices:
 284             return slices
 285
 286     # get data from db
 287     slices = api.plshell.GetSlices(api.plauth, {'peer_id': None}, ['name'])
 288     slice_hrns = [slicename_to_hrn(api.hrn, slice['name']) for slice in slices]
 289     slice_urns = [hrn_to_urn(slice_hrn, 'slice') for slice_hrn in slice_hrns]
 290
 291     # cache the result
 292     if caching and api.cache:
 293         api.cache.add('slices', slice_urns)
 294
 295     return slice_urns
 296
 297 def ListResources(api, creds, options, call_id):
 298     if Callids().already_handled(call_id): return ""
 299     # get slice's hrn from options
 300     xrn = options.get('geni_slice_urn', None)
 301     (hrn, type) = urn_to_hrn(xrn)
 302
 303     version_manager = VersionManager()
 304     # get the rspec's return format from options
 305     rspec_version = version_manager.get_version(options.get('rspec_version'))
 306     version_string = "rspec_%s" % (rspec_version.to_string())
 307
 308     #panos adding the info option to the caching key (can be improved)
 309     if options.get('info'):
 310         version_string = version_string + "_"+options.get('info', 'default')
 311
 312     # look in cache first
 313     if caching and api.cache and not xrn:
 314         rspec = api.cache.get(version_string)
 315         if rspec:
 316             api.logger.info("aggregate.ListResources: returning cached value for hrn %s"%hrn)
 317             return rspec
 318
 319     #panos: passing user-defined options
 320     #print "manager options = ",options
 321     aggregate = Aggregate(api, options)
 322     rspec =  aggregate.get_rspec(slice_xrn=xrn, version=rspec_version)
 323
 324     # cache the result
 325     if caching and api.cache and not xrn:
 326         api.cache.add(version_string, rspec)
 327
 328     return rspec
 329
 330
 331 def get_ticket(api, xrn, creds, rspec, users):
 332
 333     reg_objects = __get_registry_objects(xrn, creds, users)
 334
 335     slice_hrn, type = urn_to_hrn(xrn)
 336     slices = Slices(api)
 337     peer = slices.get_peer(slice_hrn)
 338     sfa_peer = slices.get_sfa_peer(slice_hrn)
 339
 340     # get the slice record
 341     registry = api.registries[api.hrn]
 342     credential = api.getCredential()
 343     records = registry.Resolve(xrn, credential)
 344
 345     # similar to CreateSliver, we must verify that the required records exist
 346     # at this aggregate before we can issue a ticket
 347     site_id, remote_site_id = slices.verify_site(registry, credential, slice_hrn,
 348                                                  peer, sfa_peer, reg_objects)
 349     slice = slices.verify_slice(registry, credential, slice_hrn, site_id,
 350                                 remote_site_id, peer, sfa_peer, reg_objects)
 351
 352     # make sure we get a local slice record
 353     record = None
 354     for tmp_record in records:
 355         if tmp_record['type'] == 'slice' and \
 356            not tmp_record['peer_authority']:
 357             record = SliceRecord(dict=tmp_record)
 358     if not record:
 359         raise RecordNotFound(slice_hrn)
 360
 361     # get sliver info
 362     slivers = Slices(api).get_slivers(slice_hrn)
 363     if not slivers:
 364         raise SliverDoesNotExist(slice_hrn)
 365
 366     # get initscripts
 367     initscripts = []
 368     data = {
 369         'timestamp': int(time.time()),
 370         'initscripts': initscripts,
 371         'slivers': slivers
 372     }
 373
 374     # create the ticket
 375     object_gid = record.get_gid_object()
 376     new_ticket = SfaTicket(subject = object_gid.get_subject())
 377     new_ticket.set_gid_caller(api.auth.client_gid)
 378     new_ticket.set_gid_object(object_gid)
 379     new_ticket.set_issuer(key=api.key, subject=api.hrn)
 380     new_ticket.set_pubkey(object_gid.get_pubkey())
 381     new_ticket.set_attributes(data)
 382     new_ticket.set_rspec(rspec)
 383     #new_ticket.set_parent(api.auth.hierarchy.get_auth_ticket(auth_hrn))
 384     new_ticket.encode()
 385     new_ticket.sign()
 386
 387     return new_ticket.save_to_string(save_parents=True)
 388
 389
 390
 391 def main():
 392     api = SfaAPI()
 393     """
 394     rspec = ListResources(api, "plc.princeton.sapan", None, 'pl_test_sapan')
 395     #rspec = ListResources(api, "plc.princeton.coblitz", None, 'pl_test_coblitz')
 396     #rspec = ListResources(api, "plc.pl.sirius", None, 'pl_test_sirius')
 397     print rspec
 398     """
 399     f = open(sys.argv[1])
 400     xml = f.read()
 401     f.close()
 402     CreateSliver(api, "plc.princeton.sapan", xml, 'CreateSliver_sapan')
 403
 404 if __name__ == "__main__":
 405     main()