sfa/senslab/slabdriver.py

   1 import sys
   2
   3 from sfa.util.faults import MissingSfaInfo
   4 from sfa.util.sfalogging import logger
   5 from sfa.util.table import SfaTable
   6 from sfa.util.defaultdict import defaultdict
   7
   8 from sfa.managers.driver import Driver
   9 from sfa.rspecs.version_manager import VersionManager
  10
  11 from sfa.util.xrn import hrn_to_urn
  12 from sfa.util.plxrn import slicename_to_hrn, hostname_to_hrn, hrn_to_pl_slicename, hrn_to_pl_login_base
  13
  14 ## thierry: everything that is API-related (i.e. handling incoming requests)
  15 # is taken care of
  16 # SlabDriver should be really only about talking to the senslab testbed
  17
  18 ## thierry : please avoid wildcard imports :)
  19 from sfa.senslab.OARrestapi import OARapi, OARrestapi
  20 from sfa.senslab.LDAPapi import LDAPapi
  21 from sfa.senslab.SenslabImportUsers import SenslabImportUsers
  22 from sfa.senslab.parsing import parse_filter
  23 from sfa.senslab.slabpostgres import SlabDB
  24
  25 def list_to_dict(recs, key):
  26     """
  27     convert a list of dictionaries into a dictionary keyed on the
  28     specified dictionary key
  29     """
  30    # print>>sys.stderr, " \r\n \t\t 1list_to_dict : rec %s  \r\n \t\t list_to_dict key %s" %(recs,key)
  31     keys = [rec[key] for rec in recs]
  32     #print>>sys.stderr, " \r\n \t\t list_to_dict : rec %s  \r\n \t\t list_to_dict keys %s" %(recs,keys)
  33     return dict(zip(keys, recs))
  34
  35 # thierry : note
  36 # this inheritance scheme is so that the driver object can receive
  37 # GetNodes or GetSites sorts of calls directly
  38 # and thus minimize the differences in the managers with the pl version
  39 class SlabDriver(Driver):
  40
  41     def __init__(self, config):
  42         Driver.__init__ (self, config)
  43         self.config=config
  44         self.hrn = config.SFA_INTERFACE_HRN
  45
  46         self.root_auth = config.SFA_REGISTRY_ROOT_AUTH
  47
  48
  49         print >>sys.stderr, "\r\n_____________ SFA SENSLAB DRIVER \r\n"
  50         # thierry - just to not break the rest of this code
  51
  52
  53         self.oar = OARapi()
  54         self.ldap = LDAPapi()
  55         self.users = SenslabImportUsers()
  56         self.time_format = "%Y-%m-%d %H:%M:%S"
  57         self.db = SlabDB()
  58         #self.logger=sfa_logger()
  59         self.cache=None
  60
  61
  62
  63     def create_sliver (self, slice_urn, slice_hrn, creds, rspec_string, users, options):
  64
  65         aggregate = SlabAggregate(self)
  66         slices = SlabSlices(self)
  67         peer = slices.get_peer(slice_hrn)
  68         sfa_peer = slices.get_sfa_peer(slice_hrn)
  69         slice_record=None
  70         if users:
  71             slice_record = users[0].get('slice_record', {})
  72
  73         # parse rspec
  74         rspec = RSpec(rspec_string)
  75         requested_attributes = rspec.version.get_slice_attributes()
  76
  77         # ensure site record exists
  78         site = slices.verify_site(slice_hrn, slice_record, peer, sfa_peer, options=options)
  79         # ensure slice record exists
  80         slice = slices.verify_slice(slice_hrn, slice_record, peer, sfa_peer, options=options)
  81         # ensure person records exists
  82         persons = slices.verify_persons(slice_hrn, slice, users, peer, sfa_peer, options=options)
  83         # ensure slice attributes exists
  84         #slices.verify_slice_attributes(slice, requested_attributes, options=options)
  85
  86         # add/remove slice from nodes
  87         requested_slivers = [node.get('component_name') for node in rspec.version.get_nodes_with_slivers()]
  88         nodes = slices.verify_slice_nodes(slice, requested_slivers, peer)
  89
  90         # add/remove links links
  91         #slices.verify_slice_links(slice, rspec.version.get_link_requests(), nodes)
  92
  93         # handle MyPLC peer association.
  94         # only used by plc and ple.
  95         #slices.handle_peer(site, slice, persons, peer)
  96
  97         return aggregate.get_rspec(slice_xrn=slice_urn, version=rspec.version)
  98
  99
 100     def delete_sliver (self, slice_urn, slice_hrn, creds, options):
 101
 102         slices = self.GetSlices({'slice_hrn': slice_hrn})
 103         if not slices:
 104             return 1
 105         slice = slices[0]
 106
 107         # determine if this is a peer slice
 108         # xxx I wonder if this would not need to use PlSlices.get_peer instead
 109         # in which case plc.peers could be deprecated as this here
 110         # is the only/last call to this last method in plc.peers
 111         peer = peers.get_peer(self, slice_hrn)
 112         try:
 113             if peer:
 114                 self.UnBindObjectFromPeer('slice', slice['slice_id'], peer)
 115             self.DeleteSliceFromNodes(slice_hrn, slice['node_ids'])
 116         finally:
 117             if peer:
 118                 self.BindObjectToPeer('slice', slice['slice_id'], peer, slice['peer_slice_id'])
 119         return 1
 120
 121
 122
 123
 124     # first 2 args are None in case of resource discovery
 125     def list_resources (self, slice_urn, slice_hrn, creds, options):
 126         #cached_requested = options.get('cached', True)
 127
 128         version_manager = VersionManager()
 129         # get the rspec's return format from options
 130         rspec_version = version_manager.get_version(options.get('geni_rspec_version'))
 131         version_string = "rspec_%s" % (rspec_version)
 132
 133         #panos adding the info option to the caching key (can be improved)
 134         if options.get('info'):
 135             version_string = version_string + "_"+options.get('info', 'default')
 136
 137         # look in cache first
 138         #if cached_requested and self.cache and not slice_hrn:
 139             #rspec = self.cache.get(version_string)
 140             #if rspec:
 141                 #logger.debug("SlabDriver.ListResources: returning cached advertisement")
 142                 #return rspec
 143
 144         #panos: passing user-defined options
 145         #print "manager options = ",options
 146         aggregate = SlabAggregate(self)
 147         rspec =  aggregate.get_rspec(slice_xrn=slice_urn, version=rspec_version,
 148                                      options=options)
 149
 150         # cache the result
 151         #if self.cache and not slice_hrn:
 152             #logger.debug("Slab.ListResources: stores advertisement in cache")
 153             #self.cache.add(version_string, rspec)
 154
 155         return rspec
 156
 157     def GetPersons(self, person_filter=None, return_fields=None):
 158
 159         person_list = self.ldap.ldapFind({'authority': self.root_auth })
 160
 161         #check = False
 162         #if person_filter and isinstance(person_filter, dict):
 163             #for k in  person_filter.keys():
 164                 #if k in person_list[0].keys():
 165                     #check = True
 166
 167         return_person_list = parse_filter(person_list,person_filter ,'persons', return_fields)
 168         if return_person_list:
 169             print>>sys.stderr, " \r\n GetPersons person_filter %s return_fields %s return_person_list %s " %(person_filter,return_fields,return_person_list)
 170             return return_person_list
 171
 172     def GetNodes(self,node_filter= None, return_fields=None):
 173
 174         self.oar.parser.SendRequest("GET_resources_full")
 175         node_dict = self.oar.parser.GetNodesFromOARParse()
 176         return_node_list = []
 177
 178         if not (node_filter or return_fields):
 179                 return_node_list = node_dict.values()
 180                 return return_node_list
 181
 182         return_node_list= parse_filter(node_dict.values(),node_filter ,'node', return_fields)
 183         return return_node_list
 184
 185     def GetSites(self, auth, site_filter = None, return_fields=None):
 186         self.oar.parser.SendRequest("GET_resources_full")
 187         site_dict = self.oar.parser.GetSitesFromOARParse()
 188         return_site_list = []
 189         site = site_dict.values()[0]
 190         if not (site_filter or return_fields):
 191                 return_site_list = site_dict.values()
 192                 return return_site_list
 193
 194         return_site_list = parse_filter(site_dict.values(),site_filter ,'site', return_fields)
 195         return return_site_list
 196
 197     def GetSlices(self,slice_filter = None, return_fields=None):
 198
 199         return_slice_list =[]
 200         sliceslist = self.db.find('slice',columns = ['slice_hrn', 'record_id_slice','record_id_user'])
 201         print >>sys.stderr, " \r\n \r\n SLABDRIVER.PY  GetSlices  slices %s" %(sliceslist)
 202         #slicesdict = sliceslist[0]
 203         if not (slice_filter or return_fields):
 204                 return_slice_list = sliceslist
 205                 return  return_slice_list
 206
 207         return_slice_list  = parse_filter(sliceslist, slice_filter,'slice', return_fields)
 208         print >>sys.stderr, " \r\n \r\n SLABDRIVER.PY  GetSlices  return_slice_list %s" %(return_slice_list)
 209         return return_slice_list
 210
 211     def testbed_name (self): return "senslab2"
 212
 213     # 'geni_request_rspec_versions' and 'geni_ad_rspec_versions' are mandatory
 214     def aggregate_version (self):
 215         version_manager = VersionManager()
 216         ad_rspec_versions = []
 217         request_rspec_versions = []
 218         for rspec_version in version_manager.versions:
 219             if rspec_version.content_type in ['*', 'ad']:
 220                 ad_rspec_versions.append(rspec_version.to_dict())
 221             if rspec_version.content_type in ['*', 'request']:
 222                 request_rspec_versions.append(rspec_version.to_dict())
 223         return {
 224             'testbed':self.testbed_name(),
 225             'geni_request_rspec_versions': request_rspec_versions,
 226             'geni_ad_rspec_versions': ad_rspec_versions,
 227             }
 228
 229
 230
 231
 232
 233
 234     ##
 235     # Convert SFA fields to PLC fields for use when registering up updating
 236     # registry record in the PLC database
 237     #
 238     # @param type type of record (user, slice, ...)
 239     # @param hrn human readable name
 240     # @param sfa_fields dictionary of SFA fields
 241     # @param pl_fields dictionary of PLC fields (output)
 242
 243     def sfa_fields_to_pl_fields(self, type, hrn, record):
 244
 245         def convert_ints(tmpdict, int_fields):
 246             for field in int_fields:
 247                 if field in tmpdict:
 248                     tmpdict[field] = int(tmpdict[field])
 249
 250         pl_record = {}
 251         #for field in record:
 252         #    pl_record[field] = record[field]
 253
 254         if type == "slice":
 255             if not "instantiation" in pl_record:
 256                 pl_record["instantiation"] = "plc-instantiated"
 257             pl_record["name"] = hrn_to_pl_slicename(hrn)
 258             if "url" in record:
 259                pl_record["url"] = record["url"]
 260             if "description" in record:
 261                 pl_record["description"] = record["description"]
 262             if "expires" in record:
 263                 pl_record["expires"] = int(record["expires"])
 264
 265         elif type == "node":
 266             if not "hostname" in pl_record:
 267                 if not "hostname" in record:
 268                     raise MissingSfaInfo("hostname")
 269                 pl_record["hostname"] = record["hostname"]
 270             if not "model" in pl_record:
 271                 pl_record["model"] = "geni"
 272
 273         elif type == "authority":
 274             pl_record["login_base"] = hrn_to_pl_login_base(hrn)
 275
 276             if not "name" in pl_record:
 277                 pl_record["name"] = hrn
 278
 279             if not "abbreviated_name" in pl_record:
 280                 pl_record["abbreviated_name"] = hrn
 281
 282             if not "enabled" in pl_record:
 283                 pl_record["enabled"] = True
 284
 285             if not "is_public" in pl_record:
 286                 pl_record["is_public"] = True
 287
 288         return pl_record
 289
 290
 291
 292
 293     def AddSliceToNodes(self,  slice_name, added_nodes, slice_user=None):
 294         print>>sys.stderr, "\r\n \r\n AddSliceToNodes  slice_name %s added_nodes %s username %s" %(slice_name,added_nodes,slice_user )
 295         site_list = []
 296         nodeid_list =[]
 297         resource = ""
 298         reqdict = {}
 299         reqdict['property'] ="network_address in ("
 300         for node in added_nodes:
 301             #Get the ID of the node : remove the root auth and put the site in a separate list
 302             tmp = node.strip(self.root_auth+".")
 303             l = tmp.split("_")
 304
 305             nodeid= (l[len(l)-1])
 306             reqdict['property'] += "'"+ nodeid +"', "
 307             nodeid_list.append(nodeid)
 308             site_list.append( l[0] )
 309
 310         reqdict['property'] =  reqdict['property'][0: len( reqdict['property'])-2] +")"
 311         reqdict['resource'] ="network_address="+ str(len(nodeid_list))
 312         reqdict['resource']+= ",walltime=" + str(00) + ":" + str(05) + ":" + str(00)
 313         reqdict['script_path'] = "/bin/sleep "
 314
 315         print>>sys.stderr, "\r\n \r\n AddSliceToNodes reqdict   %s \r\n site_list   %s"  %(reqdict,site_list)
 316         #OAR = OARrestapi()
 317         #answer = OAR.POSTRequestToOARRestAPI('POST_job',reqdict,slice_user)
 318         #print>>sys.stderr, "\r\n \r\n AddSliceToNodes jobid   %s "  %(answer)
 319         #self.db.update('slice',['oar_job_id'], [answer['id']], 'slice_hrn', slice_name)
 320         return
 321
 322
 323
 324
 325     def DeleteSliceFromNodes(self, slice_name, deleted_nodes):
 326         return
 327
 328
 329
 330     def fill_record_sfa_info(self, records):
 331
 332         def startswith(prefix, values):
 333             return [value for value in values if value.startswith(prefix)]
 334
 335         # get person ids
 336         person_ids = []
 337         site_ids = []
 338         for record in records:
 339             person_ids.extend(record.get("person_ids", []))
 340             site_ids.extend(record.get("site_ids", []))
 341             if 'site_id' in record:
 342                 site_ids.append(record['site_id'])
 343
 344         #print>>sys.stderr, "\r\n \r\n _fill_record_sfa_info ___person_ids %s \r\n \t\t site_ids %s " %(person_ids, site_ids)
 345
 346         # get all pis from the sites we've encountered
 347         # and store them in a dictionary keyed on site_id
 348         site_pis = {}
 349         if site_ids:
 350             pi_filter = {'|roles': ['pi'], '|site_ids': site_ids}
 351             pi_list = self.GetPersons( pi_filter, ['person_id', 'site_ids'])
 352             #print>>sys.stderr, "\r\n \r\n _fill_record_sfa_info ___ GetPersons ['person_id', 'site_ids'] pi_ilist %s" %(pi_list)
 353
 354             for pi in pi_list:
 355                 # we will need the pi's hrns also
 356                 person_ids.append(pi['person_id'])
 357
 358                 # we also need to keep track of the sites these pis
 359                 # belong to
 360                 for site_id in pi['site_ids']:
 361                     if site_id in site_pis:
 362                         site_pis[site_id].append(pi)
 363                     else:
 364                         site_pis[site_id] = [pi]
 365
 366         # get sfa records for all records associated with these records.
 367         # we'll replace pl ids (person_ids) with hrns from the sfa records
 368         # we obtain
 369
 370         # get the sfa records
 371         table = SfaTable()
 372         person_list, persons = [], {}
 373         person_list = table.find({'type': 'user', 'pointer': person_ids})
 374         # create a hrns keyed on the sfa record's pointer.
 375         # Its possible for  multiple records to have the same pointer so
 376         # the dict's value will be a list of hrns.
 377         persons = defaultdict(list)
 378         for person in person_list:
 379             persons[person['pointer']].append(person)
 380
 381         # get the pl records
 382         pl_person_list, pl_persons = [], {}
 383         pl_person_list = self.GetPersons(person_ids, ['person_id', 'roles'])
 384         pl_persons = list_to_dict(pl_person_list, 'person_id')
 385         #print>>sys.stderr, "\r\n \r\n _fill_record_sfa_info ___  _list %s \r\n \t\t SenslabUsers.GetPersons ['person_id', 'roles'] pl_persons %s \r\n records %s" %(pl_person_list, pl_persons,records)
 386         # fill sfa info
 387
 388         for record in records:
 389             # skip records with no pl info (top level authorities)
 390             #Sandrine 24 oct 11 2 lines
 391             #if record['pointer'] == -1:
 392                 #continue
 393             sfa_info = {}
 394             type = record['type']
 395             if (type == "slice"):
 396                 # all slice users are researchers
 397                 #record['geni_urn'] = hrn_to_urn(record['hrn'], 'slice')  ? besoin ou pas ?
 398                 record['PI'] = []
 399                 record['researcher'] = []
 400                 for person_id in record.get('person_ids', []):
 401                          #Sandrine 24 oct 11 line
 402                 #for person_id in record['person_ids']:
 403                     hrns = [person['hrn'] for person in persons[person_id]]
 404                     record['researcher'].extend(hrns)
 405
 406                 # pis at the slice's site
 407                 pl_pis = site_pis[record['site_id']]
 408                 pi_ids = [pi['person_id'] for pi in pl_pis]
 409                 for person_id in pi_ids:
 410                     hrns = [person['hrn'] for person in persons[person_id]]
 411                     record['PI'].extend(hrns)
 412                 record['geni_urn'] = hrn_to_urn(record['hrn'], 'slice')
 413                 record['geni_creator'] = record['PI']
 414
 415             elif (type == "authority"):
 416                 record['PI'] = []
 417                 record['operator'] = []
 418                 record['owner'] = []
 419                 for pointer in record['person_ids']:
 420                     if pointer not in persons or pointer not in pl_persons:
 421                         # this means there is not sfa or pl record for this user
 422                         continue
 423                     hrns = [person['hrn'] for person in persons[pointer]]
 424                     roles = pl_persons[pointer]['roles']
 425                     if 'pi' in roles:
 426                         record['PI'].extend(hrns)
 427                     if 'tech' in roles:
 428                         record['operator'].extend(hrns)
 429                     if 'admin' in roles:
 430                         record['owner'].extend(hrns)
 431                     # xxx TODO: OrganizationName
 432             elif (type == "node"):
 433                 sfa_info['dns'] = record.get("hostname", "")
 434                 # xxx TODO: URI, LatLong, IP, DNS
 435
 436             elif (type == "user"):
 437                  sfa_info['email'] = record.get("email", "")
 438                  sfa_info['geni_urn'] = hrn_to_urn(record['hrn'], 'user')
 439                  sfa_info['geni_certificate'] = record['gid']
 440                 # xxx TODO: PostalAddress, Phone
 441
 442             #print>>sys.stderr, "\r\n \r\rn \t\t \t <<<<<<<<<<<<<<<<<<<<<<<<  fill_record_sfa_info sfa_info %s  \r\n record %s : "%(sfa_info,record)
 443             record.update(sfa_info)
 444
 445     def augment_records_with_testbed_info (self, sfa_records):
 446         return self.fill_record_info (sfa_records)
 447
 448     def fill_record_info(self, records):
 449         """
 450         Given a SFA record, fill in the senslab specific and SFA specific
 451         fields in the record.
 452         """
 453         print >>sys.stderr, "\r\n \t\t BEFORE fill_record_pl_info %s" %(records)
 454         if isinstance(records, list):
 455             records = records[0]
 456         #print >>sys.stderr, "\r\n \t\t BEFORE fill_record_pl_info %s" %(records)
 457
 458
 459         if records['type'] == 'slice':
 460
 461             sfatable = SfaTable()
 462             recslice = self.db.find('slice',str(records['hrn']))
 463             if isinstance(recslice,list) and len(recslice) == 1:
 464                 recslice = recslice[0]
 465             recuser = sfatable.find(  recslice['record_id_user'], ['hrn'])
 466
 467             print >>sys.stderr, "\r\n \t\t  SLABDRIVER.PY fill_record_info %s" %(recuser)
 468             records['type']
 469             if isinstance(recuser,list) and len(recuser) == 1:
 470                 recuser = recuser[0]
 471             records.update({'PI':[recuser['hrn']],
 472             'researcher': [recuser['hrn']],
 473             'name':records['hrn'], 'oar_job_id':recslice['oar_job_id'],
 474
 475             'node_ids': [],
 476             'person_ids':[recslice['record_id_user']]})
 477
 478         #self.fill_record_pl_info(records)
 479         ##print >>sys.stderr, "\r\n \t\t after fill_record_pl_info %s" %(records)
 480         #self.fill_record_sfa_info(records)
 481         #print >>sys.stderr, "\r\n \t\t after fill_record_sfa_info"
 482
 483     def update_membership_list(self, oldRecord, record, listName, addFunc, delFunc):
 484         # get a list of the HRNs tht are members of the old and new records
 485         if oldRecord:
 486             oldList = oldRecord.get(listName, [])
 487         else:
 488             oldList = []
 489         newList = record.get(listName, [])
 490
 491         # if the lists are the same, then we don't have to update anything
 492         if (oldList == newList):
 493             return
 494
 495         # build a list of the new person ids, by looking up each person to get
 496         # their pointer
 497         newIdList = []
 498         table = SfaTable()
 499         records = table.find({'type': 'user', 'hrn': newList})
 500         for rec in records:
 501             newIdList.append(rec['pointer'])
 502
 503         # build a list of the old person ids from the person_ids field
 504         if oldRecord:
 505             oldIdList = oldRecord.get("person_ids", [])
 506             containerId = oldRecord.get_pointer()
 507         else:
 508             # if oldRecord==None, then we are doing a Register, instead of an
 509             # update.
 510             oldIdList = []
 511             containerId = record.get_pointer()
 512
 513     # add people who are in the new list, but not the oldList
 514         for personId in newIdList:
 515             if not (personId in oldIdList):
 516                 addFunc(self.plauth, personId, containerId)
 517
 518         # remove people who are in the old list, but not the new list
 519         for personId in oldIdList:
 520             if not (personId in newIdList):
 521                 delFunc(self.plauth, personId, containerId)
 522
 523     def update_membership(self, oldRecord, record):
 524         print >>sys.stderr, " \r\n \r\n ***SLABDRIVER.PY update_membership record ", record
 525         if record.type == "slice":
 526             self.update_membership_list(oldRecord, record, 'researcher',
 527                                         self.users.AddPersonToSlice,
 528                                         self.users.DeletePersonFromSlice)
 529         elif record.type == "authority":
 530             # xxx TODO
 531             pass
 532
 533 ### thierry
 534 # I don't think you plan on running a component manager at this point
 535 # let me clean up the mess of ComponentAPI that is deprecated anyways