sfa/rspecs/aggregates/rspec_manager_vini.py

   1 from sfa.util.faults import *
   2 from sfa.util.misc import *
   3 from sfa.util.rspec import Rspec
   4 from sfa.server.registry import Registries
   5 from sfa.plc.nodes import *
   6 from sfa.rspecs.aggregates.vini.utils import *
   7 from sfa.rspecs.aggregates.vini.rspec import *
   8 import sys
   9
  10 SFA_VINI_WHITELIST = '/etc/sfa/vini.whitelist'
  11
  12 """
  13 Copied from create_slice_aggregate() in sfa.plc.slices
  14 """
  15 def create_slice_vini_aggregate(api, hrn, nodes):
  16     # Get the slice record from geni
  17     slice = {}
  18     registries = Registries(api)
  19     registry = registries[api.hrn]
  20     credential = api.getCredential()
  21     records = registry.resolve(credential, hrn)
  22     for record in records:
  23         if record.get_type() in ['slice']:
  24             slice = record.as_dict()
  25     if not slice:
  26         raise RecordNotFound(hrn)
  27
  28     # Make sure slice exists at plc, if it doesnt add it
  29     slicename = hrn_to_pl_slicename(hrn)
  30     slices = api.plshell.GetSlices(api.plauth, [slicename], ['node_ids'])
  31     if not slices:
  32         parts = slicename.split("_")
  33         login_base = parts[0]
  34         # if site doesnt exist add it
  35         sites = api.plshell.GetSites(api.plauth, [login_base])
  36         if not sites:
  37             authority = get_authority(hrn)
  38             site_records = registry.resolve(credential, authority)
  39             site_record = {}
  40             if not site_records:
  41                 raise RecordNotFound(authority)
  42             site_record = site_records[0]
  43             site = site_record.as_dict()
  44
  45             # add the site
  46             site.pop('site_id')
  47             site_id = api.plshell.AddSite(api.plauth, site)
  48         else:
  49             site = sites[0]
  50
  51         slice_fields = {}
  52         slice_keys = ['name', 'url', 'description']
  53         for key in slice_keys:
  54             if key in slice and slice[key]:
  55                 slice_fields[key] = slice[key]
  56         api.plshell.AddSlice(api.plauth, slice_fields)
  57         slice = slice_fields
  58         slice['node_ids'] = 0
  59     else:
  60         slice = slices[0]
  61
  62     # get the list of valid slice users from the registry and make
  63     # they are added to the slice
  64     researchers = record.get('researcher', [])
  65     for researcher in researchers:
  66         person_record = {}
  67         person_records = registry.resolve(credential, researcher)
  68         for record in person_records:
  69             if record.get_type() in ['user']:
  70                 person_record = record
  71         if not person_record:
  72             pass
  73         person_dict = person_record.as_dict()
  74         persons = api.plshell.GetPersons(api.plauth, [person_dict['email']],
  75                                          ['person_id', 'key_ids'])
  76
  77         # Create the person record
  78         if not persons:
  79             person_id=api.plshell.AddPerson(api.plauth, person_dict)
  80
  81             # The line below enables the user account on the remote aggregate
  82             # soon after it is created.
  83             # without this the user key is not transfered to the slice
  84             # (as GetSlivers returns key of only enabled users),
  85             # which prevents the user from login to the slice.
  86             # We may do additional checks before enabling the user.
  87
  88             api.plshell.UpdatePerson(api.plauth, person_id, {'enabled' : True})
  89             key_ids = []
  90         else:
  91             key_ids = persons[0]['key_ids']
  92
  93         api.plshell.AddPersonToSlice(api.plauth, person_dict['email'],
  94                                      slicename)
  95
  96         # Get this users local keys
  97         keylist = api.plshell.GetKeys(api.plauth, key_ids, ['key'])
  98         keys = [key['key'] for key in keylist]
  99
 100         # add keys that arent already there
 101         for personkey in person_dict['keys']:
 102             if personkey not in keys:
 103                 key = {'key_type': 'ssh', 'key': personkey}
 104                 api.plshell.AddPersonKey(api.plauth, person_dict['email'], key)
 105
 106     # find out where this slice is currently running
 107     nodelist = api.plshell.GetNodes(api.plauth, slice['node_ids'],
 108                                     ['hostname'])
 109     hostnames = [node['hostname'] for node in nodelist]
 110
 111     # remove nodes not in rspec
 112     deleted_nodes = list(set(hostnames).difference(nodes))
 113     # add nodes from rspec
 114     added_nodes = list(set(nodes).difference(hostnames))
 115
 116     """
 117     print >> sys.stderr, "Slice on nodes:"
 118     for n in hostnames:
 119         print >> sys.stderr, n
 120     print >> sys.stderr, "Wants nodes:"
 121     for n in nodes:
 122         print >> sys.stderr, n
 123     print >> sys.stderr, "Deleting nodes:"
 124     for n in deleted_nodes:
 125         print >> sys.stderr, n
 126     print >> sys.stderr, "Adding nodes:"
 127     for n in added_nodes:
 128         print >> sys.stderr, n
 129     """
 130
 131     api.plshell.AddSliceToNodes(api.plauth, slicename, added_nodes)
 132     api.plshell.DeleteSliceFromNodes(api.plauth, slicename, deleted_nodes)
 133
 134     return 1
 135
 136 def get_rspec(api, hrn):
 137     rspec = ViniRspec()
 138     (sites, nodes, tags) = get_topology(api)
 139
 140     rspec.updateCapacity(sites, nodes)
 141
 142     if (hrn):
 143         slicename = hrn_to_pl_slicename(hrn)
 144         slice = get_slice(api, slicename)
 145         if slice:
 146             slice.hrn = hrn
 147             rspec.updateRequest(slice, nodes, tags)
 148         else:
 149             # call the default sfa.plc.nodes.get_rspec() method
 150             return Nodes(api).get_rspec(hrn)
 151
 152     return rspec.toxml()
 153
 154
 155 """
 156 Check the requested topology against the available topology and capacity
 157 """
 158 def check_request(hrn, rspec, nodes, sites, sitelinks, maxbw):
 159     linkspecs = rspec['Rspec']['Request'][0]['NetSpec'][0]['LinkSpec']
 160     if linkspecs:
 161         for l in linkspecs:
 162             n1 = Node.lookup(l['endpoint'][0])
 163             n2 = Node.lookup(l['endpoint'][1])
 164             bw = l['bw'][0]
 165             reqbps = get_tc_rate(bw)
 166             maxbps = get_tc_rate(maxbw)
 167
 168             if reqbps <= 0:
 169                 raise GeniInvalidArgument(bw, "BW")
 170             if reqbps > maxbps:
 171                 raise PermissionError(" %s requested %s but max BW is %s" %
 172                                       (hrn, bw, maxbw))
 173
 174             if adjacent_nodes(n1, n2, sites, sitelinks):
 175                 availbps = get_avail_bps(n1, n2, sites, sitelinks)
 176                 if availbps < reqbps:
 177                     raise PermissionError("%s: capacity exceeded" % hrn)
 178             else:
 179                 raise PermissionError("%s: nodes %s and %s not adjacent"
 180                                       % (hrn, n1.tag, n2.tag))
 181
 182 """
 183 Hook called via 'sfi.py create'
 184 """
 185 def create_slice(api, hrn, xml):
 186     r = Rspec(xml)
 187     rspec = r.toDict()
 188
 189     ### Check the whitelist
 190     ### It consists of lines of the form: <slice hrn> <bw>
 191     whitelist = {}
 192     f = open(SFA_VINI_WHITELIST)
 193     for line in f.readlines():
 194         (slice, maxbw) = line.split()
 195         whitelist[slice] = maxbw
 196
 197     if hrn in whitelist:
 198         maxbw = whitelist[hrn]
 199     else:
 200         raise PermissionError("%s not in VINI whitelist" % hrn)
 201
 202     # Construct picture of global topology
 203     (sites, nodes, tags) = get_topology(api)
 204
 205     # Check request against current allocations
 206     #check_request(hrn, rspec, nodes, sites, sitelinks, maxbw)
 207
 208     nodes = rspec_to_nodeset(rspec)
 209     create_slice_vini_aggregate(api, hrn, nodes)
 210
 211     # Add VINI-specific topology attributes to slice here
 212     try:
 213         linkspecs = rspec['Rspec']['Request'][0]['NetSpec'][0]['LinkSpec']
 214         if linkspecs:
 215             slicename = hrn_to_pl_slicename(hrn)
 216             slice = get_slice(api, slicename)
 217             if slice:
 218                 slice.update_tag('vini_topo', 'manual', tags)
 219                 slice.assign_egre_key(tags)
 220                 slice.turn_on_netns(tags)
 221                 slice.add_cap_net_admin(tags)
 222
 223                 nodedict = {}
 224                 for (k, v) in get_nodedict(rspec).iteritems():
 225                     for id in nodes:
 226                         if v == nodes[id].hostname:
 227                             nodedict[k] = nodes[id]
 228
 229                 for l in linkspecs:
 230                     n1 = nodedict[l['endpoint'][0]]
 231                     n2 = nodedict[l['endpoint'][1]]
 232                     bw = l['bw'][0]
 233                     n1.add_link(n2, bw)
 234                     n2.add_link(n1, bw)
 235
 236                 for node in slice.get_nodes(nodes):
 237                     if node.links:
 238                         topo_str = "%s" % node.links
 239                         slice.update_tag('topo_rspec', topo_str, tags, node)
 240
 241                 # Update slice tags in database
 242                 for i in tags:
 243                     tag = tags[i]
 244                     if tag.slice_id == slice.id:
 245                         if tag.tagname == 'topo_rspec' and not tag.updated:
 246                             tag.delete()
 247                         tag.write(api)
 248     except KeyError:
 249         # Bad Rspec
 250         pass
 251
 252
 253     return True
 254
 255 def get_nodedict(rspec):
 256     nodedict = {}
 257     try:
 258         sitespecs = rspec['Rspec']['Capacity'][0]['NetSpec'][0]['SiteSpec']
 259         for s in sitespecs:
 260             for node in s['NodeSpec']:
 261                 nodedict[node['name']] = node['hostname'][0]
 262     except KeyError:
 263         pass
 264
 265     return nodedict
 266
 267
 268 def rspec_to_nodeset(rspec):
 269     nodes = set()
 270     try:
 271         nodedict = get_nodedict(rspec)
 272         linkspecs = rspec['Rspec']['Request'][0]['NetSpec'][0]['LinkSpec']
 273         for l in linkspecs:
 274             for e in l['endpoint']:
 275                 nodes.add(nodedict[e])
 276     except KeyError:
 277         # Bad Rspec
 278         pass
 279
 280     return nodes
 281
 282 def main():
 283     r = Rspec()
 284     r.parseFile(sys.argv[1])
 285     rspec = r.toDict()
 286     create_slice(None,'plc',rspec)
 287
 288 if __name__ == "__main__":
 289     main()