sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.xrn import get_authority
   5 from sfa.util.plxrn import hrn_to_pl_slicename, hostname_to_urn
   6 from sfa.util.faults import *
   7 from xmlbuilder import XMLBuilder
   8 from lxml import etree
   9 import sys
  10 from StringIO import StringIO
  11
  12
  13 class Sliver:
  14     def __init__(self, node):
  15         self.node = node
  16         self.network = node.network
  17         self.slice = node.network.slice
  18
  19     def toxml(self, xml):
  20         with xml.sliver:
  21             self.slice.tags_to_xml(xml, self.node)
  22
  23
  24 class Iface:
  25     def __init__(self, network, iface):
  26         self.network = network
  27         self.id = iface['interface_id']
  28         self.idtag = "i%s" % self.id
  29         self.ipv4 = iface['ip']
  30         self.bwlimit = iface['bwlimit']
  31         self.hostname = iface['hostname']
  32         self.primary = iface['is_primary']
  33
  34     def toxml(self, xml):
  35         """
  36         Just print out bwlimit right now
  37         """
  38         if self.bwlimit:
  39             with xml.bw_limit(units="kbps"):
  40                 xml << str(self.bwlimit / 1000)
  41
  42
  43 class Node:
  44     def __init__(self, network, node):
  45         self.network = network
  46         self.id = node['node_id']
  47         self.idtag = "n%s" % self.id
  48         self.hostname = node['hostname']
  49         self.site_id = node['site_id']
  50         self.iface_ids = node['interface_ids']
  51         self.sliver = None
  52         self.whitelist = node['slice_ids_whitelist']
  53         auth = self.network.api.hrn
  54         login_base = self.get_site().idtag
  55         self.urn = hostname_to_urn(auth, login_base, self.hostname)
  56
  57     def get_primary_iface(self):
  58         for id in self.iface_ids:
  59             iface = self.network.lookupIface(id)
  60             if iface.primary:
  61                 return iface
  62         return None
  63
  64     def get_site(self):
  65         return self.network.lookupSite(self.site_id)
  66
  67     def add_sliver(self):
  68         self.sliver = Sliver(self)
  69
  70     def toxml(self, xml):
  71         slice = self.network.slice
  72         if self.whitelist and not self.sliver:
  73             if not slice or slice.id not in self.whitelist:
  74                 return
  75
  76         with xml.node(id = self.idtag):
  77             with xml.hostname:
  78                 xml << self.hostname
  79             with xml.urn:
  80                 xml << self.urn
  81             iface = self.get_primary_iface()
  82             if iface:
  83                 iface.toxml(xml)
  84             if self.sliver:
  85                 self.sliver.toxml(xml)
  86
  87
  88 class Site:
  89     def __init__(self, network, site):
  90         self.network = network
  91         self.id = site['site_id']
  92         self.node_ids = site['node_ids']
  93         self.node_ids.sort()
  94         self.name = site['abbreviated_name']
  95         self.tag = site['login_base']
  96         self.idtag = site['login_base']
  97         self.public = site['is_public']
  98         self.enabled = site['enabled']
  99         self.links = set()
 100         self.whitelist = False
 101
 102     def get_sitenodes(self):
 103         n = []
 104         for i in self.node_ids:
 105             n.append(self.network.lookupNode(i))
 106         return n
 107
 108     def toxml(self, xml):
 109         if not (self.public and self.enabled and self.node_ids):
 110             return
 111         with xml.site(id = self.idtag):
 112             with xml.name:
 113                 xml << self.name
 114             for node in self.get_sitenodes():
 115                 node.toxml(xml)
 116
 117
 118 class Slice:
 119     def __init__(self, network, hrn, slice):
 120         self.hrn = hrn
 121         self.network = network
 122         self.id = slice['slice_id']
 123         self.name = slice['name']
 124         self.peer_id = slice['peer_id']
 125         self.node_ids = set(slice['node_ids'])
 126         self.slice_tag_ids = slice['slice_tag_ids']
 127
 128     """
 129     Use with tags that can have more than one instance
 130     """
 131     def get_multi_tag(self, tagname, node = None):
 132         tags = []
 133         for i in self.slice_tag_ids:
 134             try:
 135                 tag = self.network.lookupSliceTag(i)
 136                 if tag.tagname == tagname:
 137                     if node:
 138                         if node.id == tag.node_id:
 139                             tags.append(tag)
 140                     elif not tag.node_id:
 141                         tags.append(tag)
 142             except InvalidRSpec, e:
 143                 # As they're not needed, we ignore some tag types from
 144                 # GetSliceTags call. See Slicetag.ignore_tags
 145                 pass
 146         return tags
 147
 148     """
 149     Use with tags that have only one instance
 150     """
 151     def get_tag(self, tagname, node = None):
 152         try:
 153             for i in self.slice_tag_ids:
 154                 tag = self.network.lookupSliceTag(i)
 155                 if tag.tagname == tagname:
 156                     if node:
 157                         if node.id == tag.node_id:
 158                             return tag
 159                     elif not tag.node_id:
 160                         return tag
 161         except InvalidRSpec, e:
 162             # As they're not needed, we ignore some tag types from
 163             # GetSliceTags call. See Slicetag.ignore_tags
 164             pass
 165         return None
 166
 167     def get_nodes(self):
 168         n = []
 169         for id in self.node_ids:
 170             if id in self.network.nodes:
 171                 n.append(self.network.nodes[id])
 172         return n
 173
 174     # Add a new slice tag
 175     def add_tag(self, tagname, value, node = None, role_id = 30):
 176         tt = self.network.lookupTagType(tagname)
 177         if not tt.permit_update(role_id):
 178             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 179         tag = Slicetag()
 180         tag.initialize(tagname, value, node, self.network)
 181         self.network.tags[tag.id] = tag
 182         self.slice_tag_ids.append(tag.id)
 183         return tag
 184
 185     # Update a slice tag if it exists, else add it
 186     def update_tag(self, tagname, value, node = None, role_id = 30):
 187         tag = self.get_tag(tagname, node)
 188         if tag:
 189             if not tag.permit_update(role_id, value):
 190                 raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 191             tag.change(value)
 192         else:
 193             tag = self.add_tag(tagname, value, node, role_id)
 194         return tag
 195
 196     def update_multi_tag(self, tagname, value, node = None, role_id = 30):
 197         tags = self.get_multi_tag(tagname, node)
 198         for tag in tags:
 199             if tag and tag.value == value:
 200                 break
 201         else:
 202             tag = self.add_tag(tagname, value, node, role_id)
 203         return tag
 204
 205     def tags_to_xml(self, xml, node = None):
 206         tagtypes = self.network.getTagTypes()
 207         for tt in tagtypes:
 208             if tt.in_rspec:
 209                 if tt.multi:
 210                     tags = self.get_multi_tag(tt.tagname, node)
 211                     for tag in tags:
 212                         if not tag.was_deleted():  ### Debugging
 213                             xml << (tag.tagname, tag.value)
 214                 else:
 215                     tag = self.get_tag(tt.tagname, node)
 216                     if tag:
 217                         if not tag.was_deleted():   ### Debugging
 218                             xml << (tag.tagname, tag.value)
 219
 220     def toxml(self, xml):
 221         with xml.sliver_defaults:
 222             self.tags_to_xml(xml)
 223
 224
 225 class Slicetag:
 226     newid = -1
 227 #    filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category','min_role_id']
 228     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category']
 229     ignore_tags = ['hmac','ssh_key']
 230     def __init__(self, tag = None):
 231         if not tag:
 232             return
 233         self.id = tag['slice_tag_id']
 234         self.slice_id = tag['slice_id']
 235         self.tagname = tag['tagname']
 236         self.value = tag['value']
 237         self.node_id = tag['node_id']
 238         self.category = tag['category']
 239 #        self.min_role_id = tag['min_role_id']
 240         self.status = None
 241
 242     # Create a new slicetag that will be written to the DB later
 243     def initialize(self, tagname, value, node, network):
 244         tt = network.lookupTagType(tagname)
 245         self.id = Slicetag.newid
 246         Slicetag.newid -=1
 247         self.slice_id = network.slice.id
 248         self.tagname = tagname
 249         self.value = value
 250         if node:
 251             self.node_id = node.id
 252         else:
 253             self.node_id = None
 254         self.category = tt.category
 255 #        self.min_role_id = tt.min_role_id
 256         self.status = "new"
 257
 258     def permit_update(self, role_id, value = None):
 259         if value and self.value == value:
 260             return True
 261         # xxx FIXME - the new model in PLCAPI has roles and not min_role_id
 262         #if role_id > self.min_role_id:
 263         #    return False
 264         return False
 265
 266     def change(self, value):
 267         if self.value != value:
 268             self.value = value
 269             self.status = "change"
 270         else:
 271             self.status = "updated"
 272
 273     # Mark a tag as deleted
 274     def delete(self):
 275         self.status = "delete"
 276
 277     def was_added(self):
 278         return (self.id < 0)
 279
 280     def was_changed(self):
 281         return (self.status == "change")
 282
 283     def was_deleted(self):
 284         return (self.status == "delete")
 285
 286     def was_updated(self):
 287         return (self.status != None)
 288
 289     def write(self, api):
 290         if self.was_added():
 291             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 292                                     self.tagname, self.value, self.node_id)
 293         elif self.was_changed():
 294             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 295         elif self.was_deleted():
 296             api.plshell.DeleteSliceTag(api.plauth, self.id)
 297
 298
 299 class TagType:
 300     ignore_tags = ['hmac','ssh_key']
 301     def __init__(self, tagtype):
 302         self.id = tagtype['tag_type_id']
 303         self.category = tagtype['category']
 304         self.tagname = tagtype['tagname']
 305 #        self.min_role_id = tagtype['min_role_id']
 306         self.multi = False
 307         self.in_rspec = False
 308         if self.category == 'slice/rspec':
 309             self.in_rspec = True
 310         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 311             self.multi = True
 312
 313     def permit_update(self, role_id):
 314         # XXX FIXME ditto
 315         #if role_id > self.min_role_id:
 316         #    return False
 317         return False
 318
 319
 320 class Network:
 321     """
 322     A Network is a compound object consisting of:
 323     * a dictionary mapping site IDs to Site objects
 324     * a dictionary mapping node IDs to Node objects
 325     * a dictionary mapping interface IDs to Iface objects
 326     """
 327     def __init__(self, api, type = "SFA"):
 328         self.api = api
 329         self.type = type
 330         self.sites = self.get_sites(api)
 331         self.nodes = self.get_nodes(api)
 332         self.ifaces = self.get_ifaces(api)
 333         self.tags = self.get_slice_tags(api)
 334         self.tagtypes = self.get_tag_types(api)
 335         self.slice = None
 336         self.sitemap = {}
 337         for s in self.sites:
 338             site = self.sites[s]
 339             self.sitemap[site.idtag] = site.id
 340
 341     def lookupSiteIdtag(self, name):
 342         """ Lookup site id from name """
 343         val = None
 344         try:
 345             val = self.sitemap[name]
 346         except:
 347             raise InvalidRSpec("site name '%s' not found" % name)
 348         return val
 349
 350     def lookupSite(self, id):
 351         """ Lookup site based on id or idtag value """
 352         val = None
 353         if isinstance(id, basestring):
 354             id = self.lookupSiteIdtag(id)
 355         try:
 356             val = self.sites[id]
 357         except:
 358             raise InvalidRSpec("site ID %s not found" % id)
 359         return val
 360
 361     def getSites(self):
 362         sites = []
 363         for s in self.sites:
 364             sites.append(self.sites[s])
 365         return sites
 366
 367     def lookupNode(self, id):
 368         """ Lookup node based on id or idtag value """
 369         val = None
 370         if isinstance(id, basestring):
 371             id = int(id.lstrip('n'))
 372         try:
 373             val = self.nodes[id]
 374         except:
 375             raise InvalidRSpec("node ID %s not found" % id)
 376         return val
 377
 378     def getNodes(self):
 379         nodes = []
 380         for n in self.nodes:
 381             nodes.append(self.nodes[n])
 382         return nodes
 383
 384     def lookupIface(self, id):
 385         """ Lookup iface based on id or idtag value """
 386         val = None
 387         if isinstance(id, basestring):
 388             id = int(id.lstrip('i'))
 389         try:
 390             val = self.ifaces[id]
 391         except:
 392             raise InvalidRSpec("interface ID %s not found" % id)
 393         return val
 394
 395     def getIfaces(self):
 396         ifaces = []
 397         for i in self.ifaces:
 398             ifaces.append(self.ifaces[i])
 399         return ifaces
 400
 401     def nodesWithSlivers(self):
 402         nodes = []
 403         for n in self.nodes:
 404             node = self.nodes[n]
 405             if node.sliver:
 406                 nodes.append(node)
 407         return nodes
 408
 409     def lookupSliceTag(self, id):
 410         val = None
 411         try:
 412             val = self.tags[id]
 413         except:
 414             raise InvalidRSpec("slicetag ID %s not found" % id)
 415         return val
 416
 417     def getSliceTags(self):
 418         tags = []
 419         for t in self.tags:
 420             tags.append(self.tags[t])
 421         return tags
 422
 423     def lookupTagType(self, name):
 424         val = None
 425         try:
 426             val = self.tagtypes[name]
 427         except:
 428             raise InvalidRSpec("tag %s not found" % name)
 429         return val
 430
 431     def getTagTypes(self):
 432         tags = []
 433         for t in self.tagtypes:
 434             tags.append(self.tagtypes[t])
 435         return tags
 436
 437     def __process_attributes(self, element, node=None):
 438         """
 439         Process the elements under <sliver_defaults> or <sliver>
 440         """
 441         if element is None:
 442             return
 443
 444         tagtypes = self.getTagTypes()
 445         for tt in tagtypes:
 446             if tt.in_rspec:
 447                 if tt.multi:
 448                     for e in element.iterfind("./" + tt.tagname):
 449                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 450                 else:
 451                     e = element.find("./" + tt.tagname)
 452                     if e is not None:
 453                         self.slice.update_tag(tt.tagname, e.text, node)
 454
 455     def addRSpec(self, xml, schema=None):
 456         """
 457         Annotate the objects in the Network with information from the RSpec
 458         """
 459         try:
 460             tree = etree.parse(StringIO(xml))
 461         except etree.XMLSyntaxError:
 462             message = str(sys.exc_info()[1])
 463             raise InvalidRSpec(message)
 464
 465         # Filter out stuff that's not for us
 466         rspec = tree.getroot()
 467         for network in rspec.iterfind("./network"):
 468             if network.get("name") != self.api.hrn:
 469                 rspec.remove(network)
 470         for request in rspec.iterfind("./request"):
 471             if request.get("name") != self.api.hrn:
 472                 rspec.remove(request)
 473
 474         if schema:
 475             # Validate the incoming request against the RelaxNG schema
 476             relaxng_doc = etree.parse(schema)
 477             relaxng = etree.RelaxNG(relaxng_doc)
 478
 479             if not relaxng(tree):
 480                 error = relaxng.error_log.last_error
 481                 message = "%s (line %s)" % (error.message, error.line)
 482                 raise InvalidRSpec(message)
 483
 484         self.rspec = rspec
 485
 486         defaults = rspec.find(".//sliver_defaults")
 487         self.__process_attributes(defaults)
 488
 489         # Find slivers under node elements
 490         for sliver in rspec.iterfind("./network/site/node/sliver"):
 491             elem = sliver.getparent()
 492             try:
 493                 node = self.lookupNode(elem.get("id"))
 494             except:
 495                 # Don't worry about nodes from other aggregates
 496                 pass
 497             else:
 498                 node.add_sliver()
 499                 self.__process_attributes(sliver, node)
 500
 501         # Find slivers that specify nodeid
 502         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 503             try:
 504                 node = self.lookupNode(sliver.get("nodeid"))
 505             except:
 506                 # Don't worry about nodes from other aggregates
 507                 pass
 508             else:
 509                 node.add_sliver()
 510                 self.__process_attributes(sliver, node)
 511
 512         return
 513
 514     def addSlice(self):
 515         """
 516         Annotate the objects in the Network with information from the slice
 517         """
 518         slice = self.slice
 519         if not slice:
 520             raise InvalidRSpec("no slice associated with network")
 521
 522         for node in slice.get_nodes():
 523             node.add_sliver()
 524
 525     def updateSliceTags(self):
 526         """
 527         Write any slice tags that have been added or modified back to the DB
 528         """
 529         for tag in self.getSliceTags():
 530             if tag.category == 'slice/rspec' and not tag.was_updated() and tag.permit_update(None, 30):
 531                 # The user wants to delete this tag
 532                 tag.delete()
 533
 534         # Update slice tags in database
 535         for tag in self.getSliceTags():
 536             if tag.slice_id == self.slice.id:
 537                 tag.write(self.api)
 538
 539     def toxml(self):
 540         """
 541         Produce XML directly from the topology specification.
 542         """
 543         xml = XMLBuilder(format = True, tab_step = "  ")
 544         with xml.RSpec(type=self.type):
 545             if self.slice:
 546                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 547             else:
 548                 element = xml.network(name=self.api.hrn)
 549
 550             with element:
 551                 if self.slice:
 552                     self.slice.toxml(xml)
 553                 for site in self.getSites():
 554                     site.toxml(xml)
 555
 556         header = '<?xml version="1.0"?>\n'
 557         return header + str(xml)
 558
 559     def get_sites(self, api):
 560         """
 561         Create a dictionary of site objects keyed by site ID
 562         """
 563         tmp = []
 564         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 565             t = site['site_id'], Site(self, site)
 566             tmp.append(t)
 567         return dict(tmp)
 568
 569
 570     def get_nodes(self, api):
 571         """
 572         Create a dictionary of node objects keyed by node ID
 573         """
 574         tmp = []
 575         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 576             t = node['node_id'], Node(self, node)
 577             tmp.append(t)
 578         return dict(tmp)
 579
 580     def get_ifaces(self, api):
 581         """
 582         Create a dictionary of node objects keyed by node ID
 583         """
 584         tmp = []
 585         for iface in api.plshell.GetInterfaces(api.plauth):
 586             t = iface['interface_id'], Iface(self, iface)
 587             tmp.append(t)
 588         return dict(tmp)
 589
 590     def get_slice_tags(self, api):
 591         """
 592         Create a dictionary of slicetag objects keyed by slice tag ID
 593         """
 594         tmp = []
 595         for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields):
 596             t = tag['slice_tag_id'], Slicetag(tag)
 597             tmp.append(t)
 598         return dict(tmp)
 599
 600     def get_tag_types(self, api):
 601         """
 602         Create a list of tagtype obects keyed by tag name
 603         """
 604         tmp = []
 605         for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
 606             t = tag['tagname'], TagType(tag)
 607             tmp.append(t)
 608         return dict(tmp)
 609
 610     def get_slice(self, api, hrn):
 611         """
 612         Return a Slice object for a single slice
 613         """
 614         slicename = hrn_to_pl_slicename(hrn)
 615         slice = api.plshell.GetSlices(api.plauth, [slicename])
 616         if len(slice):
 617             self.slice = Slice(self, slicename, slice[0])
 618             return self.slice
 619         else:
 620             return None
 621
 622