sfa/plc/network.py

   1 from __future__ import with_statement
   2 import sys
   3 import re
   4 import socket
   5 from StringIO import StringIO
   6 from lxml import etree
   7 from xmlbuilder import XMLBuilder
   8
   9 from sfa.util.faults import *
  10 #from sfa.util.sfalogging import sfa_logger
  11 from sfa.util.xrn import get_authority
  12 from sfa.util.plxrn import hrn_to_pl_slicename, hostname_to_urn
  13
  14 class Sliver:
  15     def __init__(self, node):
  16         self.node = node
  17         self.network = node.network
  18         self.slice = node.network.slice
  19
  20     def toxml(self, xml):
  21         with xml.sliver:
  22             self.slice.tags_to_xml(xml, self.node)
  23
  24
  25 class Iface:
  26     def __init__(self, network, iface):
  27         self.network = network
  28         self.id = iface['interface_id']
  29         self.idtag = "i%s" % self.id
  30         self.ipv4 = iface['ip']
  31         self.bwlimit = iface['bwlimit']
  32         self.hostname = iface['hostname']
  33         self.primary = iface['is_primary']
  34
  35     def toxml(self, xml):
  36         """
  37         Just print out bwlimit right now
  38         """
  39         if self.bwlimit:
  40             with xml.bw_limit(units="kbps"):
  41                 xml << str(self.bwlimit / 1000)
  42
  43
  44 class Node:
  45     def __init__(self, network, node):
  46         self.network = network
  47         self.id = node['node_id']
  48         self.idtag = "n%s" % self.id
  49         self.hostname = node['hostname']
  50         self.site_id = node['site_id']
  51         self.iface_ids = node['interface_ids']
  52         self.sliver = None
  53         self.whitelist = node['slice_ids_whitelist']
  54         auth = self.network.api.hrn
  55         login_base = self.get_site().idtag
  56         self.urn = hostname_to_urn(auth, login_base, self.hostname)
  57
  58     def get_primary_iface(self):
  59         for id in self.iface_ids:
  60             iface = self.network.lookupIface(id)
  61             if iface.primary:
  62                 return iface
  63         return None
  64
  65     def get_site(self):
  66         return self.network.lookupSite(self.site_id)
  67
  68     def add_sliver(self):
  69         self.sliver = Sliver(self)
  70
  71     def toxml(self, xml):
  72         slice = self.network.slice
  73         if self.whitelist and not self.sliver:
  74             if not slice or slice.id not in self.whitelist:
  75                 return
  76
  77         with xml.node(id = self.idtag):
  78             with xml.hostname:
  79                 xml << self.hostname
  80             with xml.urn:
  81                 xml << self.urn
  82             iface = self.get_primary_iface()
  83             if iface:
  84                 iface.toxml(xml)
  85             if self.sliver:
  86                 self.sliver.toxml(xml)
  87
  88
  89 class Site:
  90     def __init__(self, network, site):
  91         self.network = network
  92         self.id = site['site_id']
  93         self.node_ids = site['node_ids']
  94         self.node_ids.sort()
  95         self.name = site['abbreviated_name']
  96         self.tag = site['login_base']
  97         self.idtag = site['login_base']
  98         self.public = site['is_public']
  99         self.enabled = site['enabled']
 100         self.links = set()
 101         self.whitelist = False
 102
 103     def get_sitenodes(self):
 104         n = []
 105         for i in self.node_ids:
 106             n.append(self.network.lookupNode(i))
 107         return n
 108
 109     def toxml(self, xml):
 110         if not (self.public and self.enabled and self.node_ids):
 111             return
 112         with xml.site(id = self.idtag):
 113             with xml.name:
 114                 xml << self.name
 115             for node in self.get_sitenodes():
 116                 node.toxml(xml)
 117
 118
 119 class Slice:
 120     def __init__(self, network, hrn, slice):
 121         self.hrn = hrn
 122         self.network = network
 123         self.id = slice['slice_id']
 124         self.name = slice['name']
 125         self.peer_id = slice['peer_id']
 126         self.node_ids = set(slice['node_ids'])
 127         self.slice_tag_ids = slice['slice_tag_ids']
 128
 129     """
 130     Use with tags that can have more than one instance
 131     """
 132     def get_multi_tag(self, tagname, node = None):
 133         tags = []
 134         for i in self.slice_tag_ids:
 135             try:
 136                 tag = self.network.lookupSliceTag(i)
 137                 if tag.tagname == tagname:
 138                     if node:
 139                         if node.id == tag.node_id:
 140                             tags.append(tag)
 141                     elif not tag.node_id:
 142                         tags.append(tag)
 143             except InvalidRSpec, e:
 144                 # As they're not needed, we ignore some tag types from
 145                 # GetSliceTags call. See Slicetag.ignore_tags
 146                 pass
 147         return tags
 148
 149     """
 150     Use with tags that have only one instance
 151     """
 152     def get_tag(self, tagname, node = None):
 153         for i in self.slice_tag_ids:
 154             try:
 155                 tag = self.network.lookupSliceTag(i)
 156                 if tag.tagname == tagname:
 157                     if node:
 158                         if node.id == tag.node_id:
 159                             return tag
 160                     elif not tag.node_id:
 161                         return tag
 162             except InvalidRSpec, e:
 163                 # As they're not needed, we ignore some tag types from
 164                 # GetSliceTags call. See Slicetag.ignore_tags
 165                 pass
 166         return None
 167
 168     def get_nodes(self):
 169         n = []
 170         for id in self.node_ids:
 171             if id in self.network.nodes:
 172                 n.append(self.network.nodes[id])
 173         return n
 174
 175     # Add a new slice tag
 176     def add_tag(self, tagname, value, node = None, role = "user"):
 177         tt = self.network.lookupTagType(tagname)
 178         if not tt.permit_update(role):
 179             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 180         tag = Slicetag()
 181         tag.initialize(tagname, value, node, self.network)
 182         self.network.tags[tag.id] = tag
 183         self.slice_tag_ids.append(tag.id)
 184         return tag
 185
 186     # Update a slice tag if it exists, else add it
 187     def update_tag(self, tagname, value, node = None, role = "user"):
 188         tag = self.get_tag(tagname, node)
 189         if tag and tag.value == value:
 190             return tag
 191
 192         tt = self.network.lookupTagType(tagname)
 193         if not tt.permit_update(role):
 194             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 195
 196         if tag:
 197             tag.change(value)
 198         else:
 199             tag = self.add_tag(tagname, value, node, role)
 200         return tag
 201
 202     def update_multi_tag(self, tagname, value, node = None, role = "user"):
 203         tags = self.get_multi_tag(tagname, node)
 204         for tag in tags:
 205             if tag and tag.value == value:
 206                 break
 207         else:
 208             tag = self.add_tag(tagname, value, node, role)
 209         return tag
 210
 211     def tags_to_xml(self, xml, node = None):
 212         tagtypes = self.network.getTagTypes()
 213         for tt in tagtypes:
 214             if tt.in_rspec:
 215                 if tt.multi:
 216                     tags = self.get_multi_tag(tt.tagname, node)
 217                     for tag in tags:
 218                         if not tag.was_deleted():  ### Debugging
 219                             xml << (tag.tagname, tag.value)
 220                 else:
 221                     tag = self.get_tag(tt.tagname, node)
 222                     if tag:
 223                         if not tag.was_deleted():   ### Debugging
 224                             xml << (tag.tagname, tag.value)
 225
 226     def toxml(self, xml):
 227         with xml.sliver_defaults:
 228             self.tags_to_xml(xml)
 229
 230
 231 class Slicetag:
 232     newid = -1
 233     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category']
 234     ignore_tags = ['hmac','ssh_key']
 235     def __init__(self, tag = None):
 236         if not tag:
 237             return
 238         self.id = tag['slice_tag_id']
 239         self.slice_id = tag['slice_id']
 240         self.tagname = tag['tagname']
 241         self.value = tag['value']
 242         self.node_id = tag['node_id']
 243         self.category = tag['category']
 244         self.status = None
 245
 246     # Create a new slicetag that will be written to the DB later
 247     def initialize(self, tagname, value, node, network):
 248         tt = network.lookupTagType(tagname)
 249         self.id = Slicetag.newid
 250         Slicetag.newid -=1
 251         self.slice_id = network.slice.id
 252         self.tagname = tagname
 253         self.value = value
 254         if node:
 255             self.node_id = node.id
 256         else:
 257             self.node_id = None
 258         self.category = tt.category
 259         self.status = "new"
 260
 261     def change(self, value):
 262         if self.value != value:
 263             self.value = value
 264             self.status = "change"
 265         else:
 266             self.status = "updated"
 267
 268     # Mark a tag as deleted
 269     def delete(self):
 270         self.status = "delete"
 271
 272     def was_added(self):
 273         return (self.id < 0)
 274
 275     def was_changed(self):
 276         return (self.status == "change")
 277
 278     def was_deleted(self):
 279         return (self.status == "delete")
 280
 281     def was_updated(self):
 282         return (self.status != None)
 283
 284     def write(self, api):
 285         if self.was_added():
 286             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 287                                     self.tagname, self.value, self.node_id)
 288         elif self.was_changed():
 289             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 290         elif self.was_deleted():
 291             api.plshell.DeleteSliceTag(api.plauth, self.id)
 292
 293
 294 class TagType:
 295     ignore_tags = ['hmac','ssh_key']
 296     def __init__(self, tagtype):
 297         self.id = tagtype['tag_type_id']
 298         self.category = tagtype['category']
 299         self.tagname = tagtype['tagname']
 300         self.roles = tagtype['roles']
 301         self.multi = False
 302         self.in_rspec = False
 303         if self.category == 'slice/rspec':
 304             self.in_rspec = True
 305         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 306             self.multi = True
 307
 308     def permit_update(self, role):
 309         if role in self.roles:
 310             return True
 311         return False
 312
 313
 314 class Network:
 315     """
 316     A Network is a compound object consisting of:
 317     * a dictionary mapping site IDs to Site objects
 318     * a dictionary mapping node IDs to Node objects
 319     * a dictionary mapping interface IDs to Iface objects
 320     """
 321     def __init__(self, api, type = "SFA"):
 322         self.api = api
 323         self.type = type
 324         self.sites = self.get_sites(api)
 325         self.nodes = self.get_nodes(api)
 326         self.ifaces = self.get_ifaces(api)
 327         self.tags = self.get_slice_tags(api)
 328         self.tagtypes = self.get_tag_types(api)
 329         self.slice = None
 330         self.sitemap = {}
 331         for s in self.sites:
 332             site = self.sites[s]
 333             self.sitemap[site.idtag] = site.id
 334
 335     def lookupSiteIdtag(self, name):
 336         """ Lookup site id from name """
 337         val = None
 338         try:
 339             val = self.sitemap[name]
 340         except:
 341             raise InvalidRSpec("site name '%s' not found" % name)
 342         return val
 343
 344     def lookupSite(self, id):
 345         """ Lookup site based on id or idtag value """
 346         val = None
 347         if isinstance(id, basestring):
 348             id = self.lookupSiteIdtag(id)
 349         try:
 350             val = self.sites[id]
 351         except:
 352             self.api.logger.error("Invalid RSpec: site ID %s not found" % id )
 353             raise InvalidRSpec("site ID %s not found" % id)
 354         return val
 355
 356     def getSites(self):
 357         sites = []
 358         for s in self.sites:
 359             sites.append(self.sites[s])
 360         return sites
 361
 362     def lookupNode(self, id):
 363         """ Lookup node based on id or idtag value """
 364         val = None
 365         if isinstance(id, basestring):
 366             id = int(id.lstrip('n'))
 367         try:
 368             val = self.nodes[id]
 369         except:
 370             raise InvalidRSpec("node ID %s not found" % id)
 371         return val
 372
 373     def getNodes(self):
 374         nodes = []
 375         for n in self.nodes:
 376             nodes.append(self.nodes[n])
 377         return nodes
 378
 379     def lookupIface(self, id):
 380         """ Lookup iface based on id or idtag value """
 381         val = None
 382         if isinstance(id, basestring):
 383             id = int(id.lstrip('i'))
 384         try:
 385             val = self.ifaces[id]
 386         except:
 387             raise InvalidRSpec("interface ID %s not found" % id)
 388         return val
 389
 390     def getIfaces(self):
 391         ifaces = []
 392         for i in self.ifaces:
 393             ifaces.append(self.ifaces[i])
 394         return ifaces
 395
 396     def nodesWithSlivers(self):
 397         nodes = []
 398         for n in self.nodes:
 399             node = self.nodes[n]
 400             if node.sliver:
 401                 nodes.append(node)
 402         return nodes
 403
 404     def lookupSliceTag(self, id):
 405         val = None
 406         try:
 407             val = self.tags[id]
 408         except:
 409             raise InvalidRSpec("slicetag ID %s not found" % id)
 410         return val
 411
 412     def getSliceTags(self):
 413         tags = []
 414         for t in self.tags:
 415             tags.append(self.tags[t])
 416         return tags
 417
 418     def lookupTagType(self, name):
 419         val = None
 420         try:
 421             val = self.tagtypes[name]
 422         except:
 423             raise InvalidRSpec("tag %s not found" % name)
 424         return val
 425
 426     def getTagTypes(self):
 427         tags = []
 428         for t in self.tagtypes:
 429             tags.append(self.tagtypes[t])
 430         return tags
 431
 432     def __process_attributes(self, element, node=None):
 433         """
 434         Process the elements under <sliver_defaults> or <sliver>
 435         """
 436         if element is None:
 437             return
 438
 439         tagtypes = self.getTagTypes()
 440         for tt in tagtypes:
 441             if tt.in_rspec:
 442                 if tt.multi:
 443                     for e in element.iterfind("./" + tt.tagname):
 444                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 445                 else:
 446                     e = element.find("./" + tt.tagname)
 447                     if e is not None:
 448                         self.slice.update_tag(tt.tagname, e.text, node)
 449
 450     def addRSpec(self, xml, schema=None):
 451         """
 452         Annotate the objects in the Network with information from the RSpec
 453         """
 454         try:
 455             tree = etree.parse(StringIO(xml))
 456         except etree.XMLSyntaxError:
 457             message = str(sys.exc_info()[1])
 458             raise InvalidRSpec(message)
 459
 460         # Filter out stuff that's not for us
 461         rspec = tree.getroot()
 462         for network in rspec.iterfind("./network"):
 463             if network.get("name") != self.api.hrn:
 464                 rspec.remove(network)
 465         for request in rspec.iterfind("./request"):
 466             if request.get("name") != self.api.hrn:
 467                 rspec.remove(request)
 468
 469         if schema:
 470             # Validate the incoming request against the RelaxNG schema
 471             relaxng_doc = etree.parse(schema)
 472             relaxng = etree.RelaxNG(relaxng_doc)
 473
 474             if not relaxng(tree):
 475                 error = relaxng.error_log.last_error
 476                 message = "%s (line %s)" % (error.message, error.line)
 477                 self.api.logger.error("failed to validate rspec %r"%message)
 478                 self.api.logger.debug("---------- XML input BEG")
 479                 self.api.logger.debug(xml)
 480                 self.api.logger.debug("---------- XML input END")
 481                 raise InvalidRSpec(message)
 482
 483         self.rspec = rspec
 484
 485         defaults = rspec.find(".//sliver_defaults")
 486         self.__process_attributes(defaults)
 487
 488         # Find slivers under node elements
 489         for sliver in rspec.iterfind("./network/site/node/sliver"):
 490             elem = sliver.getparent()
 491             try:
 492                 node = self.lookupNode(elem.get("id"))
 493             except:
 494                 # Don't worry about nodes from other aggregates
 495                 pass
 496             else:
 497                 node.add_sliver()
 498                 self.__process_attributes(sliver, node)
 499
 500         # Find slivers that specify nodeid
 501         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 502             try:
 503                 node = self.lookupNode(sliver.get("nodeid"))
 504             except:
 505                 # Don't worry about nodes from other aggregates
 506                 pass
 507             else:
 508                 node.add_sliver()
 509                 self.__process_attributes(sliver, node)
 510
 511         return
 512
 513     def addSlice(self):
 514         """
 515         Annotate the objects in the Network with information from the slice
 516         """
 517         slice = self.slice
 518         if not slice:
 519             raise InvalidRSpec("no slice associated with network")
 520
 521         for node in slice.get_nodes():
 522             node.add_sliver()
 523
 524     def updateSliceTags(self):
 525         """
 526         Write any slice tags that have been added or modified back to the DB
 527         """
 528         for tag in self.getSliceTags():
 529             if tag.category == 'slice/rspec' and not tag.was_updated():
 530                 tt = self.lookupTagType(tag.tagname)
 531                 if tt.permit_update("user"):
 532                     tag.delete()
 533
 534         # Update slice tags in database
 535         for tag in self.getSliceTags():
 536             if tag.slice_id == self.slice.id:
 537                 tag.write(self.api)
 538
 539     def toxml(self):
 540         """
 541         Produce XML directly from the topology specification.
 542         """
 543         xml = XMLBuilder(format = True, tab_step = "  ")
 544         with xml.RSpec(type=self.type):
 545             if self.slice:
 546                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 547             else:
 548                 element = xml.network(name=self.api.hrn)
 549
 550             with element:
 551                 if self.slice:
 552                     self.slice.toxml(xml)
 553                 for site in self.getSites():
 554                     site.toxml(xml)
 555
 556         header = '<?xml version="1.0"?>\n'
 557         return header + str(xml)
 558
 559     def get_sites(self, api):
 560         """
 561         Create a dictionary of site objects keyed by site ID
 562         """
 563         tmp = []
 564         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 565             t = site['site_id'], Site(self, site)
 566             tmp.append(t)
 567         return dict(tmp)
 568
 569
 570     def get_nodes(self, api):
 571         """
 572         Create a dictionary of node objects keyed by node ID
 573         """
 574         tmp = []
 575         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 576             try:
 577                 t = node['node_id'], Node(self, node)
 578                 tmp.append(t)
 579             except:
 580                 self.api.logger.error("Failed to add node %s (%s) to RSpec" % (node['hostname'], node['node_id']))
 581
 582         return dict(tmp)
 583
 584     def get_ifaces(self, api):
 585         """
 586         Create a dictionary of node objects keyed by node ID
 587         """
 588         tmp = []
 589         for iface in api.plshell.GetInterfaces(api.plauth):
 590             t = iface['interface_id'], Iface(self, iface)
 591             tmp.append(t)
 592         return dict(tmp)
 593
 594     def get_slice_tags(self, api):
 595         """
 596         Create a dictionary of slicetag objects keyed by slice tag ID
 597         """
 598         tmp = []
 599         for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields):
 600             t = tag['slice_tag_id'], Slicetag(tag)
 601             tmp.append(t)
 602         return dict(tmp)
 603
 604     def get_tag_types(self, api):
 605         """
 606         Create a list of tagtype obects keyed by tag name
 607         """
 608         tmp = []
 609         for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
 610             t = tag['tagname'], TagType(tag)
 611             tmp.append(t)
 612         return dict(tmp)
 613
 614     def get_slice(self, api, hrn):
 615         """
 616         Return a Slice object for a single slice
 617         """
 618         slicename = hrn_to_pl_slicename(hrn)
 619         slice = api.plshell.GetSlices(api.plauth, [slicename])
 620         if len(slice):
 621             self.slice = Slice(self, slicename, slice[0])
 622             return self.slice
 623         else:
 624             return None
 625
 626