sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import *
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10 from sfa.util.sfalogging import logger
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         logger.info("sliver to xml!")
  20         with xml.sliver:
  21             self.slice.tags_to_xml(xml, self.node)
  22
  23
  24 class Iface:
  25     def __init__(self, network, iface):
  26         self.network = network
  27         self.id = iface['interface_id']
  28         self.idtag = "i%s" % self.id
  29         self.ipv4 = iface['ip']
  30         self.bwlimit = iface['bwlimit']
  31         self.hostname = iface['hostname']
  32         self.primary = iface['is_primary']
  33
  34     """
  35     Just print out bwlimit right now
  36     """
  37     def toxml(self, xml):
  38         if self.bwlimit:
  39             with xml.bw_limit(units="kbps"):
  40                 xml << str(self.bwlimit / 1000)
  41
  42
  43 class Node:
  44     def __init__(self, network, node):
  45         self.network = network
  46         self.id = node['node_id']
  47         self.idtag = "n%s" % self.id
  48         self.hostname = node['hostname']
  49         self.site_id = node['site_id']
  50         self.iface_ids = node['interface_ids']
  51         self.sliver = None
  52         self.whitelist = node['slice_ids_whitelist']
  53
  54     def get_primary_iface(self):
  55         for id in self.iface_ids:
  56             iface = self.network.lookupIface(id)
  57             if iface.primary:
  58                 return iface
  59         return None
  60
  61     def get_site(self):
  62         return self.network.lookupSite(self.site_id)
  63
  64     def add_sliver(self):
  65         self.sliver = Sliver(self)
  66
  67     def toxml(self, xml):
  68         logger.info("node.toxml(I)")
  69         slice = self.network.slice
  70         if self.whitelist and not self.sliver:
  71             if not slice or slice.id not in self.whitelist:
  72                 return
  73
  74         with xml.node(id = self.idtag):
  75             with xml.hostname:
  76                 xml << self.hostname
  77             iface = self.get_primary_iface()
  78             if iface:
  79                 iface.toxml(xml)
  80             if self.sliver:
  81                 self.sliver.toxml(xml)
  82
  83
  84 class Site:
  85     def __init__(self, network, site):
  86         self.network = network
  87         self.id = site['site_id']
  88         self.idtag = "s%s" % self.id
  89         self.node_ids = site['node_ids']
  90         self.node_ids.sort()
  91         self.name = site['abbreviated_name']
  92         self.tag = site['login_base']
  93         self.public = site['is_public']
  94         self.enabled = site['enabled']
  95         self.links = set()
  96         self.whitelist = False
  97
  98     def get_sitenodes(self):
  99         n = []
 100         for i in self.node_ids:
 101             n.append(self.network.lookupNode(i))
 102         return n
 103
 104     def toxml(self, xml):
 105         if not (self.public and self.enabled and self.node_ids):
 106             return
 107
 108         with xml.site(id = self.idtag):
 109             with xml.name:
 110                 xml << self.name
 111             for node in self.get_sitenodes():
 112                 node.toxml(xml)
 113
 114
 115 class Slice:
 116     def __init__(self, network, hrn, slice):
 117         self.hrn = hrn
 118         self.network = network
 119         self.id = slice['slice_id']
 120         self.name = slice['name']
 121         self.peer_id = slice['peer_id']
 122         self.node_ids = set(slice['node_ids'])
 123         self.slice_tag_ids = slice['slice_tag_ids']
 124
 125     """
 126     Use with tags that can have more than one instance
 127     """
 128     def get_multi_tag(self, tagname, node = None):
 129         tags = []
 130         for i in self.slice_tag_ids:
 131             tag = self.network.lookupSliceTag(i)
 132             if tag.tagname == tagname:
 133                 if not (node and node.id != tag.node_id):
 134                     tags.append(tag)
 135         return tags
 136
 137     """
 138     Use with tags that have only one instance
 139     """
 140     def get_tag(self, tagname, node = None):
 141         for i in self.slice_tag_ids:
 142             tag = self.network.lookupSliceTag(i)
 143             if tag.tagname == tagname:
 144                 if (not node) or (node.id == tag.node_id):
 145                     return tag
 146         return None
 147
 148     def get_nodes(self):
 149         n = []
 150         for id in self.node_ids:
 151             if id in self.network.nodes:
 152                 n.append(self.network.nodes[id])
 153         return n
 154
 155     # Add a new slice tag
 156     def add_tag(self, tagname, value, node = None, role_id = 40):
 157         tt = self.network.lookupTagType(tagname)
 158         if not tt.permit_update(role_id):
 159             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 160         tag = Slicetag()
 161         tag.initialize(tagname, value, node, self.network)
 162         self.network.tags[tag.id] = tag
 163         self.slice_tag_ids.append(tag.id)
 164         return tag
 165
 166     # Update a slice tag if it exists, else add it
 167     def update_tag(self, tagname, value, node = None, role_id = 40):
 168         tag = self.get_tag(tagname, node)
 169         if tag:
 170             if not tag.permit_update(role_id, value):
 171                 raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 172             tag.change(value)
 173         else:
 174             tag = self.add_tag(tagname, value, node, role_id)
 175         return tag
 176
 177     def update_multi_tag(self, tagname, value, node = None, role_id = 40):
 178         tags = self.get_multi_tag(tagname, node)
 179         for tag in tags:
 180             if tag and tag.value == value:
 181                 break
 182         else:
 183             tag = self.add_tag(tagname, value, node, role_id)
 184         return tag
 185
 186     def tags_to_xml(self, xml, node = None):
 187         tagtypes = self.network.getTagTypes()
 188         for tt in tagtypes:
 189             if tt.in_rspec:
 190                 if tt.multi:
 191                     tags = self.get_multi_tag(tt.tagname, node)
 192                     for tag in tags:
 193                         if not tag.was_deleted():  ### Debugging
 194                             xml << (tag.tagname, tag.value)
 195                 else:
 196                     tag = self.get_tag(tt.tagname, node)
 197                     if tag:
 198                         if not tag.was_deleted():   ### Debugging
 199                             xml << (tag.tagname, tag.value)
 200
 201     def toxml(self, xml):
 202         logger.info("slice to xml!")
 203
 204         with xml.sliver_defaults:
 205             self.tags_to_xml(xml)
 206
 207
 208 class Slicetag:
 209     newid = -1
 210     def __init__(self, tag = None):
 211         if not tag:
 212             return
 213         self.id = tag['slice_tag_id']
 214         self.slice_id = tag['slice_id']
 215         self.tagname = tag['tagname']
 216         self.value = tag['value']
 217         self.node_id = tag['node_id']
 218         self.category = tag['category']
 219         self.min_role_id = tag['min_role_id']
 220         self.status = None
 221
 222     # Create a new slicetag that will be written to the DB later
 223     def initialize(self, tagname, value, node, network):
 224         tt = network.lookupTagType(tagname)
 225         self.id = Slicetag.newid
 226         Slicetag.newid -=1
 227         self.slice_id = network.slice.id
 228         self.tagname = tagname
 229         self.value = value
 230         if node:
 231             self.node_id = node.id
 232         else:
 233             self.node_id = None
 234         self.category = tt.category
 235         self.min_role_id = tt.min_role_id
 236         self.status = "new"
 237
 238     def permit_update(self, role_id, value = None):
 239         if value and self.value == value:
 240             return True
 241         if role_id > self.min_role_id:
 242             return False
 243         return True
 244
 245     def change(self, value):
 246         if self.value != value:
 247             self.value = value
 248             self.status = "change"
 249         else:
 250             self.status = "updated"
 251
 252     # Mark a tag as deleted
 253     def delete(self):
 254         self.status = "delete"
 255
 256     def was_added(self):
 257         return (self.id < 0)
 258
 259     def was_changed(self):
 260         return (self.status == "change")
 261
 262     def was_deleted(self):
 263         return (self.status == "delete")
 264
 265     def was_updated(self):
 266         return (self.status != None)
 267
 268     def write(self, api):
 269         if self.was_added():
 270             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 271                                     self.tagname, self.value, self.node_id)
 272         elif self.was_changed():
 273             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 274         elif self.was_deleted():
 275             api.plshell.DeleteSliceTag(api.plauth, self.id)
 276
 277
 278 class TagType:
 279     def __init__(self, tagtype):
 280         self.id = tagtype['tag_type_id']
 281         self.category = tagtype['category']
 282         self.tagname = tagtype['tagname']
 283         self.min_role_id = tagtype['min_role_id']
 284         self.multi = False
 285         self.in_rspec = False
 286         if self.category == 'slice/rspec':
 287             self.in_rspec = True
 288         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 289             self.multi = True
 290
 291     def permit_update(self, role_id):
 292         if role_id > self.min_role_id:
 293             return False
 294         return True
 295
 296
 297 """
 298 A Network is a compound object consisting of:
 299 * a dictionary mapping site IDs to Site objects
 300 * a dictionary mapping node IDs to Node objects
 301 * a dictionary mapping interface IDs to Iface objects
 302 """
 303 class Network:
 304     def __init__(self, api, type = "SFA"):
 305         self.api = api
 306         self.type = type
 307         self.sites = self.get_sites(api)
 308         self.nodes = self.get_nodes(api)
 309         self.ifaces = self.get_ifaces(api)
 310         self.tags = self.get_slice_tags(api)
 311         self.tagtypes = self.get_tag_types(api)
 312         self.slice = None
 313
 314     """ Lookup site based on id or idtag value """
 315     def lookupSite(self, id):
 316         val = None
 317         if isinstance(id, basestring):
 318             id = int(id.lstrip('s'))
 319         try:
 320             val = self.sites[id]
 321         except:
 322             raise InvalidRSpec("site ID %s not found" % id)
 323         return val
 324
 325     def getSites(self):
 326         sites = []
 327         for s in self.sites:
 328             sites.append(self.sites[s])
 329         return sites
 330
 331     """ Lookup node based on id or idtag value """
 332     def lookupNode(self, id):
 333         val = None
 334         if isinstance(id, basestring):
 335             id = int(id.lstrip('n'))
 336         try:
 337             val = self.nodes[id]
 338         except:
 339             raise InvalidRSpec("node ID %s not found" % id)
 340         return val
 341
 342     def getNodes(self):
 343         nodes = []
 344         for n in self.nodes:
 345             nodes.append(self.nodes[n])
 346         return nodes
 347
 348     """ Lookup iface based on id or idtag value """
 349     def lookupIface(self, id):
 350         val = None
 351         if isinstance(id, basestring):
 352             id = int(id.lstrip('i'))
 353         try:
 354             val = self.ifaces[id]
 355         except:
 356             raise InvalidRSpec("interface ID %s not found" % id)
 357         return val
 358
 359     def getIfaces(self):
 360         ifaces = []
 361         for i in self.ifaces:
 362             ifaces.append(self.ifaces[i])
 363         return ifaces
 364
 365     def nodesWithSlivers(self):
 366         nodes = []
 367         for n in self.nodes:
 368             node = self.nodes[n]
 369             if node.sliver:
 370                 nodes.append(node)
 371         return nodes
 372
 373     def lookupSliceTag(self, id):
 374         val = None
 375         try:
 376             val = self.tags[id]
 377         except:
 378             raise InvalidRSpec("slicetag ID %s not found" % id)
 379         return val
 380
 381     def getSliceTags(self):
 382         tags = []
 383         for t in self.tags:
 384             tags.append(self.tags[t])
 385         return tags
 386
 387     def lookupTagType(self, name):
 388         val = None
 389         try:
 390             val = self.tagtypes[name]
 391         except:
 392             raise InvalidRSpec("tag %s not found" % name)
 393         return val
 394
 395     def getTagTypes(self):
 396         tags = []
 397         for t in self.tagtypes:
 398             tags.append(self.tagtypes[t])
 399         return tags
 400
 401     """
 402     Process the elements under <sliver_defaults> or <sliver>
 403     """
 404     def __process_attributes(self, element, node=None):
 405         if element is None:
 406             return
 407
 408         tagtypes = self.getTagTypes()
 409         for tt in tagtypes:
 410             if tt.in_rspec:
 411                 if tt.multi:
 412                     for e in element.iterfind("./" + tt.tagname):
 413                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 414                 else:
 415                     e = element.find("./" + tt.tagname)
 416                     if e is not None:
 417                         self.slice.update_tag(tt.tagname, e.text, node)
 418
 419     """
 420     Annotate the objects in the Network with information from the RSpec
 421     """
 422     def addRSpec(self, xml, schema=None):
 423         try:
 424             tree = etree.parse(StringIO(xml))
 425         except etree.XMLSyntaxError:
 426             message = str(sys.exc_info()[1])
 427             raise InvalidRSpec(message)
 428
 429         # Filter out stuff that's not for us
 430         rspec = tree.getroot()
 431         for network in rspec.iterfind("./network"):
 432             if network.get("name") != self.api.hrn:
 433                 rspec.remove(network)
 434         for request in rspec.iterfind("./request"):
 435             if request.get("name") != self.api.hrn:
 436                 rspec.remove(request)
 437
 438         if schema:
 439             # Validate the incoming request against the RelaxNG schema
 440             relaxng_doc = etree.parse(schema)
 441             relaxng = etree.RelaxNG(relaxng_doc)
 442
 443             if not relaxng(tree):
 444                 error = relaxng.error_log.last_error
 445                 message = "%s (line %s)" % (error.message, error.line)
 446                 raise InvalidRSpec(message)
 447
 448         self.rspec = rspec
 449         defaults = rspec.find(".//sliver_defaults")
 450         self.__process_attributes(defaults)
 451
 452
 453         # Find slivers under node elements
 454         for sliver in rspec.iterfind("./network/site/node/sliver"):
 455             elem = sliver.getparent()
 456             try:
 457                 node = self.lookupNode(elem.get("id"))
 458             except:
 459                 # Don't worry about nodes from other aggregates
 460                 pass
 461             else:
 462                 node.add_sliver()
 463                 self.__process_attributes(sliver, node)
 464
 465         # Find slivers that specify nodeid
 466         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 467             try:
 468                 node = self.lookupNode(sliver.get("nodeid"))
 469             except:
 470                 # Don't worry about nodes from other aggregates
 471                 pass
 472             else:
 473                 node.add_sliver()
 474                 self.__process_attributes(sliver, node)
 475
 476         return
 477
 478     """
 479     Annotate the objects in the Network with information from the slice
 480     """
 481     def addSlice(self):
 482         slice = self.slice
 483         if not slice:
 484             raise InvalidRSpec("no slice associated with network")
 485
 486         for node in slice.get_nodes():
 487             node.add_sliver()
 488
 489     """
 490     Write any slice tags that have been added or modified back to the DB
 491     """
 492     def updateSliceTags(self):
 493         for tag in self.getSliceTags():
 494             if tag.category == 'slice/rspec' and not tag.was_updated() and tag.permit_update(None, 40):
 495                 # The user wants to delete this tag
 496                 tag.delete()
 497
 498         # Update slice tags in database
 499         for tag in self.getSliceTags():
 500             if tag.slice_id == self.slice.id:
 501                 tag.write(self.api)
 502
 503     """
 504     Produce XML directly from the topology specification.
 505     """
 506     def toxml(self):
 507         xml = XMLBuilder(format = True, tab_step = "  ")
 508         with xml.RSpec(type=self.type):
 509             if self.slice:
 510                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 511             else:
 512                 element = xml.network(name=self.api.hrn)
 513
 514             with element:
 515                 if self.slice:
 516                     self.slice.toxml(xml)
 517                 for site in self.getSites():
 518                     site.toxml(xml)
 519
 520         header = '<?xml version="1.0"?>\n'
 521         return header + str(xml)
 522
 523     """
 524     Create a dictionary of site objects keyed by site ID
 525     """
 526     def get_sites(self, api):
 527         tmp = []
 528         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 529             t = site['site_id'], Site(self, site)
 530             tmp.append(t)
 531         return dict(tmp)
 532
 533
 534     """
 535     Create a dictionary of node objects keyed by node ID
 536     """
 537     def get_nodes(self, api):
 538         tmp = []
 539         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 540             t = node['node_id'], Node(self, node)
 541             tmp.append(t)
 542         return dict(tmp)
 543
 544     """
 545     Create a dictionary of node objects keyed by node ID
 546     """
 547     def get_ifaces(self, api):
 548         tmp = []
 549         for iface in api.plshell.GetInterfaces(api.plauth):
 550             t = iface['interface_id'], Iface(self, iface)
 551             tmp.append(t)
 552         return dict(tmp)
 553
 554     """
 555     Create a dictionary of slicetag objects keyed by slice tag ID
 556     """
 557     def get_slice_tags(self, api):
 558         tmp = []
 559         for tag in api.plshell.GetSliceTags(api.plauth):
 560             t = tag['slice_tag_id'], Slicetag(tag)
 561             tmp.append(t)
 562         return dict(tmp)
 563
 564     """
 565     Create a list of tagtype obects keyed by tag name
 566     """
 567     def get_tag_types(self, api):
 568         tmp = []
 569         for tag in api.plshell.GetTagTypes(api.plauth):
 570             t = tag['tagname'], TagType(tag)
 571             tmp.append(t)
 572         return dict(tmp)
 573
 574     """
 575     Return a Slice object for a single slice
 576     """
 577     def get_slice(self, api, hrn):
 578         slicename = hrn_to_pl_slicename(hrn)
 579         slice = api.plshell.GetSlices(api.plauth, [slicename])
 580         if len(slice):
 581             self.slice = Slice(self, slicename, slice[0])
 582             return self.slice
 583         else:
 584             return None
 585
 586