sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import *
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31         self.primary = iface['is_primary']
  32
  33     """
  34     Just print out bwlimit right now
  35     """
  36     def toxml(self, xml):
  37         if self.bwlimit:
  38             with xml.bw_limit(units="kbps"):
  39                 xml << str(self.bwlimit / 1000)
  40
  41
  42 class Node:
  43     def __init__(self, network, node):
  44         self.network = network
  45         self.id = node['node_id']
  46         self.idtag = "n%s" % self.id
  47         self.hostname = node['hostname']
  48         self.site_id = node['site_id']
  49         self.iface_ids = node['interface_ids']
  50         self.sliver = None
  51         self.whitelist = node['slice_ids_whitelist']
  52
  53     def get_primary_iface(self):
  54         for id in self.iface_ids:
  55             iface = self.network.lookupIface(id)
  56             if iface.primary:
  57                 return iface
  58         return None
  59
  60     def get_site(self):
  61         return self.network.lookupSite(self.site_id)
  62
  63     def add_sliver(self):
  64         self.sliver = Sliver(self)
  65
  66     def toxml(self, xml):
  67         slice = self.network.slice
  68         if self.whitelist and not self.sliver:
  69             if not slice or slice.id not in self.whitelist:
  70                 return
  71
  72         with xml.node(id = self.idtag):
  73             with xml.hostname:
  74                 xml << self.hostname
  75             iface = self.get_primary_iface()
  76             if iface:
  77                 iface.toxml(xml)
  78             if self.sliver:
  79                 self.sliver.toxml(xml)
  80
  81
  82 class Site:
  83     def __init__(self, network, site):
  84         self.network = network
  85         self.id = site['site_id']
  86         self.idtag = "s%s" % self.id
  87         self.node_ids = site['node_ids']
  88         self.node_ids.sort()
  89         self.name = site['abbreviated_name']
  90         self.tag = site['login_base']
  91         self.public = site['is_public']
  92         self.enabled = site['enabled']
  93         self.links = set()
  94         self.whitelist = False
  95
  96     def get_sitenodes(self):
  97         n = []
  98         for i in self.node_ids:
  99             n.append(self.network.lookupNode(i))
 100         return n
 101
 102     def toxml(self, xml):
 103         if not (self.public and self.enabled and self.node_ids):
 104             return
 105         with xml.site(id = self.idtag):
 106             with xml.name:
 107                 xml << self.name
 108             for node in self.get_sitenodes():
 109                 node.toxml(xml)
 110
 111
 112 class Slice:
 113     def __init__(self, network, hrn, slice):
 114         self.hrn = hrn
 115         self.network = network
 116         self.id = slice['slice_id']
 117         self.name = slice['name']
 118         self.peer_id = slice['peer_id']
 119         self.node_ids = set(slice['node_ids'])
 120         self.slice_tag_ids = slice['slice_tag_ids']
 121
 122     """
 123     Use with tags that can have more than one instance
 124     """
 125     def get_multi_tag(self, tagname, node = None):
 126         tags = []
 127         for i in self.slice_tag_ids:
 128             tag = self.network.lookupSliceTag(i)
 129             if tag.tagname == tagname:
 130                 if not (node and node.id != tag.node_id):
 131                     tags.append(tag)
 132         return tags
 133
 134     """
 135     Use with tags that have only one instance
 136     """
 137     def get_tag(self, tagname, node = None):
 138         for i in self.slice_tag_ids:
 139             tag = self.network.lookupSliceTag(i)
 140             if tag.tagname == tagname:
 141                 if (not node) or (node.id == tag.node_id):
 142                     return tag
 143         return None
 144
 145     def get_nodes(self):
 146         n = []
 147         for id in self.node_ids:
 148             if id in self.network.nodes:
 149                 n.append(self.network.nodes[id])
 150         return n
 151
 152     # Add a new slice tag
 153     def add_tag(self, tagname, value, node = None):
 154         tt = self.network.lookupTagType(tagname)
 155         tag = Slicetag()
 156         tag.initialize(tagname, value, node, self.network)
 157         self.network.tags[tag.id] = tag
 158         self.slice_tag_ids.append(tag.id)
 159         return tag
 160
 161     # Update a slice tag if it exists, else add it
 162     def update_tag(self, tagname, value, node = None):
 163         tag = self.get_tag(tagname, node)
 164         if tag:
 165             tag.change(value)
 166         else:
 167             tag = self.add_tag(tagname, value, node)
 168         return tag
 169
 170     def update_multi_tag(self, tagname, value, node = None):
 171         tags = self.get_multi_tag(tagname, node)
 172         for tag in tags:
 173             if tag and tag.value == value:
 174                 break
 175         else:
 176             tag = self.add_tag(tagname, value, node)
 177         return tag
 178
 179     def tags_to_xml(self, xml, node = None):
 180         tagtypes = self.network.getTagTypes()
 181         for tt in tagtypes:
 182             if tt.in_rspec:
 183                 if tt.multi:
 184                     tags = self.get_multi_tag(tt.tagname, node)
 185                     for tag in tags:
 186                         if not tag.was_deleted():  ### Debugging
 187                             xml << (tag.tagname, tag.value)
 188                 else:
 189                     tag = self.get_tag(tt.tagname, node)
 190                     if tag:
 191                         if not tag.was_deleted():   ### Debugging
 192                             xml << (tag.tagname, tag.value)
 193
 194     def toxml(self, xml):
 195         with xml.sliver_defaults:
 196             self.tags_to_xml(xml)
 197
 198
 199 class Slicetag:
 200     newid = -1
 201     def __init__(self, tag = None):
 202         if not tag:
 203             return
 204         self.id = tag['slice_tag_id']
 205         self.slice_id = tag['slice_id']
 206         self.tagname = tag['tagname']
 207         self.value = tag['value']
 208         self.node_id = tag['node_id']
 209         self.category = tag['category']
 210         self.status = None
 211
 212     # Create a new slicetag that will be written to the DB later
 213     def initialize(self, tagname, value, node, network):
 214         tt = network.lookupTagType(tagname)
 215         self.id = Slicetag.newid
 216         Slicetag.newid -=1
 217         self.slice_id = network.slice.id
 218         self.tagname = tagname
 219         self.value = value
 220         if node:
 221             self.node_id = node.id
 222         else:
 223             self.node_id = None
 224         self.category = tt.category
 225         self.status = "new"
 226
 227     def change(self, value):
 228         if self.value != value:
 229             self.value = value
 230             self.status = "change"
 231         else:
 232             self.status = "updated"
 233
 234     # Mark a tag as deleted
 235     def delete(self):
 236         self.status = "delete"
 237
 238     def was_added(self):
 239         return (self.id < 0)
 240
 241     def was_changed(self):
 242         return (self.status == "change")
 243
 244     def was_deleted(self):
 245         return (self.status == "delete")
 246
 247     def was_updated(self):
 248         return (self.status != None)
 249
 250     def write(self, api, user_plauth):
 251         try:
 252             if self.was_added():
 253                 api.plshell.AddSliceTag(user_plauth, self.slice_id,
 254                                         self.tagname, self.value, self.node_id)
 255             elif self.was_changed():
 256                 api.plshell.UpdateSliceTag(user_plauth, self.id, self.value)
 257             elif self.was_deleted():
 258                 api.plshell.DeleteSliceTag(user_plauth, self.id)
 259         except:
 260             raise InvalidRSpec("user cannot modify '%s' tag" % self.tagname)
 261
 262
 263
 264 class TagType:
 265     def __init__(self, tagtype):
 266         self.id = tagtype['tag_type_id']
 267         self.category = tagtype['category']
 268         self.tagname = tagtype['tagname']
 269         self.multi = False
 270         self.in_rspec = False
 271         if self.category == 'slice/rspec':
 272             self.in_rspec = True
 273         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 274             self.multi = True
 275
 276
 277 class Network:
 278     """
 279     A Network is a compound object consisting of:
 280     * a dictionary mapping site IDs to Site objects
 281     * a dictionary mapping node IDs to Node objects
 282     * a dictionary mapping interface IDs to Iface objects
 283     """
 284     def __init__(self, api, user_plauth, type = "SFA"):
 285         self.api = api
 286         self.user_plauth = user_plauth
 287         self.type = type
 288         self.sites = self.get_sites(api)
 289         self.nodes = self.get_nodes(api)
 290         self.ifaces = self.get_ifaces(api)
 291         self.tags = self.get_slice_tags(api)
 292         self.tagtypes = self.get_tag_types(api)
 293         self.slice = None
 294
 295     def lookupSite(self, id):
 296         """ Lookup site based on id or idtag value """
 297         val = None
 298         if isinstance(id, basestring):
 299             id = int(id.lstrip('s'))
 300         try:
 301             val = self.sites[id]
 302         except:
 303             raise InvalidRSpec("site ID %s not found" % id)
 304         return val
 305
 306     def getSites(self):
 307         sites = []
 308         for s in self.sites:
 309             sites.append(self.sites[s])
 310         return sites
 311
 312     def lookupNode(self, id):
 313         """ Lookup node based on id or idtag value """
 314         val = None
 315         if isinstance(id, basestring):
 316             id = int(id.lstrip('n'))
 317         try:
 318             val = self.nodes[id]
 319         except:
 320             raise InvalidRSpec("node ID %s not found" % id)
 321         return val
 322
 323     def getNodes(self):
 324         nodes = []
 325         for n in self.nodes:
 326             nodes.append(self.nodes[n])
 327         return nodes
 328
 329     def lookupIface(self, id):
 330         """ Lookup iface based on id or idtag value """
 331         val = None
 332         if isinstance(id, basestring):
 333             id = int(id.lstrip('i'))
 334         try:
 335             val = self.ifaces[id]
 336         except:
 337             raise InvalidRSpec("interface ID %s not found" % id)
 338         return val
 339
 340     def getIfaces(self):
 341         ifaces = []
 342         for i in self.ifaces:
 343             ifaces.append(self.ifaces[i])
 344         return ifaces
 345
 346     def nodesWithSlivers(self):
 347         nodes = []
 348         for n in self.nodes:
 349             node = self.nodes[n]
 350             if node.sliver:
 351                 nodes.append(node)
 352         return nodes
 353
 354     def lookupSliceTag(self, id):
 355         val = None
 356         try:
 357             val = self.tags[id]
 358         except:
 359             raise InvalidRSpec("slicetag ID %s not found" % id)
 360         return val
 361
 362     def getSliceTags(self):
 363         tags = []
 364         for t in self.tags:
 365             tags.append(self.tags[t])
 366         return tags
 367
 368     def lookupTagType(self, name):
 369         val = None
 370         try:
 371             val = self.tagtypes[name]
 372         except:
 373             raise InvalidRSpec("tag %s not found" % name)
 374         return val
 375
 376     def getTagTypes(self):
 377         tags = []
 378         for t in self.tagtypes:
 379             tags.append(self.tagtypes[t])
 380         return tags
 381
 382     def __process_attributes(self, element, node=None):
 383         """
 384         Process the elements under <sliver_defaults> or <sliver>
 385         """
 386         if element is None:
 387             return
 388
 389         tagtypes = self.getTagTypes()
 390         for tt in tagtypes:
 391             if tt.in_rspec:
 392                 if tt.multi:
 393                     for e in element.iterfind("./" + tt.tagname):
 394                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 395                 else:
 396                     e = element.find("./" + tt.tagname)
 397                     if e is not None:
 398                         self.slice.update_tag(tt.tagname, e.text, node)
 399
 400     def addRSpec(self, xml, schema=None):
 401         """
 402         Annotate the objects in the Network with information from the RSpec
 403         """
 404         try:
 405             tree = etree.parse(StringIO(xml))
 406         except etree.XMLSyntaxError:
 407             message = str(sys.exc_info()[1])
 408             raise InvalidRSpec(message)
 409
 410         # Filter out stuff that's not for us
 411         rspec = tree.getroot()
 412         for network in rspec.iterfind("./network"):
 413             if network.get("name") != self.api.hrn:
 414                 rspec.remove(network)
 415         for request in rspec.iterfind("./request"):
 416             if request.get("name") != self.api.hrn:
 417                 rspec.remove(request)
 418
 419         if schema:
 420             # Validate the incoming request against the RelaxNG schema
 421             relaxng_doc = etree.parse(schema)
 422             relaxng = etree.RelaxNG(relaxng_doc)
 423
 424             if not relaxng(tree):
 425                 error = relaxng.error_log.last_error
 426                 message = "%s (line %s)" % (error.message, error.line)
 427                 raise InvalidRSpec(message)
 428
 429         self.rspec = rspec
 430
 431         defaults = rspec.find(".//sliver_defaults")
 432         self.__process_attributes(defaults)
 433
 434         # Find slivers under node elements
 435         for sliver in rspec.iterfind("./network/site/node/sliver"):
 436             elem = sliver.getparent()
 437             try:
 438                 node = self.lookupNode(elem.get("id"))
 439             except:
 440                 # Don't worry about nodes from other aggregates
 441                 pass
 442             else:
 443                 node.add_sliver()
 444                 self.__process_attributes(sliver, node)
 445
 446         # Find slivers that specify nodeid
 447         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 448             try:
 449                 node = self.lookupNode(sliver.get("nodeid"))
 450             except:
 451                 # Don't worry about nodes from other aggregates
 452                 pass
 453             else:
 454                 node.add_sliver()
 455                 self.__process_attributes(sliver, node)
 456
 457         return
 458
 459     def addSlice(self):
 460         """
 461         Annotate the objects in the Network with information from the slice
 462         """
 463         slice = self.slice
 464         if not slice:
 465             raise InvalidRSpec("no slice associated with network")
 466
 467         for node in slice.get_nodes():
 468             node.add_sliver()
 469
 470     def updateSliceTags(self):
 471         """
 472         Write any slice tags that have been added or modified back to the DB
 473         """
 474         for tag in self.getSliceTags():
 475             if tag.category == 'slice/rspec' and not tag.was_updated():
 476                 # The user wants to delete this tag
 477                 tag.delete()
 478
 479         # Update slice tags in database
 480         for tag in self.getSliceTags():
 481             if tag.slice_id == self.slice.id:
 482                 tag.write(self.api, self.user_plauth)
 483
 484     def toxml(self):
 485         """
 486         Produce XML directly from the topology specification.
 487         """
 488         xml = XMLBuilder(format = True, tab_step = "  ")
 489         with xml.RSpec(type=self.type):
 490             if self.slice:
 491                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 492             else:
 493                 element = xml.network(name=self.api.hrn)
 494
 495             with element:
 496                 if self.slice:
 497                     self.slice.toxml(xml)
 498                 for site in self.getSites():
 499                     site.toxml(xml)
 500
 501         header = '<?xml version="1.0"?>\n'
 502         return header + str(xml)
 503
 504     def get_sites(self, api):
 505         """
 506         Create a dictionary of site objects keyed by site ID
 507         """
 508         tmp = []
 509         for site in api.plshell.GetSites(self.user_plauth, {'peer_id': None}):
 510             t = site['site_id'], Site(self, site)
 511             tmp.append(t)
 512
 513         return dict(tmp)
 514
 515
 516     def get_nodes(self, api):
 517         """
 518         Create a dictionary of node objects keyed by node ID
 519         """
 520         tmp = []
 521         for node in api.plshell.GetNodes(self.user_plauth, {'peer_id': None}):
 522             t = node['node_id'], Node(self, node)
 523             tmp.append(t)
 524         return dict(tmp)
 525
 526     def get_ifaces(self, api):
 527         """
 528         Create a dictionary of node objects keyed by node ID
 529         """
 530         tmp = []
 531         for iface in api.plshell.GetInterfaces(self.user_plauth):
 532             t = iface['interface_id'], Iface(self, iface)
 533             tmp.append(t)
 534         return dict(tmp)
 535
 536     def get_slice_tags(self, api):
 537         """
 538         Create a dictionary of slicetag objects keyed by slice tag ID
 539         """
 540         tmp = []
 541         for tag in api.plshell.GetSliceTags(self.user_plauth):
 542             t = tag['slice_tag_id'], Slicetag(tag)
 543             tmp.append(t)
 544         return dict(tmp)
 545
 546     def get_tag_types(self, api):
 547         """
 548         Create a list of tagtype obects keyed by tag name
 549         """
 550         tmp = []
 551         for tag in api.plshell.GetTagTypes(self.user_plauth):
 552             t = tag['tagname'], TagType(tag)
 553             tmp.append(t)
 554         return dict(tmp)
 555
 556     def get_slice(self, api, hrn):
 557         """
 558         Return a Slice object for a single slice
 559         """
 560         slicename = hrn_to_pl_slicename(hrn)
 561         slice = api.plshell.GetSlices(self.user_plauth, [slicename])
 562         if len(slice):
 563             self.slice = Slice(self, slicename, slice[0])
 564             return self.slice
 565         else:
 566             return None
 567
 568