sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import get_authority, hrn_to_pl_slicename
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31         self.primary = iface['is_primary']
  32
  33     def toxml(self, xml):
  34         """
  35         Just print out bwlimit right now
  36         """
  37         if self.bwlimit:
  38             with xml.bw_limit(units="kbps"):
  39                 xml << str(self.bwlimit / 1000)
  40
  41
  42 class Node:
  43     def __init__(self, network, node):
  44         self.network = network
  45         self.id = node['node_id']
  46         self.idtag = "n%s" % self.id
  47         self.hostname = node['hostname']
  48         self.site_id = node['site_id']
  49         self.iface_ids = node['interface_ids']
  50         self.sliver = None
  51         self.whitelist = node['slice_ids_whitelist']
  52
  53     def get_primary_iface(self):
  54         for id in self.iface_ids:
  55             iface = self.network.lookupIface(id)
  56             if iface.primary:
  57                 return iface
  58         return None
  59
  60     def get_site(self):
  61         return self.network.lookupSite(self.site_id)
  62
  63     def add_sliver(self):
  64         self.sliver = Sliver(self)
  65
  66     def toxml(self, xml):
  67         slice = self.network.slice
  68         if self.whitelist and not self.sliver:
  69             if not slice or slice.id not in self.whitelist:
  70                 return
  71
  72         with xml.node(id = self.idtag):
  73             with xml.hostname:
  74                 xml << self.hostname
  75             iface = self.get_primary_iface()
  76             if iface:
  77                 iface.toxml(xml)
  78             if self.sliver:
  79                 self.sliver.toxml(xml)
  80
  81
  82 class Site:
  83     def __init__(self, network, site):
  84         self.network = network
  85         self.id = site['site_id']
  86         self.idtag = "s%s" % self.id
  87         self.node_ids = site['node_ids']
  88         self.node_ids.sort()
  89         self.name = site['abbreviated_name']
  90         self.tag = site['login_base']
  91         self.public = site['is_public']
  92         self.enabled = site['enabled']
  93         self.links = set()
  94         self.whitelist = False
  95
  96     def get_sitenodes(self):
  97         n = []
  98         for i in self.node_ids:
  99             n.append(self.network.lookupNode(i))
 100         return n
 101
 102     def toxml(self, xml):
 103         if not (self.public and self.enabled and self.node_ids):
 104             return
 105         with xml.site(id = self.idtag):
 106             with xml.name:
 107                 xml << self.name
 108             for node in self.get_sitenodes():
 109                 node.toxml(xml)
 110
 111
 112 class Slice:
 113     def __init__(self, network, hrn, slice):
 114         self.hrn = hrn
 115         self.network = network
 116         self.id = slice['slice_id']
 117         self.name = slice['name']
 118         self.peer_id = slice['peer_id']
 119         self.node_ids = set(slice['node_ids'])
 120         self.slice_tag_ids = slice['slice_tag_ids']
 121
 122     """
 123     Use with tags that can have more than one instance
 124     """
 125     def get_multi_tag(self, tagname, node = None):
 126         tags = []
 127         for i in self.slice_tag_ids:
 128             try:
 129                 tag = self.network.lookupSliceTag(i)
 130                 if tag.tagname == tagname:
 131                     if not (node and node.id != tag.node_id):
 132                         tags.append(tag)
 133             except InvalidRSpec, e:
 134                 # As they're not needed, we ignore some tag types from
 135                 # GetSliceTags call. See Slicetag.ignore_tags
 136                 pass
 137         return tags
 138
 139     """
 140     Use with tags that have only one instance
 141     """
 142     def get_tag(self, tagname, node = None):
 143         try:
 144             for i in self.slice_tag_ids:
 145                 tag = self.network.lookupSliceTag(i)
 146                 if tag.tagname == tagname:
 147                     if (not node) or (node.id == tag.node_id):
 148                         return tag
 149         except InvalidRSpec, e:
 150             # As they're not needed, we ignore some tag types from
 151             # GetSliceTags call. See Slicetag.ignore_tags
 152             pass
 153         return None
 154
 155     def get_nodes(self):
 156         n = []
 157         for id in self.node_ids:
 158             if id in self.network.nodes:
 159                 n.append(self.network.nodes[id])
 160         return n
 161
 162     # Add a new slice tag
 163     def add_tag(self, tagname, value, node = None, role_id = 40):
 164         tt = self.network.lookupTagType(tagname)
 165         if not tt.permit_update(role_id):
 166             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 167         tag = Slicetag()
 168         tag.initialize(tagname, value, node, self.network)
 169         self.network.tags[tag.id] = tag
 170         self.slice_tag_ids.append(tag.id)
 171         return tag
 172
 173     # Update a slice tag if it exists, else add it
 174     def update_tag(self, tagname, value, node = None, role_id = 40):
 175         tag = self.get_tag(tagname, node)
 176         if tag:
 177             if not tag.permit_update(role_id, value):
 178                 raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 179             tag.change(value)
 180         else:
 181             tag = self.add_tag(tagname, value, node, role_id)
 182         return tag
 183
 184     def update_multi_tag(self, tagname, value, node = None, role_id = 40):
 185         tags = self.get_multi_tag(tagname, node)
 186         for tag in tags:
 187             if tag and tag.value == value:
 188                 break
 189         else:
 190             tag = self.add_tag(tagname, value, node, role_id)
 191         return tag
 192
 193     def tags_to_xml(self, xml, node = None):
 194         tagtypes = self.network.getTagTypes()
 195         for tt in tagtypes:
 196             if tt.in_rspec:
 197                 if tt.multi:
 198                     tags = self.get_multi_tag(tt.tagname, node)
 199                     for tag in tags:
 200                         if not tag.was_deleted():  ### Debugging
 201                             xml << (tag.tagname, tag.value)
 202                 else:
 203                     tag = self.get_tag(tt.tagname, node)
 204                     if tag:
 205                         if not tag.was_deleted():   ### Debugging
 206                             xml << (tag.tagname, tag.value)
 207
 208     def toxml(self, xml):
 209         with xml.sliver_defaults:
 210             self.tags_to_xml(xml)
 211
 212
 213 class Slicetag:
 214     newid = -1
 215     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category','min_role_id']
 216     ignore_tags = ['hmac','ssh_key']
 217     def __init__(self, tag = None):
 218         if not tag:
 219             return
 220         self.id = tag['slice_tag_id']
 221         self.slice_id = tag['slice_id']
 222         self.tagname = tag['tagname']
 223         self.value = tag['value']
 224         self.node_id = tag['node_id']
 225         self.category = tag['category']
 226         self.min_role_id = tag['min_role_id']
 227         self.status = None
 228
 229     # Create a new slicetag that will be written to the DB later
 230     def initialize(self, tagname, value, node, network):
 231         tt = network.lookupTagType(tagname)
 232         self.id = Slicetag.newid
 233         Slicetag.newid -=1
 234         self.slice_id = network.slice.id
 235         self.tagname = tagname
 236         self.value = value
 237         if node:
 238             self.node_id = node.id
 239         else:
 240             self.node_id = None
 241         self.category = tt.category
 242         self.min_role_id = tt.min_role_id
 243         self.status = "new"
 244
 245     def permit_update(self, role_id, value = None):
 246         if value and self.value == value:
 247             return True
 248         if role_id > self.min_role_id:
 249             return False
 250         return True
 251
 252     def change(self, value):
 253         if self.value != value:
 254             self.value = value
 255             self.status = "change"
 256         else:
 257             self.status = "updated"
 258
 259     # Mark a tag as deleted
 260     def delete(self):
 261         self.status = "delete"
 262
 263     def was_added(self):
 264         return (self.id < 0)
 265
 266     def was_changed(self):
 267         return (self.status == "change")
 268
 269     def was_deleted(self):
 270         return (self.status == "delete")
 271
 272     def was_updated(self):
 273         return (self.status != None)
 274
 275     def write(self, api):
 276         if self.was_added():
 277             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 278                                     self.tagname, self.value, self.node_id)
 279         elif self.was_changed():
 280             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 281         elif self.was_deleted():
 282             api.plshell.DeleteSliceTag(api.plauth, self.id)
 283
 284
 285 class TagType:
 286     ignore_tags = ['hmac','ssh_key']
 287     def __init__(self, tagtype):
 288         self.id = tagtype['tag_type_id']
 289         self.category = tagtype['category']
 290         self.tagname = tagtype['tagname']
 291         self.min_role_id = tagtype['min_role_id']
 292         self.multi = False
 293         self.in_rspec = False
 294         if self.category == 'slice/rspec':
 295             self.in_rspec = True
 296         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 297             self.multi = True
 298
 299     def permit_update(self, role_id):
 300         if role_id > self.min_role_id:
 301             return False
 302         return True
 303
 304
 305 class Network:
 306     """
 307     A Network is a compound object consisting of:
 308     * a dictionary mapping site IDs to Site objects
 309     * a dictionary mapping node IDs to Node objects
 310     * a dictionary mapping interface IDs to Iface objects
 311     """
 312     def __init__(self, api, type = "SFA"):
 313         self.api = api
 314         self.type = type
 315         self.sites = self.get_sites(api)
 316         self.nodes = self.get_nodes(api)
 317         self.ifaces = self.get_ifaces(api)
 318         self.tags = self.get_slice_tags(api)
 319         self.tagtypes = self.get_tag_types(api)
 320         self.slice = None
 321
 322     def lookupSite(self, id):
 323         """ Lookup site based on id or idtag value """
 324         val = None
 325         if isinstance(id, basestring):
 326             id = int(id.lstrip('s'))
 327         try:
 328             val = self.sites[id]
 329         except:
 330             raise InvalidRSpec("site ID %s not found" % id)
 331         return val
 332
 333     def getSites(self):
 334         sites = []
 335         for s in self.sites:
 336             sites.append(self.sites[s])
 337         return sites
 338
 339     def lookupNode(self, id):
 340         """ Lookup node based on id or idtag value """
 341         val = None
 342         if isinstance(id, basestring):
 343             id = int(id.lstrip('n'))
 344         try:
 345             val = self.nodes[id]
 346         except:
 347             raise InvalidRSpec("node ID %s not found" % id)
 348         return val
 349
 350     def getNodes(self):
 351         nodes = []
 352         for n in self.nodes:
 353             nodes.append(self.nodes[n])
 354         return nodes
 355
 356     def lookupIface(self, id):
 357         """ Lookup iface based on id or idtag value """
 358         val = None
 359         if isinstance(id, basestring):
 360             id = int(id.lstrip('i'))
 361         try:
 362             val = self.ifaces[id]
 363         except:
 364             raise InvalidRSpec("interface ID %s not found" % id)
 365         return val
 366
 367     def getIfaces(self):
 368         ifaces = []
 369         for i in self.ifaces:
 370             ifaces.append(self.ifaces[i])
 371         return ifaces
 372
 373     def nodesWithSlivers(self):
 374         nodes = []
 375         for n in self.nodes:
 376             node = self.nodes[n]
 377             if node.sliver:
 378                 nodes.append(node)
 379         return nodes
 380
 381     def lookupSliceTag(self, id):
 382         val = None
 383         try:
 384             val = self.tags[id]
 385         except:
 386             raise InvalidRSpec("slicetag ID %s not found" % id)
 387         return val
 388
 389     def getSliceTags(self):
 390         tags = []
 391         for t in self.tags:
 392             tags.append(self.tags[t])
 393         return tags
 394
 395     def lookupTagType(self, name):
 396         val = None
 397         try:
 398             val = self.tagtypes[name]
 399         except:
 400             raise InvalidRSpec("tag %s not found" % name)
 401         return val
 402
 403     def getTagTypes(self):
 404         tags = []
 405         for t in self.tagtypes:
 406             tags.append(self.tagtypes[t])
 407         return tags
 408
 409     def __process_attributes(self, element, node=None):
 410         """
 411         Process the elements under <sliver_defaults> or <sliver>
 412         """
 413         if element is None:
 414             return
 415
 416         tagtypes = self.getTagTypes()
 417         for tt in tagtypes:
 418             if tt.in_rspec:
 419                 if tt.multi:
 420                     for e in element.iterfind("./" + tt.tagname):
 421                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 422                 else:
 423                     e = element.find("./" + tt.tagname)
 424                     if e is not None:
 425                         self.slice.update_tag(tt.tagname, e.text, node)
 426
 427     def addRSpec(self, xml, schema=None):
 428         """
 429         Annotate the objects in the Network with information from the RSpec
 430         """
 431         try:
 432             tree = etree.parse(StringIO(xml))
 433         except etree.XMLSyntaxError:
 434             message = str(sys.exc_info()[1])
 435             raise InvalidRSpec(message)
 436
 437         # Filter out stuff that's not for us
 438         rspec = tree.getroot()
 439         for network in rspec.iterfind("./network"):
 440             if network.get("name") != self.api.hrn:
 441                 rspec.remove(network)
 442         for request in rspec.iterfind("./request"):
 443             if request.get("name") != self.api.hrn:
 444                 rspec.remove(request)
 445
 446         if schema:
 447             # Validate the incoming request against the RelaxNG schema
 448             relaxng_doc = etree.parse(schema)
 449             relaxng = etree.RelaxNG(relaxng_doc)
 450
 451             if not relaxng(tree):
 452                 error = relaxng.error_log.last_error
 453                 message = "%s (line %s)" % (error.message, error.line)
 454                 raise InvalidRSpec(message)
 455
 456         self.rspec = rspec
 457
 458         defaults = rspec.find(".//sliver_defaults")
 459         self.__process_attributes(defaults)
 460
 461         # Find slivers under node elements
 462         for sliver in rspec.iterfind("./network/site/node/sliver"):
 463             elem = sliver.getparent()
 464             try:
 465                 node = self.lookupNode(elem.get("id"))
 466             except:
 467                 # Don't worry about nodes from other aggregates
 468                 pass
 469             else:
 470                 node.add_sliver()
 471                 self.__process_attributes(sliver, node)
 472
 473         # Find slivers that specify nodeid
 474         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 475             try:
 476                 node = self.lookupNode(sliver.get("nodeid"))
 477             except:
 478                 # Don't worry about nodes from other aggregates
 479                 pass
 480             else:
 481                 node.add_sliver()
 482                 self.__process_attributes(sliver, node)
 483
 484         return
 485
 486     def addSlice(self):
 487         """
 488         Annotate the objects in the Network with information from the slice
 489         """
 490         slice = self.slice
 491         if not slice:
 492             raise InvalidRSpec("no slice associated with network")
 493
 494         for node in slice.get_nodes():
 495             node.add_sliver()
 496
 497     def updateSliceTags(self):
 498         """
 499         Write any slice tags that have been added or modified back to the DB
 500         """
 501         for tag in self.getSliceTags():
 502             if tag.category == 'slice/rspec' and not tag.was_updated() and tag.permit_update(None, 40):
 503                 # The user wants to delete this tag
 504                 tag.delete()
 505
 506         # Update slice tags in database
 507         for tag in self.getSliceTags():
 508             if tag.slice_id == self.slice.id:
 509                 tag.write(self.api)
 510
 511     def toxml(self):
 512         """
 513         Produce XML directly from the topology specification.
 514         """
 515         xml = XMLBuilder(format = True, tab_step = "  ")
 516         with xml.RSpec(type=self.type):
 517             if self.slice:
 518                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 519             else:
 520                 element = xml.network(name=self.api.hrn)
 521
 522             with element:
 523                 if self.slice:
 524                     self.slice.toxml(xml)
 525                 for site in self.getSites():
 526                     site.toxml(xml)
 527
 528         header = '<?xml version="1.0"?>\n'
 529         return header + str(xml)
 530
 531     def get_sites(self, api):
 532         """
 533         Create a dictionary of site objects keyed by site ID
 534         """
 535         tmp = []
 536         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 537             t = site['site_id'], Site(self, site)
 538             tmp.append(t)
 539         return dict(tmp)
 540
 541
 542     def get_nodes(self, api):
 543         """
 544         Create a dictionary of node objects keyed by node ID
 545         """
 546         tmp = []
 547         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 548             t = node['node_id'], Node(self, node)
 549             tmp.append(t)
 550         return dict(tmp)
 551
 552     def get_ifaces(self, api):
 553         """
 554         Create a dictionary of node objects keyed by node ID
 555         """
 556         tmp = []
 557         for iface in api.plshell.GetInterfaces(api.plauth):
 558             t = iface['interface_id'], Iface(self, iface)
 559             tmp.append(t)
 560         return dict(tmp)
 561
 562     def get_slice_tags(self, api):
 563         """
 564         Create a dictionary of slicetag objects keyed by slice tag ID
 565         """
 566         tmp = []
 567         for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields):
 568             t = tag['slice_tag_id'], Slicetag(tag)
 569             tmp.append(t)
 570         return dict(tmp)
 571
 572     def get_tag_types(self, api):
 573         """
 574         Create a list of tagtype obects keyed by tag name
 575         """
 576         tmp = []
 577         for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
 578             t = tag['tagname'], TagType(tag)
 579             tmp.append(t)
 580         return dict(tmp)
 581
 582     def get_slice(self, api, hrn):
 583         """
 584         Return a Slice object for a single slice
 585         """
 586         slicename = hrn_to_pl_slicename(hrn)
 587         slice = api.plshell.GetSlices(api.plauth, [slicename])
 588         if len(slice):
 589             self.slice = Slice(self, slicename, slice[0])
 590             return self.slice
 591         else:
 592             return None
 593
 594