sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.xrn import get_authority
   5 from sfa.util.plxrn import hrn_to_pl_slicename, hostname_to_urn
   6 from sfa.util.faults import *
   7 from xmlbuilder import XMLBuilder
   8 from lxml import etree
   9 import sys
  10 from StringIO import StringIO
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31         self.primary = iface['is_primary']
  32
  33     def toxml(self, xml):
  34         """
  35         Just print out bwlimit right now
  36         """
  37         if self.bwlimit:
  38             with xml.bw_limit(units="kbps"):
  39                 xml << str(self.bwlimit / 1000)
  40
  41
  42 class Node:
  43     def __init__(self, network, node):
  44         self.network = network
  45         self.id = node['node_id']
  46         self.idtag = "n%s" % self.id
  47         self.hostname = node['hostname']
  48         self.site_id = node['site_id']
  49         self.iface_ids = node['interface_ids']
  50         self.sliver = None
  51         self.whitelist = node['slice_ids_whitelist']
  52         auth = self.network.api.hrn
  53         login_base = self.get_site().idtag
  54         self.urn = hostname_to_urn(auth, login_base, self.hostname)
  55
  56     def get_primary_iface(self):
  57         for id in self.iface_ids:
  58             iface = self.network.lookupIface(id)
  59             if iface.primary:
  60                 return iface
  61         return None
  62
  63     def get_site(self):
  64         return self.network.lookupSite(self.site_id)
  65
  66     def add_sliver(self):
  67         self.sliver = Sliver(self)
  68
  69     def toxml(self, xml):
  70         slice = self.network.slice
  71         if self.whitelist and not self.sliver:
  72             if not slice or slice.id not in self.whitelist:
  73                 return
  74
  75         with xml.node(id = self.idtag):
  76             with xml.hostname:
  77                 xml << self.hostname
  78             with xml.urn:
  79                 xml << self.urn
  80             iface = self.get_primary_iface()
  81             if iface:
  82                 iface.toxml(xml)
  83             if self.sliver:
  84                 self.sliver.toxml(xml)
  85
  86
  87 class Site:
  88     def __init__(self, network, site):
  89         self.network = network
  90         self.id = site['site_id']
  91         self.node_ids = site['node_ids']
  92         self.node_ids.sort()
  93         self.name = site['abbreviated_name']
  94         self.tag = site['login_base']
  95         self.idtag = site['login_base']
  96         self.public = site['is_public']
  97         self.enabled = site['enabled']
  98         self.links = set()
  99         self.whitelist = False
 100
 101     def get_sitenodes(self):
 102         n = []
 103         for i in self.node_ids:
 104             n.append(self.network.lookupNode(i))
 105         return n
 106
 107     def toxml(self, xml):
 108         if not (self.public and self.enabled and self.node_ids):
 109             return
 110         with xml.site(id = self.idtag):
 111             with xml.name:
 112                 xml << self.name
 113             for node in self.get_sitenodes():
 114                 node.toxml(xml)
 115
 116
 117 class Slice:
 118     def __init__(self, network, hrn, slice):
 119         self.hrn = hrn
 120         self.network = network
 121         self.id = slice['slice_id']
 122         self.name = slice['name']
 123         self.peer_id = slice['peer_id']
 124         self.node_ids = set(slice['node_ids'])
 125         self.slice_tag_ids = slice['slice_tag_ids']
 126
 127     """
 128     Use with tags that can have more than one instance
 129     """
 130     def get_multi_tag(self, tagname, node = None):
 131         tags = []
 132         for i in self.slice_tag_ids:
 133             try:
 134                 tag = self.network.lookupSliceTag(i)
 135                 if tag.tagname == tagname:
 136                     if node:
 137                         if node.id == tag.node_id:
 138                             tags.append(tag)
 139                     elif not tag.node_id:
 140                         tags.append(tag)
 141             except InvalidRSpec, e:
 142                 # As they're not needed, we ignore some tag types from
 143                 # GetSliceTags call. See Slicetag.ignore_tags
 144                 pass
 145         return tags
 146
 147     """
 148     Use with tags that have only one instance
 149     """
 150     def get_tag(self, tagname, node = None):
 151         for i in self.slice_tag_ids:
 152             try:
 153                 tag = self.network.lookupSliceTag(i)
 154                 if tag.tagname == tagname:
 155                     if node:
 156                         if node.id == tag.node_id:
 157                             return tag
 158                     elif not tag.node_id:
 159                         return tag
 160             except InvalidRSpec, e:
 161                 # As they're not needed, we ignore some tag types from
 162                 # GetSliceTags call. See Slicetag.ignore_tags
 163                 pass
 164         return None
 165
 166     def get_nodes(self):
 167         n = []
 168         for id in self.node_ids:
 169             if id in self.network.nodes:
 170                 n.append(self.network.nodes[id])
 171         return n
 172
 173     # Add a new slice tag
 174     def add_tag(self, tagname, value, node = None, role = "user"):
 175         tt = self.network.lookupTagType(tagname)
 176         if not tt.permit_update(role):
 177             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 178         tag = Slicetag()
 179         tag.initialize(tagname, value, node, self.network)
 180         self.network.tags[tag.id] = tag
 181         self.slice_tag_ids.append(tag.id)
 182         return tag
 183
 184     # Update a slice tag if it exists, else add it
 185     def update_tag(self, tagname, value, node = None, role = "user"):
 186         tag = self.get_tag(tagname, node)
 187         if tag and tag.value == value:
 188             return tag
 189
 190         tt = self.network.lookupTagType(tagname)
 191         if not tt.permit_update(role):
 192             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 193
 194         if tag:
 195             tag.change(value)
 196         else:
 197             tag = self.add_tag(tagname, value, node, role)
 198         return tag
 199
 200     def update_multi_tag(self, tagname, value, node = None, role = "user"):
 201         tags = self.get_multi_tag(tagname, node)
 202         for tag in tags:
 203             if tag and tag.value == value:
 204                 break
 205         else:
 206             tag = self.add_tag(tagname, value, node, role)
 207         return tag
 208
 209     def tags_to_xml(self, xml, node = None):
 210         tagtypes = self.network.getTagTypes()
 211         for tt in tagtypes:
 212             if tt.in_rspec:
 213                 if tt.multi:
 214                     tags = self.get_multi_tag(tt.tagname, node)
 215                     for tag in tags:
 216                         if not tag.was_deleted():  ### Debugging
 217                             xml << (tag.tagname, tag.value)
 218                 else:
 219                     tag = self.get_tag(tt.tagname, node)
 220                     if tag:
 221                         if not tag.was_deleted():   ### Debugging
 222                             xml << (tag.tagname, tag.value)
 223
 224     def toxml(self, xml):
 225         with xml.sliver_defaults:
 226             self.tags_to_xml(xml)
 227
 228
 229 class Slicetag:
 230     newid = -1
 231     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category']
 232     ignore_tags = ['hmac','ssh_key']
 233     def __init__(self, tag = None):
 234         if not tag:
 235             return
 236         self.id = tag['slice_tag_id']
 237         self.slice_id = tag['slice_id']
 238         self.tagname = tag['tagname']
 239         self.value = tag['value']
 240         self.node_id = tag['node_id']
 241         self.category = tag['category']
 242         self.status = None
 243
 244     # Create a new slicetag that will be written to the DB later
 245     def initialize(self, tagname, value, node, network):
 246         tt = network.lookupTagType(tagname)
 247         self.id = Slicetag.newid
 248         Slicetag.newid -=1
 249         self.slice_id = network.slice.id
 250         self.tagname = tagname
 251         self.value = value
 252         if node:
 253             self.node_id = node.id
 254         else:
 255             self.node_id = None
 256         self.category = tt.category
 257         self.status = "new"
 258
 259     def change(self, value):
 260         if self.value != value:
 261             self.value = value
 262             self.status = "change"
 263         else:
 264             self.status = "updated"
 265
 266     # Mark a tag as deleted
 267     def delete(self):
 268         self.status = "delete"
 269
 270     def was_added(self):
 271         return (self.id < 0)
 272
 273     def was_changed(self):
 274         return (self.status == "change")
 275
 276     def was_deleted(self):
 277         return (self.status == "delete")
 278
 279     def was_updated(self):
 280         return (self.status != None)
 281
 282     def write(self, api):
 283         if self.was_added():
 284             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 285                                     self.tagname, self.value, self.node_id)
 286         elif self.was_changed():
 287             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 288         elif self.was_deleted():
 289             api.plshell.DeleteSliceTag(api.plauth, self.id)
 290
 291
 292 class TagType:
 293     ignore_tags = ['hmac','ssh_key']
 294     def __init__(self, tagtype):
 295         self.id = tagtype['tag_type_id']
 296         self.category = tagtype['category']
 297         self.tagname = tagtype['tagname']
 298         self.roles = tagtype['roles']
 299         self.multi = False
 300         self.in_rspec = False
 301         if self.category == 'slice/rspec':
 302             self.in_rspec = True
 303         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 304             self.multi = True
 305
 306     def permit_update(self, role):
 307         if role in self.roles:
 308             return True
 309         return False
 310
 311
 312 class Network:
 313     """
 314     A Network is a compound object consisting of:
 315     * a dictionary mapping site IDs to Site objects
 316     * a dictionary mapping node IDs to Node objects
 317     * a dictionary mapping interface IDs to Iface objects
 318     """
 319     def __init__(self, api, type = "SFA"):
 320         self.api = api
 321         self.type = type
 322         self.sites = self.get_sites(api)
 323         self.nodes = self.get_nodes(api)
 324         self.ifaces = self.get_ifaces(api)
 325         self.tags = self.get_slice_tags(api)
 326         self.tagtypes = self.get_tag_types(api)
 327         self.slice = None
 328         self.sitemap = {}
 329         for s in self.sites:
 330             site = self.sites[s]
 331             self.sitemap[site.idtag] = site.id
 332
 333     def lookupSiteIdtag(self, name):
 334         """ Lookup site id from name """
 335         val = None
 336         try:
 337             val = self.sitemap[name]
 338         except:
 339             raise InvalidRSpec("site name '%s' not found" % name)
 340         return val
 341
 342     def lookupSite(self, id):
 343         """ Lookup site based on id or idtag value """
 344         val = None
 345         if isinstance(id, basestring):
 346             id = self.lookupSiteIdtag(id)
 347         try:
 348             val = self.sites[id]
 349         except:
 350             raise InvalidRSpec("site ID %s not found" % id)
 351         return val
 352
 353     def getSites(self):
 354         sites = []
 355         for s in self.sites:
 356             sites.append(self.sites[s])
 357         return sites
 358
 359     def lookupNode(self, id):
 360         """ Lookup node based on id or idtag value """
 361         val = None
 362         if isinstance(id, basestring):
 363             id = int(id.lstrip('n'))
 364         try:
 365             val = self.nodes[id]
 366         except:
 367             raise InvalidRSpec("node ID %s not found" % id)
 368         return val
 369
 370     def getNodes(self):
 371         nodes = []
 372         for n in self.nodes:
 373             nodes.append(self.nodes[n])
 374         return nodes
 375
 376     def lookupIface(self, id):
 377         """ Lookup iface based on id or idtag value """
 378         val = None
 379         if isinstance(id, basestring):
 380             id = int(id.lstrip('i'))
 381         try:
 382             val = self.ifaces[id]
 383         except:
 384             raise InvalidRSpec("interface ID %s not found" % id)
 385         return val
 386
 387     def getIfaces(self):
 388         ifaces = []
 389         for i in self.ifaces:
 390             ifaces.append(self.ifaces[i])
 391         return ifaces
 392
 393     def nodesWithSlivers(self):
 394         nodes = []
 395         for n in self.nodes:
 396             node = self.nodes[n]
 397             if node.sliver:
 398                 nodes.append(node)
 399         return nodes
 400
 401     def lookupSliceTag(self, id):
 402         val = None
 403         try:
 404             val = self.tags[id]
 405         except:
 406             raise InvalidRSpec("slicetag ID %s not found" % id)
 407         return val
 408
 409     def getSliceTags(self):
 410         tags = []
 411         for t in self.tags:
 412             tags.append(self.tags[t])
 413         return tags
 414
 415     def lookupTagType(self, name):
 416         val = None
 417         try:
 418             val = self.tagtypes[name]
 419         except:
 420             raise InvalidRSpec("tag %s not found" % name)
 421         return val
 422
 423     def getTagTypes(self):
 424         tags = []
 425         for t in self.tagtypes:
 426             tags.append(self.tagtypes[t])
 427         return tags
 428
 429     def __process_attributes(self, element, node=None):
 430         """
 431         Process the elements under <sliver_defaults> or <sliver>
 432         """
 433         if element is None:
 434             return
 435
 436         tagtypes = self.getTagTypes()
 437         for tt in tagtypes:
 438             if tt.in_rspec:
 439                 if tt.multi:
 440                     for e in element.iterfind("./" + tt.tagname):
 441                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 442                 else:
 443                     e = element.find("./" + tt.tagname)
 444                     if e is not None:
 445                         self.slice.update_tag(tt.tagname, e.text, node)
 446
 447     def addRSpec(self, xml, schema=None):
 448         """
 449         Annotate the objects in the Network with information from the RSpec
 450         """
 451         try:
 452             tree = etree.parse(StringIO(xml))
 453         except etree.XMLSyntaxError:
 454             message = str(sys.exc_info()[1])
 455             raise InvalidRSpec(message)
 456
 457         # Filter out stuff that's not for us
 458         rspec = tree.getroot()
 459         for network in rspec.iterfind("./network"):
 460             if network.get("name") != self.api.hrn:
 461                 rspec.remove(network)
 462         for request in rspec.iterfind("./request"):
 463             if request.get("name") != self.api.hrn:
 464                 rspec.remove(request)
 465
 466         if schema:
 467             # Validate the incoming request against the RelaxNG schema
 468             relaxng_doc = etree.parse(schema)
 469             relaxng = etree.RelaxNG(relaxng_doc)
 470
 471             if not relaxng(tree):
 472                 error = relaxng.error_log.last_error
 473                 message = "%s (line %s)" % (error.message, error.line)
 474                 raise InvalidRSpec(message)
 475
 476         self.rspec = rspec
 477
 478         defaults = rspec.find(".//sliver_defaults")
 479         self.__process_attributes(defaults)
 480
 481         # Find slivers under node elements
 482         for sliver in rspec.iterfind("./network/site/node/sliver"):
 483             elem = sliver.getparent()
 484             try:
 485                 node = self.lookupNode(elem.get("id"))
 486             except:
 487                 # Don't worry about nodes from other aggregates
 488                 pass
 489             else:
 490                 node.add_sliver()
 491                 self.__process_attributes(sliver, node)
 492
 493         # Find slivers that specify nodeid
 494         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 495             try:
 496                 node = self.lookupNode(sliver.get("nodeid"))
 497             except:
 498                 # Don't worry about nodes from other aggregates
 499                 pass
 500             else:
 501                 node.add_sliver()
 502                 self.__process_attributes(sliver, node)
 503
 504         return
 505
 506     def addSlice(self):
 507         """
 508         Annotate the objects in the Network with information from the slice
 509         """
 510         slice = self.slice
 511         if not slice:
 512             raise InvalidRSpec("no slice associated with network")
 513
 514         for node in slice.get_nodes():
 515             node.add_sliver()
 516
 517     def updateSliceTags(self):
 518         """
 519         Write any slice tags that have been added or modified back to the DB
 520         """
 521         for tag in self.getSliceTags():
 522             if tag.category == 'slice/rspec' and not tag.was_updated():
 523                 tt = self.lookupTagType(tag.tagname)
 524                 if tt.permit_update("user"):
 525                     tag.delete()
 526
 527         # Update slice tags in database
 528         for tag in self.getSliceTags():
 529             if tag.slice_id == self.slice.id:
 530                 tag.write(self.api)
 531
 532     def toxml(self):
 533         """
 534         Produce XML directly from the topology specification.
 535         """
 536         xml = XMLBuilder(format = True, tab_step = "  ")
 537         with xml.RSpec(type=self.type):
 538             if self.slice:
 539                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 540             else:
 541                 element = xml.network(name=self.api.hrn)
 542
 543             with element:
 544                 if self.slice:
 545                     self.slice.toxml(xml)
 546                 for site in self.getSites():
 547                     site.toxml(xml)
 548
 549         header = '<?xml version="1.0"?>\n'
 550         return header + str(xml)
 551
 552     def get_sites(self, api):
 553         """
 554         Create a dictionary of site objects keyed by site ID
 555         """
 556         tmp = []
 557         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 558             t = site['site_id'], Site(self, site)
 559             tmp.append(t)
 560         return dict(tmp)
 561
 562
 563     def get_nodes(self, api):
 564         """
 565         Create a dictionary of node objects keyed by node ID
 566         """
 567         tmp = []
 568         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 569             t = node['node_id'], Node(self, node)
 570             tmp.append(t)
 571         return dict(tmp)
 572
 573     def get_ifaces(self, api):
 574         """
 575         Create a dictionary of node objects keyed by node ID
 576         """
 577         tmp = []
 578         for iface in api.plshell.GetInterfaces(api.plauth):
 579             t = iface['interface_id'], Iface(self, iface)
 580             tmp.append(t)
 581         return dict(tmp)
 582
 583     def get_slice_tags(self, api):
 584         """
 585         Create a dictionary of slicetag objects keyed by slice tag ID
 586         """
 587         tmp = []
 588         for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields):
 589             t = tag['slice_tag_id'], Slicetag(tag)
 590             tmp.append(t)
 591         return dict(tmp)
 592
 593     def get_tag_types(self, api):
 594         """
 595         Create a list of tagtype obects keyed by tag name
 596         """
 597         tmp = []
 598         for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
 599             t = tag['tagname'], TagType(tag)
 600             tmp.append(t)
 601         return dict(tmp)
 602
 603     def get_slice(self, api, hrn):
 604         """
 605         Return a Slice object for a single slice
 606         """
 607         slicename = hrn_to_pl_slicename(hrn)
 608         slice = api.plshell.GetSlices(api.plauth, [slicename])
 609         if len(slice):
 610             self.slice = Slice(self, slicename, slice[0])
 611             return self.slice
 612         else:
 613             return None
 614
 615