sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.xrn import get_authority
   5 from sfa.util.plxrn import hrn_to_pl_slicename
   6 from sfa.util.faults import *
   7 from xmlbuilder import XMLBuilder
   8 from lxml import etree
   9 import sys
  10 from StringIO import StringIO
  11
  12
  13 class Sliver:
  14     def __init__(self, node):
  15         self.node = node
  16         self.network = node.network
  17         self.slice = node.network.slice
  18
  19     def toxml(self, xml):
  20         with xml.sliver:
  21             self.slice.tags_to_xml(xml, self.node)
  22
  23
  24 class Iface:
  25     def __init__(self, network, iface):
  26         self.network = network
  27         self.id = iface['interface_id']
  28         self.idtag = "i%s" % self.id
  29         self.ipv4 = iface['ip']
  30         self.bwlimit = iface['bwlimit']
  31         self.hostname = iface['hostname']
  32         self.primary = iface['is_primary']
  33
  34     def toxml(self, xml):
  35         """
  36         Just print out bwlimit right now
  37         """
  38         if self.bwlimit:
  39             with xml.bw_limit(units="kbps"):
  40                 xml << str(self.bwlimit / 1000)
  41
  42
  43 class Node:
  44     def __init__(self, network, node):
  45         self.network = network
  46         self.id = node['node_id']
  47         self.idtag = "n%s" % self.id
  48         self.hostname = node['hostname']
  49         self.site_id = node['site_id']
  50         self.iface_ids = node['interface_ids']
  51         self.sliver = None
  52         self.whitelist = node['slice_ids_whitelist']
  53
  54     def get_primary_iface(self):
  55         for id in self.iface_ids:
  56             iface = self.network.lookupIface(id)
  57             if iface.primary:
  58                 return iface
  59         return None
  60
  61     def get_site(self):
  62         return self.network.lookupSite(self.site_id)
  63
  64     def add_sliver(self):
  65         self.sliver = Sliver(self)
  66
  67     def toxml(self, xml):
  68         slice = self.network.slice
  69         if self.whitelist and not self.sliver:
  70             if not slice or slice.id not in self.whitelist:
  71                 return
  72
  73         with xml.node(id = self.idtag):
  74             with xml.hostname:
  75                 xml << self.hostname
  76             iface = self.get_primary_iface()
  77             if iface:
  78                 iface.toxml(xml)
  79             if self.sliver:
  80                 self.sliver.toxml(xml)
  81
  82
  83 class Site:
  84     def __init__(self, network, site):
  85         self.network = network
  86         self.id = site['site_id']
  87         self.idtag = "s%s" % self.id
  88         self.node_ids = site['node_ids']
  89         self.node_ids.sort()
  90         self.name = site['abbreviated_name']
  91         self.tag = site['login_base']
  92         self.public = site['is_public']
  93         self.enabled = site['enabled']
  94         self.links = set()
  95         self.whitelist = False
  96
  97     def get_sitenodes(self):
  98         n = []
  99         for i in self.node_ids:
 100             n.append(self.network.lookupNode(i))
 101         return n
 102
 103     def toxml(self, xml):
 104         if not (self.public and self.enabled and self.node_ids):
 105             return
 106         with xml.site(id = self.idtag):
 107             with xml.name:
 108                 xml << self.name
 109             for node in self.get_sitenodes():
 110                 node.toxml(xml)
 111
 112
 113 class Slice:
 114     def __init__(self, network, hrn, slice):
 115         self.hrn = hrn
 116         self.network = network
 117         self.id = slice['slice_id']
 118         self.name = slice['name']
 119         self.peer_id = slice['peer_id']
 120         self.node_ids = set(slice['node_ids'])
 121         self.slice_tag_ids = slice['slice_tag_ids']
 122
 123     """
 124     Use with tags that can have more than one instance
 125     """
 126     def get_multi_tag(self, tagname, node = None):
 127         tags = []
 128         for i in self.slice_tag_ids:
 129             try:
 130                 tag = self.network.lookupSliceTag(i)
 131                 if tag.tagname == tagname:
 132                     if not (node and node.id != tag.node_id):
 133                         tags.append(tag)
 134             except InvalidRSpec, e:
 135                 # As they're not needed, we ignore some tag types from
 136                 # GetSliceTags call. See Slicetag.ignore_tags
 137                 pass
 138         return tags
 139
 140     """
 141     Use with tags that have only one instance
 142     """
 143     def get_tag(self, tagname, node = None):
 144         try:
 145             for i in self.slice_tag_ids:
 146                 tag = self.network.lookupSliceTag(i)
 147                 if tag.tagname == tagname:
 148                     if (not node) or (node.id == tag.node_id):
 149                         return tag
 150         except InvalidRSpec, e:
 151             # As they're not needed, we ignore some tag types from
 152             # GetSliceTags call. See Slicetag.ignore_tags
 153             pass
 154         return None
 155
 156     def get_nodes(self):
 157         n = []
 158         for id in self.node_ids:
 159             if id in self.network.nodes:
 160                 n.append(self.network.nodes[id])
 161         return n
 162
 163     # Add a new slice tag
 164     def add_tag(self, tagname, value, node = None, role_id = 30):
 165         tt = self.network.lookupTagType(tagname)
 166         if not tt.permit_update(role_id):
 167             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 168         tag = Slicetag()
 169         tag.initialize(tagname, value, node, self.network)
 170         self.network.tags[tag.id] = tag
 171         self.slice_tag_ids.append(tag.id)
 172         return tag
 173
 174     # Update a slice tag if it exists, else add it
 175     def update_tag(self, tagname, value, node = None, role_id = 30):
 176         tag = self.get_tag(tagname, node)
 177         if tag:
 178             if not tag.permit_update(role_id, value):
 179                 raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
 180             tag.change(value)
 181         else:
 182             tag = self.add_tag(tagname, value, node, role_id)
 183         return tag
 184
 185     def update_multi_tag(self, tagname, value, node = None, role_id = 30):
 186         tags = self.get_multi_tag(tagname, node)
 187         for tag in tags:
 188             if tag and tag.value == value:
 189                 break
 190         else:
 191             tag = self.add_tag(tagname, value, node, role_id)
 192         return tag
 193
 194     def tags_to_xml(self, xml, node = None):
 195         tagtypes = self.network.getTagTypes()
 196         for tt in tagtypes:
 197             if tt.in_rspec:
 198                 if tt.multi:
 199                     tags = self.get_multi_tag(tt.tagname, node)
 200                     for tag in tags:
 201                         if not tag.was_deleted():  ### Debugging
 202                             xml << (tag.tagname, tag.value)
 203                 else:
 204                     tag = self.get_tag(tt.tagname, node)
 205                     if tag:
 206                         if not tag.was_deleted():   ### Debugging
 207                             xml << (tag.tagname, tag.value)
 208
 209     def toxml(self, xml):
 210         with xml.sliver_defaults:
 211             self.tags_to_xml(xml)
 212
 213
 214 class Slicetag:
 215     newid = -1
 216 #    filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category','min_role_id']
 217     filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category']
 218     ignore_tags = ['hmac','ssh_key']
 219     def __init__(self, tag = None):
 220         if not tag:
 221             return
 222         self.id = tag['slice_tag_id']
 223         self.slice_id = tag['slice_id']
 224         self.tagname = tag['tagname']
 225         self.value = tag['value']
 226         self.node_id = tag['node_id']
 227         self.category = tag['category']
 228 #        self.min_role_id = tag['min_role_id']
 229         self.status = None
 230
 231     # Create a new slicetag that will be written to the DB later
 232     def initialize(self, tagname, value, node, network):
 233         tt = network.lookupTagType(tagname)
 234         self.id = Slicetag.newid
 235         Slicetag.newid -=1
 236         self.slice_id = network.slice.id
 237         self.tagname = tagname
 238         self.value = value
 239         if node:
 240             self.node_id = node.id
 241         else:
 242             self.node_id = None
 243         self.category = tt.category
 244 #        self.min_role_id = tt.min_role_id
 245         self.status = "new"
 246
 247     def permit_update(self, role_id, value = None):
 248         if value and self.value == value:
 249             return True
 250         # xxx FIXME - the new model in PLCAPI has roles and not min_role_id
 251         #if role_id > self.min_role_id:
 252         #    return False
 253         return False
 254
 255     def change(self, value):
 256         if self.value != value:
 257             self.value = value
 258             self.status = "change"
 259         else:
 260             self.status = "updated"
 261
 262     # Mark a tag as deleted
 263     def delete(self):
 264         self.status = "delete"
 265
 266     def was_added(self):
 267         return (self.id < 0)
 268
 269     def was_changed(self):
 270         return (self.status == "change")
 271
 272     def was_deleted(self):
 273         return (self.status == "delete")
 274
 275     def was_updated(self):
 276         return (self.status != None)
 277
 278     def write(self, api):
 279         if self.was_added():
 280             api.plshell.AddSliceTag(api.plauth, self.slice_id,
 281                                     self.tagname, self.value, self.node_id)
 282         elif self.was_changed():
 283             api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 284         elif self.was_deleted():
 285             api.plshell.DeleteSliceTag(api.plauth, self.id)
 286
 287
 288 class TagType:
 289     ignore_tags = ['hmac','ssh_key']
 290     def __init__(self, tagtype):
 291         self.id = tagtype['tag_type_id']
 292         self.category = tagtype['category']
 293         self.tagname = tagtype['tagname']
 294 #        self.min_role_id = tagtype['min_role_id']
 295         self.multi = False
 296         self.in_rspec = False
 297         if self.category == 'slice/rspec':
 298             self.in_rspec = True
 299         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 300             self.multi = True
 301
 302     def permit_update(self, role_id):
 303         # XXX FIXME ditto
 304         #if role_id > self.min_role_id:
 305         #    return False
 306         return False
 307
 308
 309 class Network:
 310     """
 311     A Network is a compound object consisting of:
 312     * a dictionary mapping site IDs to Site objects
 313     * a dictionary mapping node IDs to Node objects
 314     * a dictionary mapping interface IDs to Iface objects
 315     """
 316     def __init__(self, api, type = "SFA"):
 317         self.api = api
 318         self.type = type
 319         self.sites = self.get_sites(api)
 320         self.nodes = self.get_nodes(api)
 321         self.ifaces = self.get_ifaces(api)
 322         self.tags = self.get_slice_tags(api)
 323         self.tagtypes = self.get_tag_types(api)
 324         self.slice = None
 325
 326     def lookupSite(self, id):
 327         """ Lookup site based on id or idtag value """
 328         val = None
 329         if isinstance(id, basestring):
 330             id = int(id.lstrip('s'))
 331         try:
 332             val = self.sites[id]
 333         except:
 334             raise InvalidRSpec("site ID %s not found" % id)
 335         return val
 336
 337     def getSites(self):
 338         sites = []
 339         for s in self.sites:
 340             sites.append(self.sites[s])
 341         return sites
 342
 343     def lookupNode(self, id):
 344         """ Lookup node based on id or idtag value """
 345         val = None
 346         if isinstance(id, basestring):
 347             id = int(id.lstrip('n'))
 348         try:
 349             val = self.nodes[id]
 350         except:
 351             raise InvalidRSpec("node ID %s not found" % id)
 352         return val
 353
 354     def getNodes(self):
 355         nodes = []
 356         for n in self.nodes:
 357             nodes.append(self.nodes[n])
 358         return nodes
 359
 360     def lookupIface(self, id):
 361         """ Lookup iface based on id or idtag value """
 362         val = None
 363         if isinstance(id, basestring):
 364             id = int(id.lstrip('i'))
 365         try:
 366             val = self.ifaces[id]
 367         except:
 368             raise InvalidRSpec("interface ID %s not found" % id)
 369         return val
 370
 371     def getIfaces(self):
 372         ifaces = []
 373         for i in self.ifaces:
 374             ifaces.append(self.ifaces[i])
 375         return ifaces
 376
 377     def nodesWithSlivers(self):
 378         nodes = []
 379         for n in self.nodes:
 380             node = self.nodes[n]
 381             if node.sliver:
 382                 nodes.append(node)
 383         return nodes
 384
 385     def lookupSliceTag(self, id):
 386         val = None
 387         try:
 388             val = self.tags[id]
 389         except:
 390             raise InvalidRSpec("slicetag ID %s not found" % id)
 391         return val
 392
 393     def getSliceTags(self):
 394         tags = []
 395         for t in self.tags:
 396             tags.append(self.tags[t])
 397         return tags
 398
 399     def lookupTagType(self, name):
 400         val = None
 401         try:
 402             val = self.tagtypes[name]
 403         except:
 404             raise InvalidRSpec("tag %s not found" % name)
 405         return val
 406
 407     def getTagTypes(self):
 408         tags = []
 409         for t in self.tagtypes:
 410             tags.append(self.tagtypes[t])
 411         return tags
 412
 413     def __process_attributes(self, element, node=None):
 414         """
 415         Process the elements under <sliver_defaults> or <sliver>
 416         """
 417         if element is None:
 418             return
 419
 420         tagtypes = self.getTagTypes()
 421         for tt in tagtypes:
 422             if tt.in_rspec:
 423                 if tt.multi:
 424                     for e in element.iterfind("./" + tt.tagname):
 425                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 426                 else:
 427                     e = element.find("./" + tt.tagname)
 428                     if e is not None:
 429                         self.slice.update_tag(tt.tagname, e.text, node)
 430
 431     def addRSpec(self, xml, schema=None):
 432         """
 433         Annotate the objects in the Network with information from the RSpec
 434         """
 435         try:
 436             tree = etree.parse(StringIO(xml))
 437         except etree.XMLSyntaxError:
 438             message = str(sys.exc_info()[1])
 439             raise InvalidRSpec(message)
 440
 441         # Filter out stuff that's not for us
 442         rspec = tree.getroot()
 443         for network in rspec.iterfind("./network"):
 444             if network.get("name") != self.api.hrn:
 445                 rspec.remove(network)
 446         for request in rspec.iterfind("./request"):
 447             if request.get("name") != self.api.hrn:
 448                 rspec.remove(request)
 449
 450         if schema:
 451             # Validate the incoming request against the RelaxNG schema
 452             relaxng_doc = etree.parse(schema)
 453             relaxng = etree.RelaxNG(relaxng_doc)
 454
 455             if not relaxng(tree):
 456                 error = relaxng.error_log.last_error
 457                 message = "%s (line %s)" % (error.message, error.line)
 458                 raise InvalidRSpec(message)
 459
 460         self.rspec = rspec
 461
 462         defaults = rspec.find(".//sliver_defaults")
 463         self.__process_attributes(defaults)
 464
 465         # Find slivers under node elements
 466         for sliver in rspec.iterfind("./network/site/node/sliver"):
 467             elem = sliver.getparent()
 468             try:
 469                 node = self.lookupNode(elem.get("id"))
 470             except:
 471                 # Don't worry about nodes from other aggregates
 472                 pass
 473             else:
 474                 node.add_sliver()
 475                 self.__process_attributes(sliver, node)
 476
 477         # Find slivers that specify nodeid
 478         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 479             try:
 480                 node = self.lookupNode(sliver.get("nodeid"))
 481             except:
 482                 # Don't worry about nodes from other aggregates
 483                 pass
 484             else:
 485                 node.add_sliver()
 486                 self.__process_attributes(sliver, node)
 487
 488         return
 489
 490     def addSlice(self):
 491         """
 492         Annotate the objects in the Network with information from the slice
 493         """
 494         slice = self.slice
 495         if not slice:
 496             raise InvalidRSpec("no slice associated with network")
 497
 498         for node in slice.get_nodes():
 499             node.add_sliver()
 500
 501     def updateSliceTags(self):
 502         """
 503         Write any slice tags that have been added or modified back to the DB
 504         """
 505         for tag in self.getSliceTags():
 506             if tag.category == 'slice/rspec' and not tag.was_updated() and tag.permit_update(None, 30):
 507                 # The user wants to delete this tag
 508                 tag.delete()
 509
 510         # Update slice tags in database
 511         for tag in self.getSliceTags():
 512             if tag.slice_id == self.slice.id:
 513                 tag.write(self.api)
 514
 515     def toxml(self):
 516         """
 517         Produce XML directly from the topology specification.
 518         """
 519         xml = XMLBuilder(format = True, tab_step = "  ")
 520         with xml.RSpec(type=self.type):
 521             if self.slice:
 522                 element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
 523             else:
 524                 element = xml.network(name=self.api.hrn)
 525
 526             with element:
 527                 if self.slice:
 528                     self.slice.toxml(xml)
 529                 for site in self.getSites():
 530                     site.toxml(xml)
 531
 532         header = '<?xml version="1.0"?>\n'
 533         return header + str(xml)
 534
 535     def get_sites(self, api):
 536         """
 537         Create a dictionary of site objects keyed by site ID
 538         """
 539         tmp = []
 540         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 541             t = site['site_id'], Site(self, site)
 542             tmp.append(t)
 543         return dict(tmp)
 544
 545
 546     def get_nodes(self, api):
 547         """
 548         Create a dictionary of node objects keyed by node ID
 549         """
 550         tmp = []
 551         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 552             t = node['node_id'], Node(self, node)
 553             tmp.append(t)
 554         return dict(tmp)
 555
 556     def get_ifaces(self, api):
 557         """
 558         Create a dictionary of node objects keyed by node ID
 559         """
 560         tmp = []
 561         for iface in api.plshell.GetInterfaces(api.plauth):
 562             t = iface['interface_id'], Iface(self, iface)
 563             tmp.append(t)
 564         return dict(tmp)
 565
 566     def get_slice_tags(self, api):
 567         """
 568         Create a dictionary of slicetag objects keyed by slice tag ID
 569         """
 570         tmp = []
 571         for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields):
 572             t = tag['slice_tag_id'], Slicetag(tag)
 573             tmp.append(t)
 574         return dict(tmp)
 575
 576     def get_tag_types(self, api):
 577         """
 578         Create a list of tagtype obects keyed by tag name
 579         """
 580         tmp = []
 581         for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
 582             t = tag['tagname'], TagType(tag)
 583             tmp.append(t)
 584         return dict(tmp)
 585
 586     def get_slice(self, api, hrn):
 587         """
 588         Return a Slice object for a single slice
 589         """
 590         slicename = hrn_to_pl_slicename(hrn)
 591         slice = api.plshell.GetSlices(api.plauth, [slicename])
 592         if len(slice):
 593             self.slice = Slice(self, slicename, slice[0])
 594             return self.slice
 595         else:
 596             return None
 597
 598