sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import *
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31         self.primary = iface['is_primary']
  32
  33     """
  34     Just print out bwlimit right now
  35     """
  36     def toxml(self, xml):
  37         if self.bwlimit:
  38             with xml.bw_limit(units="kbps"):
  39                 xml << str(self.bwlimit / 1000)
  40
  41
  42 class Node:
  43     def __init__(self, network, node):
  44         self.network = network
  45         self.id = node['node_id']
  46         self.idtag = "n%s" % self.id
  47         self.hostname = node['hostname']
  48         self.site_id = node['site_id']
  49         self.iface_ids = node['interface_ids']
  50         self.sliver = None
  51         self.whitelist = node['slice_ids_whitelist']
  52
  53     def get_primary_iface(self):
  54         for id in self.iface_ids:
  55             iface = self.network.lookupIface(id)
  56             if iface.primary:
  57                 return iface
  58         return None
  59
  60     def get_site(self):
  61         return self.network.lookupSite(self.site_id)
  62
  63     def add_sliver(self):
  64         self.sliver = Sliver(self)
  65
  66     def toxml(self, xml):
  67         slice = self.network.slice
  68         if self.whitelist and not self.sliver:
  69             if not slice or slice.id not in self.whitelist:
  70                 return
  71
  72         with xml.node(id = self.idtag):
  73             with xml.hostname:
  74                 xml << self.hostname
  75             self.get_primary_iface().toxml()
  76             if self.sliver:
  77                 self.sliver.toxml(xml)
  78
  79
  80 class Site:
  81     def __init__(self, network, site):
  82         self.network = network
  83         self.id = site['site_id']
  84         self.idtag = "s%s" % self.id
  85         self.node_ids = site['node_ids']
  86         self.node_ids.sort()
  87         self.name = site['abbreviated_name']
  88         self.tag = site['login_base']
  89         self.public = site['is_public']
  90         self.enabled = site['enabled']
  91         self.links = set()
  92         self.whitelist = False
  93
  94     def get_sitenodes(self):
  95         n = []
  96         for i in self.node_ids:
  97             n.append(self.network.lookupNode(i))
  98         return n
  99
 100     def toxml(self, xml):
 101         if not (self.public and self.enabled and self.node_ids):
 102             return
 103         with xml.site(id = self.idtag):
 104             with xml.name:
 105                 xml << self.name
 106             for node in self.get_sitenodes():
 107                 node.toxml(xml)
 108
 109
 110 class Slice:
 111     def __init__(self, network, hrn, slice):
 112         self.hrn = hrn
 113         self.network = network
 114         self.id = slice['slice_id']
 115         self.name = slice['name']
 116         self.node_ids = set(slice['node_ids'])
 117         self.slice_tag_ids = slice['slice_tag_ids']
 118
 119     """
 120     Use with tags that can have more than one instance
 121     """
 122     def get_multi_tag(self, tagname, node = None):
 123         tags = []
 124         for i in self.slice_tag_ids:
 125             tag = self.network.lookupSliceTag(i)
 126             if tag.tagname == tagname:
 127                 if not (node and node.id != tag.node_id):
 128                     tags.append(tag)
 129         return tags
 130
 131     """
 132     Use with tags that have only one instance
 133     """
 134     def get_tag(self, tagname, node = None):
 135         for i in self.slice_tag_ids:
 136             tag = self.network.lookupSliceTag(i)
 137             if tag.tagname == tagname:
 138                 if (not node) or (node.id == tag.node_id):
 139                     return tag
 140         return None
 141
 142     def get_nodes(self):
 143         n = []
 144         for id in self.node_ids:
 145             n.append(self.network.nodes[id])
 146         return n
 147
 148     # Add a new slice tag
 149     def add_tag(self, tagname, value, node = None):
 150         record = {'slice_tag_id':None, 'slice_id':self.id, 'tagname':tagname, 'value':value}
 151         if node:
 152             record['node_id'] = node.id
 153         else:
 154             record['node_id'] = None
 155         tag = Slicetag(record)
 156         self.network.tags[tag.id] = tag
 157         self.slice_tag_ids.append(tag.id)
 158         tag.changed = True
 159         tag.updated = True
 160         return tag
 161
 162     # Update a slice tag if it exists, else add it
 163     def update_tag(self, tagname, value, node = None):
 164         tag = self.get_tag(tagname, node)
 165         if tag and tag.value == value:
 166             value = "no change"
 167         elif tag:
 168             tag.value = value
 169             tag.changed = True
 170         else:
 171             tag = self.add_tag(tagname, value, node)
 172         tag.updated = True
 173
 174     def update_multi_tag(self, tagname, value, node = None):
 175         tags = self.get_multi_tag(tagname, node)
 176         for tag in tags:
 177             if tag and tag.value == value:
 178                 value = "no change"
 179                 break
 180         else:
 181             tag = self.add_tag(tagname, value, node)
 182         tag.updated = True
 183
 184     def tags_to_xml(self, xml, node = None):
 185         tagtypes = self.network.getTagTypes()
 186         for tt in tagtypes:
 187             if tt.multi:
 188                 tags = self.get_multi_tag(tt.tagname, node)
 189                 for tag in tags:
 190                     if not tag.deleted:  ### Debugging
 191                         xml << (tag.tagname, tag.value)
 192             else:
 193                 tag = self.get_tag(tt.tagname, node)
 194                 if tag:
 195                     if not tag.deleted:   ### Debugging
 196                         xml << (tag.tagname, tag.value)
 197
 198     def toxml(self, xml):
 199         with xml.sliver_defaults:
 200             self.tags_to_xml(xml)
 201
 202
 203 class Slicetag:
 204     newid = -1
 205     def __init__(self, tag):
 206         self.id = tag['slice_tag_id']
 207         if not self.id:
 208             # Make one up for the time being...
 209             self.id = Slicetag.newid
 210             Slicetag.newid -= 1
 211         self.slice_id = tag['slice_id']
 212         self.tagname = tag['tagname']
 213         self.value = tag['value']
 214         self.node_id = tag['node_id']
 215         self.updated = False
 216         self.changed = False
 217         self.deleted = False
 218
 219     # Mark a tag as deleted
 220     def delete(self):
 221         self.deleted = True
 222         self.updated = True
 223
 224     def write(self, api):
 225         if self.changed:
 226             if int(self.id) > 0:
 227                 api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 228             else:
 229                 api.plshell.AddSliceTag(api.plauth, self.slice_id,
 230                                         self.tagname, self.value, self.node_id)
 231         elif self.deleted and int(self.id) > 0:
 232             api.plshell.DeleteSliceTag(api.plauth, self.id)
 233
 234
 235 class TagType:
 236     def __init__(self, tagtype):
 237         self.id = tagtype['tag_type_id']
 238         self.tagname = tagtype['tagname']
 239         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 240             self.multi = True
 241         else:
 242             self.multi = False
 243
 244
 245 """
 246 A Network is a compound object consisting of:
 247 * a dictionary mapping site IDs to Site objects
 248 * a dictionary mapping node IDs to Node objects
 249 * a dictionary mapping interface IDs to Iface objects
 250 """
 251 class Network:
 252     def __init__(self, api, type = "PlanetLab"):
 253         self.api = api
 254         self.type = type
 255         self.sites = self.get_sites(api)
 256         self.nodes = self.get_nodes(api)
 257         self.ifaces = self.get_ifaces(api)
 258         self.tags = self.get_slice_tags(api)
 259         self.tagtypes = self.get_tag_types(api)
 260         self.slice = None
 261
 262     """ Lookup site based on id or idtag value """
 263     def lookupSite(self, id):
 264         val = None
 265         if isinstance(id, basestring):
 266             id = int(id.lstrip('s'))
 267         try:
 268             val = self.sites[id]
 269         except:
 270             raise InvalidRSpec("site ID %s not found" % id)
 271         return val
 272
 273     def getSites(self):
 274         sites = []
 275         for s in self.sites:
 276             sites.append(self.sites[s])
 277         return sites
 278
 279     """ Lookup node based on id or idtag value """
 280     def lookupNode(self, id):
 281         val = None
 282         if isinstance(id, basestring):
 283             id = int(id.lstrip('n'))
 284         try:
 285             val = self.nodes[id]
 286         except:
 287             raise InvalidRSpec("node ID %s not found" % id)
 288         return val
 289
 290     def getNodes(self):
 291         nodes = []
 292         for n in self.nodes:
 293             nodes.append(self.nodes[n])
 294         return nodes
 295
 296     """ Lookup iface based on id or idtag value """
 297     def lookupIface(self, id):
 298         val = None
 299         if isinstance(id, basestring):
 300             id = int(id.lstrip('i'))
 301         try:
 302             val = self.ifaces[id]
 303         except:
 304             raise InvalidRSpec("interface ID %s not found" % id)
 305         return val
 306
 307     def getIfaces(self):
 308         ifaces = []
 309         for i in self.ifaces:
 310             ifaces.append(self.ifaces[i])
 311         return ifaces
 312
 313     def nodesWithSlivers(self):
 314         nodes = []
 315         for n in self.nodes:
 316             node = self.nodes[n]
 317             if node.sliver:
 318                 nodes.append(node)
 319         return nodes
 320
 321     def lookupSliceTag(self, id):
 322         val = None
 323         try:
 324             val = self.tags[id]
 325         except:
 326             raise InvalidRSpec("slicetag ID %s not found" % id)
 327         return val
 328
 329     def getSliceTags(self):
 330         tags = []
 331         for t in self.tags:
 332             tags.append(self.tags[t])
 333         return tags
 334
 335     def lookupTagType(self, name):
 336         val = None
 337         try:
 338             val = self.tagstypes[name]
 339         except:
 340             raise InvalidRSpec("tag %s not found" % name)
 341         return val
 342
 343     def getTagTypes(self):
 344         tags = []
 345         for t in self.tagtypes:
 346             tags.append(self.tagtypes[t])
 347         return tags
 348
 349     def __process_attributes(self, element, node=None):
 350         # Do we need to check caller's role before update???
 351         tagtypes = self.getTagTypes()
 352         for tt in tagtypes:
 353             if tt.multi:
 354                 for e in element.iterfind("./" + tt.tagname):
 355                     self.slice.update_multi_tag(tt.tagname, e.text, node)
 356             else:
 357                 e = element.find("./" + tt.tagname)
 358                 if e is not None:
 359                     self.slice.update_tag(tt.tagname, e.text, node)
 360
 361     """
 362     Annotate the objects in the Network with information from the RSpec
 363     """
 364     def addRSpec(self, xml, schema=None):
 365         try:
 366             tree = etree.parse(StringIO(xml))
 367         except etree.XMLSyntaxError:
 368             message = str(sys.exc_info()[1])
 369             raise InvalidRSpec(message)
 370
 371         if schema:
 372             # Validate the incoming request against the RelaxNG schema
 373             relaxng_doc = etree.parse(schema)
 374             relaxng = etree.RelaxNG(relaxng_doc)
 375
 376             if not relaxng(tree):
 377                 error = relaxng.error_log.last_error
 378                 message = "%s (line %s)" % (error.message, error.line)
 379                 raise InvalidRSpec(message)
 380
 381         rspec = tree.getroot()
 382         self.rspec = rspec
 383
 384         defaults = rspec.find("./network/sliver_defaults")
 385         self.__process_attributes(defaults)
 386
 387         # Find slivers under node elements
 388         for sliver in rspec.iterfind("./network/site/node/sliver"):
 389             elem = sliver.getparent()
 390             try:
 391                 node = self.lookupNode(elem.get("id"))
 392             except:
 393                 # Don't worry about nodes from other aggregates
 394                 pass
 395             else:
 396                 node.add_sliver()
 397                 self.__process_attributes(sliver, node)
 398
 399         # Find slivers that specify nodeid
 400         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 401             try:
 402                 node = self.lookupNode(sliver.get("nodeid"))
 403             except:
 404                 # Don't worry about nodes from other aggregates
 405                 pass
 406             else:
 407                 node.add_sliver()
 408                 self.__process_attributes(sliver, node)
 409
 410         return
 411
 412     """
 413     Annotate the objects in the Network with information from the slice
 414     """
 415     def addSlice(self):
 416         slice = self.slice
 417         if not slice:
 418             raise InvalidRSpec("no slice associated with network")
 419
 420         for node in slice.get_nodes():
 421             node.add_sliver()
 422
 423     """
 424     Write any slice tags that have been added or modified back to the DB
 425     """
 426     def updateSliceTags(self):
 427         # Update slice tags in database
 428         for tag in self.getSliceTags():
 429             if tag.slice_id == self.slice.id:
 430                 if not tag.updated:
 431                     tag.delete()
 432                 tag.write(self.api)
 433
 434     """
 435     Produce XML directly from the topology specification.
 436     """
 437     def toxml(self):
 438         xml = XMLBuilder(format = True, tab_step = "  ")
 439         with xml.RSpec(type=self.type):
 440             name = "Public_" + self.type
 441             if self.slice:
 442                 element = xml.network(name=name, slice=self.slice.hrn)
 443             else:
 444                 element = xml.network(name=name)
 445
 446             with element:
 447                 if self.slice:
 448                     self.slice.toxml(xml)
 449                 for site in self.getSites():
 450                     site.toxml(xml)
 451
 452         header = '<?xml version="1.0"?>\n'
 453         return header + str(xml)
 454
 455     """
 456     Create a dictionary of site objects keyed by site ID
 457     """
 458     def get_sites(self, api):
 459         tmp = []
 460         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 461             t = site['site_id'], Site(self, site)
 462             tmp.append(t)
 463         return dict(tmp)
 464
 465
 466     """
 467     Create a dictionary of node objects keyed by node ID
 468     """
 469     def get_nodes(self, api):
 470         tmp = []
 471         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 472             t = node['node_id'], Node(self, node)
 473             tmp.append(t)
 474         return dict(tmp)
 475
 476     """
 477     Create a dictionary of node objects keyed by node ID
 478     """
 479     def get_ifaces(self, api):
 480         tmp = []
 481         for iface in api.plshell.GetInterfaces(api.plauth):
 482             t = iface['interface_id'], Iface(self, iface)
 483             tmp.append(t)
 484         return dict(tmp)
 485
 486     """
 487     Create a dictionary of slicetag objects keyed by slice tag ID
 488     """
 489     def get_slice_tags(self, api):
 490         tmp = []
 491         for tag in api.plshell.GetSliceTags(api.plauth):
 492             t = tag['slice_tag_id'], Slicetag(tag)
 493             tmp.append(t)
 494         return dict(tmp)
 495
 496     """
 497     Create a list of tagtype obects keyed by tag name
 498     """
 499     def get_tag_types(self, api):
 500         tmp = []
 501         for tag in api.plshell.GetTagTypes(api.plauth):
 502             if tag['category'] == 'slice/rspec':
 503                 t = tag['tagname'], TagType(tag)
 504                 tmp.append(t)
 505         return dict(tmp)
 506
 507     """
 508     Return a Slice object for a single slice
 509     """
 510     def get_slice(self, api, hrn):
 511         slicename = hrn_to_pl_slicename(hrn)
 512         slice = api.plshell.GetSlices(api.plauth, [slicename])
 513         if slice:
 514             self.slice = Slice(self, slicename, slice[0])
 515             return self.slice
 516         else:
 517             return None
 518
 519