sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import *
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31
  32     """
  33     Just print out bwlimit right now
  34     """
  35     def toxml(self, xml):
  36         if self.bwlimit:
  37             with xml.bw_limit(units="kbps"):
  38                 xml << str(self.bwlimit / 1000)
  39
  40
  41 class Node:
  42     def __init__(self, network, node):
  43         self.network = network
  44         self.id = node['node_id']
  45         self.idtag = "n%s" % self.id
  46         self.hostname = node['hostname']
  47         self.site_id = node['site_id']
  48         self.iface_ids = node['interface_ids']
  49         self.sliver = None
  50         self.whitelist = node['slice_ids_whitelist']
  51
  52     def get_ifaces(self):
  53         i = []
  54         for id in self.iface_ids:
  55             i.append(self.network.lookupIface(id))
  56             # Only return the first interface
  57             break
  58         return i
  59
  60     def get_site(self):
  61         return self.network.lookupSite(self.site_id)
  62
  63     def add_sliver(self):
  64         self.sliver = Sliver(self)
  65
  66     def toxml(self, xml):
  67         slice = self.network.slice
  68         if self.whitelist and not self.sliver:
  69             if not slice or slice.id not in self.whitelist:
  70                 return
  71
  72         with xml.node(id = self.idtag):
  73             with xml.hostname:
  74                 xml << self.hostname
  75             if self.network.type == "VINI":
  76                 with xml.kbps:
  77                     xml << str(int(self.bps/1000))
  78             for iface in self.get_ifaces():
  79                 iface.toxml(xml)
  80             if self.sliver:
  81                 self.sliver.toxml(xml)
  82
  83
  84 class Site:
  85     def __init__(self, network, site):
  86         self.network = network
  87         self.id = site['site_id']
  88         self.idtag = "s%s" % self.id
  89         self.node_ids = site['node_ids']
  90         self.node_ids.sort()
  91         self.name = site['abbreviated_name']
  92         self.tag = site['login_base']
  93         self.public = site['is_public']
  94         self.enabled = site['enabled']
  95         self.links = set()
  96         self.whitelist = False
  97
  98     def get_sitenodes(self):
  99         n = []
 100         for i in self.node_ids:
 101             n.append(self.network.lookupNode(i))
 102         return n
 103
 104     def toxml(self, xml):
 105         if not (self.public and self.enabled and self.node_ids):
 106             return
 107         with xml.site(id = self.idtag):
 108             with xml.name:
 109                 xml << self.name
 110             for node in self.get_sitenodes():
 111                 node.toxml(xml)
 112
 113
 114 class Slice:
 115     def __init__(self, network, hrn, slice):
 116         self.hrn = hrn
 117         self.network = network
 118         self.id = slice['slice_id']
 119         self.name = slice['name']
 120         self.node_ids = set(slice['node_ids'])
 121         self.slice_tag_ids = slice['slice_tag_ids']
 122
 123     """
 124     Use with tags that can have more than one instance
 125     """
 126     def get_multi_tag(self, tagname, node = None):
 127         tags = []
 128         for i in self.slice_tag_ids:
 129             tag = self.network.lookupSliceTag(i)
 130             if tag.tagname == tagname:
 131                 if not (node and node.id != tag.node_id):
 132                     tags.append(tag)
 133         return tags
 134
 135     """
 136     Use with tags that have only one instance
 137     """
 138     def get_tag(self, tagname, node = None):
 139         for i in self.slice_tag_ids:
 140             tag = self.network.lookupSliceTag(i)
 141             if tag.tagname == tagname:
 142                 if (not node) or (node.id == tag.node_id):
 143                     return tag
 144         return None
 145
 146     def get_nodes(self):
 147         n = []
 148         for id in self.node_ids:
 149             n.append(self.network.nodes[id])
 150         return n
 151
 152     # Add a new slice tag
 153     def add_tag(self, tagname, value, node = None):
 154         record = {'slice_tag_id':None, 'slice_id':self.id, 'tagname':tagname, 'value':value}
 155         if node:
 156             record['node_id'] = node.id
 157         else:
 158             record['node_id'] = None
 159         tag = Slicetag(record)
 160         self.network.tags[tag.id] = tag
 161         self.slice_tag_ids.append(tag.id)
 162         tag.changed = True
 163         tag.updated = True
 164         return tag
 165
 166     # Update a slice tag if it exists, else add it
 167     def update_tag(self, tagname, value, node = None):
 168         tag = self.get_tag(tagname, node)
 169         if tag and tag.value == value:
 170             value = "no change"
 171         elif tag:
 172             tag.value = value
 173             tag.changed = True
 174         else:
 175             tag = self.add_tag(tagname, value, node)
 176         tag.updated = True
 177
 178     def update_multi_tag(self, tagname, value, node = None):
 179         tags = self.get_multi_tag(tagname, node)
 180         for tag in tags:
 181             if tag and tag.value == value:
 182                 value = "no change"
 183                 break
 184         else:
 185             tag = self.add_tag(tagname, value, node)
 186         tag.updated = True
 187
 188     def tags_to_xml(self, xml, node = None):
 189         tagtypes = self.network.getTagTypes()
 190         for tt in tagtypes:
 191             if tt.multi:
 192                 tags = self.get_multi_tag(tt.tagname, node)
 193                 for tag in tags:
 194                     if not tag.deleted:  ### Debugging
 195                         xml << (tag.tagname, tag.value)
 196             else:
 197                 tag = self.get_tag(tt.tagname, node)
 198                 if tag:
 199                     if not tag.deleted:   ### Debugging
 200                         xml << (tag.tagname, tag.value)
 201
 202     def toxml(self, xml):
 203         with xml.sliver_defaults:
 204             self.tags_to_xml(xml)
 205
 206
 207 class Slicetag:
 208     newid = -1
 209     def __init__(self, tag):
 210         self.id = tag['slice_tag_id']
 211         if not self.id:
 212             # Make one up for the time being...
 213             self.id = Slicetag.newid
 214             Slicetag.newid -= 1
 215         self.slice_id = tag['slice_id']
 216         self.tagname = tag['tagname']
 217         self.value = tag['value']
 218         self.node_id = tag['node_id']
 219         self.updated = False
 220         self.changed = False
 221         self.deleted = False
 222
 223     # Mark a tag as deleted
 224     def delete(self):
 225         self.deleted = True
 226         self.updated = True
 227
 228     def write(self, api):
 229         if self.changed:
 230             if int(self.id) > 0:
 231                 api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 232             else:
 233                 api.plshell.AddSliceTag(api.plauth, self.slice_id,
 234                                         self.tagname, self.value, self.node_id)
 235         elif self.deleted and int(self.id) > 0:
 236             api.plshell.DeleteSliceTag(api.plauth, self.id)
 237
 238
 239 class TagType:
 240     def __init__(self, tagtype):
 241         self.id = tagtype['tag_type_id']
 242         self.tagname = tagtype['tagname']
 243         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 244             self.multi = True
 245         else:
 246             self.multi = False
 247
 248
 249 """
 250 A Network is a compound object consisting of:
 251 * a dictionary mapping site IDs to Site objects
 252 * a dictionary mapping node IDs to Node objects
 253 * a dictionary mapping interface IDs to Iface objects
 254 """
 255 class Network:
 256     def __init__(self, api, type = "PlanetLab"):
 257         self.api = api
 258         self.type = type
 259         self.sites = self.get_sites(api)
 260         self.nodes = self.get_nodes(api)
 261         self.ifaces = self.get_ifaces(api)
 262         self.tags = self.get_slice_tags(api)
 263         self.tagtypes = self.get_tag_types(api)
 264         self.slice = None
 265
 266     """ Lookup site based on id or idtag value """
 267     def lookupSite(self, id):
 268         val = None
 269         if isinstance(id, basestring):
 270             id = int(id.lstrip('s'))
 271         try:
 272             val = self.sites[id]
 273         except:
 274             raise InvalidRSpec("site ID %s not found" % id)
 275         return val
 276
 277     def getSites(self):
 278         sites = []
 279         for s in self.sites:
 280             sites.append(self.sites[s])
 281         return sites
 282
 283     """ Lookup node based on id or idtag value """
 284     def lookupNode(self, id):
 285         val = None
 286         if isinstance(id, basestring):
 287             id = int(id.lstrip('n'))
 288         try:
 289             val = self.nodes[id]
 290         except:
 291             raise InvalidRSpec("node ID %s not found" % id)
 292         return val
 293
 294     def getNodes(self):
 295         nodes = []
 296         for n in self.nodes:
 297             nodes.append(self.nodes[n])
 298         return nodes
 299
 300     """ Lookup iface based on id or idtag value """
 301     def lookupIface(self, id):
 302         val = None
 303         if isinstance(id, basestring):
 304             id = int(id.lstrip('i'))
 305         try:
 306             val = self.ifaces[id]
 307         except:
 308             raise InvalidRSpec("interface ID %s not found" % id)
 309         return val
 310
 311     def getIfaces(self):
 312         ifaces = []
 313         for i in self.ifaces:
 314             ifaces.append(self.ifaces[i])
 315         return ifaces
 316
 317     def nodesWithSlivers(self):
 318         nodes = []
 319         for n in self.nodes:
 320             node = self.nodes[n]
 321             if node.sliver:
 322                 nodes.append(node)
 323         return nodes
 324
 325     def lookupSliceTag(self, id):
 326         val = None
 327         try:
 328             val = self.tags[id]
 329         except:
 330             raise InvalidRSpec("slicetag ID %s not found" % id)
 331         return val
 332
 333     def getSliceTags(self):
 334         tags = []
 335         for t in self.tags:
 336             tags.append(self.tags[t])
 337         return tags
 338
 339     def lookupTagType(self, name):
 340         val = None
 341         try:
 342             val = self.tagstypes[name]
 343         except:
 344             raise InvalidRSpec("tag %s not found" % name)
 345         return val
 346
 347     def getTagTypes(self):
 348         tags = []
 349         for t in self.tagtypes:
 350             tags.append(self.tagtypes[t])
 351         return tags
 352
 353     def __process_attributes(self, element, node=None):
 354         # Do we need to check caller's role before update???
 355         tagtypes = self.getTagTypes()
 356         for tt in tagtypes:
 357             if tt.multi:
 358                 for e in element.iterfind("./" + tt.tagname):
 359                     self.slice.update_multi_tag(tt.tagname, e.text, node)
 360             else:
 361                 e = element.find("./" + tt.tagname)
 362                 if e is not None:
 363                     self.slice.update_tag(tt.tagname, e.text, node)
 364
 365     """
 366     Annotate the objects in the Network with information from the RSpec
 367     """
 368     def addRSpec(self, xml, schema=None):
 369         try:
 370             tree = etree.parse(StringIO(xml))
 371         except etree.XMLSyntaxError:
 372             message = str(sys.exc_info()[1])
 373             raise InvalidRSpec(message)
 374
 375         if schema:
 376             # Validate the incoming request against the RelaxNG schema
 377             relaxng_doc = etree.parse(schema)
 378             relaxng = etree.RelaxNG(relaxng_doc)
 379
 380             if not relaxng(tree):
 381                 error = relaxng.error_log.last_error
 382                 message = "%s (line %s)" % (error.message, error.line)
 383                 raise InvalidRSpec(message)
 384
 385         rspec = tree.getroot()
 386         self.rspec = rspec
 387
 388         defaults = rspec.find("./network/sliver_defaults")
 389         self.__process_attributes(defaults)
 390
 391         # Find slivers under node elements
 392         for sliver in rspec.iterfind("./network/site/node/sliver"):
 393             elem = sliver.getparent()
 394             try:
 395                 node = self.lookupNode(elem.get("id"))
 396             except:
 397                 # Don't worry about nodes from other aggregates
 398                 pass
 399             else:
 400                 node.add_sliver()
 401                 self.__process_attributes(sliver, node)
 402
 403         # Find slivers that specify nodeid
 404         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 405             try:
 406                 node = self.lookupNode(sliver.get("nodeid"))
 407             except:
 408                 # Don't worry about nodes from other aggregates
 409                 pass
 410             else:
 411                 node.add_sliver()
 412                 self.__process_attributes(sliver, node)
 413
 414         return
 415
 416     """
 417     Annotate the objects in the Network with information from the slice
 418     """
 419     def addSlice(self):
 420         slice = self.slice
 421         if not slice:
 422             raise InvalidRSpec("no slice associated with network")
 423
 424         for node in slice.get_nodes():
 425             node.add_sliver()
 426
 427     """
 428     Write any slice tags that have been added or modified back to the DB
 429     """
 430     def updateSliceTags(self):
 431         # Update slice tags in database
 432         for tag in self.getSliceTags():
 433             if tag.slice_id == self.slice.id:
 434                 if not tag.updated:
 435                     tag.delete()
 436                 tag.write(self.api)
 437
 438     """
 439     Produce XML directly from the topology specification.
 440     """
 441     def toxml(self):
 442         xml = XMLBuilder(format = True, tab_step = "  ")
 443         with xml.RSpec(type=self.type):
 444             name = "Public_" + self.type
 445             if self.slice:
 446                 element = xml.network(name=name, slice=self.slice.hrn)
 447             else:
 448                 element = xml.network(name=name)
 449
 450             with element:
 451                 if self.slice:
 452                     self.slice.toxml(xml)
 453                 for site in self.getSites():
 454                     site.toxml(xml)
 455
 456         header = '<?xml version="1.0"?>\n'
 457         return header + str(xml)
 458
 459     """
 460     Create a dictionary of site objects keyed by site ID
 461     """
 462     def get_sites(self, api):
 463         tmp = []
 464         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 465             t = site['site_id'], Site(self, site)
 466             tmp.append(t)
 467         return dict(tmp)
 468
 469
 470     """
 471     Create a dictionary of node objects keyed by node ID
 472     """
 473     def get_nodes(self, api):
 474         tmp = []
 475         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 476             t = node['node_id'], Node(self, node)
 477             tmp.append(t)
 478         return dict(tmp)
 479
 480     """
 481     Create a dictionary of node objects keyed by node ID
 482     """
 483     def get_ifaces(self, api):
 484         tmp = []
 485         for iface in api.plshell.GetInterfaces(api.plauth):
 486             t = iface['interface_id'], Iface(self, iface)
 487             tmp.append(t)
 488         return dict(tmp)
 489
 490     """
 491     Create a dictionary of slicetag objects keyed by slice tag ID
 492     """
 493     def get_slice_tags(self, api):
 494         tmp = []
 495         for tag in api.plshell.GetSliceTags(api.plauth):
 496             t = tag['slice_tag_id'], Slicetag(tag)
 497             tmp.append(t)
 498         return dict(tmp)
 499
 500     """
 501     Create a list of tagtype obects keyed by tag name
 502     """
 503     def get_tag_types(self, api):
 504         tmp = []
 505         for tag in api.plshell.GetTagTypes(api.plauth):
 506             if tag['category'] == 'slice/rspec':
 507                 t = tag['tagname'], TagType(tag)
 508                 tmp.append(t)
 509         return dict(tmp)
 510
 511     """
 512     Return a Slice object for a single slice
 513     """
 514     def get_slice(self, api, hrn):
 515         slicename = hrn_to_pl_slicename(hrn)
 516         slice = api.plshell.GetSlices(api.plauth, [slicename])
 517         if slice:
 518             self.slice = Slice(self, slicename, slice[0])
 519             return self.slice
 520         else:
 521             return None
 522
 523