sfa/plc/network.py

   1 from __future__ import with_statement
   2 import re
   3 import socket
   4 from sfa.util.namespace import *
   5 from sfa.util.faults import *
   6 from xmlbuilder import XMLBuilder
   7 from lxml import etree
   8 import sys
   9 from StringIO import StringIO
  10
  11
  12 class Sliver:
  13     def __init__(self, node):
  14         self.node = node
  15         self.network = node.network
  16         self.slice = node.network.slice
  17
  18     def toxml(self, xml):
  19         with xml.sliver:
  20             self.slice.tags_to_xml(xml, self.node)
  21
  22
  23 class Iface:
  24     def __init__(self, network, iface):
  25         self.network = network
  26         self.id = iface['interface_id']
  27         self.idtag = "i%s" % self.id
  28         self.ipv4 = iface['ip']
  29         self.bwlimit = iface['bwlimit']
  30         self.hostname = iface['hostname']
  31         self.primary = iface['is_primary']
  32
  33     """
  34     Just print out bwlimit right now
  35     """
  36     def toxml(self, xml):
  37         if self.bwlimit:
  38             with xml.bw_limit(units="kbps"):
  39                 xml << str(self.bwlimit / 1000)
  40
  41
  42 class Node:
  43     def __init__(self, network, node):
  44         self.network = network
  45         self.id = node['node_id']
  46         self.idtag = "n%s" % self.id
  47         self.hostname = node['hostname']
  48         self.site_id = node['site_id']
  49         self.iface_ids = node['interface_ids']
  50         self.sliver = None
  51         self.whitelist = node['slice_ids_whitelist']
  52
  53     def get_primary_iface(self):
  54         for id in self.iface_ids:
  55             iface = self.network.lookupIface(id)
  56             if iface.primary:
  57                 return iface
  58         return None
  59
  60     def get_site(self):
  61         return self.network.lookupSite(self.site_id)
  62
  63     def add_sliver(self):
  64         self.sliver = Sliver(self)
  65
  66     def toxml(self, xml):
  67         slice = self.network.slice
  68         if self.whitelist and not self.sliver:
  69             if not slice or slice.id not in self.whitelist:
  70                 return
  71
  72         with xml.node(id = self.idtag):
  73             with xml.hostname:
  74                 xml << self.hostname
  75             iface = self.get_primary_iface()
  76             if iface:
  77                 iface.toxml(xml)
  78             if self.sliver:
  79                 self.sliver.toxml(xml)
  80
  81
  82 class Site:
  83     def __init__(self, network, site):
  84         self.network = network
  85         self.id = site['site_id']
  86         self.idtag = "s%s" % self.id
  87         self.node_ids = site['node_ids']
  88         self.node_ids.sort()
  89         self.name = site['abbreviated_name']
  90         self.tag = site['login_base']
  91         self.public = site['is_public']
  92         self.enabled = site['enabled']
  93         self.links = set()
  94         self.whitelist = False
  95
  96     def get_sitenodes(self):
  97         n = []
  98         for i in self.node_ids:
  99             n.append(self.network.lookupNode(i))
 100         return n
 101
 102     def toxml(self, xml):
 103         if not (self.public and self.enabled and self.node_ids):
 104             return
 105         with xml.site(id = self.idtag):
 106             with xml.name:
 107                 xml << self.name
 108             for node in self.get_sitenodes():
 109                 node.toxml(xml)
 110
 111
 112 class Slice:
 113     def __init__(self, network, hrn, slice):
 114         self.hrn = hrn
 115         self.network = network
 116         self.id = slice['slice_id']
 117         self.name = slice['name']
 118         self.node_ids = set(slice['node_ids'])
 119         self.slice_tag_ids = slice['slice_tag_ids']
 120
 121     """
 122     Use with tags that can have more than one instance
 123     """
 124     def get_multi_tag(self, tagname, node = None):
 125         tags = []
 126         for i in self.slice_tag_ids:
 127             tag = self.network.lookupSliceTag(i)
 128             if tag.tagname == tagname:
 129                 if not (node and node.id != tag.node_id):
 130                     tags.append(tag)
 131         return tags
 132
 133     """
 134     Use with tags that have only one instance
 135     """
 136     def get_tag(self, tagname, node = None):
 137         for i in self.slice_tag_ids:
 138             tag = self.network.lookupSliceTag(i)
 139             if tag.tagname == tagname:
 140                 if (not node) or (node.id == tag.node_id):
 141                     return tag
 142         return None
 143
 144     def get_nodes(self):
 145         n = []
 146         for id in self.node_ids:
 147             if id in self.network.nodes:
 148                 n.append(self.network.nodes[id])
 149         return n
 150
 151     # Add a new slice tag
 152     def add_tag(self, tagname, value, node = None, category = 'slice/rspec'):
 153         record = {'slice_tag_id':None, 'slice_id':self.id, 'tagname':tagname, 'value':value,
 154                   'category':category}
 155         if node:
 156             record['node_id'] = node.id
 157         else:
 158             record['node_id'] = None
 159         tag = Slicetag(record)
 160         self.network.tags[tag.id] = tag
 161         self.slice_tag_ids.append(tag.id)
 162         tag.changed = True
 163         tag.updated = True
 164         tag.writable = True
 165         return tag
 166
 167     # Update a slice tag if it exists, else add it
 168     def update_tag(self, tagname, value, node = None):
 169         tag = self.get_tag(tagname, node)
 170         if tag and tag.value == value:
 171             value = "no change"
 172         elif tag:
 173             tag.value = value
 174             tag.changed = True
 175         else:
 176             tag = self.add_tag(tagname, value, node)
 177         tag.updated = True
 178         tag.writable = True
 179         return tag
 180
 181     def update_multi_tag(self, tagname, value, node = None):
 182         tags = self.get_multi_tag(tagname, node)
 183         for tag in tags:
 184             if tag and tag.value == value:
 185                 value = "no change"
 186                 break
 187         else:
 188             tag = self.add_tag(tagname, value, node)
 189         tag.updated = True
 190         tag.writable = True
 191         return tag
 192
 193     def tags_to_xml(self, xml, node = None):
 194         tagtypes = self.network.getTagTypes()
 195         for tt in tagtypes:
 196             if tt.in_rspec:
 197                 if tt.multi:
 198                     tags = self.get_multi_tag(tt.tagname, node)
 199                     for tag in tags:
 200                         if not tag.deleted:  ### Debugging
 201                             xml << (tag.tagname, tag.value)
 202                 else:
 203                     tag = self.get_tag(tt.tagname, node)
 204                     if tag:
 205                         if not tag.deleted:   ### Debugging
 206                             xml << (tag.tagname, tag.value)
 207
 208     def toxml(self, xml):
 209         with xml.sliver_defaults:
 210             self.tags_to_xml(xml)
 211
 212
 213 class Slicetag:
 214     newid = -1
 215     def __init__(self, tag):
 216         self.id = tag['slice_tag_id']
 217         if not self.id:
 218             # Make one up for the time being...
 219             self.id = Slicetag.newid
 220             Slicetag.newid -= 1
 221         self.slice_id = tag['slice_id']
 222         self.tagname = tag['tagname']
 223         self.value = tag['value']
 224         self.node_id = tag['node_id']
 225         self.category = tag['category']
 226         self.updated = False
 227         self.changed = False
 228         self.deleted = False
 229         self.writable = False
 230         if self.category == 'slice/rspec':
 231             self.writable = True
 232
 233     # Mark a tag as deleted
 234     def delete(self):
 235         self.deleted = True
 236         self.updated = True
 237
 238     def write(self, api):
 239         if not self.writable:
 240             return
 241
 242         if self.changed:
 243             if int(self.id) > 0:
 244                 api.plshell.UpdateSliceTag(api.plauth, self.id, self.value)
 245             else:
 246                 api.plshell.AddSliceTag(api.plauth, self.slice_id,
 247                                         self.tagname, self.value, self.node_id)
 248         elif self.deleted and int(self.id) > 0:
 249             api.plshell.DeleteSliceTag(api.plauth, self.id)
 250
 251
 252 class TagType:
 253     def __init__(self, tagtype):
 254         self.id = tagtype['tag_type_id']
 255         self.category = tagtype['category']
 256         self.tagname = tagtype['tagname']
 257         self.multi = False
 258         self.in_rspec = False
 259         if self.category == 'slice/rspec':
 260             self.in_rspec = True
 261         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
 262             self.multi = True
 263
 264
 265 """
 266 A Network is a compound object consisting of:
 267 * a dictionary mapping site IDs to Site objects
 268 * a dictionary mapping node IDs to Node objects
 269 * a dictionary mapping interface IDs to Iface objects
 270 """
 271 class Network:
 272     def __init__(self, api, type = "PlanetLab"):
 273         self.api = api
 274         self.type = type
 275         self.sites = self.get_sites(api)
 276         self.nodes = self.get_nodes(api)
 277         self.ifaces = self.get_ifaces(api)
 278         self.tags = self.get_slice_tags(api)
 279         self.tagtypes = self.get_tag_types(api)
 280         self.slice = None
 281
 282     """ Lookup site based on id or idtag value """
 283     def lookupSite(self, id):
 284         val = None
 285         if isinstance(id, basestring):
 286             id = int(id.lstrip('s'))
 287         try:
 288             val = self.sites[id]
 289         except:
 290             raise InvalidRSpec("site ID %s not found" % id)
 291         return val
 292
 293     def getSites(self):
 294         sites = []
 295         for s in self.sites:
 296             sites.append(self.sites[s])
 297         return sites
 298
 299     """ Lookup node based on id or idtag value """
 300     def lookupNode(self, id):
 301         val = None
 302         if isinstance(id, basestring):
 303             id = int(id.lstrip('n'))
 304         try:
 305             val = self.nodes[id]
 306         except:
 307             raise InvalidRSpec("node ID %s not found" % id)
 308         return val
 309
 310     def getNodes(self):
 311         nodes = []
 312         for n in self.nodes:
 313             nodes.append(self.nodes[n])
 314         return nodes
 315
 316     """ Lookup iface based on id or idtag value """
 317     def lookupIface(self, id):
 318         val = None
 319         if isinstance(id, basestring):
 320             id = int(id.lstrip('i'))
 321         try:
 322             val = self.ifaces[id]
 323         except:
 324             raise InvalidRSpec("interface ID %s not found" % id)
 325         return val
 326
 327     def getIfaces(self):
 328         ifaces = []
 329         for i in self.ifaces:
 330             ifaces.append(self.ifaces[i])
 331         return ifaces
 332
 333     def nodesWithSlivers(self):
 334         nodes = []
 335         for n in self.nodes:
 336             node = self.nodes[n]
 337             if node.sliver:
 338                 nodes.append(node)
 339         return nodes
 340
 341     def lookupSliceTag(self, id):
 342         val = None
 343         try:
 344             val = self.tags[id]
 345         except:
 346             raise InvalidRSpec("slicetag ID %s not found" % id)
 347         return val
 348
 349     def getSliceTags(self):
 350         tags = []
 351         for t in self.tags:
 352             tags.append(self.tags[t])
 353         return tags
 354
 355     def lookupTagType(self, name):
 356         val = None
 357         try:
 358             val = self.tagstypes[name]
 359         except:
 360             raise InvalidRSpec("tag %s not found" % name)
 361         return val
 362
 363     def getTagTypes(self):
 364         tags = []
 365         for t in self.tagtypes:
 366             tags.append(self.tagtypes[t])
 367         return tags
 368
 369     def __process_attributes(self, element, node=None):
 370         if element is None:
 371             return
 372
 373         # Do we need to check caller's role before update???
 374         tagtypes = self.getTagTypes()
 375         for tt in tagtypes:
 376             if tt.in_rspec:
 377                 if tt.multi:
 378                     for e in element.iterfind("./" + tt.tagname):
 379                         self.slice.update_multi_tag(tt.tagname, e.text, node)
 380                 else:
 381                     e = element.find("./" + tt.tagname)
 382                     if e is not None:
 383                         self.slice.update_tag(tt.tagname, e.text, node)
 384
 385     """
 386     Annotate the objects in the Network with information from the RSpec
 387     """
 388     def addRSpec(self, xml, schema=None):
 389         try:
 390             tree = etree.parse(StringIO(xml))
 391         except etree.XMLSyntaxError:
 392             message = str(sys.exc_info()[1])
 393             raise InvalidRSpec(message)
 394
 395         if schema:
 396             # Validate the incoming request against the RelaxNG schema
 397             relaxng_doc = etree.parse(schema)
 398             relaxng = etree.RelaxNG(relaxng_doc)
 399
 400             if not relaxng(tree):
 401                 error = relaxng.error_log.last_error
 402                 message = "%s (line %s)" % (error.message, error.line)
 403                 raise InvalidRSpec(message)
 404
 405         rspec = tree.getroot()
 406         self.rspec = rspec
 407
 408         defaults = rspec.find("./network/sliver_defaults")
 409         self.__process_attributes(defaults)
 410
 411         # Find slivers under node elements
 412         for sliver in rspec.iterfind("./network/site/node/sliver"):
 413             elem = sliver.getparent()
 414             try:
 415                 node = self.lookupNode(elem.get("id"))
 416             except:
 417                 # Don't worry about nodes from other aggregates
 418                 pass
 419             else:
 420                 node.add_sliver()
 421                 self.__process_attributes(sliver, node)
 422
 423         # Find slivers that specify nodeid
 424         for sliver in rspec.iterfind("./request/sliver[@nodeid]"):
 425             try:
 426                 node = self.lookupNode(sliver.get("nodeid"))
 427             except:
 428                 # Don't worry about nodes from other aggregates
 429                 pass
 430             else:
 431                 node.add_sliver()
 432                 self.__process_attributes(sliver, node)
 433
 434         return
 435
 436     """
 437     Annotate the objects in the Network with information from the slice
 438     """
 439     def addSlice(self):
 440         slice = self.slice
 441         if not slice:
 442             raise InvalidRSpec("no slice associated with network")
 443
 444         for node in slice.get_nodes():
 445             node.add_sliver()
 446
 447     """
 448     Write any slice tags that have been added or modified back to the DB
 449     """
 450     def updateSliceTags(self):
 451         # Update slice tags in database
 452         for tag in self.getSliceTags():
 453             if tag.slice_id == self.slice.id:
 454                 if not tag.updated:
 455                     tag.delete()
 456                 tag.write(self.api)
 457
 458     """
 459     Produce XML directly from the topology specification.
 460     """
 461     def toxml(self):
 462         xml = XMLBuilder(format = True, tab_step = "  ")
 463         with xml.RSpec(type=self.type):
 464             name = "Public_" + self.type
 465             if self.slice:
 466                 element = xml.network(name=name, slice=self.slice.hrn)
 467             else:
 468                 element = xml.network(name=name)
 469
 470             with element:
 471                 if self.slice:
 472                     self.slice.toxml(xml)
 473                 for site in self.getSites():
 474                     site.toxml(xml)
 475
 476         header = '<?xml version="1.0"?>\n'
 477         return header + str(xml)
 478
 479     """
 480     Create a dictionary of site objects keyed by site ID
 481     """
 482     def get_sites(self, api):
 483         tmp = []
 484         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
 485             t = site['site_id'], Site(self, site)
 486             tmp.append(t)
 487         return dict(tmp)
 488
 489
 490     """
 491     Create a dictionary of node objects keyed by node ID
 492     """
 493     def get_nodes(self, api):
 494         tmp = []
 495         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
 496             t = node['node_id'], Node(self, node)
 497             tmp.append(t)
 498         return dict(tmp)
 499
 500     """
 501     Create a dictionary of node objects keyed by node ID
 502     """
 503     def get_ifaces(self, api):
 504         tmp = []
 505         for iface in api.plshell.GetInterfaces(api.plauth):
 506             t = iface['interface_id'], Iface(self, iface)
 507             tmp.append(t)
 508         return dict(tmp)
 509
 510     """
 511     Create a dictionary of slicetag objects keyed by slice tag ID
 512     """
 513     def get_slice_tags(self, api):
 514         tmp = []
 515         for tag in api.plshell.GetSliceTags(api.plauth):
 516             t = tag['slice_tag_id'], Slicetag(tag)
 517             tmp.append(t)
 518         return dict(tmp)
 519
 520     """
 521     Create a list of tagtype obects keyed by tag name
 522     """
 523     def get_tag_types(self, api):
 524         tmp = []
 525         for tag in api.plshell.GetTagTypes(api.plauth):
 526             t = tag['tagname'], TagType(tag)
 527             tmp.append(t)
 528         return dict(tmp)
 529
 530     """
 531     Return a Slice object for a single slice
 532     """
 533     def get_slice(self, api, hrn):
 534         slicename = hrn_to_pl_slicename(hrn)
 535         slice = api.plshell.GetSlices(api.plauth, [slicename])
 536         if slice:
 537             self.slice = Slice(self, slicename, slice[0])
 538             return self.slice
 539         else:
 540             return None
 541
 542