trimmed useless imports, unstarred all imports
[sfa.git] / sfa / plc / network.py
index 8de6895..5b2983b 100644 (file)
@@ -1,13 +1,14 @@
 from __future__ import with_statement
+import sys
 import re
 import socket
-from sfa.util.namespace import *
-from sfa.util.faults import *
-from xmlbuilder import XMLBuilder
-from lxml import etree
-import sys
 from StringIO import StringIO
+from lxml import etree
+from xmlbuilder import XMLBuilder
 
+from sfa.util.faults import InvalidRSpec
+from sfa.util.xrn import get_authority
+from sfa.util.plxrn import hrn_to_pl_slicename, hostname_to_urn
 
 class Sliver:
     def __init__(self, node):
@@ -30,10 +31,10 @@ class Iface:
         self.hostname = iface['hostname']
         self.primary = iface['is_primary']
 
-    """
-    Just print out bwlimit right now
-    """
     def toxml(self, xml):
+        """
+        Just print out bwlimit right now
+        """
         if self.bwlimit:
             with xml.bw_limit(units="kbps"):
                 xml << str(self.bwlimit / 1000)
@@ -49,6 +50,9 @@ class Node:
         self.iface_ids = node['interface_ids']
         self.sliver = None
         self.whitelist = node['slice_ids_whitelist']
+        auth = self.network.api.hrn
+        login_base = self.get_site().idtag
+        self.urn = hostname_to_urn(auth, login_base, self.hostname)
 
     def get_primary_iface(self):
         for id in self.iface_ids:
@@ -72,6 +76,8 @@ class Node:
         with xml.node(id = self.idtag):
             with xml.hostname:
                 xml << self.hostname
+            with xml.urn:
+                xml << self.urn
             iface = self.get_primary_iface()
             if iface:
                 iface.toxml(xml)
@@ -83,11 +89,11 @@ class Site:
     def __init__(self, network, site):
         self.network = network
         self.id = site['site_id']
-        self.idtag = "s%s" % self.id
         self.node_ids = site['node_ids']
         self.node_ids.sort()
         self.name = site['abbreviated_name']
         self.tag = site['login_base']
+        self.idtag = site['login_base']
         self.public = site['is_public']
         self.enabled = site['enabled']
         self.links = set()
@@ -115,6 +121,7 @@ class Slice:
         self.network = network
         self.id = slice['slice_id']
         self.name = slice['name']
+        self.peer_id = slice['peer_id']
         self.node_ids = set(slice['node_ids'])
         self.slice_tag_ids = slice['slice_tag_ids']
     
@@ -124,10 +131,18 @@ class Slice:
     def get_multi_tag(self, tagname, node = None):
         tags = []
         for i in self.slice_tag_ids:
-            tag = self.network.lookupSliceTag(i)
-            if tag.tagname == tagname:
-                if not (node and node.id != tag.node_id):
-                    tags.append(tag)
+            try: 
+                tag = self.network.lookupSliceTag(i)                 
+                if tag.tagname == tagname:
+                    if node:
+                        if node.id == tag.node_id:
+                            tags.append(tag)
+                    elif not tag.node_id:
+                        tags.append(tag)
+            except InvalidRSpec, e: 
+                # As they're not needed, we ignore some tag types from 
+                # GetSliceTags call. See Slicetag.ignore_tags 
+                pass 
         return tags
         
     """
@@ -135,10 +150,18 @@ class Slice:
     """
     def get_tag(self, tagname, node = None):
         for i in self.slice_tag_ids:
-            tag = self.network.lookupSliceTag(i)
-            if tag.tagname == tagname:
-                if (not node) or (node.id == tag.node_id):
-                    return tag
+            try:
+                tag = self.network.lookupSliceTag(i) 
+                if tag.tagname == tagname: 
+                    if node:
+                        if node.id == tag.node_id:
+                            return tag
+                    elif not tag.node_id:
+                        return tag 
+            except InvalidRSpec, e:
+                # As they're not needed, we ignore some tag types from
+                # GetSliceTags call. See Slicetag.ignore_tags
+                pass
         return None
         
     def get_nodes(self):
@@ -149,9 +172,9 @@ class Slice:
         return n
 
     # Add a new slice tag   
-    def add_tag(self, tagname, value, node = None, role_id = 40):
+    def add_tag(self, tagname, value, node = None, role = "user"):
         tt = self.network.lookupTagType(tagname)
-        if not tt.permit_update(role_id):
+        if not tt.permit_update(role):
             raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
         tag = Slicetag()
         tag.initialize(tagname, value, node, self.network)
@@ -160,23 +183,28 @@ class Slice:
         return tag
     
     # Update a slice tag if it exists, else add it             
-    def update_tag(self, tagname, value, node = None, role_id = 40):
+    def update_tag(self, tagname, value, node = None, role = "user"):
         tag = self.get_tag(tagname, node)
+        if tag and tag.value == value:
+            return tag
+
+        tt = self.network.lookupTagType(tagname)
+        if not tt.permit_update(role):
+            raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
+
         if tag:
-            if not tag.permit_update(role_id, value):
-                raise InvalidRSpec("permission denied to modify '%s' tag" % tagname)
             tag.change(value)
         else:
-            tag = self.add_tag(tagname, value, node, role_id)
+            tag = self.add_tag(tagname, value, node, role)
         return tag
             
-    def update_multi_tag(self, tagname, value, node = None, role_id = 40):
+    def update_multi_tag(self, tagname, value, node = None, role = "user"):
         tags = self.get_multi_tag(tagname, node)
         for tag in tags:
             if tag and tag.value == value:
                 break
         else:
-            tag = self.add_tag(tagname, value, node, role_id)
+            tag = self.add_tag(tagname, value, node, role)
         return tag
             
     def tags_to_xml(self, xml, node = None):
@@ -201,6 +229,8 @@ class Slice:
 
 class Slicetag:
     newid = -1 
+    filter_fields = ['slice_tag_id','slice_id','tagname','value','node_id','category'] 
+    ignore_tags = ['hmac','ssh_key']
     def __init__(self, tag = None):
         if not tag:
             return
@@ -210,7 +240,6 @@ class Slicetag:
         self.value = tag['value']
         self.node_id = tag['node_id']
         self.category = tag['category']
-        self.min_role_id = tag['min_role_id']
         self.status = None
 
     # Create a new slicetag that will be written to the DB later
@@ -226,16 +255,8 @@ class Slicetag:
         else:
             self.node_id = None
         self.category = tt.category
-        self.min_role_id = tt.min_role_id
         self.status = "new"
 
-    def permit_update(self, role_id, value = None):
-        if value and self.value == value:
-            return True
-        if role_id > self.min_role_id:
-            return False
-        return True
-        
     def change(self, value):
         if self.value != value:
             self.value = value
@@ -270,11 +291,12 @@ class Slicetag:
 
 
 class TagType:
+    ignore_tags = ['hmac','ssh_key']
     def __init__(self, tagtype):
         self.id = tagtype['tag_type_id']
         self.category = tagtype['category']
         self.tagname = tagtype['tagname']
-        self.min_role_id = tagtype['min_role_id']
+        self.roles = tagtype['roles']
         self.multi = False
         self.in_rspec = False
         if self.category == 'slice/rspec':
@@ -282,20 +304,20 @@ class TagType:
         if self.tagname in ['codemux', 'ip_addresses', 'vsys']:
             self.multi = True
 
-    def permit_update(self, role_id):
-        if role_id > self.min_role_id:
-            return False
-        return True
+    def permit_update(self, role):
+        if role in self.roles:
+            return True
+        return False
         
 
-"""
-A Network is a compound object consisting of:
-* a dictionary mapping site IDs to Site objects
-* a dictionary mapping node IDs to Node objects
-* a dictionary mapping interface IDs to Iface objects
-"""
 class Network:
-    def __init__(self, api, type = "PlanetLab"):
+    """
+    A Network is a compound object consisting of:
+    * a dictionary mapping site IDs to Site objects
+    * a dictionary mapping node IDs to Node objects
+    * a dictionary mapping interface IDs to Iface objects
+    """
+    def __init__(self, api, type = "SFA"):
         self.api = api
         self.type = type
         self.sites = self.get_sites(api)
@@ -304,15 +326,29 @@ class Network:
         self.tags = self.get_slice_tags(api)
         self.tagtypes = self.get_tag_types(api)
         self.slice = None
+        self.sitemap = {}
+        for s in self.sites:
+            site = self.sites[s]
+            self.sitemap[site.idtag] = site.id
+
+    def lookupSiteIdtag(self, name):
+        """ Lookup site id from name """
+        val = None
+        try:
+            val = self.sitemap[name]
+        except:
+            raise InvalidRSpec("site name '%s' not found" % name)
+        return val
     
-    """ Lookup site based on id or idtag value """
     def lookupSite(self, id):
+        """ Lookup site based on id or idtag value """
         val = None
         if isinstance(id, basestring):
-            id = int(id.lstrip('s'))
+            id = self.lookupSiteIdtag(id)
         try:
             val = self.sites[id]
         except:
+            self.api.logger.error("Invalid RSpec: site ID %s not found" % id )
             raise InvalidRSpec("site ID %s not found" % id)
         return val
     
@@ -322,8 +358,8 @@ class Network:
             sites.append(self.sites[s])
         return sites
         
-    """ Lookup node based on id or idtag value """
     def lookupNode(self, id):
+        """ Lookup node based on id or idtag value """
         val = None
         if isinstance(id, basestring):
             id = int(id.lstrip('n'))
@@ -339,8 +375,8 @@ class Network:
             nodes.append(self.nodes[n])
         return nodes
     
-    """ Lookup iface based on id or idtag value """
     def lookupIface(self, id):
+        """ Lookup iface based on id or idtag value """
         val = None
         if isinstance(id, basestring):
             id = int(id.lstrip('i'))
@@ -392,10 +428,10 @@ class Network:
             tags.append(self.tagtypes[t])
         return tags
     
-    """
-    Process the elements under <sliver_defaults> or <sliver>
-    """
     def __process_attributes(self, element, node=None):
+        """
+        Process the elements under <sliver_defaults> or <sliver>
+        """
         if element is None:
             return 
 
@@ -410,16 +446,25 @@ class Network:
                     if e is not None:
                         self.slice.update_tag(tt.tagname, e.text, node)
 
-    """
-    Annotate the objects in the Network with information from the RSpec
-    """
     def addRSpec(self, xml, schema=None):
+        """
+        Annotate the objects in the Network with information from the RSpec
+        """
         try:
             tree = etree.parse(StringIO(xml))
         except etree.XMLSyntaxError:
             message = str(sys.exc_info()[1])
             raise InvalidRSpec(message)
 
+        # Filter out stuff that's not for us
+        rspec = tree.getroot()
+        for network in rspec.iterfind("./network"):
+            if network.get("name") != self.api.hrn:
+                rspec.remove(network)
+        for request in rspec.iterfind("./request"):
+            if request.get("name") != self.api.hrn:
+                rspec.remove(request)
+
         if schema:
             # Validate the incoming request against the RelaxNG schema
             relaxng_doc = etree.parse(schema)
@@ -428,12 +473,15 @@ class Network:
             if not relaxng(tree):
                 error = relaxng.error_log.last_error
                 message = "%s (line %s)" % (error.message, error.line)
+                self.api.logger.error("failed to validate rspec %r"%message)
+                self.api.logger.debug("---------- XML input BEG")
+                self.api.logger.debug(xml)
+                self.api.logger.debug("---------- XML input END")
                 raise InvalidRSpec(message)
 
-        rspec = tree.getroot()
         self.rspec = rspec
 
-        defaults = rspec.find("./network/sliver_defaults")
+        defaults = rspec.find(".//sliver_defaults")
         self.__process_attributes(defaults)
 
         # Find slivers under node elements
@@ -461,10 +509,10 @@ class Network:
 
         return
 
-    """
-    Annotate the objects in the Network with information from the slice
-    """
     def addSlice(self):
+        """
+        Annotate the objects in the Network with information from the slice
+        """
         slice = self.slice
         if not slice:
             raise InvalidRSpec("no slice associated with network")
@@ -472,31 +520,31 @@ class Network:
         for node in slice.get_nodes():
             node.add_sliver()
 
-    """
-    Write any slice tags that have been added or modified back to the DB
-    """
     def updateSliceTags(self):
+        """
+        Write any slice tags that have been added or modified back to the DB
+        """
         for tag in self.getSliceTags():
-            if tag.category == 'slice/rspec' and not tag.was_updated() and tag.permit_update(None, 40):
-                # The user wants to delete this tag
-                tag.delete()
+            if tag.category == 'slice/rspec' and not tag.was_updated():
+                tt = self.lookupTagType(tag.tagname)
+                if tt.permit_update("user"):
+                    tag.delete()
 
         # Update slice tags in database
         for tag in self.getSliceTags():
             if tag.slice_id == self.slice.id:
                 tag.write(self.api) 
 
-    """
-    Produce XML directly from the topology specification.
-    """
     def toxml(self):
+        """
+        Produce XML directly from the topology specification.
+        """
         xml = XMLBuilder(format = True, tab_step = "  ")
         with xml.RSpec(type=self.type):
-            name = "Public_" + self.type
             if self.slice:
-                element = xml.network(name=name, slice=self.slice.hrn)
+                element = xml.network(name=self.api.hrn, slice=self.slice.hrn)
             else:
-                element = xml.network(name=name)
+                element = xml.network(name=self.api.hrn)
                 
             with element:
                 if self.slice:
@@ -507,10 +555,10 @@ class Network:
         header = '<?xml version="1.0"?>\n'
         return header + str(xml)
 
-    """
-    Create a dictionary of site objects keyed by site ID
-    """
     def get_sites(self, api):
+        """
+        Create a dictionary of site objects keyed by site ID
+        """
         tmp = []
         for site in api.plshell.GetSites(api.plauth, {'peer_id': None}):
             t = site['site_id'], Site(self, site)
@@ -518,50 +566,54 @@ class Network:
         return dict(tmp)
 
 
-    """
-    Create a dictionary of node objects keyed by node ID
-    """
     def get_nodes(self, api):
+        """
+        Create a dictionary of node objects keyed by node ID
+        """
         tmp = []
         for node in api.plshell.GetNodes(api.plauth, {'peer_id': None}):
-            t = node['node_id'], Node(self, node)
-            tmp.append(t)
+            try:
+                t = node['node_id'], Node(self, node)
+                tmp.append(t)
+            except:
+                self.api.logger.error("Failed to add node %s (%s) to RSpec" % (node['hostname'], node['node_id']))
+                 
         return dict(tmp)
 
-    """
-    Create a dictionary of node objects keyed by node ID
-    """
     def get_ifaces(self, api):
+        """
+        Create a dictionary of node objects keyed by node ID
+        """
         tmp = []
         for iface in api.plshell.GetInterfaces(api.plauth):
             t = iface['interface_id'], Iface(self, iface)
             tmp.append(t)
         return dict(tmp)
 
-    """
-    Create a dictionary of slicetag objects keyed by slice tag ID
-    """
     def get_slice_tags(self, api):
+        """
+        Create a dictionary of slicetag objects keyed by slice tag ID
+        """
         tmp = []
-        for tag in api.plshell.GetSliceTags(api.plauth):
+        for tag in api.plshell.GetSliceTags(api.plauth, {'~tagname':Slicetag.ignore_tags}, Slicetag.filter_fields): 
             t = tag['slice_tag_id'], Slicetag(tag)
             tmp.append(t)
         return dict(tmp)
     
-    """
-    Create a list of tagtype obects keyed by tag name
-    """
     def get_tag_types(self, api):
+        """
+        Create a list of tagtype obects keyed by tag name
+        """
         tmp = []
-        for tag in api.plshell.GetTagTypes(api.plauth):
+        for tag in api.plshell.GetTagTypes(api.plauth, {'~tagname':TagType.ignore_tags}):
             t = tag['tagname'], TagType(tag)
             tmp.append(t)
         return dict(tmp)
     
-    """
-    Return a Slice object for a single slice
-    """
     def get_slice(self, api, hrn):
+        """
+        Return a Slice object for a single slice
+        """
         slicename = hrn_to_pl_slicename(hrn)
         slice = api.plshell.GetSlices(api.plauth, [slicename])
         if len(slice):