sfa/rspecs/pg_rspec.py

   1 #!/usr/bin/python
   2 from lxml import etree
   3 from StringIO import StringIO
   4 from sfa.rspecs.rspec import RSpec
   5 from sfa.util.xrn import *
   6 from sfa.util.plxrn import hostname_to_urn, xrn_to_hostname
   7 from sfa.util.config import Config
   8 from sfa.rspecs.rspec_version import RSpecVersion
   9
  10 _ad_version = {'type':  'ProtoGENI',
  11             'version': '2',
  12             'schema': 'http://www.protogeni.net/resources/rspec/2/ad.xsd',
  13             'namespace': 'http://www.protogeni.net/resources/rspec/2',
  14             'extensions':  [
  15                 'http://www.protogeni.net/resources/rspec/ext/gre-tunnel/1',
  16                 'http://www.protogeni.net/resources/rspec/ext/other-ext/3'
  17             ]
  18 }
  19
  20 _request_version = {'type':  'ProtoGENI',
  21             'version': '2',
  22             'schema': 'http://www.protogeni.net/resources/rspec/2/request.xsd',
  23             'namespace': 'http://www.protogeni.net/resources/rspec/2',
  24             'extensions':  [
  25                 'http://www.protogeni.net/resources/rspec/ext/gre-tunnel/1',
  26                 'http://www.protogeni.net/resources/rspec/ext/other-ext/3'
  27             ]
  28 }
  29 pg_rspec_ad_version = RSpecVersion(_ad_version)
  30 pg_rspec_request_version = RSpecVersion(_request_version)
  31
  32 class PGRSpec(RSpec):
  33     xml = None
  34     header = '<?xml version="1.0"?>\n'
  35     template = '<rspec xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.protogeni.net/resources/rspec/2" xsi:schemaLocation="http://www.protogeni.net/resources/rspec/2 http://www.protogeni.net/resources/rspec/2/%(rspec_type)s.xsd" xmlns:flack="http://www.protogeni.net/resources/rspec/ext/flack/1" />'
  36
  37     def __init__(self, rspec="", namespaces={}, type=None):
  38         if not type:
  39             type = 'advertisement'
  40         self.type = type
  41
  42         if type == 'advertisement':
  43             self.version = pg_rspec_ad_version
  44             rspec_type = 'ad'
  45         else:
  46             self.version = pg_rspec_request_version
  47             rspec_type = type
  48
  49         self.template = self.template % {'rspec_type': rspec_type}
  50
  51         if not namespaces:
  52             self.namespaces = {'rspecv2': self.version['namespace'],
  53                                'flack': 'http://www.protogeni.net/resources/rspec/ext/flack/1' }
  54
  55         else:
  56             self.namespaces = namespaces
  57
  58         if rspec:
  59             self.parse_rspec(rspec, self.namespaces)
  60         else:
  61             self.create()
  62
  63     def create(self):
  64         RSpec.create(self)
  65         if self.type:
  66             self.xml.set('type', self.type)
  67
  68     def get_network(self):
  69         network = None
  70         nodes = self.xml.xpath('//rspecv2:node[@component_manager_uuid][1]', namespaces=self.namespaces)
  71         if nodes:
  72             network  = nodes[0].get('component_manager_uuid')
  73         return network
  74
  75     def get_networks(self):
  76         networks = self.xml.xpath('//rspecv2:node[@component_manager_uuid]/@component_manager_uuid', namespaces=self.namespaces)
  77         return set(networks)
  78
  79     def get_node_element(self, hostname, network=None):
  80         nodes = self.xml.xpath('//rspecv2:node[@component_id[contains(., "%s")]] | node[@component_id[contains(., "%s")]]' % (hostname, hostname), namespaces=self.namespaces)
  81         if isinstance(nodes,list) and nodes:
  82             return nodes[0]
  83         else:
  84             return None
  85
  86     def get_node_elements(self, network=None):
  87         nodes = self.xml.xpath('//rspecv2:node | //node', namespaces=self.namespaces)
  88         return nodes
  89
  90     def get_nodes(self, network=None):
  91         xpath = '//rspecv2:node[@component_name]/@component_id | //node[@component_name]/@component_id'
  92         nodes = self.xml.xpath(xpath, namespaces=self.namespaces)
  93         nodes = [xrn_to_hostname(node) for node in nodes]
  94         return nodes
  95
  96     def get_nodes_with_slivers(self, network=None):
  97         if network:
  98             nodes = self.xml.xpath('//rspecv2:node[@component_manager_id="%s"][sliver_type]/@component_id' % network, namespaces=self.namespaces)
  99         else:
 100             nodes = self.xml.xpath('//rspecv2:node[rspecv2:sliver_type]/@component_id', namespaces=self.namespaces)
 101         nodes = [xrn_to_hostname(node) for node in nodes]
 102         return nodes
 103
 104     def get_nodes_without_slivers(self, network=None):
 105         return []
 106
 107     def get_sliver_attributes(self, hostname, network=None):
 108         node = self.get_node_element(hostname, network)
 109         sliver = node.xpath('//rspecv2:sliver_type', namespaces=self.namespaces)
 110         if sliver is not None and isinstance(sliver, list):
 111             sliver = sliver[0]
 112         return self.attributes_list(sliver)
 113
 114     def get_slice_attributes(self, network=None):
 115         slice_attributes = []
 116         nodes_with_slivers = self.get_nodes_with_slivers(network)
 117         # TODO: default sliver attributes in the PG rspec?
 118         default_ns_prefix = self.namespaces['rspecv2']
 119         for node in nodes_with_slivers:
 120             sliver_attributes = self.get_sliver_attributes(node, network)
 121             for sliver_attribute in sliver_attributes:
 122                 name=str(sliver_attribute[0])
 123                 value=str(sliver_attribute[1])
 124                 # we currently only suppor the <initscript> and <flack> attributes
 125                 if  'info' in name:
 126                     attribute = {'name': 'flack_info', 'value': str(sliver_attribute[2]), 'node_id': node}
 127                     slice_attributes.append(attribute)
 128                 elif 'initscript' in name:
 129                     attribute = {'name': 'initscript', 'value': value, 'node_id': node}
 130                     slice_attributes.append(attribute)
 131
 132         return slice_attributes
 133
 134     def attributes_list(self, elem):
 135         opts = []
 136         if elem is not None:
 137             for e in elem:
 138                 opts.append((e.tag, e.text, e.attrib))
 139         return opts
 140
 141     def get_default_sliver_attributes(self, network=None):
 142         return []
 143
 144     def add_default_sliver_attribute(self, name, value, network=None):
 145         pass
 146
 147     def add_nodes(self, nodes, check_for_dupes=False):
 148         if not isinstance(nodes, list):
 149             nodes = [nodes]
 150         for node in nodes:
 151             urn = ""
 152             if check_for_dupes and \
 153               self.xml.xpath('//rspecv2:node[@component_uuid="%s"]' % urn, namespaces=self.namespaces):
 154                 # node already exists
 155                 continue
 156
 157             node_tag = etree.SubElement(self.xml, 'node', exclusive='false')
 158             if 'network_urn' in node:
 159                 node_tag.set('component_manager_id', node['network_urn'])
 160             if 'urn' in node:
 161                 node_tag.set('component_id', node['urn'])
 162             if 'hostname' in node:
 163                 node_tag.set('component_name', node['hostname'])
 164             # TODO: should replace plab-pc with pc model
 165             node_type_tag = etree.SubElement(node_tag, 'hardware_type', name='plab-pc')
 166             node_type_tag = etree.SubElement(node_tag, 'hardware_type', name='pc')
 167             available_tag = etree.SubElement(node_tag, 'available', now='true')
 168             sliver_type_tag = etree.SubElement(node_tag, 'sliver_type', name='plab-vnode')
 169             # protogeni uses the <sliver_type> tag to identify the types of
 170             # vms available at the node.
 171             # only add location tag if longitude and latitude are not null
 172             if 'site' in node:
 173                 longitude = node['site'].get('longitude', None)
 174                 latitude = node['site'].get('latitude', None)
 175                 if longitude and latitude:
 176                     location_tag = etree.SubElement(node_tag, 'location', country="us", \
 177                                                     longitude=str(longitude), latitude=str(latitude))
 178
 179
 180     def add_slivers(self, slivers, sliver_urn=None, no_dupes=False):
 181
 182         # all nodes hould already be present in the rspec. Remove all
 183         # nodes that done have slivers
 184         slivers = self._process_slivers(slivers)
 185         slivers_dict = {}
 186         for sliver in slivers:
 187             slivers_dict[sliver['hostname']] = sliver
 188         nodes = self.get_node_elements()
 189         for node in nodes:
 190             urn = node.get('component_id')
 191             hostname = xrn_to_hostname(urn)
 192             if hostname not in slivers_dict:
 193                 parent = node.getparent()
 194                 parent.remove(node)
 195             else:
 196                 sliver_info = slivers_dict[hostname]
 197                 node.set('client_id', hostname)
 198                 if sliver_urn:
 199                     slice_id = sliver_info.get('slice_id', -1)
 200                     node_id = sliver_info.get('node_id', -1)
 201                     sliver_id = urn_to_sliver_id(sliver_urn, slice_id, node_id)
 202                     node.set('sliver_id', sliver_id)
 203                 sliver_elem = node.xpath('//rspecv2:sliver_type | //sliver_type', namespaces=self.namespaces)
 204                 if sliver_elem and isinstance(sliver_elem, list):
 205                     sliver_elem = sliver_elem[0]
 206                     for tag in sliver_info['tags']:
 207                         if tag['tagname'] == 'flack_info':
 208                             e = etree.SubElement(sliver_elem, '{%s}info' % self.namespaces['flack'], attrib=eval(tag['value']))
 209
 210
 211     def add_default_sliver_attribute(self, name, value, network=None):
 212         pass
 213
 214     def add_interfaces(self, interfaces, no_dupes=False):
 215         pass
 216
 217     def add_links(self, links, no_dupes=False):
 218         pass
 219
 220
 221     def merge(self, in_rspec):
 222         """
 223         Merge contents for specified rspec with current rspec
 224         """
 225
 226         # just copy over all the child elements under the root element
 227         tree = etree.parse(StringIO(in_rspec))
 228         root = tree.getroot()
 229         for child in root.getchildren():
 230             self.xml.append(child)
 231
 232     def cleanup(self):
 233         # remove unncecessary elements, attributes
 234         if self.type in ['request', 'manifest']:
 235             # remove 'available' element from remaining node elements
 236             self.remove_element('//rspecv2:available | //available')
 237
 238 if __name__ == '__main__':
 239     rspec = PGRSpec()
 240     rspec.add_nodes([1])
 241     print rspec