405a820250c065921d7e62e28bb4f5b87eb55cb1
[sfa.git] / sfa / rspecs / pg_rspec.py
1 #!/usr/bin/python
2 from copy import deepcopy
3 from lxml import etree
4 from StringIO import StringIO
5 from sfa.rspecs.rspec import RSpec 
6 from sfa.util.xrn import *
7 from sfa.util.plxrn import hostname_to_urn, xrn_to_hostname
8 from sfa.util.config import Config 
9 from sfa.rspecs.rspec_version import RSpecVersion 
10
11 _ad_version = {'type':  'ProtoGENI',
12             'version': '2',
13             'schema': 'http://www.protogeni.net/resources/rspec/2/ad.xsd',
14             'namespace': 'http://www.protogeni.net/resources/rspec/2',
15             'extensions':  [
16                 'http://www.protogeni.net/resources/rspec/ext/gre-tunnel/1',
17                 'http://www.protogeni.net/resources/rspec/ext/other-ext/3'
18             ]
19 }
20
21 _request_version = {'type':  'ProtoGENI',
22             'version': '2',
23             'schema': 'http://www.protogeni.net/resources/rspec/2/request.xsd',
24             'namespace': 'http://www.protogeni.net/resources/rspec/2',
25             'extensions':  [
26                 'http://www.protogeni.net/resources/rspec/ext/gre-tunnel/1',
27                 'http://www.protogeni.net/resources/rspec/ext/other-ext/3'
28             ]
29 }
30 pg_rspec_ad_version = RSpecVersion(_ad_version)
31 pg_rspec_request_version = RSpecVersion(_request_version)
32
33 class PGRSpec(RSpec):
34     xml = None
35     header = '<?xml version="1.0"?>\n'
36     template = '<rspec xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.protogeni.net/resources/rspec/2" xsi:schemaLocation="http://www.protogeni.net/resources/rspec/2 http://www.protogeni.net/resources/rspec/2/%(rspec_type)s.xsd" xmlns:flack="http://www.protogeni.net/resources/rspec/ext/flack/1" xmlns:planetlab="http://www.planet-lab.org/resources/sfa/ext/planetlab/1" />'
37
38     def __init__(self, rspec="", namespaces={}, type=None):
39         if not type:
40             type = 'advertisement'
41         self.type = type
42
43         if type == 'advertisement':
44             self.version = pg_rspec_ad_version
45             rspec_type = 'ad'
46         else:
47             self.version = pg_rspec_request_version
48             rspec_type = type
49         
50         self.template = self.template % {'rspec_type': rspec_type}
51
52         if not namespaces:
53             self.namespaces = {'rspecv2': self.version['namespace'],
54                                'flack': 'http://www.protogeni.net/resources/rspec/ext/flack/1',
55                                'planetlab': 'http://www.planet-lab.org/resources/sfa/ext/planetlab/1' }
56
57         else:
58             self.namespaces = namespaces 
59
60         if rspec:
61             self.parse_rspec(rspec, self.namespaces)
62         else: 
63             self.create()
64
65     def create(self):
66         RSpec.create(self)
67         if self.type:
68             self.xml.set('type', self.type) 
69        
70     def get_network(self):
71         network = None 
72         nodes = self.xml.xpath('//rspecv2:node[@component_manager_id][1]', namespaces=self.namespaces)
73         if nodes:
74             network  = nodes[0].get('component_manager_id')
75         return network
76
77     def get_networks(self):
78         networks = self.xml.xpath('//rspecv2:node[@component_manager_id]/@component_manager_id', namespaces=self.namespaces)
79         return set(networks)
80
81     def get_node_element(self, hostname, network=None):
82         nodes = self.xml.xpath('//rspecv2:node[@component_id[contains(., "%s")]] | node[@component_id[contains(., "%s")]]' % (hostname, hostname), namespaces=self.namespaces)
83         if isinstance(nodes,list) and nodes:
84             return nodes[0]
85         else:
86             return None
87
88     def get_node_elements(self, network=None):
89         nodes = self.xml.xpath('//rspecv2:node | //node', namespaces=self.namespaces)
90         return nodes
91
92     def get_nodes(self, network=None):
93         xpath = '//rspecv2:node[@component_name]/@component_id | //node[@component_name]/@component_id'
94         nodes = self.xml.xpath(xpath, namespaces=self.namespaces)
95         nodes = [xrn_to_hostname(node) for node in nodes]
96         return nodes 
97
98     def get_nodes_with_slivers(self, network=None):
99         if network:
100             nodes = self.xml.xpath('//rspecv2:node[@component_manager_id="%s"][sliver_type]/@component_id' % network, namespaces=self.namespaces)
101         else:
102             nodes = self.xml.xpath('//rspecv2:node[rspecv2:sliver_type]/@component_id', namespaces=self.namespaces)
103         nodes = [xrn_to_hostname(node) for node in nodes]
104         return nodes
105
106     def get_nodes_without_slivers(self, network=None):
107         return []
108
109     def get_sliver_attributes(self, hostname, network=None):
110         node = self.get_node_element(hostname, network)
111         sliver = node.xpath('./rspecv2:sliver_type', namespaces=self.namespaces)
112         if sliver is not None and isinstance(sliver, list):
113             sliver = sliver[0]
114         return self.attributes_list(sliver)
115    
116     def get_slice_attributes(self, network=None):
117         slice_attributes = []
118         nodes_with_slivers = self.get_nodes_with_slivers(network)
119         # TODO: default sliver attributes in the PG rspec?
120         default_ns_prefix = self.namespaces['rspecv2']
121         for node in nodes_with_slivers:
122             sliver_attributes = self.get_sliver_attributes(node, network)
123             for sliver_attribute in sliver_attributes:
124                 name=str(sliver_attribute[0]) 
125                 text =str(sliver_attribute[1])
126                 attribs = sliver_attribute[2]
127                 # we currently only suppor the <initscript> and <flack> attributes 
128                 if  'info' in name:
129                     attribute = {'name': 'flack_info', 'value': str(attribs), 'node_id': node}
130                     slice_attributes.append(attribute) 
131                 elif 'initscript' in name: 
132                     if attribs is not None and 'name' in attribs:
133                         value = attribs['name']
134                     else:
135                         value = text
136                     attribute = {'name': 'initscript', 'value': value, 'node_id': node}
137                     slice_attributes.append(attribute) 
138
139         return slice_attributes
140
141     def attributes_list(self, elem):
142         opts = []
143         if elem is not None:
144             for e in elem:
145                 opts.append((e.tag, str(e.text).strip(), e.attrib))
146         return opts
147
148     def get_default_sliver_attributes(self, network=None):
149         return []
150
151     def add_default_sliver_attribute(self, name, value, network=None):
152         pass
153
154     def add_nodes(self, nodes, check_for_dupes=False):
155         if not isinstance(nodes, list):
156             nodes = [nodes]
157         for node in nodes:
158             urn = ""
159             if check_for_dupes and \
160               self.xml.xpath('//rspecv2:node[@component_uuid="%s"]' % urn, namespaces=self.namespaces):
161                 # node already exists
162                 continue
163                 
164             node_tag = etree.SubElement(self.xml, 'node', exclusive='false')
165             if 'network_urn' in node:
166                 node_tag.set('component_manager_id', node['network_urn'])
167             if 'urn' in node:
168                 node_tag.set('component_id', node['urn'])
169             if 'hostname' in node:
170                 node_tag.set('component_name', node['hostname'])
171             # TODO: should replace plab-pc with pc model 
172             node_type_tag = etree.SubElement(node_tag, 'hardware_type', name='plab-pc')
173             node_type_tag = etree.SubElement(node_tag, 'hardware_type', name='pc')
174             available_tag = etree.SubElement(node_tag, 'available', now='true')
175             sliver_type_tag = etree.SubElement(node_tag, 'sliver_type', name='plab-vnode')
176             
177             pl_initscripts = node.get('pl_initscripts', {})
178             for pl_initscript in pl_initscripts.values():
179                 etree.SubElement(sliver_type_tag, '{%s}initscript' % self.namespaces['planetlab'], name=pl_initscript['name'])
180
181             # protogeni uses the <sliver_type> tag to identify the types of
182             # vms available at the node. 
183             # only add location tag if longitude and latitude are not null
184             if 'site' in node:
185                 longitude = node['site'].get('longitude', None)
186                 latitude = node['site'].get('latitude', None)
187                 if longitude and latitude:
188                     location_tag = etree.SubElement(node_tag, 'location', country="us", \
189                                                     longitude=str(longitude), latitude=str(latitude))
190
191     def merge_node(self, source_node_tag):
192         # this is untested
193         self.xml.append(deepcopy(source_node_tag))
194
195     def add_slivers(self, slivers, sliver_urn=None, no_dupes=False): 
196
197         # all nodes hould already be present in the rspec. Remove all
198         # nodes that done have slivers
199         slivers = self._process_slivers(slivers)
200         slivers_dict = {}
201         for sliver in slivers:
202             slivers_dict[sliver['hostname']] = sliver
203     
204         nodes = self.get_node_elements()
205         for node in nodes:
206             urn = node.get('component_id')
207             hostname = xrn_to_hostname(urn)
208             if hostname not in slivers_dict:
209                 parent = node.getparent()
210                 parent.remove(node)
211             else:
212                 sliver_info = slivers_dict[hostname]
213                 node.set('client_id', hostname)
214                 if sliver_urn:
215                     slice_id = sliver_info.get('slice_id', -1)
216                     node_id = sliver_info.get('node_id', -1)
217                     sliver_id = urn_to_sliver_id(sliver_urn, slice_id, node_id)
218                     node.set('sliver_id', sliver_id)
219
220                 # remove existing sliver_type tags,it needs to be recreated
221                 sliver_elem = node.xpath('./rspecv2:sliver_type | ./sliver_type', namespaces=self.namespaces)
222                 if sliver_elem and isinstance(sliver_elem, list):
223                     sliver_elem = sliver_elem[0]
224                     node.remove(sliver_elem)
225                     
226                 sliver_elem = etree.SubElement(node, 'sliver_type', name='plab-vnode')
227                 for tag in sliver_info['tags']:
228                     if tag['tagname'] == 'flack_info':
229                         e = etree.SubElement(sliver_elem, '{%s}info' % self.namespaces['flack'], attrib=eval(tag['value']))
230                     elif tag['tagname'] == 'initscript':
231                         e = etree.SubElement(sliver_elem, '{%s}initscript' % self.namespaces['planetlab'], attrib={'name': tag['value']})
232                             
233                               
234      
235     def add_default_sliver_attribute(self, name, value, network=None):
236         pass
237
238     def add_interfaces(self, interfaces, no_dupes=False):
239         pass
240
241     def add_links(self, links, no_dupes=False):
242         pass
243
244
245     def merge(self, in_rspec):
246         """
247         Merge contents for specified rspec with current rspec
248         """
249         
250         # just copy over all the child elements under the root element
251         tree = etree.parse(StringIO(in_rspec))
252         root = tree.getroot()
253         for child in root.getchildren():
254             self.xml.append(child)
255                   
256     def cleanup(self):
257         # remove unncecessary elements, attributes
258         if self.type in ['request', 'manifest']:
259             # remove 'available' element from remaining node elements
260             self.remove_element('//rspecv2:available | //available')
261
262 if __name__ == '__main__':
263     rspec = PGRSpec()
264     rspec.add_nodes([1])
265     print rspec