c35f7536c2b9cb07a10be98e8355e65f43fdd040
[sfa.git] / sfa / plc / slices.py
1 import datetime
2 import time
3 import traceback
4 import sys
5
6 from types import StringTypes
7 from sfa.util.xrn import get_leaf, get_authority, hrn_to_urn, urn_to_hrn
8 from sfa.util.plxrn import hrn_to_pl_slicename, hrn_to_pl_login_base
9 from sfa.util.rspec import *
10 from sfa.util.specdict import *
11 from sfa.util.faults import *
12 from sfa.util.record import SfaRecord
13 from sfa.util.policy import Policy
14 from sfa.util.prefixTree import prefixTree
15
16 MAXINT =  2L**31-1
17
18 class Slices:
19
20     rspec_to_slice_tag = {'max_rate':'net_max_rate'}
21
22     def __init__(self, api, ttl = .5, origin_hrn=None):
23         self.api = api
24         #filepath = path + os.sep + filename
25         self.policy = Policy(self.api)    
26         self.origin_hrn = origin_hrn
27         self.registry = api.registries[api.hrn]
28         self.credential = api.getCredential()
29
30     def get_slivers(self, xrn, node=None):
31         hrn, type = urn_to_hrn(xrn)
32          
33         slice_name = hrn_to_pl_slicename(hrn)
34         # XX Should we just call PLCAPI.GetSliceTicket(slice_name) instead
35         # of doing all of this?
36         #return self.api.GetSliceTicket(self.auth, slice_name) 
37         
38         # from PLCAPI.GetSlivers.get_slivers()
39         slice_fields = ['slice_id', 'name', 'instantiation', 'expires', 'person_ids', 'slice_tag_ids']
40         slices = self.api.plshell.GetSlices(self.api.plauth, slice_name, slice_fields)
41         # Build up list of users and slice attributes
42         person_ids = set()
43         all_slice_tag_ids = set()
44         for slice in slices:
45             person_ids.update(slice['person_ids'])
46             all_slice_tag_ids.update(slice['slice_tag_ids'])
47         person_ids = list(person_ids)
48         all_slice_tag_ids = list(all_slice_tag_ids)
49         # Get user information
50         all_persons_list = self.api.plshell.GetPersons(self.api.plauth, {'person_id':person_ids,'enabled':True}, ['person_id', 'enabled', 'key_ids'])
51         all_persons = {}
52         for person in all_persons_list:
53             all_persons[person['person_id']] = person        
54
55         # Build up list of keys
56         key_ids = set()
57         for person in all_persons.values():
58             key_ids.update(person['key_ids'])
59         key_ids = list(key_ids)
60         # Get user account keys
61         all_keys_list = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key', 'key_type'])
62         all_keys = {}
63         for key in all_keys_list:
64             all_keys[key['key_id']] = key
65         # Get slice attributes
66         all_slice_tags_list = self.api.plshell.GetSliceTags(self.api.plauth, all_slice_tag_ids)
67         all_slice_tags = {}
68         for slice_tag in all_slice_tags_list:
69             all_slice_tags[slice_tag['slice_tag_id']] = slice_tag
70            
71         slivers = []
72         for slice in slices:
73             keys = []
74             for person_id in slice['person_ids']:
75                 if person_id in all_persons:
76                     person = all_persons[person_id]
77                     if not person['enabled']:
78                         continue
79                     for key_id in person['key_ids']:
80                         if key_id in all_keys:
81                             key = all_keys[key_id]
82                             keys += [{'key_type': key['key_type'],
83                                     'key': key['key']}]
84             attributes = []
85             # All (per-node and global) attributes for this slice
86             slice_tags = []
87             for slice_tag_id in slice['slice_tag_ids']:
88                 if slice_tag_id in all_slice_tags:
89                     slice_tags.append(all_slice_tags[slice_tag_id]) 
90             # Per-node sliver attributes take precedence over global
91             # slice attributes, so set them first.
92             # Then comes nodegroup slice attributes
93             # Followed by global slice attributes
94             sliver_attributes = []
95
96             if node is not None:
97                 for sliver_attribute in filter(lambda a: a['node_id'] == node['node_id'], slice_tags):
98                     sliver_attributes.append(sliver_attribute['tagname'])
99                     attributes.append({'tagname': sliver_attribute['tagname'],
100                                     'value': sliver_attribute['value']})
101
102             # set nodegroup slice attributes
103             for slice_tag in filter(lambda a: a['nodegroup_id'] in node['nodegroup_ids'], slice_tags):
104                 # Do not set any nodegroup slice attributes for
105                 # which there is at least one sliver attribute
106                 # already set.
107                 if slice_tag not in slice_tags:
108                     attributes.append({'tagname': slice_tag['tagname'],
109                         'value': slice_tag['value']})
110
111             for slice_tag in filter(lambda a: a['node_id'] is None, slice_tags):
112                 # Do not set any global slice attributes for
113                 # which there is at least one sliver attribute
114                 # already set.
115                 if slice_tag['tagname'] not in sliver_attributes:
116                     attributes.append({'tagname': slice_tag['tagname'],
117                                    'value': slice_tag['value']})
118
119             # XXX Sanity check; though technically this should be a system invariant
120             # checked with an assertion
121             if slice['expires'] > MAXINT:  slice['expires']= MAXINT
122             
123             slivers.append({
124                 'hrn': hrn,
125                 'name': slice['name'],
126                 'slice_id': slice['slice_id'],
127                 'instantiation': slice['instantiation'],
128                 'expires': slice['expires'],
129                 'keys': keys,
130                 'attributes': attributes
131             })
132
133         return slivers
134  
135     def get_peer(self, xrn):
136         hrn, type = urn_to_hrn(xrn)
137         # Becaues of myplc federation,  we first need to determine if this
138         # slice belongs to out local plc or a myplc peer. We will assume it 
139         # is a local site, unless we find out otherwise  
140         peer = None
141
142         # get this slice's authority (site)
143         slice_authority = get_authority(hrn)
144
145         # get this site's authority (sfa root authority or sub authority)
146         site_authority = get_authority(slice_authority).lower()
147
148         # check if we are already peered with this site_authority, if so
149         peers = self.api.plshell.GetPeers(self.api.plauth, {}, ['peer_id', 'peername', 'shortname', 'hrn_root'])
150         for peer_record in peers:
151             names = [name.lower() for name in peer_record.values() if isinstance(name, StringTypes)]
152             if site_authority in names:
153                 peer = peer_record
154
155         return peer
156
157     def get_sfa_peer(self, xrn):
158         hrn, type = urn_to_hrn(xrn)
159
160         # return the authority for this hrn or None if we are the authority
161         sfa_peer = None
162         slice_authority = get_authority(hrn)
163         site_authority = get_authority(slice_authority)
164
165         if site_authority != self.api.hrn:
166             sfa_peer = site_authority
167
168         return sfa_peer
169
170     def verify_slice_nodes(self, slice, requested_slivers, peer):
171         
172         nodes = self.api.plshell.GetNodes(self.api.plauth, slice['node_ids'], ['hostname'])
173         current_slivers = [node['hostname'] for node in nodes]
174
175         # remove nodes not in rspec
176         deleted_nodes = list(set(current_slivers).difference(requested_slivers))
177
178         # add nodes from rspec
179         added_nodes = list(set(requested_slivers).difference(current_slivers))        
180
181         try:
182             if peer:
183                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice', slice['slice_id'], peer['shortname'])
184             self.api.plshell.AddSliceToNodes(self.api.plauth, slice['name'], added_nodes)
185             self.api.plshell.DeleteSliceFromNodes(self.api.plauth, slice['name'], deleted_nodes)
186
187         except: 
188             self.api.logger.log_exc('Failed to add/remove slice from nodes')
189
190     def handle_peer(self, site, slice, persons, peer):
191         if peer:
192             # bind site
193             try:
194                 if site:
195                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'site', \
196                        site['site_id'], peer['shortname'], slice['site_id'])
197             except Exception,e:
198                 self.api.plshell.DeleteSite(self.api.plauth, site['site_id'])
199                 raise e
200             
201             # bind slice
202             try:
203                 if slice:
204                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', \
205                        slice['slice_id'], peer['shortname'], slice['slice_id'])
206             except Exception,e:
207                 self.api.plshell.DeleteSlice(self.api.plauth, slice['slice_id'])
208                 raise e 
209
210             # bind persons
211             for person in persons:
212                 try:
213                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', \
214                         person['person_id'], peer['shortname'], person['peer_person_id'])
215
216                     for (key, remote_key_id) in zip(person['keys'], person['key_ids']):
217                         try:
218                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key',\
219                                 key['key_id'], peer['shortname'], remote_key_id)
220                         except:
221                             self.api.plshell.DeleteKey(self.api.plauth, key['key_id'])
222                             self.api.logger("failed to bind key: %s to peer: %s " % (key['key_id'], peer['shortname']))
223                 except Exception,e:
224                     self.api.plshell.DeletePerson(self.api.plauth, person['person_id'])
225                     raise e       
226
227         return slice
228
229     def verify_site(self, slice_xrn, slice_record={}, peer=None, sfa_peer=None):
230         (slice_hrn, type) = urn_to_hrn(slice_xrn)
231         site_hrn = get_authority(slice_hrn)
232         # login base can't be longer than 20 characters
233         authority_name = get_leaf(site_hrn) 
234         login_base = authority_name[:20]
235         sites = self.api.plshell.GetSites(self.api.plauth, login_base)
236         if not sites:
237             # create new site record
238             site = {'name': 'geni.%s' % authority_name,
239                     'abbreviated_name': authority_name,
240                     'login_base': login_base,
241                     'max_slices': 100,
242                     'max_slivers': 1000,
243                     'enabled': True,
244                     'peer_site_id': None}
245             if peer:
246                 site['peer_site_id'] = slice_record.get('site_id', None)
247             site['site_id'] = self.api.plshell.AddSite(self.api.plauth, site)
248             # exempt federated sites from monitor policies
249             self.api.plshell.AddSiteTag(self.api.plauth, site['site_id'], 'exempt_site_until', "20200101")
250             
251             # is this still necessary?
252             # add record to the local registry 
253             if sfa_peer and slice_record:
254                 peer_dict = {'type': 'authority', 'hrn': site_hrn, \
255                              'peer_authority': sfa_peer, 'pointer': site['site_id']}
256                 self.registry.register_peer_object(self.credential, peer_dict)
257         else:
258             site =  sites[0]
259             if peer:
260                 # unbind from peer so we can modify if necessary. Will bind back later
261                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'site', site['site_id'], peer['shortname']) 
262         
263         return site        
264
265     def verify_slice(self, slice_hrn, slice_record, peer, sfa_peer):
266         slicename = hrn_to_pl_slicename(slice_hrn)
267         parts = slicename.split("_")
268         login_base = parts[0]
269         slices = self.api.plshell.GetSlices(self.api.plauth, [slicename]) 
270         if not slices:
271             slice = {'name': slicename,
272                      'url': slice_record.get('url', slice_hrn), 
273                      'description': slice_record.get('description', slice_hrn)}
274             # add the slice                          
275             slice['slice_id'] = self.api.plshell.AddSlice(self.api.plauth, slice)
276             slice['node_ids'] = []
277             slice['person_ids'] = []
278             if peer:
279                 slice['peer_slice_id'] = slice_record.get('slice_id', None) 
280             # mark this slice as an sfa peer record
281             if sfa_peer:
282                 peer_dict = {'type': 'slice', 'hrn': slice_hrn, 
283                              'peer_authority': sfa_peer, 'pointer': slice['slice_id']}
284                 self.registry.register_peer_object(self.credential, peer_dict)
285         else:
286             slice = slices[0]
287             if peer:
288                 slice['peer_slice_id'] = slice_record.get('slice_id', None)
289                 # unbind from peer so we can modify if necessary. Will bind back later
290                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice',\
291                              slice['slice_id'], peer['shortname'])
292                 #Update existing record (e.g. expires field) it with the latest info.
293             if slice_record and slice['expires'] != slice_record['expires']:
294                 self.api.plshell.UpdateSlice(self.api.plauth, slice['slice_id'],\
295                              {'expires' : slice_record['expires']})
296        
297         return slice        
298
299     def verify_persons(self, slice_hrn, slice_record, users, peer, sfa_peer):
300         slicename = hrn_to_pl_slicename(slice_hrn)
301         login_base = hrn_to_pl_login_base(slice_hrn)
302  
303         # create a dict users keyed on the user's email
304         users_dict = {}
305         for user in users:
306             if 'email' in user:     
307                 users_dict[user['email'].lower()] = user
308             else:
309                 fake_email = hrn_to_pl_slicename(slice_hrn) + "@geni.net"
310                 user['email'] = fake_email.lower()
311                 users_dict[fake_email] = user
312         
313         # requested slice users        
314         requested_user_ids = users_dict.keys()
315         
316         # existing users
317         existing_users_filter = {'email': requested_user_ids}
318         existing_users = self.api.plshell.GetPersons(self.api.plauth, \
319             existing_users_filter, ['person_id', 'key_ids', 'email'])
320         existing_user_ids = [user['email'] for user in existing_users]
321             
322         # existing slice users
323         existing_slice_users_filter = {'person_id': slice_record.get('person_ids', [])}
324         existing_slice_users = self.api.plshell.GetPersons(self.api.plauth, \
325              existing_slice_users_filter, ['person_id', 'key_ids', 'email'])
326         existing_slice_user_ids = [user['email'] for user in existing_slice_users]
327         
328         # users to be added, removed or updated
329         added_user_ids = set(requested_user_ids).difference(existing_user_ids)
330         added_slice_user_ids = set(requested_user_ids).difference(existing_slice_user_ids)
331         removed_user_ids = set(existing_slice_user_ids).difference(requested_user_ids)
332         updated_user_ids = set(existing_slice_user_ids).intersection(requested_user_ids)
333
334         # remove stale users
335         for removed_user_id in removed_user_ids:
336             self.api.plshell.DeletePersonFromSlice(self.api.plauth, removed_user_id, slicename)
337
338         # update_existing users
339         updated_users_list = [user for user in users if user['email'] in updated_user_ids]
340         self.verify_keys(existing_slice_users, updated_users_list, peer)
341
342         added_persons = []
343         # add new users
344         for added_user_id in added_user_ids:
345             added_user = users_dict[added_user_id]
346             hrn, type = urn_to_hrn(added_user['urn'])  
347             person = {
348                 'first_name': added_user.get('first_name', hrn),
349                 'last_name': added_user.get('last_name', hrn),
350                 'email': added_user_id,
351                 'peer_person_id': None,
352                 'keys': [],
353                 'key_ids': added_user.get('key_ids', []),
354             }
355             person['person_id'] = self.api.plshell.AddPerson(self.api.plauth, person)
356             if peer:
357                 person['peer_person_id'] = added_user['person_id']
358             added_persons.append(person)
359            
360             # enable the account 
361             self.api.plshell.UpdatePerson(self.api.plauth, person['person_id'], {'enabled': True})
362             
363             # add person to site
364             self.api.plshell.AddPersonToSite(self.api.plauth, added_user_id, login_base)
365
366             for key_string in added_user.get('keys', []):
367                 key = {'key':key_string, 'key_type':'ssh'}
368                 key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, person['person_id'], key)
369                 person['keys'].append(key)
370
371             # add the registry record
372             if sfa_peer:
373                 peer_dict = {'type': 'user', 'hrn': hrn, 'peer_authority': sfa_peer, \
374                     'pointer': person['person_id']}
375                 self.registry.register_peer_object(self.credential, peer_dict)
376     
377         for added_slice_user_id in added_slice_user_ids.union(added_user_ids):
378             # add person to the slice 
379             self.api.plshell.AddPersonToSlice(self.api.plauth, added_slice_user_id, slicename)
380
381             
382             # if this is a peer record then it should already be bound to a peer.
383             # no need to return worry about it getting bound later 
384
385         return added_persons
386             
387
388     def verify_keys(self, persons, users, peer):
389         # existing keys 
390         key_ids = []
391         for person in persons:
392             key_ids.extend(person['key_ids'])
393         keylist = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key'])
394         keydict = {}
395         for key in keylist:
396             keydict[key['key']] = key['key_id']     
397         existing_keys = keydict.keys()
398         persondict = {}
399         for person in persons:
400             persondict[person['email']] = person    
401     
402         # add new keys
403         requested_keys = []
404         updated_persons = []
405         for user in users:
406             user_keys = user.get('keys', [])
407             updated_persons.append(user)
408             for key_string in user_keys:
409                 requested_keys.append(key_string)
410                 if key_string not in existing_keys:
411                     key = {'key': key_string, 'key_type': 'ssh'}
412                     try:
413                         if peer:
414                             person = persondict[user['email']]
415                             self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'])
416                         key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, user['email'], key)
417                         if peer:
418                             key_index = user_keys.index(key['key'])
419                             remote_key_id = user['key_ids'][key_index]
420                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key', key['key_id'], peer['shortname'], remote_key_id)
421                             
422                     finally:
423                         if peer:
424                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'], user['person_id'])
425         
426         # remove old keys
427         removed_keys = set(existing_keys).difference(requested_keys)
428         for existing_key_id in keydict:
429             if keydict[existing_key_id] in removed_keys:
430                 try:
431                     if peer:
432                         self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'key', existing_key_id, peer['shortname'])
433                     self.api.plshell.DeleteKey(self.api.plauth, existing_key_id)
434                 except:
435                     pass   
436
437     def verify_slice_attributes(self, slice, requested_slice_attributes):
438         # get list of attributes users ar able to manage
439         slice_attributes = self.api.plshell.GetTagTypes(self.api.plauth, {'category': '*slice*', '|roles': ['user']})
440         valid_slice_attribute_names = [attribute['tagname'] for attribute in slice_attributes]
441
442         # get sliver attributes
443         added_slice_attributes = []
444         removed_slice_attributes = []
445         ignored_slice_attribute_names = []
446         existing_slice_attributes = self.api.plshell.GetSliceTags(self.api.plauth, {'slice_id': slice['slice_id']})
447
448         # get attributes that should be removed
449         for slice_tag in existing_slice_attributes:
450             if slice_tag['tagname'] in ignored_slice_attribute_names:
451                 # If a slice already has a admin only role it was probably given to them by an
452                 # admin, so we should ignore it.
453                 ignored_slice_attribute_names.append(slice_tag['tagname'])
454             else:
455                 # If an existing slice attribute was not found in the request it should
456                 # be removed
457                 attribute_found=False
458                 for requested_attribute in requested_slice_attributes:
459                     if requested_attribute['name'] == slice_tag['tagname'] and \
460                        requested_attribute['value'] == slice_tag['value']:
461                         attribute_found=True
462                         break
463
464             if not attribute_found:
465                 removed_slice_attributes.append(slice_tag)
466         
467         # get attributes that should be added:
468         for requested_attribute in requested_slice_attributes:
469             # if the requested attribute wasn't found  we should add it
470             if requested_attribute['name'] in valid_slice_attribute_names:
471                 attribute_found = False
472                 for existing_attribute in existing_slice_attributes:
473                     if requested_attribute['name'] == existing_attribute['tagname'] and \
474                        requested_attribute['value'] == existing_attribute['value']:
475                         attribute_found=True
476                         break
477                 if not attribute_found:
478                     added_slice_attributes.append(requested_attribute)
479
480
481         # remove stale attributes
482         for attribute in removed_slice_attributes:
483             try:
484                 self.api.plshell.DeleteSliceTag(self.api.plauth, attribute['slice_tag_id'])
485             except Exception, e:
486                 self.api.logger.warn('Failed to remove sliver attribute. name: %s, value: %s, node_id: %s\nCause:%s'\
487                                 % (name, value,  node_id, str(e)))
488
489         # add requested_attributes
490         for attribute in added_slice_attributes:
491             try:
492                 name, value, node_id = attribute['name'], attribute['value'], attribute.get('node_id', None)
493                 self.api.plshell.AddSliceTag(self.api.plauth, slice['name'], name, value, node_id)
494             except Exception, e:
495                 self.api.logger.warn('Failed to add sliver attribute. name: %s, value: %s, node_id: %s\nCause:%s'\
496                                 % (name, value,  node_id, str(e)))
497
498     def create_slice_aggregate(self, xrn, rspec):
499         hrn, type = urn_to_hrn(xrn)
500         # Determine if this is a peer slice
501         peer = self.get_peer(hrn)
502         sfa_peer = self.get_sfa_peer(hrn)
503
504         spec = RSpec(rspec)
505         # Get the slice record from sfa
506         slicename = hrn_to_pl_slicename(hrn) 
507         slice = {}
508         slice_record = None
509         registry = self.api.registries[self.api.hrn]
510         credential = self.api.getCredential()
511
512         site_id, remote_site_id = self.verify_site(registry, credential, hrn, peer, sfa_peer)
513         slice = self.verify_slice(registry, credential, hrn, site_id, remote_site_id, peer, sfa_peer)
514
515         # find out where this slice is currently running
516         nodelist = self.api.plshell.GetNodes(self.api.plauth, slice['node_ids'], ['hostname'])
517         hostnames = [node['hostname'] for node in nodelist]
518
519         # get netspec details
520         nodespecs = spec.getDictsByTagName('NodeSpec')
521
522         # dict in which to store slice attributes to set for the nodes
523         nodes = {}
524         for nodespec in nodespecs:
525             if isinstance(nodespec['name'], list):
526                 for nodename in nodespec['name']:
527                     nodes[nodename] = {}
528                     for k in nodespec.keys():
529                         rspec_attribute_value = nodespec[k]
530                         if (self.rspec_to_slice_tag.has_key(k)):
531                             slice_tag_name = self.rspec_to_slice_tag[k]
532                             nodes[nodename][slice_tag_name] = rspec_attribute_value
533             elif isinstance(nodespec['name'], StringTypes):
534                 nodename = nodespec['name']
535                 nodes[nodename] = {}
536                 for k in nodespec.keys():
537                     rspec_attribute_value = nodespec[k]
538                     if (self.rspec_to_slice_tag.has_key(k)):
539                         slice_tag_name = self.rspec_to_slice_tag[k]
540                         nodes[nodename][slice_tag_name] = rspec_attribute_value
541
542                 for k in nodespec.keys():
543                     rspec_attribute_value = nodespec[k]
544                     if (self.rspec_to_slice_tag.has_key(k)):
545                         slice_tag_name = self.rspec_to_slice_tag[k]
546                         nodes[nodename][slice_tag_name] = rspec_attribute_value
547
548         node_names = nodes.keys()
549         # remove nodes not in rspec
550         deleted_nodes = list(set(hostnames).difference(node_names))
551         # add nodes from rspec
552         added_nodes = list(set(node_names).difference(hostnames))
553
554         try:
555             if peer:
556                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice', slice['slice_id'], peer)
557
558             self.api.plshell.AddSliceToNodes(self.api.plauth, slicename, added_nodes) 
559
560             # Add recognized slice tags
561             for node_name in node_names:
562                 node = nodes[node_name]
563                 for slice_tag in node.keys():
564                     value = node[slice_tag]
565                     if (isinstance(value, list)):
566                         value = value[0]
567
568                     self.api.plshell.AddSliceTag(self.api.plauth, slicename, slice_tag, value, node_name)
569
570             self.api.plshell.DeleteSliceFromNodes(self.api.plauth, slicename, deleted_nodes)
571         finally:
572             if peer:
573                 self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', slice['slice_id'], peer, slice['peer_slice_id'])
574
575         return 1
576