trying to resolve potential issues with foreign site login bases
[sfa.git] / sfa / plc / slices.py
1 import datetime
2 import time
3 import traceback
4 import sys
5
6 from types import StringTypes
7 from sfa.util.xrn import get_leaf, get_authority, hrn_to_urn, urn_to_hrn
8 from sfa.util.plxrn import hrn_to_pl_slicename, hrn_to_pl_login_base
9 from sfa.util.rspec import *
10 from sfa.util.specdict import *
11 from sfa.util.faults import *
12 from sfa.util.record import SfaRecord
13 from sfa.util.policy import Policy
14 from sfa.util.prefixTree import prefixTree
15
16 MAXINT =  2L**31-1
17
18 class Slices:
19
20     rspec_to_slice_tag = {'max_rate':'net_max_rate'}
21
22     def __init__(self, api, ttl = .5, origin_hrn=None):
23         self.api = api
24         #filepath = path + os.sep + filename
25         self.policy = Policy(self.api)    
26         self.origin_hrn = origin_hrn
27         self.registry = api.registries[api.hrn]
28         self.credential = api.getCredential()
29
30     def get_slivers(self, xrn, node=None):
31         hrn, type = urn_to_hrn(xrn)
32          
33         slice_name = hrn_to_pl_slicename(hrn)
34         # XX Should we just call PLCAPI.GetSliceTicket(slice_name) instead
35         # of doing all of this?
36         #return self.api.GetSliceTicket(self.auth, slice_name) 
37         
38         # from PLCAPI.GetSlivers.get_slivers()
39         slice_fields = ['slice_id', 'name', 'instantiation', 'expires', 'person_ids', 'slice_tag_ids']
40         slices = self.api.plshell.GetSlices(self.api.plauth, slice_name, slice_fields)
41         # Build up list of users and slice attributes
42         person_ids = set()
43         all_slice_tag_ids = set()
44         for slice in slices:
45             person_ids.update(slice['person_ids'])
46             all_slice_tag_ids.update(slice['slice_tag_ids'])
47         person_ids = list(person_ids)
48         all_slice_tag_ids = list(all_slice_tag_ids)
49         # Get user information
50         all_persons_list = self.api.plshell.GetPersons(self.api.plauth, {'person_id':person_ids,'enabled':True}, ['person_id', 'enabled', 'key_ids'])
51         all_persons = {}
52         for person in all_persons_list:
53             all_persons[person['person_id']] = person        
54
55         # Build up list of keys
56         key_ids = set()
57         for person in all_persons.values():
58             key_ids.update(person['key_ids'])
59         key_ids = list(key_ids)
60         # Get user account keys
61         all_keys_list = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key', 'key_type'])
62         all_keys = {}
63         for key in all_keys_list:
64             all_keys[key['key_id']] = key
65         # Get slice attributes
66         all_slice_tags_list = self.api.plshell.GetSliceTags(self.api.plauth, all_slice_tag_ids)
67         all_slice_tags = {}
68         for slice_tag in all_slice_tags_list:
69             all_slice_tags[slice_tag['slice_tag_id']] = slice_tag
70            
71         slivers = []
72         for slice in slices:
73             keys = []
74             for person_id in slice['person_ids']:
75                 if person_id in all_persons:
76                     person = all_persons[person_id]
77                     if not person['enabled']:
78                         continue
79                     for key_id in person['key_ids']:
80                         if key_id in all_keys:
81                             key = all_keys[key_id]
82                             keys += [{'key_type': key['key_type'],
83                                     'key': key['key']}]
84             attributes = []
85             # All (per-node and global) attributes for this slice
86             slice_tags = []
87             for slice_tag_id in slice['slice_tag_ids']:
88                 if slice_tag_id in all_slice_tags:
89                     slice_tags.append(all_slice_tags[slice_tag_id]) 
90             # Per-node sliver attributes take precedence over global
91             # slice attributes, so set them first.
92             # Then comes nodegroup slice attributes
93             # Followed by global slice attributes
94             sliver_attributes = []
95
96             if node is not None:
97                 for sliver_attribute in filter(lambda a: a['node_id'] == node['node_id'], slice_tags):
98                     sliver_attributes.append(sliver_attribute['tagname'])
99                     attributes.append({'tagname': sliver_attribute['tagname'],
100                                     'value': sliver_attribute['value']})
101
102             # set nodegroup slice attributes
103             for slice_tag in filter(lambda a: a['nodegroup_id'] in node['nodegroup_ids'], slice_tags):
104                 # Do not set any nodegroup slice attributes for
105                 # which there is at least one sliver attribute
106                 # already set.
107                 if slice_tag not in slice_tags:
108                     attributes.append({'tagname': slice_tag['tagname'],
109                         'value': slice_tag['value']})
110
111             for slice_tag in filter(lambda a: a['node_id'] is None, slice_tags):
112                 # Do not set any global slice attributes for
113                 # which there is at least one sliver attribute
114                 # already set.
115                 if slice_tag['tagname'] not in sliver_attributes:
116                     attributes.append({'tagname': slice_tag['tagname'],
117                                    'value': slice_tag['value']})
118
119             # XXX Sanity check; though technically this should be a system invariant
120             # checked with an assertion
121             if slice['expires'] > MAXINT:  slice['expires']= MAXINT
122             
123             slivers.append({
124                 'hrn': hrn,
125                 'name': slice['name'],
126                 'slice_id': slice['slice_id'],
127                 'instantiation': slice['instantiation'],
128                 'expires': slice['expires'],
129                 'keys': keys,
130                 'attributes': attributes
131             })
132
133         return slivers
134  
135     def get_peer(self, xrn):
136         hrn, type = urn_to_hrn(xrn)
137         # Becaues of myplc federation,  we first need to determine if this
138         # slice belongs to out local plc or a myplc peer. We will assume it 
139         # is a local site, unless we find out otherwise  
140         peer = None
141
142         # get this slice's authority (site)
143         slice_authority = get_authority(hrn)
144
145         # get this site's authority (sfa root authority or sub authority)
146         site_authority = get_authority(slice_authority).lower()
147
148         # check if we are already peered with this site_authority, if so
149         peers = self.api.plshell.GetPeers(self.api.plauth, {}, ['peer_id', 'peername', 'shortname', 'hrn_root'])
150         for peer_record in peers:
151             names = [name.lower() for name in peer_record.values() if isinstance(name, StringTypes)]
152             if site_authority in names:
153                 peer = peer_record
154
155         return peer
156
157     def get_sfa_peer(self, xrn):
158         hrn, type = urn_to_hrn(xrn)
159
160         # return the authority for this hrn or None if we are the authority
161         sfa_peer = None
162         slice_authority = get_authority(hrn)
163         site_authority = get_authority(slice_authority)
164
165         if site_authority != self.api.hrn:
166             sfa_peer = site_authority
167
168         return sfa_peer
169
170     def verify_slice_nodes(self, slice, requested_slivers, peer):
171         
172         nodes = self.api.plshell.GetNodes(self.api.plauth, slice['node_ids'], ['hostname'])
173         current_slivers = [node['hostname'] for node in nodes]
174
175         # remove nodes not in rspec
176         deleted_nodes = list(set(current_slivers).difference(requested_slivers))
177
178         # add nodes from rspec
179         added_nodes = list(set(requested_slivers).difference(current_slivers))        
180
181         try:
182             if peer:
183                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice', slice['slice_id'], peer['shortname'])
184             self.api.plshell.AddSliceToNodes(self.api.plauth, slice['name'], added_nodes)
185             self.api.plshell.DeleteSliceFromNodes(self.api.plauth, slice['name'], deleted_nodes)
186
187         except: 
188             self.api.logger.log_exc('Failed to add/remove slice from nodes')
189
190     def handle_peer(self, site, slice, persons, peer):
191         if peer:
192             # bind site
193             try:
194                 if site:
195                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'site', \
196                        site['site_id'], peer['shortname'], slice['site_id'])
197             except Exception,e:
198                 self.api.plshell.DeleteSite(self.api.plauth, site['site_id'])
199                 raise e
200             
201             # bind slice
202             try:
203                 if slice:
204                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', \
205                        slice['slice_id'], peer['shortname'], slice['slice_id'])
206             except Exception,e:
207                 self.api.plshell.DeleteSlice(self.api.plauth, slice['slice_id'])
208                 raise e 
209
210             # bind persons
211             for person in persons:
212                 try:
213                     self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', \
214                         person['person_id'], peer['shortname'], person['peer_person_id'])
215
216                     for (key, remote_key_id) in zip(person['keys'], person['key_ids']):
217                         try:
218                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key',\
219                                 key['key_id'], peer['shortname'], remote_key_id)
220                         except:
221                             self.api.plshell.DeleteKey(self.api.plauth, key['key_id'])
222                             self.api.logger("failed to bind key: %s to peer: %s " % (key['key_id'], peer['shortname']))
223                 except Exception,e:
224                     self.api.plshell.DeletePerson(self.api.plauth, person['person_id'])
225                     raise e       
226
227         return slice
228
229     def verify_site(self, slice_xrn, slice_record={}, peer=None, sfa_peer=None):
230         (slice_hrn, type) = urn_to_hrn(slice_xrn)
231         site_hrn = get_authority(slice_hrn)
232         # login base can't be longer than 20 characters
233         slicename = hrn_to_pl_slicename(hrn)
234         authority_name = slicename.split('_')[0]
235         login_base = authority_name[:20]
236         sites = self.api.plshell.GetSites(self.api.plauth, login_base)
237         if not sites:
238             # create new site record
239             site = {'name': 'geni.%s' % authority_name,
240                     'abbreviated_name': authority_name,
241                     'login_base': login_base,
242                     'max_slices': 100,
243                     'max_slivers': 1000,
244                     'enabled': True,
245                     'peer_site_id': None}
246             if peer:
247                 site['peer_site_id'] = slice_record.get('site_id', None)
248             site['site_id'] = self.api.plshell.AddSite(self.api.plauth, site)
249             # exempt federated sites from monitor policies
250             self.api.plshell.AddSiteTag(self.api.plauth, site['site_id'], 'exempt_site_until', "20200101")
251             
252             # is this still necessary?
253             # add record to the local registry 
254             if sfa_peer and slice_record:
255                 peer_dict = {'type': 'authority', 'hrn': site_hrn, \
256                              'peer_authority': sfa_peer, 'pointer': site['site_id']}
257                 self.registry.register_peer_object(self.credential, peer_dict)
258         else:
259             site =  sites[0]
260             if peer:
261                 # unbind from peer so we can modify if necessary. Will bind back later
262                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'site', site['site_id'], peer['shortname']) 
263         
264         return site        
265
266     def verify_slice(self, slice_hrn, slice_record, peer, sfa_peer):
267         slicename = hrn_to_pl_slicename(slice_hrn)
268         parts = slicename.split("_")
269         login_base = parts[0]
270         slices = self.api.plshell.GetSlices(self.api.plauth, [slicename]) 
271         if not slices:
272             slice = {'name': slicename,
273                      'url': slice_record.get('url', slice_hrn), 
274                      'description': slice_record.get('description', slice_hrn)}
275             # add the slice                          
276             slice['slice_id'] = self.api.plshell.AddSlice(self.api.plauth, slice)
277             slice['node_ids'] = []
278             slice['person_ids'] = []
279             if peer:
280                 slice['peer_slice_id'] = slice_record.get('slice_id', None) 
281             # mark this slice as an sfa peer record
282             if sfa_peer:
283                 peer_dict = {'type': 'slice', 'hrn': slice_hrn, 
284                              'peer_authority': sfa_peer, 'pointer': slice['slice_id']}
285                 self.registry.register_peer_object(self.credential, peer_dict)
286         else:
287             slice = slices[0]
288             if peer:
289                 slice['peer_slice_id'] = slice_record.get('slice_id', None)
290                 # unbind from peer so we can modify if necessary. Will bind back later
291                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice',\
292                              slice['slice_id'], peer['shortname'])
293                 #Update existing record (e.g. expires field) it with the latest info.
294             if slice_record and slice['expires'] != slice_record['expires']:
295                 self.api.plshell.UpdateSlice(self.api.plauth, slice['slice_id'],\
296                              {'expires' : slice_record['expires']})
297        
298         return slice        
299
300     def verify_persons(self, slice_hrn, slice_record, users, peer, sfa_peer):
301         slicename = hrn_to_pl_slicename(slice_hrn)
302         login_base = hrn_to_pl_login_base(slice_hrn)
303  
304         # create a dict users keyed on the user's email
305         users_dict = {}
306         for user in users:
307             if 'email' in user:     
308                 users_dict[user['email'].lower()] = user
309             else:
310                 fake_email = hrn_to_pl_slicename(slice_hrn) + "@geni.net"
311                 user['email'] = fake_email.lower()
312                 users_dict[fake_email] = user
313         
314         # requested slice users        
315         requested_user_ids = users_dict.keys()
316         
317         # existing users
318         existing_users_filter = {'email': requested_user_ids}
319         existing_users = self.api.plshell.GetPersons(self.api.plauth, \
320             existing_users_filter, ['person_id', 'key_ids', 'email'])
321         existing_user_ids = [user['email'] for user in existing_users]
322             
323         # existing slice users
324         existing_slice_users_filter = {'person_id': slice_record.get('person_ids', [])}
325         existing_slice_users = self.api.plshell.GetPersons(self.api.plauth, \
326              existing_slice_users_filter, ['person_id', 'key_ids', 'email'])
327         existing_slice_user_ids = [user['email'] for user in existing_slice_users]
328         
329         # users to be added, removed or updated
330         added_user_ids = set(requested_user_ids).difference(existing_user_ids)
331         added_slice_user_ids = set(requested_user_ids).difference(existing_slice_user_ids)
332         removed_user_ids = set(existing_slice_user_ids).difference(requested_user_ids)
333         updated_user_ids = set(existing_slice_user_ids).intersection(requested_user_ids)
334
335         # remove stale users
336         for removed_user_id in removed_user_ids:
337             self.api.plshell.DeletePersonFromSlice(self.api.plauth, removed_user_id, slicename)
338
339         # update_existing users
340         updated_users_list = [user for user in users if user['email'] in updated_user_ids]
341         self.verify_keys(existing_slice_users, updated_users_list, peer)
342
343         added_persons = []
344         # add new users
345         for added_user_id in added_user_ids:
346             added_user = users_dict[added_user_id]
347             hrn, type = urn_to_hrn(added_user['urn'])  
348             person = {
349                 'first_name': added_user.get('first_name', hrn),
350                 'last_name': added_user.get('last_name', hrn),
351                 'email': added_user_id,
352                 'peer_person_id': None,
353                 'keys': [],
354                 'key_ids': added_user.get('key_ids', []),
355             }
356             person['person_id'] = self.api.plshell.AddPerson(self.api.plauth, person)
357             if peer:
358                 person['peer_person_id'] = added_user['person_id']
359             added_persons.append(person)
360            
361             # enable the account 
362             self.api.plshell.UpdatePerson(self.api.plauth, person['person_id'], {'enabled': True})
363             
364             # add person to site
365             self.api.plshell.AddPersonToSite(self.api.plauth, added_user_id, login_base)
366
367             for key_string in added_user.get('keys', []):
368                 key = {'key':key_string, 'key_type':'ssh'}
369                 key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, person['person_id'], key)
370                 person['keys'].append(key)
371
372             # add the registry record
373             if sfa_peer:
374                 peer_dict = {'type': 'user', 'hrn': hrn, 'peer_authority': sfa_peer, \
375                     'pointer': person['person_id']}
376                 self.registry.register_peer_object(self.credential, peer_dict)
377     
378         for added_slice_user_id in added_slice_user_ids.union(added_user_ids):
379             # add person to the slice 
380             self.api.plshell.AddPersonToSlice(self.api.plauth, added_slice_user_id, slicename)
381
382             
383             # if this is a peer record then it should already be bound to a peer.
384             # no need to return worry about it getting bound later 
385
386         return added_persons
387             
388
389     def verify_keys(self, persons, users, peer):
390         # existing keys 
391         key_ids = []
392         for person in persons:
393             key_ids.extend(person['key_ids'])
394         keylist = self.api.plshell.GetKeys(self.api.plauth, key_ids, ['key_id', 'key'])
395         keydict = {}
396         for key in keylist:
397             keydict[key['key']] = key['key_id']     
398         existing_keys = keydict.keys()
399         persondict = {}
400         for person in persons:
401             persondict[person['email']] = person    
402     
403         # add new keys
404         requested_keys = []
405         updated_persons = []
406         for user in users:
407             user_keys = user.get('keys', [])
408             updated_persons.append(user)
409             for key_string in user_keys:
410                 requested_keys.append(key_string)
411                 if key_string not in existing_keys:
412                     key = {'key': key_string, 'key_type': 'ssh'}
413                     try:
414                         if peer:
415                             person = persondict[user['email']]
416                             self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'])
417                         key['key_id'] = self.api.plshell.AddPersonKey(self.api.plauth, user['email'], key)
418                         if peer:
419                             key_index = user_keys.index(key['key'])
420                             remote_key_id = user['key_ids'][key_index]
421                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'key', key['key_id'], peer['shortname'], remote_key_id)
422                             
423                     finally:
424                         if peer:
425                             self.api.plshell.BindObjectToPeer(self.api.plauth, 'person', person['person_id'], peer['shortname'], user['person_id'])
426         
427         # remove old keys
428         removed_keys = set(existing_keys).difference(requested_keys)
429         for existing_key_id in keydict:
430             if keydict[existing_key_id] in removed_keys:
431                 try:
432                     if peer:
433                         self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'key', existing_key_id, peer['shortname'])
434                     self.api.plshell.DeleteKey(self.api.plauth, existing_key_id)
435                 except:
436                     pass   
437
438     def verify_slice_attributes(self, slice, requested_slice_attributes):
439         # get list of attributes users ar able to manage
440         slice_attributes = self.api.plshell.GetTagTypes(self.api.plauth, {'category': '*slice*', '|roles': ['user']})
441         valid_slice_attribute_names = [attribute['tagname'] for attribute in slice_attributes]
442
443         # get sliver attributes
444         added_slice_attributes = []
445         removed_slice_attributes = []
446         ignored_slice_attribute_names = []
447         existing_slice_attributes = self.api.plshell.GetSliceTags(self.api.plauth, {'slice_id': slice['slice_id']})
448
449         # get attributes that should be removed
450         for slice_tag in existing_slice_attributes:
451             if slice_tag['tagname'] in ignored_slice_attribute_names:
452                 # If a slice already has a admin only role it was probably given to them by an
453                 # admin, so we should ignore it.
454                 ignored_slice_attribute_names.append(slice_tag['tagname'])
455             else:
456                 # If an existing slice attribute was not found in the request it should
457                 # be removed
458                 attribute_found=False
459                 for requested_attribute in requested_slice_attributes:
460                     if requested_attribute['name'] == slice_tag['tagname'] and \
461                        requested_attribute['value'] == slice_tag['value']:
462                         attribute_found=True
463                         break
464
465             if not attribute_found:
466                 removed_slice_attributes.append(slice_tag)
467         
468         # get attributes that should be added:
469         for requested_attribute in requested_slice_attributes:
470             # if the requested attribute wasn't found  we should add it
471             if requested_attribute['name'] in valid_slice_attribute_names:
472                 attribute_found = False
473                 for existing_attribute in existing_slice_attributes:
474                     if requested_attribute['name'] == existing_attribute['tagname'] and \
475                        requested_attribute['value'] == existing_attribute['value']:
476                         attribute_found=True
477                         break
478                 if not attribute_found:
479                     added_slice_attributes.append(requested_attribute)
480
481
482         # remove stale attributes
483         for attribute in removed_slice_attributes:
484             try:
485                 self.api.plshell.DeleteSliceTag(self.api.plauth, attribute['slice_tag_id'])
486             except Exception, e:
487                 self.api.logger.warn('Failed to remove sliver attribute. name: %s, value: %s, node_id: %s\nCause:%s'\
488                                 % (name, value,  node_id, str(e)))
489
490         # add requested_attributes
491         for attribute in added_slice_attributes:
492             try:
493                 name, value, node_id = attribute['name'], attribute['value'], attribute.get('node_id', None)
494                 self.api.plshell.AddSliceTag(self.api.plauth, slice['name'], name, value, node_id)
495             except Exception, e:
496                 self.api.logger.warn('Failed to add sliver attribute. name: %s, value: %s, node_id: %s\nCause:%s'\
497                                 % (name, value,  node_id, str(e)))
498
499     def create_slice_aggregate(self, xrn, rspec):
500         hrn, type = urn_to_hrn(xrn)
501         # Determine if this is a peer slice
502         peer = self.get_peer(hrn)
503         sfa_peer = self.get_sfa_peer(hrn)
504
505         spec = RSpec(rspec)
506         # Get the slice record from sfa
507         slicename = hrn_to_pl_slicename(hrn) 
508         slice = {}
509         slice_record = None
510         registry = self.api.registries[self.api.hrn]
511         credential = self.api.getCredential()
512
513         site_id, remote_site_id = self.verify_site(registry, credential, hrn, peer, sfa_peer)
514         slice = self.verify_slice(registry, credential, hrn, site_id, remote_site_id, peer, sfa_peer)
515
516         # find out where this slice is currently running
517         nodelist = self.api.plshell.GetNodes(self.api.plauth, slice['node_ids'], ['hostname'])
518         hostnames = [node['hostname'] for node in nodelist]
519
520         # get netspec details
521         nodespecs = spec.getDictsByTagName('NodeSpec')
522
523         # dict in which to store slice attributes to set for the nodes
524         nodes = {}
525         for nodespec in nodespecs:
526             if isinstance(nodespec['name'], list):
527                 for nodename in nodespec['name']:
528                     nodes[nodename] = {}
529                     for k in nodespec.keys():
530                         rspec_attribute_value = nodespec[k]
531                         if (self.rspec_to_slice_tag.has_key(k)):
532                             slice_tag_name = self.rspec_to_slice_tag[k]
533                             nodes[nodename][slice_tag_name] = rspec_attribute_value
534             elif isinstance(nodespec['name'], StringTypes):
535                 nodename = nodespec['name']
536                 nodes[nodename] = {}
537                 for k in nodespec.keys():
538                     rspec_attribute_value = nodespec[k]
539                     if (self.rspec_to_slice_tag.has_key(k)):
540                         slice_tag_name = self.rspec_to_slice_tag[k]
541                         nodes[nodename][slice_tag_name] = rspec_attribute_value
542
543                 for k in nodespec.keys():
544                     rspec_attribute_value = nodespec[k]
545                     if (self.rspec_to_slice_tag.has_key(k)):
546                         slice_tag_name = self.rspec_to_slice_tag[k]
547                         nodes[nodename][slice_tag_name] = rspec_attribute_value
548
549         node_names = nodes.keys()
550         # remove nodes not in rspec
551         deleted_nodes = list(set(hostnames).difference(node_names))
552         # add nodes from rspec
553         added_nodes = list(set(node_names).difference(hostnames))
554
555         try:
556             if peer:
557                 self.api.plshell.UnBindObjectFromPeer(self.api.plauth, 'slice', slice['slice_id'], peer)
558
559             self.api.plshell.AddSliceToNodes(self.api.plauth, slicename, added_nodes) 
560
561             # Add recognized slice tags
562             for node_name in node_names:
563                 node = nodes[node_name]
564                 for slice_tag in node.keys():
565                     value = node[slice_tag]
566                     if (isinstance(value, list)):
567                         value = value[0]
568
569                     self.api.plshell.AddSliceTag(self.api.plauth, slicename, slice_tag, value, node_name)
570
571             self.api.plshell.DeleteSliceFromNodes(self.api.plauth, slicename, deleted_nodes)
572         finally:
573             if peer:
574                 self.api.plshell.BindObjectToPeer(self.api.plauth, 'slice', slice['slice_id'], peer, slice['peer_slice_id'])
575
576         return 1
577