Merge branch 'master' into senslab2
[sfa.git] / sfa / senslab / LDAPapi.py
1 import random
2 from passlib.hash import ldap_salted_sha1 as lssha
3 from sfa.util.xrn import get_authority 
4 import ldap
5 from sfa.util.config import Config
6 from sfa.trust.hierarchy import Hierarchy
7 #from sfa.trust.certificate import *
8 import ldap.modlist as modlist
9 from sfa.util.sfalogging import logger
10 import os.path
11
12 #API for OpenLDAP
13
14
15 class ldap_config():
16     def __init__(self, config_file =  '/etc/sfa/ldap_config.py'):
17         self.load(config_file)
18
19     def load(self, config_file):
20         try:
21             execfile(config_file, self.__dict__)
22             self.config_file = config_file
23             # path to configuration data
24             self.config_path = os.path.dirname(config_file)
25         except IOError, error:
26             raise IOError, "Could not find or load the configuration file: %s" % config_file
27         
28 class ldap_co:
29     """ Set admin login and server configuration variables."""
30     
31     def __init__(self):
32         #Senslab PROD LDAP parameters 
33         LdapConfig = ldap_config()
34         self.config = LdapConfig
35         self.ldapHost = LdapConfig.LDAP_IP_ADDRESS 
36         self.ldapPeopleDN = LdapConfig.LDAP_PEOPLE_DN
37         self.ldapGroupDN = LdapConfig.LDAP_GROUP_DN
38         self.ldapAdminDN = LdapConfig.LDAP_WEB_DN
39         self.ldapAdminPassword = LdapConfig.LDAP_WEB_PASSWORD
40
41
42         self.ldapPort = ldap.PORT
43         self.ldapVersion  = ldap.VERSION3
44         self.ldapSearchScope = ldap.SCOPE_SUBTREE
45
46
47     def connect(self, bind = True):
48         """Enables connection to the LDAP server.
49         Set the bind parameter to True if a bind is needed
50         (for add/modify/delete operations).
51         Set to False otherwise.
52         
53         """
54         try:
55             self.ldapserv = ldap.open(self.ldapHost)
56         except ldap.LDAPError, error:
57             return {'bool' : False, 'message' : error }
58         
59         # Bind with authentification
60         if(bind): 
61             return self.bind()
62         
63         else:     
64             return {'bool': True} 
65     
66     def bind(self):
67         """ Binding method. """
68         try:
69             # Opens a connection after a call to ldap.open in connect:
70             self.ldapserv = ldap.initialize("ldap://" + self.ldapHost)
71                 
72             # Bind/authenticate with a user with apropriate rights to add objects
73             self.ldapserv.simple_bind_s(self.ldapAdminDN, self.ldapAdminPassword)
74
75         except ldap.LDAPError, error:
76             return {'bool' : False, 'message' : error }
77
78         return {'bool': True}
79     
80     def close(self):
81         """ Close the LDAP connection """
82         try:
83             self.ldapserv.unbind_s()
84         except ldap.LDAPError, error:
85             return {'bool' : False, 'message' : error }
86             
87         
88 class LDAPapi :
89     def __init__(self):
90         logger.setLevelDebug() 
91         #SFA related config
92         self.senslabauth = Hierarchy()
93         config = Config()
94         
95         self.authname = config.SFA_REGISTRY_ROOT_AUTH
96
97         self.conn =  ldap_co() 
98         self.ldapUserQuotaNFS = self.conn.config.LDAP_USER_QUOTA_NFS 
99         self.ldapUserUidNumberMin = self.conn.config.LDAP_USER_UID_NUMBER_MIN 
100         self.ldapUserGidNumber = self.conn.config.LDAP_USER_GID_NUMBER 
101         self.ldapUserHomePath = self.conn.config.LDAP_USER_HOME_PATH 
102         
103         self.lengthPassword = 8
104         self.baseDN = self.conn.ldapPeopleDN
105         #authinfo=self.senslabauth.get_auth_info(self.authname)
106         
107         
108         self.charsPassword = [ '!','$','(',')','*','+',',','-','.',\
109                                 '0','1','2','3','4','5','6','7','8','9',\
110                                 'A','B','C','D','E','F','G','H','I','J',\
111                                 'K','L','M','N','O','P','Q','R','S','T',\
112                                 'U','V','W','X','Y','Z','_','a','b','c',\
113                                 'd','e','f','g','h','i','j','k','l','m',\
114                                 'n','o','p','q','r','s','t','u','v','w',\
115                                 'x','y','z','\'']
116         
117         self.ldapShell = '/bin/bash'
118
119     
120     def generate_login(self, record):
121         """Generate login for adding a new user in LDAP Directory 
122         (four characters minimum length)
123         Record contains first name and last name.
124         
125         """ 
126         #Remove all special characters from first_name/last name
127         lower_first_name = record['first_name'].replace('-','')\
128                                         .replace('_','').replace('[','')\
129                                         .replace(']','').replace(' ','')\
130                                         .lower()
131         lower_last_name = record['last_name'].replace('-','')\
132                                         .replace('_','').replace('[','')\
133                                         .replace(']','').replace(' ','')\
134                                         .lower()  
135         length_last_name = len(lower_last_name)
136         login_max_length = 8
137         
138         #Try generating a unique login based on first name and last name
139         getAttrs = ['uid']
140         if length_last_name >= login_max_length :
141             login = lower_last_name[0:login_max_length]
142             index = 0
143             logger.debug("login : %s index : %s" %(login,index))
144         elif length_last_name >= 4 :
145             login = lower_last_name
146             index = 0
147             logger.debug("login : %s index : %s" %(login,index))
148         elif length_last_name == 3 :
149             login = lower_first_name[0:1] + lower_last_name
150             index = 1
151             logger.debug("login : %s index : %s" %(login,index))
152         elif length_last_name == 2:
153             if len ( lower_first_name) >=2:
154                 login = lower_first_name[0:2] + lower_last_name
155                 index = 2
156                 logger.debug("login : %s index : %s" %(login,index))
157             else:
158                 logger.error("LoginException : \
159                             Generation login error with \
160                             minimum four characters")
161             
162                 
163         else :
164             logger.error("LDAP generate_login failed : \
165                             impossible to generate unique login for %s %s" \
166                             %(lower_first_name,lower_last_name))
167             
168         login_filter = '(uid=' + login + ')'
169         
170         try :
171             #Check if login already in use
172             while (len(self.LdapSearch(login_filter, getAttrs)) is not 0 ):
173             
174                 index += 1
175                 if index >= 9:
176                     logger.error("LoginException : Generation login error \
177                                     with minimum four characters")
178                 else:
179                     try:
180                         login = lower_first_name[0:index] + \
181                                     lower_last_name[0:login_max_length-index]
182                         login_filter = '(uid='+ login+ ')'
183                     except KeyError:
184                         print "lower_first_name - lower_last_name too short"
185                         
186             logger.debug("LDAP.API \t generate_login login %s" %(login))
187             return login
188                     
189         except  ldap.LDAPError,error :
190             logger.log_exc("LDAP generate_login Error %s" %error)
191             return None
192
193         
194
195     def generate_password(self):
196     
197         """Generate password for adding a new user in LDAP Directory 
198         (8 characters length) return password
199         
200         """
201         password = str()
202         length = len(self.charsPassword)
203         for index in range(self.lengthPassword):
204             char_index = random.randint(0,length-1)
205             password += self.charsPassword[char_index]
206
207         return password
208
209     def encrypt_password(self, password):
210         """ Use passlib library to make a RFC2307 LDAP encrypted password
211         salt size = 8, use sha-1 algorithm. Returns encrypted password.
212         
213         """
214         #Keep consistency with Java Senslab's LDAP API 
215         #RFC2307SSHAPasswordEncryptor so set the salt size to 8 bytres
216         return lssha.encrypt(password,salt_size = 8)
217     
218
219
220     def find_max_uidNumber(self):
221             
222         """Find the LDAP max uidNumber (POSIX uid attribute) .
223         Used when adding a new user in LDAP Directory 
224         returns string  max uidNumber + 1
225         
226         """
227         #First, get all the users in the LDAP
228         getAttrs = "(uidNumber=*)"
229         login_filter = ['uidNumber']
230
231         result_data = self.LdapSearch(getAttrs, login_filter) 
232         #It there is no user in LDAP yet, First LDAP user
233         if result_data == []:
234             max_uidnumber = self.ldapUserUidNumberMin
235         #Otherwise, get the highest uidNumber
236         else:
237             
238             uidNumberList = [int(r[1]['uidNumber'][0])for r in result_data ]
239             logger.debug("LDAPapi.py \tfind_max_uidNumber  \
240                                     uidNumberList %s " %(uidNumberList))
241             max_uidnumber = max(uidNumberList) + 1
242             
243         return str(max_uidnumber)
244          
245          
246     def get_ssh_pkey(self, record):
247         """TODO ; Get ssh public key from sfa record  
248         To be filled by N. Turro ? or using GID pl way?
249         
250         """
251         return 'A REMPLIR '
252
253     def make_ldap_filters_from_record(self, record=None):
254         """TODO Handle OR filtering in the ldap query when 
255         dealing with a list of records instead of doing a for loop in GetPersons   
256         Helper function to make LDAP filter requests out of SFA records.
257         """
258         req_ldap = ''
259         req_ldapdict = {}
260         if record :
261             if 'first_name' in record  and 'last_name' in record:
262                 req_ldapdict['cn'] = str(record['first_name'])+" "\
263                                         + str(record['last_name'])
264             if 'email' in record :
265                 req_ldapdict['mail'] = record['email']
266             if 'mail' in record:
267                 req_ldapdict['mail'] = record['mail']
268             if 'enabled' in record:
269                 if record['enabled'] == True :
270                     req_ldapdict['shadowExpire'] = '-1'
271                 else:
272                     req_ldapdict['shadowExpire'] = '0'
273                 
274             #Hrn should not be part of the filter because the hrn 
275             #presented by a certificate of a SFA user not imported in 
276             #Senslab  does not include the senslab login in it 
277             #Plus, the SFA user may already have an account with senslab
278             #using another login.
279                 
280             #if 'hrn' in record :
281                 #splited_hrn = record['hrn'].split(".")
282                 #if splited_hrn[0] != self.authname :
283                     #logger.warning(" \r\n LDAP.PY \
284                         #make_ldap_filters_from_record I know nothing \
285                         #about %s my authname is %s not %s" \
286                         #%(record['hrn'], self.authname, splited_hrn[0]) )
287                         
288                 #login=splited_hrn[1]
289                 #req_ldapdict['uid'] = login
290             
291
292             logger.debug("\r\n \t LDAP.PY make_ldap_filters_from_record \
293                                 record %s req_ldapdict %s" \
294                                 %(record, req_ldapdict))
295             
296             for k in req_ldapdict:
297                 req_ldap += '('+ str(k)+ '=' + str(req_ldapdict[k]) + ')'
298             if  len(req_ldapdict.keys()) >1 :
299                 req_ldap = req_ldap[:0]+"(&"+req_ldap[0:]
300                 size = len(req_ldap)
301                 req_ldap = req_ldap[:(size-1)] +')'+ req_ldap[(size-1):]
302         else:
303             req_ldap = "(cn=*)"
304         
305         return req_ldap
306         
307     def make_ldap_attributes_from_record(self, record):
308         """When addind a new user to Senslab's LDAP, creates an attributes 
309         dictionnary from the SFA record.
310         
311         """
312
313         attrs = {}
314         attrs['objectClass'] = ["top", "person", "inetOrgPerson",\
315                                     "organizationalPerson", "posixAccount",\
316                                     "shadowAccount", "systemQuotas",\
317                                     "ldapPublicKey"]
318         
319         attrs['givenName'] = str(record['first_name']).lower().capitalize()
320         attrs['sn'] = str(record['last_name']).lower().capitalize()
321         attrs['cn'] = attrs['givenName'] + ' ' + attrs['sn']
322         attrs['gecos'] = attrs['givenName'] + ' ' + attrs['sn']
323         attrs['uid'] = self.generate_login(record)   
324                     
325         attrs['quota'] = self.ldapUserQuotaNFS 
326         attrs['homeDirectory'] = self.ldapUserHomePath + attrs['uid']
327         attrs['loginShell'] = self.ldapShell
328         attrs['gidNumber'] = self.ldapUserGidNumber
329         attrs['uidNumber'] = self.find_max_uidNumber()
330         attrs['mail'] = record['mail'].lower()
331         try:
332             attrs['sshPublicKey'] = record['pkey']
333         except KeyError:
334             attrs['sshPublicKey'] = self.get_ssh_pkey(record) 
335         
336
337         #Password is automatically generated because SFA user don't go 
338         #through the Senslab website  used to register new users, 
339         #There is no place in SFA where users can enter such information
340         #yet.
341         #If the user wants to set his own password , he must go to the Senslab 
342         #website.
343         password = self.generate_password()
344         attrs['userPassword']= self.encrypt_password(password)
345         
346         #Account automatically validated (no mail request to admins)
347         #Set to 0 to disable the account, -1 to enable it,
348         attrs['shadowExpire'] = '-1'
349
350         #Motivation field in Senslab
351         attrs['description'] = 'SFA USER FROM OUTSIDE SENSLAB'
352
353         attrs['ou'] = 'SFA'         #Optional: organizational unit
354         #No info about those here:
355         attrs['l'] = 'To be defined'#Optional: Locality. 
356         attrs['st'] = 'To be defined' #Optional: state or province (country).
357
358         return attrs
359
360
361
362     def LdapAddUser(self, record) :
363         """Add SFA user to LDAP if it is not in LDAP  yet. """
364         
365         user_ldap_attrs = self.make_ldap_attributes_from_record(record)
366
367         
368         #Check if user already in LDAP wih email, first name and last name
369         filter_by = self.make_ldap_filters_from_record(user_ldap_attrs)
370         user_exist = self.LdapSearch(filter_by)
371         if user_exist:
372             logger.warning(" \r\n \t LDAP LdapAddUser user %s %s already exists" \
373                             %(user_ldap_attrs['sn'],user_ldap_attrs['mail'])) 
374             return {'bool': False}
375         
376         #Bind to the server
377         result = self.conn.connect()
378         
379         if(result['bool']):
380             
381             # A dict to help build the "body" of the object
382             
383             logger.debug(" \r\n \t LDAP LdapAddUser attrs %s " %user_ldap_attrs)
384
385             # The dn of our new entry/object
386             dn = 'uid=' + user_ldap_attrs['uid'] + "," + self.baseDN 
387
388             try:
389                 ldif = modlist.addModlist(user_ldap_attrs)
390                 logger.debug("LDAPapi.py add attrs %s \r\n  ldif %s"\
391                                 %(user_ldap_attrs,ldif) )
392                 self.conn.ldapserv.add_s(dn,ldif)
393                 
394                 logger.info("Adding user %s login %s in LDAP" \
395                         %(user_ldap_attrs['cn'] ,user_ldap_attrs['uid']))
396                         
397                         
398             except ldap.LDAPError, error:
399                 logger.log_exc("LDAP Add Error %s" %error)
400                 return {'bool' : False, 'message' : error }
401         
402             self.conn.close()
403             return {'bool': True}  
404         else: 
405             return result
406
407         
408     def LdapDelete(self, person_dn):
409         """
410         Deletes a person in LDAP. Uses the dn of the user.
411         """
412         #Connect and bind   
413         result =  self.conn.connect()
414         if(result['bool']):
415             try:
416                 self.conn.ldapserv.delete_s(person_dn)
417                 self.conn.close()
418                 return {'bool': True}
419             
420             except ldap.LDAPError, error:
421                 logger.log_exc("LDAP Delete Error %s" %error)
422                 return {'bool': False}
423         
424     
425     def LdapDeleteUser(self, record_filter): 
426         """
427         Deletes a SFA person in LDAP, based on the user's hrn.
428         """
429         #Find uid of the  person 
430         person = self.LdapFindUser(record_filter,[])
431         logger.debug("LDAPapi.py \t LdapDeleteUser record %s person %s" \
432         %(record_filter, person))
433
434         if person:
435             dn = 'uid=' + person['uid'] + "," +self.baseDN 
436         else:
437             return {'bool': False}
438         
439         result = self.LdapDelete(dn)
440         return result
441         
442
443     def LdapModify(self, dn, old_attributes_dict, new_attributes_dict): 
444         """ Modifies a LDAP entry """
445          
446         ldif = modlist.modifyModlist(old_attributes_dict,new_attributes_dict)
447         # Connect and bind/authenticate    
448         result = self.conn.connect() 
449         if (result['bool']): 
450             try:
451                 self.conn.ldapserv.modify_s(dn,ldif)
452                 self.conn.close()
453                 return {'bool' : True }
454             except ldap.LDAPError, error:
455                 logger.log_exc("LDAP LdapModify Error %s" %error)
456                 return {'bool' : False }
457     
458         
459     def LdapModifyUser(self, user_record, new_attributes_dict):
460         """
461         Gets the record from one user_uid_login based on record_filter 
462         and changes the attributes according to the specified new_attributes.
463         Does not use this if we need to modify the uid. Use a ModRDN 
464         #operation instead ( modify relative DN )
465         """
466         if user_record is None:
467             logger.error("LDAP \t LdapModifyUser Need user record  ")
468             return {'bool': False} 
469         
470         #Get all the attributes of the user_uid_login 
471         #person = self.LdapFindUser(record_filter,[])
472         req_ldap = self.make_ldap_filters_from_record(user_record)
473         person_list = self.LdapSearch(req_ldap,[])
474         logger.debug("LDAPapi.py \t LdapModifyUser person_list : %s" %(person_list))
475         if person_list and len(person_list) > 1 :
476             logger.error("LDAP \t LdapModifyUser Too many users returned")
477             return {'bool': False}
478         if person_list is None :
479             logger.error("LDAP \t LdapModifyUser  User %s doesn't exist "\
480                         %(user_record))
481             return {'bool': False} 
482         
483         # The dn of our existing entry/object
484         #One result only from ldapSearch
485         person = person_list[0][1]
486         dn  = 'uid=' + person['uid'][0] + "," +self.baseDN  
487        
488         if new_attributes_dict:
489             old = {}
490             for k in new_attributes_dict:
491                 if k not in person:
492                     old[k] =  ''
493                 else :
494                     old[k] = person[k]
495             logger.debug(" LDAPapi.py \t LdapModifyUser  new_attributes %s"\
496                                 %( new_attributes_dict))  
497             result = self.LdapModify(dn, old,new_attributes_dict)
498             return result
499         else:
500             logger.error("LDAP \t LdapModifyUser  No new attributes given. ")
501             return {'bool': False} 
502             
503             
504             
505             
506     def LdapMarkUserAsDeleted(self, record): 
507
508         
509         new_attrs = {}
510         #Disable account
511         new_attrs['shadowExpire'] = '0'
512         logger.debug(" LDAPapi.py \t LdapMarkUserAsDeleted ")
513         ret = self.LdapModifyUser(record, new_attrs)
514         return ret
515
516             
517     def LdapResetPassword(self,record):
518         """
519         Resets password for the user whose record is the parameter and changes
520         the corresponding entry in the LDAP.
521         
522         """
523         password = self.generate_password()
524         attrs = {}
525         attrs['userPassword'] = self.encrypt_password(password)
526         logger.debug("LDAP LdapResetPassword encrypt_password %s"\
527                     %(attrs['userPassword']))
528         result = self.LdapModifyUser(record, attrs)
529         return result
530         
531         
532     def LdapSearch (self, req_ldap = None, expected_fields = None ):
533         """
534         Used to search directly in LDAP, by using ldap filters and
535         return fields. 
536         When req_ldap is None, returns all the entries in the LDAP.
537       
538         """
539         result = self.conn.connect(bind = False)
540         if (result['bool']) :
541             
542             return_fields_list = []
543             if expected_fields == None : 
544                 return_fields_list = ['mail','givenName', 'sn', 'uid', \
545                                         'sshPublicKey', 'shadowExpire']
546             else : 
547                 return_fields_list = expected_fields
548             #No specifc request specified, get the whole LDAP    
549             if req_ldap == None:
550                 req_ldap = '(cn=*)'
551                
552             logger.debug("LDAP.PY \t LdapSearch  req_ldap %s \
553                                     return_fields_list %s" \
554                                     %(req_ldap, return_fields_list))
555
556             try:
557                 msg_id = self.conn.ldapserv.search(
558                                             self.baseDN,ldap.SCOPE_SUBTREE,\
559                                             req_ldap, return_fields_list)     
560                 #Get all the results matching the search from ldap in one 
561                 #shot (1 value)
562                 result_type, result_data = \
563                                         self.conn.ldapserv.result(msg_id,1)
564
565                 self.conn.close()
566
567                 logger.debug("LDAP.PY \t LdapSearch  result_data %s"\
568                             %(result_data))
569
570                 return result_data
571             
572             except  ldap.LDAPError,error :
573                 logger.log_exc("LDAP LdapSearch Error %s" %error)
574                 return []
575             
576             else:
577                 logger.error("LDAP.PY \t Connection Failed" )
578                 return 
579         
580     def LdapFindUser(self, record = None, is_user_enabled=None, \
581             expected_fields = None):
582         """
583         Search a SFA user with a hrn. User should be already registered 
584         in Senslab LDAP. 
585         Returns one matching entry 
586         """   
587         custom_record = {}
588         if is_user_enabled: 
589           
590             custom_record['enabled'] = is_user_enabled
591         if record:  
592             custom_record.update(record)
593
594
595         req_ldap = self.make_ldap_filters_from_record(custom_record)     
596         return_fields_list = []
597         if expected_fields == None : 
598             return_fields_list = ['mail','givenName', 'sn', 'uid', \
599                                     'sshPublicKey']
600         else : 
601             return_fields_list = expected_fields
602             
603         result_data = self.LdapSearch(req_ldap, return_fields_list )
604         logger.debug("LDAP.PY \t LdapFindUser  result_data %s" %(result_data))
605            
606         if len(result_data) is 0:
607             return None
608         #Asked for a specific user
609         if record :
610             #try:
611             ldapentry = result_data[0][1]
612             logger.debug("LDAP.PY \t LdapFindUser ldapentry %s" %(ldapentry))
613             tmpname = ldapentry['uid'][0]
614
615             tmpemail = ldapentry['mail'][0]
616             if ldapentry['mail'][0] == "unknown":
617                 tmpemail = None
618                     
619             #except IndexError: 
620                 #logger.error("LDAP ldapFindHRn : no entry for record %s found"\
621                             #%(record))
622                 #return None
623                 
624             try:
625                 hrn = record['hrn']
626                 parent_hrn = get_authority(hrn)
627                 peer_authority = None
628                 if parent_hrn is not self.authname:
629                     peer_authority = parent_hrn
630
631                 results =  {    
632                             'type': 'user',
633                             'pkey': ldapentry['sshPublicKey'][0],
634                             #'uid': ldapentry[1]['uid'][0],
635                             'uid': tmpname ,
636                             'email':tmpemail,
637                             #'email': ldapentry[1]['mail'][0],
638                             'first_name': ldapentry['givenName'][0],
639                             'last_name': ldapentry['sn'][0],
640                             #'phone': 'none',
641                             'serial': 'none',
642                             'authority': parent_hrn,
643                             'peer_authority': peer_authority,
644                             'pointer' : -1,
645                             'hrn': hrn,
646                             }
647             except KeyError,error:
648                 logger.log_exc("LDAPapi \t LdaFindUser KEyError %s" \
649                                 %error )
650                 return
651         else:
652         #Asked for all users in ldap
653             results = []
654             for ldapentry in result_data:
655                 logger.debug(" LDAP.py LdapFindUser ldapentry name : %s " \
656                                 %(ldapentry[1]['uid'][0]))
657                 tmpname = ldapentry[1]['uid'][0]
658                 hrn=self.authname+"."+ tmpname
659                 
660                 tmpemail = ldapentry[1]['mail'][0]
661                 if ldapentry[1]['mail'][0] == "unknown":
662                     tmpemail = None
663
664         
665                 parent_hrn = get_authority(hrn)
666                 parent_auth_info = self.senslabauth.get_auth_info(parent_hrn)
667                 try:
668                     results.append(  {  
669                             'type': 'user',
670                             'pkey': ldapentry[1]['sshPublicKey'][0],
671                             #'uid': ldapentry[1]['uid'][0],
672                             'uid': tmpname ,
673                             'email':tmpemail,
674                             #'email': ldapentry[1]['mail'][0],
675                             'first_name': ldapentry[1]['givenName'][0],
676                             'last_name': ldapentry[1]['sn'][0],
677                             #'phone': 'none',
678                             'serial': 'none',
679                             'authority': self.authname,
680                             'peer_authority': '',
681                             'pointer' : -1,
682                             'hrn': hrn,
683                             } ) 
684                 except KeyError,error:
685                     logger.log_exc("LDAPapi.PY \t LdapFindUser EXCEPTION %s" %(error))
686                     return
687         return results   
688