more, and more legible, debug messages in the cert verification area
[sfa.git] / sfa / trust / certificate.py
1 #----------------------------------------------------------------------
2 # Copyright (c) 2008 Board of Trustees, Princeton University
3 #
4 # Permission is hereby granted, free of charge, to any person obtaining
5 # a copy of this software and/or hardware specification (the "Work") to
6 # deal in the Work without restriction, including without limitation the
7 # rights to use, copy, modify, merge, publish, distribute, sublicense,
8 # and/or sell copies of the Work, and to permit persons to whom the Work
9 # is furnished to do so, subject to the following conditions:
10 #
11 # The above copyright notice and this permission notice shall be
12 # included in all copies or substantial portions of the Work.
13 #
14 # THE WORK IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS 
15 # OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF 
16 # MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND 
17 # NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT 
18 # HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, 
19 # WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, 
20 # OUT OF OR IN CONNECTION WITH THE WORK OR THE USE OR OTHER DEALINGS 
21 # IN THE WORK.
22 #----------------------------------------------------------------------
23
24 ##
25 # SFA uses two crypto libraries: pyOpenSSL and M2Crypto to implement
26 # the necessary crypto functionality. Ideally just one of these libraries
27 # would be used, but unfortunately each of these libraries is independently
28 # lacking. The pyOpenSSL library is missing many necessary functions, and
29 # the M2Crypto library has crashed inside of some of the functions. The
30 # design decision is to use pyOpenSSL whenever possible as it seems more
31 # stable, and only use M2Crypto for those functions that are not possible
32 # in pyOpenSSL.
33 #
34 # This module exports two classes: Keypair and Certificate.
35 ##
36 #
37
38 from __future__ import print_function
39
40 import functools
41 import os
42 import tempfile
43 import base64
44 from tempfile import mkstemp
45
46 import OpenSSL
47 # M2Crypto is imported on the fly to minimize crashes
48 #import M2Crypto
49
50 from sfa.util.py23 import PY3
51
52 from sfa.util.faults import CertExpired, CertMissingParent, CertNotSignedByParent
53 from sfa.util.sfalogging import logger
54
55 # this tends to generate quite some logs for little or no value
56 debug_verify_chain = False
57
58 glo_passphrase_callback = None
59
60 ##
61 # A global callback may be implemented for requesting passphrases from the
62 # user. The function will be called with three arguments:
63 #
64 #    keypair_obj: the keypair object that is calling the passphrase
65 #    string: the string containing the private key that's being loaded
66 #    x: unknown, appears to be 0, comes from pyOpenSSL and/or m2crypto
67 #
68 # The callback should return a string containing the passphrase.
69
70 def set_passphrase_callback(callback_func):
71     global glo_passphrase_callback
72
73     glo_passphrase_callback = callback_func
74
75 ##
76 # Sets a fixed passphrase.
77
78 def set_passphrase(passphrase):
79     set_passphrase_callback( lambda k,s,x: passphrase )
80
81 ##
82 # Check to see if a passphrase works for a particular private key string.
83 # Intended to be used by passphrase callbacks for input validation.
84
85 def test_passphrase(string, passphrase):
86     try:
87         OpenSSL.crypto.load_privatekey(OpenSSL.crypto.FILETYPE_PEM, string, (lambda x: passphrase))
88         return True
89     except:
90         return False
91
92 def convert_public_key(key):
93     keyconvert_path = "/usr/bin/keyconvert.py"
94     if not os.path.isfile(keyconvert_path):
95         raise IOError("Could not find keyconvert in {}".format(keyconvert_path))
96
97     # we can only convert rsa keys
98     if "ssh-dss" in key:
99         raise Exception("keyconvert: dss keys are not supported")
100
101     (ssh_f, ssh_fn) = tempfile.mkstemp()
102     ssl_fn = tempfile.mktemp()
103     os.write(ssh_f, key)
104     os.close(ssh_f)
105
106     cmd = keyconvert_path + " " + ssh_fn + " " + ssl_fn
107     os.system(cmd)
108
109     # this check leaves the temporary file containing the public key so
110     # that it can be expected to see why it failed.
111     # TODO: for production, cleanup the temporary files
112     if not os.path.exists(ssl_fn):
113         raise Exception("keyconvert: generated certificate not found. keyconvert may have failed.")
114
115     k = Keypair()
116     try:
117         k.load_pubkey_from_file(ssl_fn)
118         return k
119     except:
120         logger.log_exc("convert_public_key caught exception")
121         raise
122     finally:
123         # remove the temporary files
124         if os.path.exists(ssh_fn):
125             os.remove(ssh_fn)
126         if os.path.exists(ssl_fn):
127             os.remove(ssl_fn)
128
129 ##
130 # Public-private key pairs are implemented by the Keypair class.
131 # A Keypair object may represent both a public and private key pair, or it
132 # may represent only a public key (this usage is consistent with OpenSSL).
133
134 class Keypair:
135     key = None       # public/private keypair
136     m2key = None     # public key (m2crypto format)
137
138     ##
139     # Creates a Keypair object
140     # @param create If create==True, creates a new public/private key and
141     #     stores it in the object
142     # @param string If string != None, load the keypair from the string (PEM)
143     # @param filename If filename != None, load the keypair from the file
144
145     def __init__(self, create=False, string=None, filename=None):
146         if create:
147             self.create()
148         if string:
149             self.load_from_string(string)
150         if filename:
151             self.load_from_file(filename)
152
153     ##
154     # Create a RSA public/private key pair and store it inside the keypair object
155
156     def create(self):
157         self.key = OpenSSL.crypto.PKey()
158         self.key.generate_key(OpenSSL.crypto.TYPE_RSA, 2048)
159
160     ##
161     # Save the private key to a file
162     # @param filename name of file to store the keypair in
163
164     def save_to_file(self, filename):
165         open(filename, 'w').write(self.as_pem())
166         self.filename = filename
167
168     ##
169     # Load the private key from a file. Implicity the private key includes the public key.
170
171     def load_from_file(self, filename):
172         self.filename = filename
173         buffer = open(filename, 'r').read()
174         self.load_from_string(buffer)
175
176     ##
177     # Load the private key from a string. Implicitly the private key includes the public key.
178
179     def load_from_string(self, string):
180         import M2Crypto
181         if glo_passphrase_callback:
182             self.key = OpenSSL.crypto.load_privatekey(
183                 OpenSSL.crypto.FILETYPE_PEM, string, functools.partial(glo_passphrase_callback, self, string))
184             self.m2key = M2Crypto.EVP.load_key_string(
185                 string, functools.partial(glo_passphrase_callback, self, string))
186         else:
187             self.key = OpenSSL.crypto.load_privatekey(OpenSSL.crypto.FILETYPE_PEM, string)
188             self.m2key = M2Crypto.EVP.load_key_string(string)
189
190     ##
191     #  Load the public key from a string. No private key is loaded.
192
193     def load_pubkey_from_file(self, filename):
194         import M2Crypto
195         # load the m2 public key
196         m2rsakey = M2Crypto.RSA.load_pub_key(filename)
197         self.m2key = M2Crypto.EVP.PKey()
198         self.m2key.assign_rsa(m2rsakey)
199
200         # create an m2 x509 cert
201         m2name = M2Crypto.X509.X509_Name()
202         m2name.add_entry_by_txt(field="CN", type=0x1001, entry="junk", len=-1, loc=-1, set=0)
203         m2x509 = M2Crypto.X509.X509()
204         m2x509.set_pubkey(self.m2key)
205         m2x509.set_serial_number(0)
206         m2x509.set_issuer_name(m2name)
207         m2x509.set_subject_name(m2name)
208         ASN1 = M2Crypto.ASN1.ASN1_UTCTIME()
209         ASN1.set_time(500)
210         m2x509.set_not_before(ASN1)
211         m2x509.set_not_after(ASN1)
212         # x509v3 so it can have extensions
213         # prob not necc since this cert itself is junk but still...
214         m2x509.set_version(2)
215         junk_key = Keypair(create=True)
216         m2x509.sign(pkey=junk_key.get_m2_pubkey(), md="sha1")
217
218         # convert the m2 x509 cert to a pyopenssl x509
219         m2pem = m2x509.as_pem()
220         pyx509 = OpenSSL.crypto.load_certificate(OpenSSL.crypto.FILETYPE_PEM, m2pem)
221
222         # get the pyopenssl pkey from the pyopenssl x509
223         self.key = pyx509.get_pubkey()
224         self.filename = filename
225
226     ##
227     # Load the public key from a string. No private key is loaded.
228
229     def load_pubkey_from_string(self, string):
230         (f, fn) = tempfile.mkstemp()
231         os.write(f, string)
232         os.close(f)
233         self.load_pubkey_from_file(fn)
234         os.remove(fn)
235
236     ##
237     # Return the private key in PEM format.
238
239     def as_pem(self):
240         return OpenSSL.crypto.dump_privatekey(OpenSSL.crypto.FILETYPE_PEM, self.key)
241
242     ##
243     # Return an M2Crypto key object
244
245     def get_m2_pubkey(self):
246         import M2Crypto
247         if not self.m2key:
248             self.m2key = M2Crypto.EVP.load_key_string(self.as_pem())
249         return self.m2key
250
251     ##
252     # Returns a string containing the public key represented by this object.
253
254     def get_pubkey_string(self):
255         m2pkey = self.get_m2_pubkey()
256         return base64.b64encode(m2pkey.as_der())
257
258     ##
259     # Return an OpenSSL pkey object
260
261     def get_openssl_pkey(self):
262         return self.key
263
264     ##
265     # Given another Keypair object, return TRUE if the two keys are the same.
266
267     def is_same(self, pkey):
268         return self.as_pem() == pkey.as_pem()
269
270     def sign_string(self, data):
271         k = self.get_m2_pubkey()
272         k.sign_init()
273         k.sign_update(data)
274         return base64.b64encode(k.sign_final())
275
276     def verify_string(self, data, sig):
277         import M2Crypto
278         k = self.get_m2_pubkey()
279         k.verify_init()
280         k.verify_update(data)
281         return M2Crypto.m2.verify_final(k.ctx, base64.b64decode(sig), k.pkey)
282
283     def compute_hash(self, value):
284         return self.sign_string(str(value))
285
286     # only informative
287     def get_filename(self):
288         return getattr(self,'filename',None)
289
290     def dump(self, *args, **kwargs):
291         print(self.dump_string(*args, **kwargs))
292
293     def dump_string(self):
294         result =  ""
295         result += "KEYPAIR: pubkey={:>40}...".format(self.get_pubkey_string())
296         filename = self.get_filename()
297         if filename: result += "Filename {}\n".format(filename)
298         return result
299
300 ##
301 # The certificate class implements a general purpose X509 certificate, making
302 # use of the appropriate pyOpenSSL or M2Crypto abstractions. It also adds
303 # several addition features, such as the ability to maintain a chain of
304 # parent certificates, and storage of application-specific data.
305 #
306 # Certificates include the ability to maintain a chain of parents. Each
307 # certificate includes a pointer to it's parent certificate. When loaded
308 # from a file or a string, the parent chain will be automatically loaded.
309 # When saving a certificate to a file or a string, the caller can choose
310 # whether to save the parent certificates as well.
311
312 class Certificate:
313     digest = "sha256"
314
315 #    x509 = None
316 #    issuerKey = None
317 #    issuerSubject = None
318 #    parent = None
319     isCA = None # will be a boolean once set
320
321     separator = "-----parent-----"
322
323     ##
324     # Create a certificate object.
325     #
326     # @param lifeDays life of cert in days - default is 1825==5 years
327     # @param create If create==True, then also create a blank X509 certificate.
328     # @param subject If subject!=None, then create a blank certificate and set
329     #     it's subject name.
330     # @param string If string!=None, load the certficate from the string.
331     # @param filename If filename!=None, load the certficiate from the file.
332     # @param isCA If !=None, set whether this cert is for a CA
333
334     def __init__(self, lifeDays=1825, create=False, subject=None, string=None, filename=None, isCA=None):
335         # these used to be defined in the class !
336         self.x509 = None
337         self.issuerKey = None
338         self.issuerSubject = None
339         self.parent = None
340
341         self.data = {}
342         if create or subject:
343             self.create(lifeDays)
344         if subject:
345             self.set_subject(subject)
346         if string:
347             self.load_from_string(string)
348         if filename:
349             self.load_from_file(filename)
350
351         # Set the CA bit if a value was supplied
352         if isCA != None:
353             self.set_is_ca(isCA)
354
355     # Create a blank X509 certificate and store it in this object.
356
357     def create(self, lifeDays=1825):
358         self.x509 = OpenSSL.crypto.X509()
359         # FIXME: Use different serial #s
360         self.x509.set_serial_number(3)
361         self.x509.gmtime_adj_notBefore(0) # 0 means now
362         self.x509.gmtime_adj_notAfter(lifeDays*60*60*24) # five years is default
363         self.x509.set_version(2) # x509v3 so it can have extensions
364
365
366     ##
367     # Given a pyOpenSSL X509 object, store that object inside of this
368     # certificate object.
369
370     def load_from_pyopenssl_x509(self, x509):
371         self.x509 = x509
372
373     ##
374     # Load the certificate from a string
375
376     def load_from_string(self, string):
377         # if it is a chain of multiple certs, then split off the first one and
378         # load it (support for the ---parent--- tag as well as normal chained certs)
379
380         if string is None or string.strip() == "":
381             logger.warn("Empty string in load_from_string")
382             return
383
384         string = string.strip()
385         
386         # If it's not in proper PEM format, wrap it
387         if string.count('-----BEGIN CERTIFICATE') == 0:
388             string = '-----BEGIN CERTIFICATE-----\n{}\n-----END CERTIFICATE-----'\
389                      .format(string)
390
391         # If there is a PEM cert in there, but there is some other text first
392         # such as the text of the certificate, skip the text
393         beg = string.find('-----BEGIN CERTIFICATE')
394         if beg > 0:
395             # skipping over non cert beginning                                                                                                              
396             string = string[beg:]
397
398         parts = []
399
400         if string.count('-----BEGIN CERTIFICATE-----') > 1 and \
401                string.count(Certificate.separator) == 0:
402             parts = string.split('-----END CERTIFICATE-----',1)
403             parts[0] += '-----END CERTIFICATE-----'
404         else:
405             parts = string.split(Certificate.separator, 1)
406
407         self.x509 = OpenSSL.crypto.load_certificate(OpenSSL.crypto.FILETYPE_PEM, parts[0])
408
409         if self.x509 is None:
410             logger.warn("Loaded from string but cert is None: {}".format(string))
411
412         # if there are more certs, then create a parent and let the parent load
413         # itself from the remainder of the string
414         if len(parts) > 1 and parts[1] != '':
415             self.parent = self.__class__()
416             self.parent.load_from_string(parts[1])
417
418     ##
419     # Load the certificate from a file
420
421     def load_from_file(self, filename):
422         file = open(filename)
423         string = file.read()
424         self.load_from_string(string)
425         self.filename = filename
426
427     ##
428     # Save the certificate to a string.
429     #
430     # @param save_parents If save_parents==True, then also save the parent certificates.
431
432     def save_to_string(self, save_parents=True):
433         if self.x509 is None:
434             logger.warn("None cert in certificate.save_to_string")
435             return ""
436         string = OpenSSL.crypto.dump_certificate(OpenSSL.crypto.FILETYPE_PEM, self.x509)
437         if PY3 and isinstance(string, bytes):
438             string = string.decode()
439         if save_parents and self.parent:
440             string = string + self.parent.save_to_string(save_parents)
441         return string
442
443     ##
444     # Save the certificate to a file.
445     # @param save_parents If save_parents==True, then also save the parent certificates.
446
447     def save_to_file(self, filename, save_parents=True, filep=None):
448         string = self.save_to_string(save_parents=save_parents)
449         if filep:
450             f = filep
451         else:
452             f = open(filename, 'w')
453         if PY3 and isinstance(string, bytes):
454             string = string.decode()
455         f.write(string)
456         f.close()
457         self.filename = filename
458
459     ##
460     # Save the certificate to a random file in /tmp/
461     # @param save_parents If save_parents==True, then also save the parent certificates.
462     def save_to_random_tmp_file(self, save_parents=True):
463         fp, filename = mkstemp(suffix='cert', text=True)
464         fp = os.fdopen(fp, "w")
465         self.save_to_file(filename, save_parents=True, filep=fp)
466         return filename
467
468     ##
469     # Sets the issuer private key and name
470     # @param key Keypair object containing the private key of the issuer
471     # @param subject String containing the name of the issuer
472     # @param cert (optional) Certificate object containing the name of the issuer
473
474     def set_issuer(self, key, subject=None, cert=None):
475         self.issuerKey = key
476         if subject:
477             # it's a mistake to use subject and cert params at the same time
478             assert(not cert)
479             if isinstance(subject, dict) or isinstance(subject, str):
480                 req = OpenSSL.crypto.X509Req()
481                 reqSubject = req.get_subject()
482                 if isinstance(subject, dict):
483                     for key in reqSubject.keys():
484                         setattr(reqSubject, key, subject[key])
485                 else:
486                     setattr(reqSubject, "CN", subject)
487                 subject = reqSubject
488                 # subject is not valid once req is out of scope, so save req
489                 self.issuerReq = req
490         if cert:
491             # if a cert was supplied, then get the subject from the cert
492             subject = cert.x509.get_subject()
493         assert(subject)
494         self.issuerSubject = subject
495
496     ##
497     # Get the issuer name
498
499     def get_issuer(self, which="CN"):
500         x = self.x509.get_issuer()
501         return getattr(x, which)
502
503     ##
504     # Set the subject name of the certificate
505
506     def set_subject(self, name):
507         req = OpenSSL.crypto.X509Req()
508         subj = req.get_subject()
509         if isinstance(name, dict):
510             for key in name.keys():
511                 setattr(subj, key, name[key])
512         else:
513             setattr(subj, "CN", name)
514         self.x509.set_subject(subj)
515
516     ##
517     # Get the subject name of the certificate
518
519     def get_subject(self, which="CN"):
520         x = self.x509.get_subject()
521         return getattr(x, which)
522
523     ##
524     # Get a pretty-print subject name of the certificate
525     # let's try to make this a little more usable as is makes logs hairy
526     # FIXME: Consider adding 'urn:publicid' and 'uuid' back for GENI?
527     pretty_fields = ['email']
528     def filter_chunk(self, chunk):
529         for field in self.pretty_fields:
530             if field in chunk:
531                 return " "+chunk
532
533     def pretty_cert(self):
534         message = "[Cert."
535         x = self.x509.get_subject()
536         ou = getattr(x, "OU")
537         if ou: message += " OU: {}".format(ou)
538         cn = getattr(x, "CN")
539         if cn: message += " CN: {}".format(cn)
540         data = self.get_data(field='subjectAltName')
541         if data:
542             message += " SubjectAltName:"
543             counter = 0
544             filtered = [self.filter_chunk(chunk) for chunk in data.split()]
545             message += " ".join( [f for f in filtered if f])
546             omitted = len([f for f in filtered if not f])
547             if omitted:
548                 message += "..+{} omitted".format(omitted)
549         message += "]"
550         return message
551
552     def pretty_chain(self):
553         message = "{}".format(self.x509.get_subject())
554         parent = self.parent
555         while parent:
556             message += " -> {}".format(parent.x509.get_subject())
557             parent = parent.parent
558         return message
559
560     def pretty_name(self):
561         return self.get_filename() or self.pretty_chain()
562
563     ##
564     # Get the public key of the certificate.
565     #
566     # @param key Keypair object containing the public key
567
568     def set_pubkey(self, key):
569         assert(isinstance(key, Keypair))
570         self.x509.set_pubkey(key.get_openssl_pkey())
571
572     ##
573     # Get the public key of the certificate.
574     # It is returned in the form of a Keypair object.
575
576     def get_pubkey(self):
577         import M2Crypto
578         m2x509 = M2Crypto.X509.load_cert_string(self.save_to_string())
579         pkey = Keypair()
580         pkey.key = self.x509.get_pubkey()
581         pkey.m2key = m2x509.get_pubkey()
582         return pkey
583
584     def set_intermediate_ca(self, val):
585         return self.set_is_ca(val)
586
587     # Set whether this cert is for a CA. All signers and only signers should be CAs.
588     # The local member starts unset, letting us check that you only set it once
589     # @param val Boolean indicating whether this cert is for a CA
590     def set_is_ca(self, val):
591         if val is None:
592             return
593
594         if self.isCA != None:
595             # Can't double set properties
596             raise Exception("Cannot set basicConstraints CA:?? more than once. "
597                             "Was {}, trying to set as {}%s".format(self.isCA, val))
598
599         self.isCA = val
600         if val:
601             self.add_extension('basicConstraints', 1, 'CA:TRUE')
602         else:
603             self.add_extension('basicConstraints', 1, 'CA:FALSE')
604
605
606
607     ##
608     # Add an X509 extension to the certificate. Add_extension can only be called
609     # once for a particular extension name, due to limitations in the underlying
610     # library.
611     #
612     # @param name string containing name of extension
613     # @param value string containing value of the extension
614
615     def add_extension(self, name, critical, value):
616         oldExtVal = None
617         try:
618             oldExtVal = self.get_extension(name)
619         except:
620             # M2Crypto LookupError when the extension isn't there (yet)
621             pass
622
623         # This code limits you from adding the extension with the same value
624         # The method comment says you shouldn't do this with the same name
625         # But actually it (m2crypto) appears to allow you to do this.
626         if oldExtVal and oldExtVal == value:
627             # don't add this extension again
628             # just do nothing as here
629             return
630         # FIXME: What if they are trying to set with a different value?
631         # Is this ever OK? Or should we raise an exception?
632 #        elif oldExtVal:
633 #            raise "Cannot add extension {} which had val {} with new val {}".format(name, oldExtVal, value)
634
635         ext = OpenSSL.crypto.X509Extension(name, critical, value)
636         self.x509.add_extensions([ext])
637
638     ##
639     # Get an X509 extension from the certificate
640
641     def get_extension(self, name):
642
643         import M2Crypto
644         if name is None:
645             return None
646
647         certstr = self.save_to_string()
648         if certstr is None or certstr == "":
649             return None
650         # pyOpenSSL does not have a way to get extensions
651         m2x509 = M2Crypto.X509.load_cert_string(certstr)
652         if m2x509 is None:
653             logger.warn("No cert loaded in get_extension")
654             return None
655         if m2x509.get_ext(name) is None:
656             return None
657         value = m2x509.get_ext(name).get_value()
658
659         return value
660
661     ##
662     # Set_data is a wrapper around add_extension. It stores the parameter str in
663     # the X509 subject_alt_name extension. Set_data can only be called once, due
664     # to limitations in the underlying library.
665
666     def set_data(self, str, field='subjectAltName'):
667         # pyOpenSSL only allows us to add extensions, so if we try to set the
668         # same extension more than once, it will not work
669         if field in self.data:
670             raise Exception("Cannot set {} more than once".format(field))
671         self.data[field] = str
672         self.add_extension(field, 0, str)
673
674     ##
675     # Return the data string that was previously set with set_data
676
677     def get_data(self, field='subjectAltName'):
678         if field in self.data:
679             return self.data[field]
680
681         try:
682             uri = self.get_extension(field)
683             self.data[field] = uri
684         except LookupError:
685             return None
686
687         return self.data[field]
688
689     ##
690     # Sign the certificate using the issuer private key and issuer subject previous set with set_issuer().
691
692     def sign(self):
693         logger.debug('certificate.sign')
694         assert self.x509 != None
695         assert self.issuerSubject != None
696         assert self.issuerKey != None
697         self.x509.set_issuer(self.issuerSubject)
698         self.x509.sign(self.issuerKey.get_openssl_pkey(), self.digest)
699
700     ##
701     # Verify the authenticity of a certificate.
702     # @param pkey is a Keypair object representing a public key. If Pkey
703     #     did not sign the certificate, then an exception will be thrown.
704
705     def verify(self, pubkey):
706         import M2Crypto
707         # pyOpenSSL does not have a way to verify signatures
708         m2x509 = M2Crypto.X509.load_cert_string(self.save_to_string())
709         m2pubkey = pubkey.get_m2_pubkey()
710         # verify it
711         # https://www.openssl.org/docs/man1.1.0/crypto/X509_verify.html
712         # verify returns
713         # 1  if it checks out
714         # 0  if if does not
715         # -1 if it could not be checked 'for some reason'
716         m2result = m2x509.verify(m2pubkey)
717         result = m2result == 1
718         if debug_verify_chain:
719             logger.debug("Certificate.verify: <- {} (m2={}) ({} x {})"
720                          .format(result, m2result, self.pretty_cert(), m2pubkey))
721         return result
722
723         # XXX alternatively, if openssl has been patched, do the much simpler:
724         # try:
725         #   self.x509.verify(pkey.get_openssl_key())
726         #   return 1
727         # except:
728         #   return 0
729
730     ##
731     # Return True if pkey is identical to the public key that is contained in the certificate.
732     # @param pkey Keypair object
733
734     def is_pubkey(self, pkey):
735         return self.get_pubkey().is_same(pkey)
736
737     ##
738     # Given a certificate cert, verify that this certificate was signed by the
739     # public key contained in cert. Throw an exception otherwise.
740     #
741     # @param cert certificate object
742
743     def is_signed_by_cert(self, cert):
744         logger.debug("Certificate.is_signed_by_cert -> invoking verify")
745         k = cert.get_pubkey()
746         result = self.verify(k)
747         return result
748
749     ##
750     # Set the parent certficiate.
751     #
752     # @param p certificate object.
753
754     def set_parent(self, p):
755         self.parent = p
756
757     ##
758     # Return the certificate object of the parent of this certificate.
759
760     def get_parent(self):
761         return self.parent
762
763     ##
764     # Verification examines a chain of certificates to ensure that each parent
765     # signs the child, and that some certificate in the chain is signed by a
766     # trusted certificate.
767     #
768     # Verification is a basic recursion: <pre>
769     #     if this_certificate was signed by trusted_certs:
770     #         return
771     #     else
772     #         return verify_chain(parent, trusted_certs)
773     # </pre>
774     #
775     # At each recursion, the parent is tested to ensure that it did sign the
776     # child. If a parent did not sign a child, then an exception is thrown. If
777     # the bottom of the recursion is reached and the certificate does not match
778     # a trusted root, then an exception is thrown.
779     # Also require that parents are CAs.
780     #
781     # @param Trusted_certs is a list of certificates that are trusted.
782     #
783
784     def verify_chain(self, trusted_certs = None):
785         # Verify a chain of certificates. Each certificate must be signed by
786         # the public key contained in it's parent. The chain is recursed
787         # until a certificate is found that is signed by a trusted root.
788
789         logger.debug("Certificate.verify_chain {}".format(self.pretty_name()))
790         # verify expiration time
791         if self.x509.has_expired():
792             if debug_verify_chain:
793                 logger.debug("verify_chain: NO, Certificate {} has expired"
794                              .format(self.pretty_cert()))
795             raise CertExpired(self.pretty_cert(), "client cert")
796
797         # if this cert is signed by a trusted_cert, then we are set
798         for i, trusted_cert in enumerate(trusted_certs, 1):
799             logger.debug("Certificate.verify_chain - trying trusted #{} : {}"
800                          .format(i, trusted_cert.pretty_name()))
801             if self.is_signed_by_cert(trusted_cert):
802                 # verify expiration of trusted_cert ?
803                 if not trusted_cert.x509.has_expired():
804                     if debug_verify_chain:
805                         logger.debug("verify_chain: YES. Cert {} signed by trusted cert {}"
806                                      .format(self.pretty_name(), trusted_cert.pretty_name()))
807                     return trusted_cert
808                 else:
809                     if debug_verify_chain:
810                         logger.debug("verify_chain: NO. Cert {} is signed by trusted_cert {}, "
811                                      "but that signer is expired..."
812                                      .format(self.pretty_name(),trusted_cert.pretty_name()))
813                     raise CertExpired("{} signer trusted_cert {}"
814                                       .format(self.pretty_name(), trusted_cert.pretty_name()))
815             else:
816                 logger.debug("verify_chain: not a direct descendant of a trusted root".
817                              format(self.pretty_name(), trusted_cert))
818
819         # if there is no parent, then no way to verify the chain
820         if not self.parent:
821             if debug_verify_chain:
822                 logger.debug("verify_chain: NO. {} has no parent "
823                              "and issuer {} is not in {} trusted roots"
824                              .format(self.pretty_name(), self.get_issuer(), len(trusted_certs)))
825             raise CertMissingParent("{}: Issuer {} is not one of the {} trusted roots, "
826                                     "and cert has no parent."
827                                     .format(self.pretty_name(), self.get_issuer(), len(trusted_certs)))
828
829         # if it wasn't signed by the parent...
830         if not self.is_signed_by_cert(self.parent):
831             if debug_verify_chain:
832                 logger.debug("verify_chain: NO. {} is not signed by parent {}"
833                              .format(self.pretty_name(),
834                                      self.parent.pretty_name()))
835                 self.save_to_file("/tmp/xxx-capture.pem", save_parents=True)
836             raise CertNotSignedByParent("{}: Parent {}, issuer {}"
837                                         .format(self.pretty_name(),
838                                                 self.parent.pretty_name(),
839                                                 self.get_issuer()))
840
841         # Confirm that the parent is a CA. Only CAs can be trusted as
842         # signers.
843         # Note that trusted roots are not parents, so don't need to be
844         # CAs.
845         # Ugly - cert objects aren't parsed so we need to read the
846         # extension and hope there are no other basicConstraints
847         if not self.parent.isCA and not (self.parent.get_extension('basicConstraints') == 'CA:TRUE'):
848             logger.warn("verify_chain: cert {}'s parent {} is not a CA"
849                         .format(self.pretty_name(), self.parent.pretty_name()))
850             raise CertNotSignedByParent("{}: Parent {} not a CA"
851                                         .format(self.pretty_name(), self.parent.pretty_name()))
852
853         # if the parent isn't verified...
854         if debug_verify_chain:
855             logger.debug("verify_chain: .. {}, -> verifying parent {}"
856                          .format(self.pretty_name(),self.parent.pretty_name()))
857         self.parent.verify_chain(trusted_certs)
858
859         return
860
861     ### more introspection
862     def get_extensions(self):
863         import M2Crypto
864         # pyOpenSSL does not have a way to get extensions
865         triples = []
866         m2x509 = M2Crypto.X509.load_cert_string(self.save_to_string())
867         nb_extensions = m2x509.get_ext_count()
868         logger.debug("X509 had {} extensions".format(nb_extensions))
869         for i in range(nb_extensions):
870             ext = m2x509.get_ext_at(i)
871             triples.append( (ext.get_name(), ext.get_value(), ext.get_critical(),) )
872         return triples
873
874     def get_data_names(self):
875         return self.data.keys()
876
877     def get_all_datas(self):
878         triples = self.get_extensions()
879         for name in self.get_data_names():
880             triples.append( (name,self.get_data(name),'data',) )
881         return triples
882
883     # only informative
884     def get_filename(self):
885         return getattr(self,'filename',None)
886
887     def dump(self, *args, **kwargs):
888         print(self.dump_string(*args, **kwargs))
889
890     def dump_string(self, show_extensions=False):
891         result = ""
892         result += "CERTIFICATE for {}\n".format(self.pretty_cert())
893         result += "Issued by {}\n".format(self.get_issuer())
894         filename = self.get_filename()
895         if filename:
896             result += "Filename {}\n".format(filename)
897         if show_extensions:
898             all_datas = self.get_all_datas()
899             result += " has {} extensions/data attached".format(len(all_datas))
900             for n, v, c in all_datas:
901                 if c == 'data':
902                     result += "   data: {}={}\n".format(n, v)
903                 else:
904                     result += "    ext: {} (crit={})=<<<{}>>>\n".format(n, c, v)
905         return result