it is dangerous to set defaults to mutable objects like [] or {}
[sfa.git] / sfa / client / sfaadmin.py
index 3f2db59..cf88a3a 100755 (executable)
@@ -8,12 +8,14 @@ from optparse import OptionParser
 from sfa.generic import Generic
 from sfa.util.xrn import Xrn
 from sfa.storage.record import Record 
-from sfa.client.sfi import save_records_to_file
+
 from sfa.trust.hierarchy import Hierarchy
 from sfa.trust.gid import GID
 from sfa.trust.certificate import convert_public_key
 
+from sfa.client.common import optparse_listvalue_callback, optparse_dictvalue_callback, terminal_render, filter_records
 from sfa.client.candidates import Candidates
+from sfa.client.sfi import save_records_to_file
 
 pprinter = PrettyPrinter(indent=4)
 
@@ -22,12 +24,9 @@ try:
 except:
     help_basedir='*unable to locate Hierarchy().basedir'
 
-def optparse_listvalue_callback(option, opt, value, parser):
-    setattr(parser.values, option.dest, value.split(','))
-
-def args(*args, **kwargs):
+def add_options(*args, **kwargs):
     def _decorator(func):
-        func.__dict__.setdefault('options', []).insert(0, (args, kwargs))
+        func.__dict__.setdefault('add_options', []).insert(0, (args, kwargs))
         return func
     return _decorator
 
@@ -49,24 +48,28 @@ class RegistryCommands(Commands):
         version = self.api.manager.GetVersion(self.api, {})
         pprinter.pprint(version)
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='authority to list (hrn/urn - mandatory)') 
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
-    @args('-r', '--recursive', dest='recursive', metavar='<recursive>', help='list all child records', 
-          action='store_true', default=False) 
-    def list(self, xrn, type=None, recursive=False):
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='authority to list (hrn/urn - mandatory)') 
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default='all') 
+    @add_options('-r', '--recursive', dest='recursive', metavar='<recursive>', help='list all child records', 
+          action='store_true', default=False)
+    @add_options('-v', '--verbose', dest='verbose', action='store_true', default=False)
+    def list(self, xrn, type=None, recursive=False, verbose=False):
         """List names registered at a given authority - possibly filtered by type"""
         xrn = Xrn(xrn, type) 
-        options = {'recursive': recursive}    
-        records = self.api.manager.List(self.api, xrn.get_hrn(), options=options)
-        for record in records:
-            if not type or record['type'] == type:
-                print "%s (%s)" % (record['hrn'], record['type'])
-
-
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
-    @args('-o', '--outfile', dest='outfile', metavar='<outfile>', help='save record to file') 
-    @args('-f', '--format', dest='format', metavar='<display>', type='choice', 
+        options_dict = {'recursive': recursive}
+        records = self.api.manager.List(self.api, xrn.get_hrn(), options=options_dict)
+        list = filter_records(type, records)
+        # terminal_render expects an options object
+        class Options: pass
+        options=Options()
+        options.verbose=verbose
+        terminal_render (list, options)
+
+
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
+    @add_options('-o', '--outfile', dest='outfile', metavar='<outfile>', help='save record to file') 
+    @add_options('-f', '--format', dest='format', metavar='<display>', type='choice', 
           choices=('text', 'xml', 'simple'), help='display record in different formats') 
     def show(self, xrn, type=None, format=None, outfile=None):
         """Display details for a registered object"""
@@ -78,10 +81,9 @@ class RegistryCommands(Commands):
             save_records_to_file(outfile, records)  
 
 
-    def _record_dict(self, xrn=None, type=None, 
-                     url=None, description=None, email='', 
-                     key=None, 
-                     slices=[], researchers=[], pis=[]):
+    def _record_dict(self, xrn, type, email, key, 
+                     slices, researchers, pis, 
+                     url, description, extras):
         record_dict = {}
         if xrn:
             if type:
@@ -104,95 +106,145 @@ class RegistryCommands(Commands):
         if slices:
             record_dict['slices'] = slices
         if researchers:
-            record_dict['researcher'] = researchers
+            record_dict['reg-researchers'] = researchers
         if email:
             record_dict['email'] = email
         if pis:
             record_dict['pi'] = pis
+        if extras:
+            record_dict.update(extras)
         return record_dict
 
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
-    def check_gid(self, xrn, type=None):
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type (mandatory)',)
+    @add_options('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False, help='check all users GID')
+    @add_options('-v', '--verbose', dest='verbose', metavar='<verbose>', action='store_true', default=False, help='verbose mode: display user\'s hrn ')
+    def check_gid(self, xrn=None, type=None, all=None, verbose=None):
         """Check the correspondance between the GID and the PubKey"""
-        records = self.api.manager.Resolve(self.api, xrn, type, details=True)
-        record = records[0]
-
-        # get the pubkey stored in SFA DB
-        db_pubkey_str = record['keys'][0]
-        db_pubkey_obj = convert_public_key(db_pubkey_str)
 
+        # db records
+        from sfa.storage.model import RegRecord
+        db_query = self.api.dbsession().query(RegRecord).filter_by(type=type)
+        if xrn and not all:
+            hrn = Xrn(xrn).get_hrn()
+            db_query = db_query.filter_by(hrn=hrn)
+        elif all and xrn:
+            print "Use either -a or -x <xrn>, not both !!!"
+            sys.exit(1)
+        elif not all and not xrn:
+            print "Use either -a or -x <xrn>, one of them is mandatory !!!"
+            sys.exit(1)
 
-        # get the pubkey from the gid
-        gid_str = record['gid']
-        gid_obj = GID(string = gid_str)
-        gid_pubkey_obj = gid_obj.get_pubkey()
+        records = db_query.all()
+        if not records:
+            print "No Record found"
+            sys.exit(1)
 
-        # Check if gid_pubkey_obj and db_pubkey_obj are the same
-        check = gid_pubkey_obj.is_same(db_pubkey_obj)
-        if check :
-            print "The GID PubKey is correponding to the Record PubKey"
+        OK = []
+        NOK = []
+        ERROR = []
+        NOKEY = []
+        for record in records:
+             # get the pubkey stored in SFA DB
+             if record.reg_keys:
+                 db_pubkey_str = record.reg_keys[0].key
+                 try:
+                   db_pubkey_obj = convert_public_key(db_pubkey_str)
+                 except:
+                   ERROR.append(record.hrn)
+                   continue
+             else:
+                 NOKEY.append(record.hrn)
+                 continue
+
+             # get the pubkey from the gid
+             gid_str = record.gid
+             gid_obj = GID(string = gid_str)
+             gid_pubkey_obj = gid_obj.get_pubkey()
+
+             # Check if gid_pubkey_obj and db_pubkey_obj are the same
+             check = gid_pubkey_obj.is_same(db_pubkey_obj)
+             if check :
+                 OK.append(record.hrn)
+             else:
+                 NOK.append(record.hrn)
+
+        if not verbose:
+            print "Users NOT having a PubKey: %s\n\
+Users having a non RSA PubKey: %s\n\
+Users having a GID/PubKey correpondence OK: %s\n\
+Users having a GID/PubKey correpondence Not OK: %s\n"%(len(NOKEY), len(ERROR), len(OK), len(NOK))
         else:
-            print "ERROR: The GID PubKey is not correponding to the Record PubKey, the GID needs to be updated"
+            print "Users NOT having a PubKey: %s and are: \n%s\n\n\
+Users having a non RSA PubKey: %s and are: \n%s\n\n\
+Users having a GID/PubKey correpondence OK: %s and are: \n%s\n\n\
+Users having a GID/PubKey correpondence NOT OK: %s and are: \n%s\n\n"%(len(NOKEY),NOKEY, len(ERROR), ERROR, len(OK), OK, len(NOK), NOK)
+
 
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
-    @args('-e', '--email', dest='email', default="",
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
+    @add_options('-e', '--email', dest='email', default="",
           help="email (mandatory for users)")
-    @args('-u', '--url', dest='url', metavar='<url>', default=None,
+    @add_options('-u', '--url', dest='url', metavar='<url>', default=None,
           help="URL, useful for slices")
-    @args('-d', '--description', dest='description', metavar='<description>', 
+    @add_options('-d', '--description', dest='description', metavar='<description>', 
           help='Description, useful for slices', default=None)
-    @args('-k', '--key', dest='key', metavar='<key>', help='public key string or file', 
+    @add_options('-k', '--key', dest='key', metavar='<key>', help='public key string or file', 
           default=None)
-    @args('-s', '--slices', dest='slices', metavar='<slices>', help='slice xrns', 
+    @add_options('-s', '--slices', dest='slices', metavar='<slices>', help='Set/replace slice xrns', 
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    @args('-r', '--researchers', dest='researchers', metavar='<researchers>', help='slice researchers', 
+    @add_options('-r', '--researchers', dest='researchers', metavar='<researchers>', help='Set/replace slice researchers', 
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    @args('-p', '--pis', dest='pis', metavar='<PIs>', 
-          help='Principal Investigators/Project Managers ', 
+    @add_options('-p', '--pis', dest='pis', metavar='<PIs>', 
+          help='Set/replace Principal Investigators/Project Managers', 
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    def register(self, xrn, type=None, url=None, description=None, key=None, slices='', 
-                 pis='', researchers='',email=''):
+    @add_options('-X','--extra',dest='extras',default={},type='str',metavar="<EXTRA_ASSIGNS>", action="callback", callback=optparse_dictvalue_callback, nargs=1, help="set extra/testbed-dependent flags, e.g. --extra enabled=true")
+    def register(self, xrn, type=None, email='', key=None, 
+                 slices='', pis='', researchers='',
+                 url=None, description=None, extras={}):
         """Create a new Registry record"""
-        record_dict = self._record_dict(xrn=xrn, type=type, url=url, key=key, 
-                                        slices=slices, researchers=researchers, email=email, pis=pis)
+        record_dict = self._record_dict(xrn=xrn, type=type, email=email, key=key, 
+                                        slices=slices, researchers=researchers, pis=pis,
+                                        url=url, description=description, extras=extras)
         self.api.manager.Register(self.api, record_dict)         
 
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
-    @args('-u', '--url', dest='url', metavar='<url>', help='URL', default=None)
-    @args('-d', '--description', dest='description', metavar='<description>',
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
+    @add_options('-u', '--url', dest='url', metavar='<url>', help='URL', default=None)
+    @add_options('-d', '--description', dest='description', metavar='<description>',
           help='Description', default=None)
-    @args('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
+    @add_options('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
           default=None)
-    @args('-s', '--slices', dest='slices', metavar='<slices>', help='slice xrns',
+    @add_options('-s', '--slices', dest='slices', metavar='<slices>', help='Set/replace slice xrns',
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    @args('-r', '--researchers', dest='researchers', metavar='<researchers>', help='slice researchers',
+    @add_options('-r', '--researchers', dest='researchers', metavar='<researchers>', help='Set/replace slice researchers',
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    @args('-p', '--pis', dest='pis', metavar='<PIs>',
-          help='Principal Investigators/Project Managers ',
+    @add_options('-p', '--pis', dest='pis', metavar='<PIs>',
+          help='Set/replace Principal Investigators/Project Managers',
           default='', type="str", action='callback', callback=optparse_listvalue_callback)
-    def update(self, xrn, type=None, url=None, description=None, key=None, slices='', 
-               pis='', researchers=''):
+    @add_options('-X','--extra',dest='extras',default={},type='str',metavar="<EXTRA_ASSIGNS>", action="callback", callback=optparse_dictvalue_callback, nargs=1, help="set extra/testbed-dependent flags, e.g. --extra enabled=true")
+    def update(self, xrn, type=None, email='', key=None, 
+               slices='', pis='', researchers='',
+               url=None, description=None, extras={}):
         """Update an existing Registry record""" 
-        record_dict = self._record_dict(xrn=xrn, type=type, url=url, description=description, 
-                                        key=key, slices=slices, researchers=researchers, pis=pis)
+        record_dict = self._record_dict(xrn=xrn, type=type, email=email, key=key, 
+                                        slices=slices, researchers=researchers, pis=pis,
+                                        url=url, description=description, extras=extras)
         self.api.manager.Update(self.api, record_dict)
         
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
     def remove(self, xrn, type=None):
         """Remove given object from the registry"""
         xrn = Xrn(xrn, type)
         self.api.manager.Remove(self.api, xrn)            
 
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None) 
     def credential(self, xrn, type=None):
         """Invoke GetCredential"""
         cred = self.api.manager.GetCredential(self.api, xrn, type, self.api.hrn)
@@ -209,13 +261,13 @@ class RegistryCommands(Commands):
         """Initialize or upgrade the db"""
         from sfa.storage.dbschema import DBSchema
         dbschema=DBSchema()
-        dbschema.init_or_upgrade
+        dbschema.init_or_upgrade()
     
-    @args('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False,
+    @add_options('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False,
           help='Remove all registry records and all files in %s area' % help_basedir)
-    @args('-c', '--certs', dest='certs', metavar='<certs>', action='store_true', default=False,
+    @add_options('-c', '--certs', dest='certs', metavar='<certs>', action='store_true', default=False,
           help='Remove all cached certs/gids found in %s' % help_basedir )
-    @args('-0', '--no-reinit', dest='reinit', metavar='<reinit>', action='store_false', default=True,
+    @add_options('-0', '--no-reinit', dest='reinit', metavar='<reinit>', action='store_false', default=True,
           help='Prevents new DB schema from being installed after cleanup')
     def nuke(self, all=False, certs=False, reinit=True):
         """Cleanup local registry DB, plus various additional filesystem cleanups optionally"""
@@ -255,19 +307,21 @@ class RegistryCommands(Commands):
         
     
 class CertCommands(Commands):
+
+    def __init__(self, *args, **kwds):
+        self.api= Generic.the_flavour().make_api(interface='registry')
     
     def import_gid(self, xrn):
         pass
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
-    @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
-    @args('-o', '--outfile', dest='outfile', metavar='<outfile>', help='output file', default=None)
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
+    @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
+    @add_options('-o', '--outfile', dest='outfile', metavar='<outfile>', help='output file', default=None)
     def export(self, xrn, type=None, outfile=None):
         """Fetch an object's GID from the Registry"""  
-        from sfa.storage.alchemy import dbsession
         from sfa.storage.model import RegRecord
         hrn = Xrn(xrn).get_hrn()
-        request=dbsession.query(RegRecord).filter_by(hrn=hrn)
+        request=self.api.dbsession().query(RegRecord).filter_by(hrn=hrn)
         if type: request = request.filter_by(type=type)
         record=request.first()
         if record:
@@ -286,7 +340,7 @@ class CertCommands(Commands):
             outfile = os.path.abspath('./%s.gid' % gid.get_hrn())
         gid.save_to_file(outfile, save_parents=True)
         
-    @args('-g', '--gidfile', dest='gid', metavar='<gid>', help='path of gid file to display (mandatory)') 
+    @add_options('-g', '--gidfile', dest='gid', metavar='<gid>', help='path of gid file to display (mandatory)') 
     def display(self, gidfile):
         """Print contents of a GID file"""
         gid_path = os.path.abspath(gidfile)
@@ -307,71 +361,51 @@ class AggregateCommands(Commands):
         version = self.api.manager.GetVersion(self.api, {})
         pprinter.pprint(version)
 
-    def slices(self):
-        """List the running slices at this Aggregate"""
-        print self.api.manager.ListSlices(self.api, [], {})
-
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)') 
     def status(self, xrn):
-        """Display the status of a slice or slivers"""
-        urn = Xrn(xrn, 'slice').get_urn()
-        status = self.api.manager.SliverStatus(self.api, urn, [], {})
+        """Retrieve the status of the slivers belonging to the named slice (Status)"""
+        urns = [Xrn(xrn, 'slice').get_urn()]
+        status = self.api.manager.Status(self.api, urns, [], {})
         pprinter.pprint(status)
  
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
-    @args('-r', '--rspec-version', dest='rspec_version', metavar='<rspec_version>', 
+    @add_options('-r', '--rspec-version', dest='rspec_version', metavar='<rspec_version>', 
           default='GENI', help='version/format of the resulting rspec response')  
-    def resources(self, xrn=None, rspec_version='GENI'):
-        """Display the available resources at an aggregate 
-or the resources allocated by a slice"""  
+    def resources(self, rspec_version='GENI'):
+        """Display the available resources at an aggregate"""  
         options = {'geni_rspec_version': rspec_version}
-        if xrn:
-            options['geni_slice_urn'] = Xrn(xrn, 'slice').get_urn()
         print options
         resources = self.api.manager.ListResources(self.api, [], options)
         print resources
         
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
-    @args('-r', '--rspec', dest='rspec', metavar='<rspec>', help='rspec file (mandatory)')  
-    @args('-u', '--user', dest='user', metavar='<user>', help='hrn/urn of slice user (mandatory)')  
-    @args('-k', '--key', dest='key', metavar='<key>', help="path to user's public key file (mandatory)")  
-    def create(self, xrn, rspec, user, key):
+
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
+    @add_options('-r', '--rspec', dest='rspec', metavar='<rspec>', help='rspec file (mandatory)')
+    def allocate(self, xrn, rspec):
         """Allocate slivers"""
         xrn = Xrn(xrn, 'slice')
         slice_urn=xrn.get_urn()
         rspec_string = open(rspec).read()
-        user_xrn = Xrn(user, 'user')
-        user_urn = user_xrn.get_urn()
-        user_key_string = open(key).read()
-        users = [{'urn': user_urn, 'keys': [user_key_string]}]
         options={}
-        self.api.manager.CreateSliver(self, slice_urn, [], rspec_string, users, options) 
+        manifest = self.api.manager.Allocate(self.api, slice_urn, [], rspec_string, options)
+        print manifest
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
-    def delete(self, xrn):
-        """Delete slivers""" 
-        self.api.manager.DeleteSliver(self.api, xrn, [], {})
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
-    def start(self, xrn):
-        """Start slivers"""
-        self.api.manager.start_slice(self.api, xrn, [])
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
-    def stop(self, xrn):
-        """Stop slivers"""
-        self.api.manager.stop_slice(self.api, xrn, [])      
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
+    def provision(self, xrn):
+        """Provision slivers"""
+        xrn = Xrn(xrn, 'slice')
+        slice_urn=xrn.get_urn()
+        options={}
+        manifest = self.api.manager.provision(self.api, [slice_urn], [], options)
+        print manifest
 
-    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
-    def reset(self, xrn):
-        """Reset sliver"""
-        self.api.manager.reset_slice(self.api, xrn)
 
 
-#    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
-#    @args('-r', '--rspec', dest='rspec', metavar='<rspec>', help='request rspec', default=None)
-#    def ticket(self, xrn, rspec):
-#        pass
+    @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
+    def delete(self, xrn):
+        """Delete slivers""" 
+        self.api.manager.Delete(self.api, [xrn], [], {})
 
 
 
@@ -453,11 +487,10 @@ class SfaAdmin:
             self.summary_usage(category_name)
 
         # ensure options are valid
-        options = getattr(command, 'options', [])
         usage = "%%prog %s %s [options]" % (category_name, command_name)
         parser = OptionParser(usage=usage)
-        for arg, kwd in options:
-            parser.add_option(*arg, **kwd)
+        for args, kwdargs in getattr(command, 'add_options', []):
+            parser.add_option(*args, **kwdargs)
         (opts, cmd_args) = parser.parse_args(argv)
         cmd_kwds = vars(opts)
 
@@ -477,8 +510,9 @@ class SfaAdmin:
             #traceback.print_exc()
             print command.__doc__
             parser.print_help()
+            sys.exit(1)
             #raise
         except Exception:
             print "Command failed, please check log for more info"
             raise
-
+            sys.exit(1)