sfa/client/sfaadmin.py

   1 #!/usr/bin/python
   2 from __future__ import print_function
   3
   4 import os
   5 import sys
   6 import copy
   7 from pprint import pformat, PrettyPrinter
   8 from optparse import OptionParser
   9
  10 from sfa.generic import Generic
  11 from sfa.util.xrn import Xrn
  12 from sfa.storage.record import Record
  13
  14 from sfa.trust.hierarchy import Hierarchy
  15 from sfa.trust.gid import GID
  16 from sfa.trust.certificate import convert_public_key
  17
  18 from sfa.client.common import optparse_listvalue_callback, optparse_dictvalue_callback, terminal_render, filter_records
  19 from sfa.client.candidates import Candidates
  20 from sfa.client.sfi import save_records_to_file
  21
  22 pprinter = PrettyPrinter(indent=4)
  23
  24 try:
  25     help_basedir = Hierarchy().basedir
  26 except:
  27     help_basedir = '*unable to locate Hierarchy().basedir'
  28
  29
  30 def add_options(*args, **kwargs):
  31     def _decorator(func):
  32         func.__dict__.setdefault('add_options', []).insert(0, (args, kwargs))
  33         return func
  34     return _decorator
  35
  36
  37 class Commands(object):
  38
  39     def _get_commands(self):
  40         command_names = []
  41         for attrib in dir(self):
  42             if callable(getattr(self, attrib)) and not attrib.startswith('_'):
  43                 command_names.append(attrib)
  44         return command_names
  45
  46
  47 class RegistryCommands(Commands):
  48
  49     def __init__(self, *args, **kwds):
  50         self.api = Generic.the_flavour().make_api(interface='registry')
  51
  52     def version(self):
  53         """Display the Registry version"""
  54         version = self.api.manager.GetVersion(self.api, {})
  55         pprinter.pprint(version)
  56
  57
  58     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='authority to list (hrn/urn - mandatory)')
  59     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default='all')
  60     @add_options('-r', '--recursive', dest='recursive', metavar='<recursive>', help='list all child records',
  61                  action='store_true', default=False)
  62     @add_options('-v', '--verbose', dest='verbose', action='store_true', default=False)
  63     def list(self, xrn, type=None, recursive=False, verbose=False):
  64         """List names registered at a given authority - possibly filtered by type"""
  65         xrn = Xrn(xrn, type)
  66         options_dict = {'recursive': recursive}
  67         records = self.api.manager.List(
  68             self.api, xrn.get_hrn(), options=options_dict)
  69         list = filter_records(type, records)
  70         # terminal_render expects an options object
  71
  72         class Options:
  73             pass
  74         options = Options()
  75         options.verbose = verbose
  76         terminal_render(list, options)
  77
  78
  79     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
  80     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
  81     @add_options('-o', '--outfile', dest='outfile', metavar='<outfile>', help='save record to file')
  82     @add_options('-f', '--format', dest='format', metavar='<display>', type='choice',
  83                  choices=('text', 'xml', 'simple'), help='display record in different formats')
  84     def show(self, xrn, type=None, format=None, outfile=None):
  85         """Display details for a registered object"""
  86         records = self.api.manager.Resolve(self.api, xrn, type, details=True)
  87         for record in records:
  88             sfa_record = Record(dict=record)
  89             sfa_record.dump(format)
  90         if outfile:
  91             save_records_to_file(outfile, records)
  92
  93     def _record_dict(self, xrn, type, email, key,
  94                      slices, researchers, pis,
  95                      url, description, extras):
  96         record_dict = {}
  97         if xrn:
  98             if type:
  99                 xrn = Xrn(xrn, type)
 100             else:
 101                 xrn = Xrn(xrn)
 102             record_dict['urn'] = xrn.get_urn()
 103             record_dict['hrn'] = xrn.get_hrn()
 104             record_dict['type'] = xrn.get_type()
 105         if url:
 106             record_dict['url'] = url
 107         if description:
 108             record_dict['description'] = description
 109         if key:
 110             try:
 111                 pubkey = open(key, 'r').read()
 112             except IOError:
 113                 pubkey = key
 114             record_dict['reg-keys'] = [pubkey]
 115         if slices:
 116             record_dict['slices'] = slices
 117         if researchers:
 118             record_dict['reg-researchers'] = researchers
 119         if email:
 120             record_dict['email'] = email
 121         if pis:
 122             record_dict['reg-pis'] = pis
 123         if extras:
 124             record_dict.update(extras)
 125         return record_dict
 126
 127
 128     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
 129     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type (mandatory)')
 130     @add_options('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False, help='check all users GID')
 131     @add_options('-v', '--verbose', dest='verbose', metavar='<verbose>', action='store_true', default=False, help='verbose mode: display user\'s hrn ')
 132     def check_gid(self, xrn=None, type=None, all=None, verbose=None):
 133         """Check the correspondance between the GID and the PubKey"""
 134
 135         # db records
 136         from sfa.storage.model import RegRecord
 137         db_query = self.api.dbsession().query(RegRecord).filter_by(type=type)
 138         if xrn and not all:
 139             hrn = Xrn(xrn).get_hrn()
 140             db_query = db_query.filter_by(hrn=hrn)
 141         elif all and xrn:
 142             print("Use either -a or -x <xrn>, not both !!!")
 143             sys.exit(1)
 144         elif not all and not xrn:
 145             print("Use either -a or -x <xrn>, one of them is mandatory !!!")
 146             sys.exit(1)
 147
 148         records = db_query.all()
 149         if not records:
 150             print("No Record found")
 151             sys.exit(1)
 152
 153         OK = []
 154         NOK = []
 155         ERROR = []
 156         NOKEY = []
 157         for record in records:
 158             # get the pubkey stored in SFA DB
 159             if record.reg_keys:
 160                 db_pubkey_str = record.reg_keys[0].key
 161                 try:
 162                     db_pubkey_obj = convert_public_key(db_pubkey_str)
 163                 except:
 164                     ERROR.append(record.hrn)
 165                     continue
 166             else:
 167                 NOKEY.append(record.hrn)
 168                 continue
 169
 170             # get the pubkey from the gid
 171             gid_str = record.gid
 172             gid_obj = GID(string=gid_str)
 173             gid_pubkey_obj = gid_obj.get_pubkey()
 174
 175             # Check if gid_pubkey_obj and db_pubkey_obj are the same
 176             check = gid_pubkey_obj.is_same(db_pubkey_obj)
 177             if check:
 178                 OK.append(record.hrn)
 179             else:
 180                 NOK.append(record.hrn)
 181
 182         if not verbose:
 183             print("Users NOT having a PubKey: %s\n\
 184 Users having a non RSA PubKey: %s\n\
 185 Users having a GID/PubKey correpondence OK: %s\n\
 186 Users having a GID/PubKey correpondence Not OK: %s\n" % (len(NOKEY), len(ERROR), len(OK), len(NOK)))
 187         else:
 188             print("Users NOT having a PubKey: %s and are: \n%s\n\n\
 189 Users having a non RSA PubKey: %s and are: \n%s\n\n\
 190 Users having a GID/PubKey correpondence OK: %s and are: \n%s\n\n\
 191 Users having a GID/PubKey correpondence NOT OK: %s and are: \n%s\n\n" % (len(NOKEY), NOKEY, len(ERROR), ERROR, len(OK), OK, len(NOK), NOK))
 192
 193
 194     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 195     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 196     @add_options('-e', '--email', dest='email', default="",
 197                  help="email (mandatory for users)")
 198     @add_options('-u', '--url', dest='url', metavar='<url>', default=None,
 199                  help="URL, useful for slices")
 200     @add_options('-d', '--description', dest='description', metavar='<description>',
 201                  help='Description, useful for slices', default=None)
 202     @add_options('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
 203                  default=None)
 204     @add_options('-s', '--slices', dest='slices', metavar='<slices>', help='Set/replace slice xrns',
 205                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 206     @add_options('-r', '--researchers', dest='researchers', metavar='<researchers>', help='Set/replace slice researchers',
 207                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 208     @add_options('-p', '--pis', dest='pis', metavar='<PIs>',
 209                  help='Set/replace Principal Investigators/Project Managers',
 210                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 211     @add_options('-X', '--extra', dest='extras', default={}, type='str', metavar="<EXTRA_ASSIGNS>",
 212                  action="callback", callback=optparse_dictvalue_callback, nargs=1,
 213                  help="set extra/testbed-dependent flags, e.g. --extra enabled=true")
 214     def register(self, xrn, type=None, email='', key=None,
 215                  slices='', pis='', researchers='',
 216                  url=None, description=None, extras={}):
 217         """Create a new Registry record"""
 218         record_dict = self._record_dict(xrn=xrn, type=type, email=email, key=key,
 219                                         slices=slices, researchers=researchers, pis=pis,
 220                                         url=url, description=description, extras=extras)
 221         self.api.manager.Register(self.api, record_dict)
 222
 223
 224     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 225     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 226     @add_options('-u', '--url', dest='url', metavar='<url>', help='URL', default=None)
 227     @add_options('-d', '--description', dest='description', metavar='<description>',
 228                  help='Description', default=None)
 229     @add_options('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
 230                  default=None)
 231     @add_options('-s', '--slices', dest='slices', metavar='<slices>', help='Set/replace slice xrns',
 232                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 233     @add_options('-r', '--researchers', dest='researchers', metavar='<researchers>', help='Set/replace slice researchers',
 234                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 235     @add_options('-p', '--pis', dest='pis', metavar='<PIs>',
 236                  help='Set/replace Principal Investigators/Project Managers',
 237                  default='', type="str", action='callback', callback=optparse_listvalue_callback)
 238     @add_options('-X', '--extra', dest='extras', default={}, type='str', metavar="<EXTRA_ASSIGNS>",
 239                  action="callback", callback=optparse_dictvalue_callback, nargs=1,
 240                  help="set extra/testbed-dependent flags, e.g. --extra enabled=true")
 241     def update(self, xrn, type=None, email='', key=None,
 242                slices='', pis='', researchers='',
 243                url=None, description=None, extras={}):
 244         """Update an existing Registry record"""
 245         record_dict = self._record_dict(xrn=xrn, type=type, email=email, key=key,
 246                                         slices=slices, researchers=researchers, pis=pis,
 247                                         url=url, description=description, extras=extras)
 248         self.api.manager.Update(self.api, record_dict)
 249
 250
 251     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 252     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 253     def remove(self, xrn, type=None):
 254         """Remove given object from the registry"""
 255         xrn = Xrn(xrn, type)
 256         self.api.manager.Remove(self.api, xrn)
 257
 258
 259     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 260     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 261     def credential(self, xrn, type=None):
 262         """Invoke GetCredential"""
 263         cred = self.api.manager.GetCredential(
 264             self.api, xrn, type, self.api.hrn)
 265         print(cred)
 266
 267
 268     def import_registry(self):
 269         """Run the importer"""
 270         from sfa.importer import Importer
 271         importer = Importer()
 272         importer.run()
 273
 274
 275     def sync_db(self):
 276         """Initialize or upgrade the db"""
 277         from sfa.storage.dbschema import DBSchema
 278         dbschema = DBSchema()
 279         dbschema.init_or_upgrade()
 280
 281
 282     @add_options('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False,
 283                  help='Remove all registry records and all files in %s area' % help_basedir)
 284     @add_options('-c', '--certs', dest='certs', metavar='<certs>', action='store_true', default=False,
 285                  help='Remove all cached certs/gids found in %s' % help_basedir)
 286     @add_options('-0', '--no-reinit', dest='reinit', metavar='<reinit>', action='store_false', default=True,
 287                  help='Prevents new DB schema from being installed after cleanup')
 288     def nuke(self, all=False, certs=False, reinit=True):
 289         """Cleanup local registry DB, plus various additional filesystem cleanups optionally"""
 290         from sfa.storage.dbschema import DBSchema
 291         from sfa.util.sfalogging import _SfaLogger
 292         logger = _SfaLogger(
 293             logfile='/var/log/sfa_import.log', loggername='importlog')
 294         logger.setLevelFromOptVerbose(self.api.config.SFA_API_LOGLEVEL)
 295         logger.info("Purging SFA records from database")
 296         dbschema = DBSchema()
 297         dbschema.nuke()
 298
 299         # for convenience we re-create the schema here, so there's no need for an explicit
 300         # service sfa restart
 301         # however in some (upgrade) scenarios this might be wrong
 302         if reinit:
 303             logger.info("re-creating empty schema")
 304             dbschema.init_or_upgrade()
 305
 306         # remove the server certificate and all gids found in
 307         # /var/lib/sfa/authorities
 308         if certs:
 309             logger.info("Purging cached certificates")
 310             for (dir, _, files) in os.walk('/var/lib/sfa/authorities'):
 311                 for file in files:
 312                     if file.endswith('.gid') or file == 'server.cert':
 313                         path = dir + os.sep + file
 314                         os.unlink(path)
 315
 316         # just remove all files that do not match 'server.key' or 'server.cert'
 317         if all:
 318             logger.info("Purging registry filesystem cache")
 319             preserved_files = ['server.key', 'server.cert']
 320             for dir, _, files in os.walk(Hierarchy().basedir):
 321                 for file in files:
 322                     if file in preserved_files:
 323                         continue
 324                     path = dir + os.sep + file
 325                     os.unlink(path)
 326
 327
 328 class CertCommands(Commands):
 329
 330     def __init__(self, *args, **kwds):
 331         self.api = Generic.the_flavour().make_api(interface='registry')
 332
 333     def import_gid(self, xrn):
 334         pass
 335
 336     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 337     @add_options('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 338     @add_options('-o', '--outfile', dest='outfile', metavar='<outfile>', help='output file', default=None)
 339     def export(self, xrn, type=None, outfile=None):
 340         """Fetch an object's GID from the Registry"""
 341         from sfa.storage.model import RegRecord
 342         hrn = Xrn(xrn).get_hrn()
 343         request = self.api.dbsession().query(RegRecord).filter_by(hrn=hrn)
 344         if type:
 345             request = request.filter_by(type=type)
 346         record = request.first()
 347         if record:
 348             gid = GID(string=record.gid)
 349         else:
 350             # check the authorities hierarchy
 351             hierarchy = Hierarchy()
 352             try:
 353                 auth_info = hierarchy.get_auth_info(hrn)
 354                 gid = auth_info.gid_object
 355             except:
 356                 print("Record: %s not found" % hrn)
 357                 sys.exit(1)
 358         # save to file
 359         if not outfile:
 360             outfile = os.path.abspath('./%s.gid' % gid.get_hrn())
 361         gid.save_to_file(outfile, save_parents=True)
 362
 363     @add_options('-g', '--gidfile', dest='gid', metavar='<gid>', help='path of gid file to display (mandatory)')
 364     def display(self, gidfile):
 365         """Print contents of a GID file"""
 366         gid_path = os.path.abspath(gidfile)
 367         if not gid_path or not os.path.isfile(gid_path):
 368             print("No such gid file: %s" % gidfile)
 369             sys.exit(1)
 370         gid = GID(filename=gid_path)
 371         gid.dump(dump_parents=True)
 372
 373
 374 class AggregateCommands(Commands):
 375
 376     def __init__(self, *args, **kwds):
 377         self.api = Generic.the_flavour().make_api(interface='aggregate')
 378
 379     def version(self):
 380         """Display the Aggregate version"""
 381         version = self.api.manager.GetVersion(self.api, {})
 382         pprinter.pprint(version)
 383
 384     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 385     def status(self, xrn):
 386         """Retrieve the status of the slivers belonging to the named slice (Status)"""
 387         urns = [Xrn(xrn, 'slice').get_urn()]
 388         status = self.api.manager.Status(self.api, urns, [], {})
 389         pprinter.pprint(status)
 390
 391     @add_options('-r', '--rspec-version', dest='rspec_version', metavar='<rspec_version>',
 392                  default='GENI', help='version/format of the resulting rspec response')
 393     def resources(self, rspec_version='GENI'):
 394         """Display the available resources at an aggregate"""
 395         options = {'geni_rspec_version': rspec_version}
 396         print(options)
 397         resources = self.api.manager.ListResources(self.api, [], options)
 398         print(resources)
 399
 400     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 401     @add_options('-r', '--rspec', dest='rspec', metavar='<rspec>', help='rspec file (mandatory)')
 402     def allocate(self, xrn, rspec):
 403         """Allocate slivers"""
 404         xrn = Xrn(xrn, 'slice')
 405         slice_urn = xrn.get_urn()
 406         rspec_string = open(rspec).read()
 407         options = {}
 408         manifest = self.api.manager.Allocate(
 409             self.api, slice_urn, [], rspec_string, options)
 410         print(manifest)
 411
 412     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 413     def provision(self, xrn):
 414         """Provision slivers"""
 415         xrn = Xrn(xrn, 'slice')
 416         slice_urn = xrn.get_urn()
 417         options = {}
 418         manifest = self.api.manager.provision(
 419             self.api, [slice_urn], [], options)
 420         print(manifest)
 421
 422     @add_options('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 423     def delete(self, xrn):
 424         """Delete slivers"""
 425         self.api.manager.Delete(self.api, [xrn], [], {})
 426
 427
 428 class SliceManagerCommands(AggregateCommands):
 429
 430     def __init__(self, *args, **kwds):
 431         self.api = Generic.the_flavour().make_api(interface='slicemgr')
 432
 433
 434 class SfaAdmin:
 435
 436     CATEGORIES = {'certificate': CertCommands,
 437                   'registry': RegistryCommands,
 438                   'aggregate': AggregateCommands,
 439                   'slicemgr': SliceManagerCommands}
 440
 441     # returns (name,class) or (None,None)
 442     def find_category(self, input):
 443         full_name = Candidates(SfaAdmin.CATEGORIES.keys()).only_match(input)
 444         if not full_name:
 445             return (None, None)
 446         return (full_name, SfaAdmin.CATEGORIES[full_name])
 447
 448     def summary_usage(self, category=None):
 449         print("Usage:", self.script_name + " category command [<options>]")
 450         if category and category in SfaAdmin.CATEGORIES:
 451             categories = [category]
 452         else:
 453             categories = SfaAdmin.CATEGORIES
 454         for c in categories:
 455             cls = SfaAdmin.CATEGORIES[c]
 456             print("==================== category=%s" % c)
 457             names = cls.__dict__.keys()
 458             names.sort()
 459             for name in names:
 460                 method = cls.__dict__[name]
 461                 if name.startswith('_'):
 462                     continue
 463                 margin = 15
 464                 format = "%%-%ds" % margin
 465                 print("%-15s" % name, end=' ')
 466                 doc = getattr(method, '__doc__', None)
 467                 if not doc:
 468                     print("<missing __doc__>")
 469                     continue
 470                 lines = [line.strip() for line in doc.split("\n")]
 471                 line1 = lines.pop(0)
 472                 print(line1)
 473                 for extra_line in lines:
 474                     print(margin * " ", extra_line)
 475         sys.exit(2)
 476
 477     def main(self):
 478         argv = copy.deepcopy(sys.argv)
 479         self.script_name = argv.pop(0)
 480         # ensure category is specified
 481         if len(argv) < 1:
 482             self.summary_usage()
 483
 484         # ensure category is valid
 485         category_input = argv.pop(0)
 486         (category_name, category_class) = self.find_category(category_input)
 487         if not category_name or not category_class:
 488             self.summary_usage(category_name)
 489
 490         usage = "%%prog %s command [options]" % (category_name)
 491         parser = OptionParser(usage=usage)
 492
 493         # ensure command is valid
 494         category_instance = category_class()
 495         commands = category_instance._get_commands()
 496         if len(argv) < 1:
 497             # xxx what is this about ?
 498             command_name = '__call__'
 499         else:
 500             command_input = argv.pop(0)
 501             command_name = Candidates(commands).only_match(command_input)
 502
 503         if command_name and hasattr(category_instance, command_name):
 504             command = getattr(category_instance, command_name)
 505         else:
 506             self.summary_usage(category_name)
 507
 508         # ensure options are valid
 509         usage = "%%prog %s %s [options]" % (category_name, command_name)
 510         parser = OptionParser(usage=usage)
 511         for args, kwdargs in getattr(command, 'add_options', []):
 512             parser.add_option(*args, **kwdargs)
 513         (opts, cmd_args) = parser.parse_args(argv)
 514         cmd_kwds = vars(opts)
 515
 516         # dont overrride meth
 517         for k, v in cmd_kwds.items():
 518             if v is None:
 519                 del cmd_kwds[k]
 520
 521         # execute command
 522         try:
 523             # print "invoking %s *=%s **=%s"%(command.__name__, cmd_args,
 524             # cmd_kwds)
 525             command(*cmd_args, **cmd_kwds)
 526             sys.exit(0)
 527         except TypeError:
 528             print("Possible wrong number of arguments supplied")
 529             #import traceback
 530             # traceback.print_exc()
 531             print(command.__doc__)
 532             parser.print_help()
 533             sys.exit(1)
 534             # raise
 535         except Exception:
 536             print("Command failed, please check log for more info")
 537             raise
 538             sys.exit(1)