sfa/client/sfaadmin.py

   1 #!/usr/bin/python
   2 import os
   3 import sys
   4 import copy
   5 from pprint import pformat, PrettyPrinter
   6 from optparse import OptionParser
   7
   8 from sfa.generic import Generic
   9 from sfa.util.xrn import Xrn
  10 from sfa.storage.record import Record
  11 from sfa.client.sfi import save_records_to_file
  12 from sfa.trust.hierarchy import Hierarchy
  13 from sfa.trust.gid import GID
  14
  15 from sfa.client.candidates import Candidates
  16
  17 pprinter = PrettyPrinter(indent=4)
  18
  19 try:
  20     help_basedir=Hierarchy().basedir
  21 except:
  22     help_basedir='*unable to locate Hierarchy().basedir'
  23
  24 def optparse_listvalue_callback(option, opt, value, parser):
  25     setattr(parser.values, option.dest, value.split(','))
  26
  27 def args(*args, **kwargs):
  28     def _decorator(func):
  29         func.__dict__.setdefault('options', []).insert(0, (args, kwargs))
  30         return func
  31     return _decorator
  32
  33 class Commands(object):
  34     def _get_commands(self):
  35         command_names = []
  36         for attrib in dir(self):
  37             if callable(getattr(self, attrib)) and not attrib.startswith('_'):
  38                 command_names.append(attrib)
  39         return command_names
  40
  41
  42 class RegistryCommands(Commands):
  43     def __init__(self, *args, **kwds):
  44         self.api= Generic.the_flavour().make_api(interface='registry')
  45
  46     def version(self):
  47         """Display the Registry version"""
  48         version = self.api.manager.GetVersion(self.api, {})
  49         pprinter.pprint(version)
  50
  51     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='authority to list (hrn/urn - mandatory)')
  52     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
  53     @args('-r', '--recursive', dest='recursive', metavar='<recursive>', help='list all child records',
  54           action='store_true', default=False)
  55     def list(self, xrn, type=None, recursive=False):
  56         """List names registered at a given authority - possibly filtered by type"""
  57         xrn = Xrn(xrn, type)
  58         options = {'recursive': recursive}
  59         records = self.api.manager.List(self.api, xrn.get_hrn(), options=options)
  60         for record in records:
  61             if not type or record['type'] == type:
  62                 print "%s (%s)" % (record['hrn'], record['type'])
  63
  64
  65     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
  66     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
  67     @args('-o', '--outfile', dest='outfile', metavar='<outfile>', help='save record to file')
  68     @args('-f', '--format', dest='format', metavar='<display>', type='choice',
  69           choices=('text', 'xml', 'simple'), help='display record in different formats')
  70     def show(self, xrn, type=None, format=None, outfile=None):
  71         """Display details for a registered object"""
  72         records = self.api.manager.Resolve(self.api, xrn, type, True)
  73         for record in records:
  74             sfa_record = Record(dict=record)
  75             sfa_record.dump(format)
  76         if outfile:
  77             save_records_to_file(outfile, records)
  78
  79
  80     def _record_dict(self, xrn=None, type=None,
  81                      url=None, description=None, email='',
  82                      key=None,
  83                      slices=[], researchers=[], pis=[]):
  84         record_dict = {}
  85         if xrn:
  86             if type:
  87                 xrn = Xrn(xrn, type)
  88             else:
  89                 xrn = Xrn(xrn)
  90             record_dict['urn'] = xrn.get_urn()
  91             record_dict['hrn'] = xrn.get_hrn()
  92             record_dict['type'] = xrn.get_type()
  93         if url:
  94             record_dict['url'] = url
  95         if description:
  96             record_dict['description'] = description
  97         if key:
  98             try:
  99                 pubkey = open(key, 'r').read()
 100             except IOError:
 101                 pubkey = key
 102             record_dict['keys'] = [pubkey]
 103         if slices:
 104             record_dict['slices'] = slices
 105         if researchers:
 106             record_dict['researcher'] = researchers
 107         if email:
 108             record_dict['email'] = email
 109         if pis:
 110             record_dict['pi'] = pis
 111         return record_dict
 112
 113     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 114     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 115     @args('-e', '--email', dest='email', default="",
 116           help="email (mandatory for users)")
 117     @args('-u', '--url', dest='url', metavar='<url>', default=None,
 118           help="URL, useful for slices")
 119     @args('-d', '--description', dest='description', metavar='<description>',
 120           help='Description, useful for slices', default=None)
 121     @args('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
 122           default=None)
 123     @args('-s', '--slices', dest='slices', metavar='<slices>', help='slice xrns',
 124           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 125     @args('-r', '--researchers', dest='researchers', metavar='<researchers>', help='slice researchers',
 126           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 127     @args('-p', '--pis', dest='pis', metavar='<PIs>',
 128           help='Principal Investigators/Project Managers ',
 129           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 130     def register(self, xrn, type=None, url=None, description=None, key=None, slices='',
 131                  pis='', researchers='',email=''):
 132         """Create a new Registry record"""
 133         record_dict = self._record_dict(xrn=xrn, type=type, url=url, key=key,
 134                                         slices=slices, researchers=researchers, email=email, pis=pis)
 135         self.api.manager.Register(self.api, record_dict)
 136
 137
 138     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 139     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 140     @args('-u', '--url', dest='url', metavar='<url>', help='URL', default=None)
 141     @args('-d', '--description', dest='description', metavar='<description>',
 142           help='Description', default=None)
 143     @args('-k', '--key', dest='key', metavar='<key>', help='public key string or file',
 144           default=None)
 145     @args('-s', '--slices', dest='slices', metavar='<slices>', help='slice xrns',
 146           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 147     @args('-r', '--researchers', dest='researchers', metavar='<researchers>', help='slice researchers',
 148           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 149     @args('-p', '--pis', dest='pis', metavar='<PIs>',
 150           help='Principal Investigators/Project Managers ',
 151           default='', type="str", action='callback', callback=optparse_listvalue_callback)
 152     def update(self, xrn, type=None, url=None, description=None, key=None, slices='',
 153                pis='', researchers=''):
 154         """Update an existing Registry record"""
 155         record_dict = self._record_dict(xrn=xrn, type=type, url=url, description=description,
 156                                         key=key, slices=slices, researchers=researchers, pis=pis)
 157         self.api.manager.Update(self.api, record_dict)
 158
 159     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 160     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 161     def remove(self, xrn, type=None):
 162         """Remove given object from the registry"""
 163         xrn = Xrn(xrn, type)
 164         self.api.manager.Remove(self.api, xrn)
 165
 166
 167     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 168     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 169     def credential(self, xrn, type=None):
 170         """Invoke GetCredential"""
 171         cred = self.api.manager.GetCredential(self.api, xrn, type, self.api.hrn)
 172         print cred
 173
 174
 175     def import_registry(self):
 176         """Run the importer"""
 177         from sfa.importer import Importer
 178         importer = Importer()
 179         importer.run()
 180
 181     def sync_db(self):
 182         """Initiailize or upgrade the db"""
 183         from sfa.storage.dbschema import DBSchema
 184         dbschema=DBSchema()
 185         dbschema.init_or_upgrade
 186
 187     @args('-a', '--all', dest='all', metavar='<all>', action='store_true', default=False,
 188           help='Remove all registry records and all files in %s area' % help_basedir)
 189     @args('-c', '--certs', dest='certs', metavar='<certs>', action='store_true', default=False,
 190           help='Remove all cached certs/gids found in %s' % help_basedir )
 191     @args('-0', '--no-reinit', dest='reinit', metavar='<reinit>', action='store_false', default=True,
 192           help='Prevents new DB schema from being installed after cleanup')
 193     def nuke(self, all=False, certs=False, reinit=True):
 194         """Cleanup local registry DB, plus various additional filesystem cleanups optionally"""
 195         from sfa.storage.dbschema import DBSchema
 196         from sfa.util.sfalogging import _SfaLogger
 197         logger = _SfaLogger(logfile='/var/log/sfa_import.log', loggername='importlog')
 198         logger.setLevelFromOptVerbose(self.api.config.SFA_API_LOGLEVEL)
 199         logger.info("Purging SFA records from database")
 200         dbschema=DBSchema()
 201         dbschema.nuke()
 202
 203         # for convenience we re-create the schema here, so there's no need for an explicit
 204         # service sfa restart
 205         # however in some (upgrade) scenarios this might be wrong
 206         if reinit:
 207             logger.info("re-creating empty schema")
 208             dbschema.init_or_upgrade()
 209
 210         # remove the server certificate and all gids found in /var/lib/sfa/authorities
 211         if certs:
 212             logger.info("Purging cached certificates")
 213             for (dir, _, files) in os.walk('/var/lib/sfa/authorities'):
 214                 for file in files:
 215                     if file.endswith('.gid') or file == 'server.cert':
 216                         path=dir+os.sep+file
 217                         os.unlink(path)
 218
 219         # just remove all files that do not match 'server.key' or 'server.cert'
 220         if all:
 221             logger.info("Purging registry filesystem cache")
 222             preserved_files = [ 'server.key', 'server.cert']
 223             for (dir,_,files) in os.walk(Hierarchy().basedir):
 224                 for file in files:
 225                     if file in preserved_files: continue
 226                     path=dir+os.sep+file
 227                     os.unlink(path)
 228
 229
 230 class CertCommands(Commands):
 231
 232     def import_gid(self, xrn):
 233         pass
 234
 235     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 236     @args('-t', '--type', dest='type', metavar='<type>', help='object type', default=None)
 237     @args('-o', '--outfile', dest='outfile', metavar='<outfile>', help='output file', default=None)
 238     def export(self, xrn, type=None, outfile=None):
 239         """Fetch an object's GID from the Registry"""
 240         from sfa.storage.alchemy import dbsession
 241         from sfa.storage.model import RegRecord
 242         hrn = Xrn(xrn).get_hrn()
 243         request=dbsession.query(RegRecord).filter_by(hrn=hrn)
 244         if type: request = request.filter_by(type=type)
 245         record=request.first()
 246         if record:
 247             gid = GID(string=record.gid)
 248         else:
 249             # check the authorities hierarchy
 250             hierarchy = Hierarchy()
 251             try:
 252                 auth_info = hierarchy.get_auth_info(hrn)
 253                 gid = auth_info.gid_object
 254             except:
 255                 print "Record: %s not found" % hrn
 256                 sys.exit(1)
 257         # save to file
 258         if not outfile:
 259             outfile = os.path.abspath('./%s.gid' % gid.get_hrn())
 260         gid.save_to_file(outfile, save_parents=True)
 261
 262     @args('-g', '--gidfile', dest='gid', metavar='<gid>', help='path of gid file to display (mandatory)')
 263     def display(self, gidfile):
 264         """Print contents of a GID file"""
 265         gid_path = os.path.abspath(gidfile)
 266         if not gid_path or not os.path.isfile(gid_path):
 267             print "No such gid file: %s" % gidfile
 268             sys.exit(1)
 269         gid = GID(filename=gid_path)
 270         gid.dump(dump_parents=True)
 271
 272
 273 class AggregateCommands(Commands):
 274
 275     def __init__(self, *args, **kwds):
 276         self.api= Generic.the_flavour().make_api(interface='aggregate')
 277
 278     def version(self):
 279         """Display the Aggregate version"""
 280         version = self.api.manager.GetVersion(self.api, {})
 281         pprinter.pprint(version)
 282
 283
 284     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn (mandatory)')
 285     def status(self, xrn):
 286         """Display the status of a slice or slivers"""
 287         urn = Xrn(xrn, 'slice').get_urn()
 288         status = self.api.manager.SliverStatus(self.api, [urn], {}, {})
 289         pprinter.pprint(status)
 290
 291     @args('-r', '--rspec-version', dest='rspec_version', metavar='<rspec_version>',
 292           default='GENI', help='version/format of the resulting rspec response')
 293     def resources(self, rspec_version='GENI'):
 294         """Display the available resources at an aggregate"""
 295         options = {'geni_rspec_version': rspec_version}
 296         if xrn:
 297             options['geni_slice_urn'] = Xrn(xrn, 'slice').get_urn()
 298         resources = self.api.manager.ListResources(self.api, {}, options)
 299         print resources
 300
 301     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
 302     @args('-r', '--rspec-version', dest='rspec_version', metavar='<rspec_version>',
 303           default='GENI', help='version/format of the resulting rspec response')
 304     def describe(self, xrn, rspec_version='GENI'):
 305         """Display the resources allocated by a slice or slivers"""
 306         urn = Xrn(xrn, 'slice').get_urn()
 307         options = {'geni_rspec_version': rspec_version}
 308         status = self.api.manager.Describe(self.api, {}, [urn], options)
 309         print status
 310
 311     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 312     @args('-r', '--rspec', dest='rspec', metavar='<rspec>', help='rspec file (mandatory)')
 313     @args('-u', '--user', dest='user', metavar='<user>', help='hrn/urn of slice user (mandatory)')
 314     @args('-k', '--key', dest='key', metavar='<key>', help="path to user's public key file (mandatory)")
 315     def allocate(self, xrn, rspec, user, key):
 316         """Allocate slivers"""
 317         xrn = Xrn(xrn, 'slice')
 318         urn=xrn.get_urn()
 319         rspec_string = open(rspec).read()
 320         user_xrn = Xrn(user, 'user')
 321         user_urn = user_xrn.get_urn()
 322         user_key_string = open(key).read()
 323         users = [{'urn': user_urn, 'keys': [user_key_string]}]
 324         options={'geni_users': users}
 325         status = self.api.manager.Allocate(self.api, urn, {}, rspec_string, options)
 326         print status
 327
 328     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 329     def provision(self, xrns):
 330         status = self.api.manager.Provision(self.api, [xrns], {}, {})
 331         print status
 332
 333     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 334     def delete(self, xrn):
 335         """Delete slivers"""
 336         result = self.api.manager.DeleteSliver(self.api, [xrn], {}, {})
 337         print result
 338
 339     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 340     @args('-e', '--expiration', dest='expiration', metavar='<expiration>', help='Expiration date (mandatory)')
 341     def renew(self, xrn, expiration):
 342         """Start slivers"""
 343         result = self.api.manager.start_slice(self.api, xrn, {}, expiration, {})
 344         print result
 345
 346     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 347     def shutdown(self, xrn):
 348         """Stop slivers"""
 349         result = self.api.manager.Shutdown(self.api, xrn, {}, {})
 350         print result
 351
 352     @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='slice hrn/urn (mandatory)')
 353     @args('-a', '--action', dest='action', metavar='<action>', help='Action name (mandatory)')
 354     def operation(self, xrn, action):
 355         """Reset sliver"""
 356         result = self.api.manager.PerformOperationalAction(self.api, [xrn], {}, action, {})
 357         print result
 358
 359 #    @args('-x', '--xrn', dest='xrn', metavar='<xrn>', help='object hrn/urn', default=None)
 360 #    @args('-r', '--rspec', dest='rspec', metavar='<rspec>', help='request rspec', default=None)
 361 #    def ticket(self, xrn, rspec):
 362 #        pass
 363
 364
 365
 366 class SliceManagerCommands(AggregateCommands):
 367
 368     def __init__(self, *args, **kwds):
 369         self.api= Generic.the_flavour().make_api(interface='slicemgr')
 370
 371
 372 class SfaAdmin:
 373
 374     CATEGORIES = {'certificate': CertCommands,
 375                   'registry': RegistryCommands,
 376                   'aggregate': AggregateCommands,
 377                   'slicemgr': SliceManagerCommands}
 378
 379     # returns (name,class) or (None,None)
 380     def find_category (self, input):
 381         full_name=Candidates (SfaAdmin.CATEGORIES.keys()).only_match(input)
 382         if not full_name: return (None,None)
 383         return (full_name,SfaAdmin.CATEGORIES[full_name])
 384
 385     def summary_usage (self, category=None):
 386         print "Usage:", self.script_name + " category command [<options>]"
 387         if category and category in SfaAdmin.CATEGORIES:
 388             categories=[category]
 389         else:
 390             categories=SfaAdmin.CATEGORIES
 391         for c in categories:
 392             cls=SfaAdmin.CATEGORIES[c]
 393             print "==================== category=%s"%c
 394             names=cls.__dict__.keys()
 395             names.sort()
 396             for name in names:
 397                 method=cls.__dict__[name]
 398                 if name.startswith('_'): continue
 399                 margin=15
 400                 format="%%-%ds"%margin
 401                 print "%-15s"%name,
 402                 doc=getattr(method,'__doc__',None)
 403                 if not doc:
 404                     print "<missing __doc__>"
 405                     continue
 406                 lines=[line.strip() for line in doc.split("\n")]
 407                 line1=lines.pop(0)
 408                 print line1
 409                 for extra_line in lines: print margin*" ",extra_line
 410         sys.exit(2)
 411
 412     def main(self):
 413         argv = copy.deepcopy(sys.argv)
 414         self.script_name = argv.pop(0)
 415         # ensure category is specified
 416         if len(argv) < 1:
 417             self.summary_usage()
 418
 419         # ensure category is valid
 420         category_input = argv.pop(0)
 421         (category_name, category_class) = self.find_category (category_input)
 422         if not category_name or not category_class:
 423             self.summary_usage(category_name)
 424
 425         usage = "%%prog %s command [options]" % (category_name)
 426         parser = OptionParser(usage=usage)
 427
 428         # ensure command is valid
 429         category_instance = category_class()
 430         commands = category_instance._get_commands()
 431         if len(argv) < 1:
 432             # xxx what is this about ?
 433             command_name = '__call__'
 434         else:
 435             command_input = argv.pop(0)
 436             command_name = Candidates (commands).only_match (command_input)
 437
 438         if command_name and hasattr(category_instance, command_name):
 439             command = getattr(category_instance, command_name)
 440         else:
 441             self.summary_usage(category_name)
 442
 443         # ensure options are valid
 444         options = getattr(command, 'options', [])
 445         usage = "%%prog %s %s [options]" % (category_name, command_name)
 446         parser = OptionParser(usage=usage)
 447         for arg, kwd in options:
 448             parser.add_option(*arg, **kwd)
 449         (opts, cmd_args) = parser.parse_args(argv)
 450         cmd_kwds = vars(opts)
 451
 452         # dont overrride meth
 453         for k, v in cmd_kwds.items():
 454             if v is None:
 455                 del cmd_kwds[k]
 456
 457         # execute command
 458         try:
 459             #print "invoking %s *=%s **=%s"%(command.__name__,cmd_args, cmd_kwds)
 460             command(*cmd_args, **cmd_kwds)
 461             sys.exit(0)
 462         except TypeError:
 463             print "Possible wrong number of arguments supplied"
 464             #import traceback
 465             #traceback.print_exc()
 466             print command.__doc__
 467             parser.print_help()
 468             #raise
 469         except Exception:
 470             print "Command failed, please check log for more info"
 471             raise
 472