cmdline/sfi.py

   1 #! /usr/bin/env python
   2 from __future__ import with_statement
   3
   4 # sfi -- slice-based facility interface
   5
   6 import sys
   7 import os, os.path
   8 import tempfile
   9 from optparse import OptionParser
  10 from geni.util.cert import Keypair, Certificate
  11 from geni.util.credential import Credential
  12 from geni.util.geniclient import GeniClient, ServerException
  13 from geni.util.gid import create_uuid
  14 from geni.util.record import *
  15 from geni.util.rspec import Rspec
  16 from types import StringTypes, ListType
  17
  18 # xxx todo xxx auto-load ~/.sfi/sfi_config
  19
  20 sfi_dir = os.path.expanduser("~/.sfi/")
  21 slicemgr = None
  22 registry = None
  23 user = None
  24 authority = None
  25 verbose = False
  26
  27 #
  28 # Establish Connection to SliceMgr and Registry Servers
  29 #
  30 def set_servers(options):
  31    global slicemgr
  32    global registry
  33    global user
  34    global authority
  35
  36    # Set SliceMgr URL
  37    if (options.sm is not None):
  38       sm_url = options.sm
  39    elif ("SFI_SM" in os.environ):
  40       sm_url = os.environ["SFI_SM"]
  41    else:
  42       print "No Known Slice Manager"
  43       print "Try:"
  44       print "    export SFI_SM=http://your.slicemanager.url:12347/"
  45       print "Or add this argument to the command line:"
  46       print "    --slicemgr=http://your.slicemanager.url:12347/"
  47       sys.exit(1)
  48
  49    # Set Registry URL
  50    if (options.registry is not None):
  51       reg_url = options.registry
  52    elif ("SFI_REGISTRY" in os.environ):
  53       reg_url = os.environ["SFI_REGISTRY"]
  54    else:
  55       print "No Known Registry Server"
  56       print "Try:"
  57       print "    export SFI_REGISTRY=http://your.slicemanager.url:12345/"
  58       print "Or add this argument to the command line:"
  59       print "    --registry=http://your.slicemanager.url:12345/"
  60       sys.exit(1)
  61
  62    if options.verbose :
  63       print "Contacting Slice Manager at:", sm_url
  64       print "Contacting Registry at:", reg_url
  65
  66    # Set user HRN
  67    if (options.user is not None):
  68       user = options.user
  69    elif ("SFI_USER" in os.environ):
  70       user = os.environ["SFI_USER"]
  71    else:
  72       print "No Known User Name"
  73       print "Try:"
  74       print "    export SFI_USER=$SFI_AUTH.username"
  75       print "Or add this argument to the command line:"
  76       print "    --user=username"
  77       sys.exit(1)
  78
  79    # Set authority HRN
  80    if (options.auth is not None):
  81       authority = options.auth
  82    elif ("SFI_AUTH" in os.environ):
  83       authority = os.environ["SFI_AUTH"]
  84    else:
  85       authority = None
  86
  87    # Get key and certificate
  88    key_file = get_key_file()
  89    cert_file = get_cert_file(key_file)
  90
  91    # Establish connection to server(s)
  92    slicemgr = GeniClient(sm_url, key_file, cert_file)
  93    registry = GeniClient(reg_url, key_file, cert_file)
  94    return
  95
  96 #
  97 # Get various credential and spec files
  98 #
  99 # Establishes limiting conventions
 100 #   - conflates MAs and SAs
 101 #   - assumes last token in slice name is unique
 102 #
 103 # Bootstraps credentials
 104 #   - bootstrap user credential from self-signed certificate
 105 #   - bootstrap authority credential from user credential
 106 #   - bootstrap slice credential from user credential
 107 #
 108
 109 def get_leaf(name):
 110    parts = name.split(".")
 111    return parts[-1]
 112
 113 def get_key_file():
 114    file = os.path.join(sfi_dir, get_leaf(user) + ".pkey")
 115    if (os.path.isfile(file)):
 116       return file
 117    else:
 118       print "Key file", file, "does not exist"
 119       sys.exit(-1)
 120    return
 121
 122 def get_cert_file(key_file):
 123    global verbose
 124
 125    file = os.path.join(sfi_dir, get_leaf(user) + ".cert")
 126    if (os.path.isfile(file)):
 127       return file
 128    else:
 129       k = Keypair(filename = key_file)
 130       cert = Certificate(subject=user)
 131       cert.set_pubkey(k)
 132       cert.set_issuer(k, user)
 133       cert.sign()
 134       if verbose :
 135          print "Writing self-signed certificate to", file
 136       cert.save_to_file(file)
 137       return file
 138
 139 def get_user_cred():
 140    global user
 141
 142    file = os.path.join(sfi_dir, get_leaf(user) + ".cred")
 143    if (os.path.isfile(file)):
 144       user_cred = Credential(filename=file)
 145       return user_cred
 146    else:
 147       # bootstrap user credential
 148       user_cred = registry.get_credential(None, "user", user)
 149       if user_cred:
 150          user_cred.save_to_file(file, save_parents=True)
 151          if verbose:
 152             print "Writing user credential to", file
 153          return user_cred
 154       else:
 155          print "Failed to get user credential"
 156          sys.exit(-1)
 157
 158 def get_auth_cred():
 159    global authority
 160
 161    if not authority:
 162       print "no authority specified. Use -a or set SF_AUTH"
 163       sys.exit(-1)
 164
 165    file = os.path.join(sfi_dir, get_leaf("authority") +".cred")
 166    if (os.path.isfile(file)):
 167       auth_cred = Credential(filename=file)
 168       return auth_cred
 169    else:
 170       # bootstrap authority credential from user credential
 171       user_cred = get_user_cred()
 172       auth_cred = registry.get_credential(user_cred, "sa", authority)
 173       if auth_cred:
 174          auth_cred.save_to_file(file, save_parents=True)
 175          if verbose:
 176             print "Writing authority credential to", file
 177          return auth_cred
 178       else:
 179          print "Failed to get authority credential"
 180          sys.exit(-1)
 181
 182 def get_slice_cred(name):
 183    file = os.path.join(sfi_dir, "slice_" + get_leaf(name) + ".cred")
 184    if (os.path.isfile(file)):
 185       slice_cred = Credential(filename=file)
 186       return slice_cred
 187    else:
 188       # bootstrap slice credential from user credential
 189       user_cred = get_user_cred()
 190       slice_cred = registry.get_credential(user_cred, "slice", name)
 191       if slice_cred:
 192          slice_cred.save_to_file(file, save_parents=True)
 193          if verbose:
 194             print "Writing slice credential to", file
 195          return slice_cred
 196       else:
 197          print "Failed to get slice credential"
 198          sys.exit(-1)
 199
 200 def delegate_cred(cred, hrn, type = 'authority'):
 201     # the gid and hrn of the object we are delegating
 202     object_gid = cred.get_gid_object()
 203     object_hrn = object_gid.get_hrn()
 204     cred.set_delegate(True)
 205     if not cred.get_delegate():
 206         raise Exception, "Error: Object credential %(object_hrn)s does not have delegate bit set" % locals()
 207
 208
 209     records = registry.resolve(cred, hrn)
 210     records = filter_records(type, records)
 211
 212     if not records:
 213         raise Exception, "Error: Didn't find a %(type)s record for %(hrn)s" % locals()
 214
 215     # the gid of the user who will be delegated too
 216     delegee_gid = records[0].get_gid_object()
 217     delegee_hrn = delegee_gid.get_hrn()
 218
 219     # the key and hrn of the user who will be delegating
 220     user_key = Keypair(filename = get_key_file())
 221     user_hrn = cred.get_gid_caller().get_hrn()
 222
 223     dcred = Credential(subject=object_hrn + " delegated to " + delegee_hrn)
 224     dcred.set_gid_caller(delegee_gid)
 225     dcred.set_gid_object(object_gid)
 226     dcred.set_privileges(cred.get_privileges())
 227     dcred.set_delegate(True)
 228     dcred.set_pubkey(object_gid.get_pubkey())
 229     dcred.set_issuer(user_key, user_hrn)
 230     dcred.set_parent(cred)
 231     dcred.encode()
 232     dcred.sign()
 233
 234     return dcred
 235
 236 def get_rspec_file(rspec):
 237    if (os.path.isabs(rspec)):
 238       file = rspec
 239    else:
 240       file = os.path.join(sfi_dir, rspec)
 241    if (os.path.isfile(file)):
 242       return file
 243    else:
 244       print "No such rspec file", rspec
 245       sys.exit(1)
 246
 247 def get_record_file(record):
 248    if (os.path.isabs(record)):
 249       file = record
 250    else:
 251       file = os.path.join(sfi_dir, record)
 252    if (os.path.isfile(file)):
 253       return file
 254    else:
 255       print "No such registry record file", record
 256       sys.exit(1)
 257
 258 def load_publickey_string(fn):
 259    f = file(fn,"r")
 260    key_string = f.read()
 261
 262    # if the filename is a private key file, then extract the public key
 263    if "PRIVATE KEY" in key_string:
 264        outfn = tempfile.mktemp()
 265        cmd = "openssl rsa -in " + fn + " -pubout -outform PEM -out " + outfn
 266        os.system(cmd)
 267        f = file(outfn, "r")
 268        key_string = f.read()
 269        os.remove(outfn)
 270
 271    return key_string
 272 #
 273 # Generate sub-command parser
 274 #
 275 def create_cmd_parser(command, additional_cmdargs = None):
 276    cmdargs = {"list": "name",
 277               "show": "name",
 278               "remove": "name",
 279               "add": "record",
 280               "update": "record",
 281               "slices": "",
 282               "resources": "[name]",
 283               "create": "name rspec",
 284               "delete": "name",
 285               "reset": "name",
 286               "start": "name",
 287               "stop": "name",
 288               "delegate": "name"
 289              }
 290
 291    if additional_cmdargs:
 292       cmdargs.update(additional_cmdargs)
 293
 294    if command not in cmdargs:
 295       print "Invalid command\n"
 296       print "Commands: ",
 297       for key in cmdargs.keys():
 298           print key+",",
 299       print ""
 300       sys.exit(2)
 301
 302    parser = OptionParser(usage="sfi [sfi_options] %s [options] %s" \
 303       % (command, cmdargs[command]))
 304    if command in ("resources"):
 305       parser.add_option("-f", "--format", dest="format",type="choice",
 306            help="display format (dns|ip|rspec)",default="rspec",
 307            choices=("dns","ip","rspec"))
 308    if command in ("list", "show", "remove"):
 309       parser.add_option("-t", "--type", dest="type",type="choice",
 310            help="type filter (user|slice|sa|ma|node|aggregate)",
 311            choices=("user","slice","sa","ma","node","aggregate", "all"),
 312            default="all")
 313    if command in ("show", "list", "resources"):
 314       parser.add_option("-o", "--output", dest="file",
 315            help="output XML to file", metavar="FILE", default=None)
 316    if command in ("delegate"):
 317       parser.add_option("-u", "--user",
 318         action="store_true", dest="delegate_user", default=False,
 319         help="delegate user credential")
 320       parser.add_option("-s", "--slice", dest="delegate_slice",
 321         help="delegate slice credential", metavar="HRN", default=None)
 322    return parser
 323
 324 def create_parser():
 325    # Generate command line parser
 326    parser = OptionParser(usage="sfi [options] command [command_options] [command_args]",
 327         description="Commands: list,show,remove,add,update,nodes,slices,resources,create,delete,start,stop,reset")
 328    parser.add_option("-r", "--registry", dest="registry",
 329         help="root registry", metavar="URL", default=None)
 330    parser.add_option("-s", "--slicemgr", dest="sm",
 331         help="slice manager", metavar="URL", default=None)
 332    parser.add_option("-d", "--dir", dest="dir",
 333         help="working directory", metavar="PATH", default = sfi_dir)
 334    parser.add_option("-u", "--user", dest="user",
 335         help="user name", metavar="HRN", default=None)
 336    parser.add_option("-a", "--auth", dest="auth",
 337         help="authority name", metavar="HRN", default=None)
 338    parser.add_option("-v", "--verbose",
 339         action="store_true", dest="verbose", default=False,
 340         help="verbose mode")
 341    parser.disable_interspersed_args()
 342
 343    return parser
 344
 345 def dispatch(command, cmd_opts, cmd_args):
 346    globals()[command](cmd_opts, cmd_args)
 347
 348 #
 349 # Main: parse arguments and dispatch to command
 350 #
 351 def main():
 352    global verbose
 353
 354    parser = create_parser()
 355    (options, args) = parser.parse_args()
 356
 357    if len(args) <= 0:
 358         print "No command given. Use -h for help."
 359         return -1
 360
 361    command = args[0]
 362    (cmd_opts, cmd_args) = create_cmd_parser(command).parse_args(args[1:])
 363    verbose = options.verbose
 364    if verbose :
 365       print "Resgistry %s, sm %s, dir %s, user %s, auth %s" % (options.registry,
 366                                             options.sm,
 367                                             options.dir,
 368                                             options.user,
 369                                             options.auth)
 370       print "Command %s" %command
 371       if command in ("resources"):
 372          print "resources cmd_opts %s" %cmd_opts.format
 373       elif command in ("list","show","remove"):
 374          print "cmd_opts.type %s" %cmd_opts.type
 375       print "cmd_args %s" %cmd_args
 376
 377    set_servers(options)
 378
 379    try:
 380       dispatch(command, cmd_opts, cmd_args)
 381    except KeyError:
 382       raise
 383       print "Command not found:", command
 384       sys.exit(1)
 385
 386    return
 387
 388 #
 389 # Following functions implement the commands
 390 #
 391 # Registry-related commands
 392 #
 393
 394 # list entires in named authority registry
 395 def list(opts, args):
 396    global registry
 397    user_cred = get_user_cred()
 398    list = registry.list(user_cred, args[0])
 399    # filter on person, slice, site, node, etc.
 400    # THis really should be in the filter_records funct def comment...
 401    list = filter_records(opts.type, list)
 402    for record in list:
 403        print "%s (%s)" % (record['hrn'], record['type'])
 404    if opts.file:
 405        save_records_to_file(opts.file, list)
 406    return
 407
 408 # show named registry record
 409 def show(opts, args):
 410    global registry
 411    user_cred = get_user_cred()
 412    records = registry.resolve(user_cred, args[0])
 413    records = filter_records(opts.type, records)
 414    if not records:
 415       print "No record of type", opts.type
 416    for record in records:
 417        if record['type'] in ['user']:
 418            record = UserRecord(dict = record)
 419        elif record['type'] in ['slice']:
 420            record = SliceRecord(dict = record)
 421        elif record['type'] in ['node']:
 422            record = NodeRecord(dict = record)
 423        elif record['type'] in ['authority', 'ma', 'sa']:
 424            record = AuthorityRecord(dict = record)
 425        else:
 426            record = GeniRecord(dict = record)
 427        record.dump()
 428
 429    if opts.file:
 430        save_records_to_file(opts.file, records)
 431    return
 432
 433 def delegate(opts, args):
 434    global registry
 435    user_cred = get_user_cred()
 436    if opts.delegate_user:
 437        object_cred = user_cred
 438    elif opts.delegate_slice:
 439        object_cred = get_slice_cred(opts.delegate_slice)
 440    else:
 441        print "Must specify either --user or --slice <hrn>"
 442        return
 443
 444    # the gid and hrn of the object we are delegating
 445    object_gid = object_cred.get_gid_object()
 446    object_hrn = object_gid.get_hrn()
 447
 448    if not object_cred.get_delegate():
 449        print "Error: Object credential", object_hrn, "does not have delegate bit set"
 450        return
 451
 452    records = registry.resolve(user_cred, args[0])
 453    records = filter_records("user", records)
 454
 455    if not records:
 456        print "Error: Didn't find a user record for", args[0]
 457        return
 458
 459    # the gid of the user who will be delegated too
 460    delegee_gid = records[0].get_gid_object()
 461    delegee_hrn = delegee_gid.get_hrn()
 462
 463    # the key and hrn of the user who will be delegating
 464    user_key = Keypair(filename = get_key_file())
 465    user_hrn = user_cred.get_gid_caller().get_hrn()
 466
 467    dcred = Credential(subject=object_hrn + " delegated to " + delegee_hrn)
 468    dcred.set_gid_caller(delegee_gid)
 469    dcred.set_gid_object(object_gid)
 470    dcred.set_privileges(object_cred.get_privileges())
 471    dcred.set_delegate(True)
 472    dcred.set_pubkey(object_gid.get_pubkey())
 473    dcred.set_issuer(user_key, user_hrn)
 474    dcred.set_parent(object_cred)
 475    dcred.encode()
 476    dcred.sign()
 477
 478    if opts.delegate_user:
 479        dest_fn = os.path.join(sfi_dir, get_leaf(delegee_hrn) + "_" + get_leaf(object_hrn) + ".cred")
 480    elif opts.delegate_slice:
 481        dest_fn = os.path_join(sfi_dir, get_leaf(delegee_hrn) + "_slice_" + get_leaf(object_hrn) + ".cred")
 482
 483    dcred.save_to_file(dest_fn, save_parents = True)
 484
 485    print "delegated credential for", object_hrn, "to", delegee_hrn, "and wrote to", dest_fn
 486
 487 # removed named registry record
 488 #   - have to first retrieve the record to be removed
 489 def remove(opts, args):
 490    global registry
 491    auth_cred = get_auth_cred()
 492    return registry.remove(auth_cred, opts.type, args[0])
 493
 494 # add named registry record
 495 def add(opts, args):
 496    global registry
 497    auth_cred = get_auth_cred()
 498    rec_file = get_record_file(args[0])
 499    record = load_record_from_file(rec_file)
 500
 501    return registry.register(auth_cred, record)
 502
 503 # update named registry entry
 504 def update(opts, args):
 505    global registry
 506    user_cred = get_user_cred()
 507    rec_file = get_record_file(args[0])
 508    record = load_record_from_file(rec_file)
 509    if record.get_type() == "user":
 510        if record.get_name() == user_cred.get_gid_object().get_hrn():
 511           cred = user_cred
 512        else:
 513           cred = get_auth_cred()
 514    elif record.get_type() in ["slice"]:
 515        try:
 516            cred = get_slice_cred(record.get_name())
 517        except ServerException, e:
 518            # XXX smbaker -- once we have better error return codes, update this
 519            # to do something better than a string compare
 520            if "Permission error" in e.args[0]:
 521                cred = get_auth_cred()
 522            else:
 523                raise
 524    elif record.get_type() in ["authority"]:
 525        cred = get_auth_cred()
 526    elif record.get_type() == 'node':
 527         cred = get_auth_cred()
 528    else:
 529        raise "unknown record type" + record.get_type()
 530    return registry.update(cred, record)
 531
 532 #
 533 # Slice-related commands
 534 #
 535
 536 # list available nodes -- now use 'resources' w/ no argument instead
 537 #def nodes(opts, args):
 538 #   global slicemgr
 539 #   user_cred = get_user_cred()
 540 #   if not opts.format:
 541 #      context = None
 542 #   else:
 543 #      context = opts.format
 544 #   results = slicemgr.list_nodes(user_cred)
 545 #   if opts.format in ['rspec']:
 546 #      display_rspec(results)
 547 #   else:
 548 #      display_list(results)
 549 #   if (opts.file is not None):
 550 #      rspec = slicemgr.list_nodes(user_cred)
 551 #      save_rspec_to_file(rspec, opts.file)
 552 #   return
 553
 554 # list instantiated slices
 555 def slices(opts, args):
 556    global slicemgr
 557    user_cred = get_user_cred()
 558    results = slicemgr.get_slices(user_cred)
 559    display_list(results)
 560    return
 561
 562 # show rspec for named slice
 563 def resources(opts, args):
 564    global slicemgr
 565    if args:
 566        slice_cred = get_slice_cred(args[0])
 567        result = slicemgr.get_resources(slice_cred, args[0])
 568    else:
 569        user_cred = get_user_cred()
 570        result = slicemgr.get_resources(user_cred)
 571    format = opts.format
 572    display_rspec(result, format)
 573    if (opts.file is not None):
 574       save_rspec_to_file(result, opts.file)
 575    return
 576
 577 # created named slice with given rspec
 578 def create(opts, args):
 579    global slicemgr
 580    slice_hrn = args[0]
 581    slice_cred = get_slice_cred(slice_hrn)
 582    rspec_file = get_rspec_file(args[1])
 583    with open(rspec_file) as f:
 584       rspec = f.read()
 585    return slicemgr.create_slice(slice_cred, slice_hrn, rspec)
 586
 587 # delete named slice
 588 def delete(opts, args):
 589    global slicemgr
 590    slice_hrn = args[0]
 591    slice_cred = get_slice_cred(slice_hrn)
 592
 593    return slicemgr.delete_slice(slice_cred, slice_hrn)
 594
 595 # start named slice
 596 def start(opts, args):
 597    global slicemgr
 598    slice_hrn = args[0]
 599    slice_cred = get_slice_cred(args[0])
 600    return slicemgr.start_slice(slice_cred, slice_hrn)
 601
 602 # stop named slice
 603 def stop(opts, args):
 604    global slicemgr
 605    slice_hrn = args[0]
 606    slice_cred = get_slice_cred(args[0])
 607    return slicemgr.stop_slice(slice_cred, slice_hrn)
 608
 609 # reset named slice
 610 def reset(opts, args):
 611    global slicemgr
 612    slice_hrn = args[0]
 613    slice_cred = get_slice_cred(args[0])
 614    return slicemgr.reset_slice(slice_cred, slice_hrn)
 615
 616 #
 617 #
 618 # Display, Save, and Filter RSpecs and Records
 619 #   - to be replace by EMF-generated routines
 620 #
 621 #
 622
 623 def display_rspec(rspec, format = 'rspec'):
 624     if format in ['dns']:
 625         spec = Rspec()
 626         spec.parseString(rspec)
 627         hostnames = []
 628         nodespecs = spec.getDictsByTagName('NodeSpec')
 629         for nodespec in nodespecs:
 630             if nodespec.has_key('name') and nodespec['name']:
 631                 if isinstance(nodespec['name'], ListType):
 632                     hostnames.extend(nodespec['name'])
 633                 elif isinstance(nodespec['name'], StringTypes):
 634                     hostnames.append(nodespec['name'])
 635         result = hostnames
 636     elif format in ['ip']:
 637         spec = Rspec()
 638         spec.parseString(rspec)
 639         ips = []
 640         ifspecs = spec.getDictsByTagName('IfSpec')
 641         for ifspec in ifspecs:
 642             if ifspec.has_key('addr') and ifspec['addr']:
 643                 ips.append(ifspec['addr'])
 644         result = ips
 645     else:
 646         result = rspec
 647
 648     print result
 649     return
 650
 651 def display_list(results):
 652     for result in results:
 653         print result
 654
 655 def save_rspec_to_file(rspec, filename):
 656    if not filename.startswith(os.sep):
 657        filename = sfi_dir + filename
 658    if not filename.endswith(".rspec"):
 659        filename = filename + ".rspec"
 660
 661    f = open(filename, 'w')
 662    f.write(rspec)
 663    f.close()
 664    return
 665
 666 def display_records(recordList, dump = False):
 667    ''' Print all fields in the record'''
 668    for record in recordList:
 669       display_record(record, dump)
 670
 671 def display_record(record, dump = False):
 672    if dump:
 673        record.dump()
 674    else:
 675        info = record.getdict()
 676        print "%s (%s)" % (info['hrn'], info['type'])
 677    return
 678
 679 def filter_records(type, records):
 680    filtered_records = []
 681    for record in records:
 682        if (record.get_type() == type) or (type == "all"):
 683            filtered_records.append(record)
 684    return filtered_records
 685
 686 def save_records_to_file(filename, recordList):
 687    index = 0
 688    for record in recordList:
 689        if index>0:
 690            save_record_to_file(filename + "." + str(index), record)
 691        else:
 692            save_record_to_file(filename, record)
 693        index = index + 1
 694
 695 def save_record_to_file(filename, record):
 696    if not filename.startswith(os.sep):
 697        filename = sfi_dir + filename
 698    str = record.save_to_string()
 699    file(filename, "w").write(str)
 700    return
 701
 702 def load_record_from_file(filename):
 703    str = file(filename, "r").read()
 704    record = GeniRecord(string=str)
 705    return record
 706
 707 if __name__=="__main__":
 708    main()