cmdline/sfi.py

   1 #! /usr/bin/env python
   2 from __future__ import with_statement
   3
   4 # sfi -- slice-based facility interface
   5
   6 import sys
   7 import os, os.path
   8 import tempfile
   9 from optparse import OptionParser
  10 from geni.util.cert import Keypair, Certificate
  11 from geni.util.credential import Credential
  12 from geni.util.geniclient import GeniClient, ServerException
  13 from geni.util.gid import create_uuid
  14 from geni.util.record import *
  15 from geni.util.rspec import Rspec
  16 from types import StringTypes, ListType
  17
  18 sfi_dir = os.path.expanduser("~/.sfi/")
  19 slicemgr = None
  20 registry = None
  21 user = None
  22 authority = None
  23 verbose = False
  24
  25 #
  26 # Establish Connection to SliceMgr and Registry Servers
  27 #
  28 def set_servers(options):
  29    global slicemgr
  30    global registry
  31    global user
  32    global authority
  33
  34    # Set SliceMgr URL
  35    if (options.sm is not None):
  36       sm_url = options.sm
  37    elif ("SFI_SM" in os.environ):
  38       sm_url = os.environ["SFI_SM"]
  39    else:
  40       print "No Known Slice Manager"
  41       sys.exit(1)
  42
  43    # Set Registry URL
  44    if (options.registry is not None):
  45       reg_url = options.registry
  46    elif ("SFI_REGISTRY" in os.environ):
  47       reg_url = os.environ["SFI_REGISTRY"]
  48    else:
  49       print "No Known Registry Server"
  50       sys.exit(1)
  51
  52    if options.verbose :
  53       print "Contacting Slice Manager at:", sm_url
  54       print "Contacting Registry at:", reg_url
  55
  56    # Set user HRN
  57    if (options.user is not None):
  58       user = options.user
  59    elif ("SFI_USER" in os.environ):
  60       user = os.environ["SFI_USER"]
  61    else:
  62       print "No Known User Name"
  63       sys.exit(1)
  64
  65    # Set authority HRN
  66    if (options.auth is not None):
  67       authority = options.auth
  68    elif ("SFI_AUTH" in os.environ):
  69       authority = os.environ["SFI_AUTH"]
  70    else:
  71       authority = None
  72
  73    # Get key and certificate
  74    key_file = get_key_file()
  75    cert_file = get_cert_file(key_file)
  76
  77    # Establish connection to server(s)
  78    slicemgr = GeniClient(sm_url, key_file, cert_file)
  79    registry = GeniClient(reg_url, key_file, cert_file)
  80    return
  81
  82 #
  83 # Get various credential and spec files
  84 #
  85 # Establishes limiting conventions
  86 #   - conflates MAs and SAs
  87 #   - assumes last token in slice name is unique
  88 #
  89 # Bootstraps credentials
  90 #   - bootstrap user credential from self-signed certificate
  91 #   - bootstrap authority credential from user credential
  92 #   - bootstrap slice credential from user credential
  93 #
  94
  95 def get_leaf(name):
  96    parts = name.split(".")
  97    return parts[-1]
  98
  99 def get_key_file():
 100    file = os.path.join(sfi_dir, get_leaf(user) + ".pkey")
 101    if (os.path.isfile(file)):
 102       return file
 103    else:
 104       print "Key file", file, "does not exist"
 105       sys.exit(-1)
 106    return
 107
 108 def get_cert_file(key_file):
 109    global verbose
 110
 111    file = os.path.join(sfi_dir, get_leaf(user) + ".cert")
 112    if (os.path.isfile(file)):
 113       return file
 114    else:
 115       k = Keypair(filename = key_file)
 116       cert = Certificate(subject=user)
 117       cert.set_pubkey(k)
 118       cert.set_issuer(k, user)
 119       cert.sign()
 120       if verbose :
 121          print "Writing self-signed certificate to", file
 122       cert.save_to_file(file)
 123       return file
 124
 125 def get_user_cred():
 126    global user
 127
 128    file = os.path.join(sfi_dir, get_leaf(user) + ".cred")
 129    if (os.path.isfile(file)):
 130       user_cred = Credential(filename=file)
 131       return user_cred
 132    else:
 133       # bootstrap user credential
 134       user_cred = registry.get_credential(None, "user", user)
 135       if user_cred:
 136          user_cred.save_to_file(file, save_parents=True)
 137          if verbose:
 138             print "Writing user credential to", file
 139          return user_cred
 140       else:
 141          print "Failed to get user credential"
 142          sys.exit(-1)
 143
 144 def get_auth_cred():
 145    global authority
 146
 147    if not authority:
 148       print "no authority specified. Use -a or set SF_AUTH"
 149       sys.exit(-1)
 150
 151    file = os.path.join(sfi_dir, get_leaf("authority") +".cred")
 152    if (os.path.isfile(file)):
 153       auth_cred = Credential(filename=file)
 154       return auth_cred
 155    else:
 156       # bootstrap authority credential from user credential
 157       user_cred = get_user_cred()
 158       auth_cred = registry.get_credential(user_cred, "sa", authority)
 159       if auth_cred:
 160          auth_cred.save_to_file(file, save_parents=True)
 161          if verbose:
 162             print "Writing authority credential to", file
 163          return auth_cred
 164       else:
 165          print "Failed to get authority credential"
 166          sys.exit(-1)
 167
 168 def get_slice_cred(name):
 169    file = os.path.join(sfi_dir, "slice_" + get_leaf(name) + ".cred")
 170    if (os.path.isfile(file)):
 171       slice_cred = Credential(filename=file)
 172       return slice_cred
 173    else:
 174       # bootstrap slice credential from user credential
 175       user_cred = get_user_cred()
 176       slice_cred = registry.get_credential(user_cred, "slice", name)
 177       if slice_cred:
 178          slice_cred.save_to_file(file, save_parents=True)
 179          if verbose:
 180             print "Writing slice credential to", file
 181          return slice_cred
 182       else:
 183          print "Failed to get slice credential"
 184          sys.exit(-1)
 185
 186 def delegate_cred(cred, hrn, type = 'authority'):
 187     # the gid and hrn of the object we are delegating
 188     object_gid = cred.get_gid_object()
 189     object_hrn = object_gid.get_hrn()
 190     cred.set_delegate(True)
 191     if not cred.get_delegate():
 192         raise Exception, "Error: Object credential %(object_hrn)s does not have delegate bit set" % locals()
 193
 194
 195     records = registry.resolve(cred, hrn)
 196     records = filter_records(type, records)
 197
 198     if not records:
 199         raise Exception, "Error: Didn't find a %(type)s record for %(hrn)s" % locals()
 200
 201     # the gid of the user who will be delegated too
 202     delegee_gid = records[0].get_gid_object()
 203     delegee_hrn = delegee_gid.get_hrn()
 204
 205     # the key and hrn of the user who will be delegating
 206     user_key = Keypair(filename = get_key_file())
 207     user_hrn = cred.get_gid_caller().get_hrn()
 208
 209     dcred = Credential(subject=object_hrn + " delegated to " + delegee_hrn)
 210     dcred.set_gid_caller(delegee_gid)
 211     dcred.set_gid_object(object_gid)
 212     dcred.set_privileges(cred.get_privileges())
 213     dcred.set_delegate(True)
 214     dcred.set_pubkey(object_gid.get_pubkey())
 215     dcred.set_issuer(user_key, user_hrn)
 216     dcred.set_parent(cred)
 217     dcred.encode()
 218     dcred.sign()
 219
 220     return dcred
 221
 222 def get_rspec_file(rspec):
 223    if (os.path.isabs(rspec)):
 224       file = rspec
 225    else:
 226       file = os.path.join(sfi_dir, rspec)
 227    if (os.path.isfile(file)):
 228       return file
 229    else:
 230       print "No such rspec file", rspec
 231       sys.exit(1)
 232
 233 def get_record_file(record):
 234    if (os.path.isabs(record)):
 235       file = record
 236    else:
 237       file = os.path.join(sfi_dir, record)
 238    if (os.path.isfile(file)):
 239       return file
 240    else:
 241       print "No such registry record file", record
 242       sys.exit(1)
 243
 244 def load_publickey_string(fn):
 245    f = file(fn,"r")
 246    key_string = f.read()
 247
 248    # if the filename is a private key file, then extract the public key
 249    if "PRIVATE KEY" in key_string:
 250        outfn = tempfile.mktemp()
 251        cmd = "openssl rsa -in " + fn + " -pubout -outform PEM -out " + outfn
 252        os.system(cmd)
 253        f = file(outfn, "r")
 254        key_string = f.read()
 255        os.remove(outfn)
 256
 257    return key_string
 258 #
 259 # Generate sub-command parser
 260 #
 261 def create_cmd_parser(command, additional_cmdargs = None):
 262    cmdargs = {"list": "name",
 263               "show": "name",
 264               "remove": "name",
 265               "add": "record",
 266               "update": "record",
 267               "slices": "",
 268               "resources": "[name]",
 269               "create": "name rspec",
 270               "delete": "name",
 271               "reset": "name",
 272               "start": "name",
 273               "stop": "name",
 274               "delegate": "name"
 275              }
 276
 277    if additional_cmdargs:
 278       cmdargs.update(additional_cmdargs)
 279
 280    if command not in cmdargs:
 281       print "Invalid command\n"
 282       print "Commands: ",
 283       for key in cmdargs.keys():
 284           print key+",",
 285       print ""
 286       sys.exit(2)
 287
 288    parser = OptionParser(usage="sfi [sfi_options] %s [options] %s" \
 289       % (command, cmdargs[command]))
 290    if command in ("resources"):
 291       parser.add_option("-f", "--format", dest="format",type="choice",
 292            help="display format (dns|ip|rspec)",default="rspec",
 293            choices=("dns","ip","rspec"))
 294    if command in ("list", "show", "remove"):
 295       parser.add_option("-t", "--type", dest="type",type="choice",
 296            help="type filter (user|slice|sa|ma|node|aggregate)",
 297            choices=("user","slice","sa","ma","node","aggregate", "all"),
 298            default="all")
 299    if command in ("show", "list", "resources"):
 300       parser.add_option("-o", "--output", dest="file",
 301            help="output XML to file", metavar="FILE", default=None)
 302    if command in ("delegate"):
 303       parser.add_option("-u", "--user",
 304         action="store_true", dest="delegate_user", default=False,
 305         help="delegate user credential")
 306       parser.add_option("-s", "--slice", dest="delegate_slice",
 307         help="delegate slice credential", metavar="HRN", default=None)
 308    return parser
 309
 310 def create_parser():
 311    # Generate command line parser
 312    parser = OptionParser(usage="sfi [options] command [command_options] [command_args]",
 313         description="Commands: list,show,remove,add,update,nodes,slices,resources,create,delete,start,stop,reset")
 314    parser.add_option("-r", "--registry", dest="registry",
 315         help="root registry", metavar="URL", default=None)
 316    parser.add_option("-s", "--slicemgr", dest="sm",
 317         help="slice manager", metavar="URL", default=None)
 318    parser.add_option("-d", "--dir", dest="dir",
 319         help="working directory", metavar="PATH", default = sfi_dir)
 320    parser.add_option("-u", "--user", dest="user",
 321         help="user name", metavar="HRN", default=None)
 322    parser.add_option("-a", "--auth", dest="auth",
 323         help="authority name", metavar="HRN", default=None)
 324    parser.add_option("-v", "--verbose",
 325         action="store_true", dest="verbose", default=False,
 326         help="verbose mode")
 327    parser.disable_interspersed_args()
 328
 329    return parser
 330
 331 def dispatch(command, cmd_opts, cmd_args):
 332    globals()[command](cmd_opts, cmd_args)
 333
 334 #
 335 # Main: parse arguments and dispatch to command
 336 #
 337 def main():
 338    global verbose
 339
 340    parser = create_parser()
 341    (options, args) = parser.parse_args()
 342
 343    if len(args) <= 0:
 344         print "No command given. Use -h for help."
 345         return -1
 346
 347    command = args[0]
 348    (cmd_opts, cmd_args) = create_cmd_parser(command).parse_args(args[1:])
 349    verbose = options.verbose
 350    if verbose :
 351       print "Resgistry %s, sm %s, dir %s, user %s, auth %s" % (options.registry,
 352                                             options.sm,
 353                                             options.dir,
 354                                             options.user,
 355                                             options.auth)
 356       print "Command %s" %command
 357       if command in ("resources"):
 358          print "resources cmd_opts %s" %cmd_opts.format
 359       elif command in ("list","show","remove"):
 360          print "cmd_opts.type %s" %cmd_opts.type
 361       print "cmd_args %s" %cmd_args
 362
 363    set_servers(options)
 364
 365    try:
 366       dispatch(command, cmd_opts, cmd_args)
 367    except KeyError:
 368       raise
 369       print "Command not found:", command
 370       sys.exit(1)
 371
 372    return
 373
 374 #
 375 # Following functions implement the commands
 376 #
 377 # Registry-related commands
 378 #
 379
 380 # list entires in named authority registry
 381 def list(opts, args):
 382    global registry
 383    user_cred = get_user_cred()
 384    list = registry.list(user_cred, args[0])
 385    # filter on person, slice, site, node, etc.
 386    # THis really should be in the filter_records funct def comment...
 387    list = filter_records(opts.type, list)
 388    for record in list:
 389        print "%s (%s)" % (record['hrn'], record['type'])
 390    if opts.file:
 391        save_records_to_file(opts.file, list)
 392    return
 393
 394 # show named registry record
 395 def show(opts, args):
 396    global registry
 397    user_cred = get_user_cred()
 398    records = registry.resolve(user_cred, args[0])
 399    records = filter_records(opts.type, records)
 400    if not records:
 401       print "No record of type", opts.type
 402    for record in records:
 403        if record['type'] in ['user']:
 404            record = UserRecord(dict = record)
 405        elif record['type'] in ['slice']:
 406            record = SliceRecord(dict = record)
 407        elif record['type'] in ['node']:
 408            record = NodeRecord(dict = record)
 409        elif record['type'] in ['authority', 'ma', 'sa']:
 410            record = AuthorityRecord(dict = record)
 411        else:
 412            record = GeniRecord(dict = record)
 413        record.dump()
 414
 415    if opts.file:
 416        save_records_to_file(opts.file, records)
 417    return
 418
 419 def delegate(opts, args):
 420    global registry
 421    user_cred = get_user_cred()
 422    if opts.delegate_user:
 423        object_cred = user_cred
 424    elif opts.delegate_slice:
 425        object_cred = get_slice_cred(opts.delegate_slice)
 426    else:
 427        print "Must specify either --user or --slice <hrn>"
 428        return
 429
 430    # the gid and hrn of the object we are delegating
 431    object_gid = object_cred.get_gid_object()
 432    object_hrn = object_gid.get_hrn()
 433
 434    if not object_cred.get_delegate():
 435        print "Error: Object credential", object_hrn, "does not have delegate bit set"
 436        return
 437
 438    records = registry.resolve(user_cred, args[0])
 439    records = filter_records("user", records)
 440
 441    if not records:
 442        print "Error: Didn't find a user record for", args[0]
 443        return
 444
 445    # the gid of the user who will be delegated too
 446    delegee_gid = records[0].get_gid_object()
 447    delegee_hrn = delegee_gid.get_hrn()
 448
 449    # the key and hrn of the user who will be delegating
 450    user_key = Keypair(filename = get_key_file())
 451    user_hrn = user_cred.get_gid_caller().get_hrn()
 452
 453    dcred = Credential(subject=object_hrn + " delegated to " + delegee_hrn)
 454    dcred.set_gid_caller(delegee_gid)
 455    dcred.set_gid_object(object_gid)
 456    dcred.set_privileges(object_cred.get_privileges())
 457    dcred.set_delegate(True)
 458    dcred.set_pubkey(object_gid.get_pubkey())
 459    dcred.set_issuer(user_key, user_hrn)
 460    dcred.set_parent(object_cred)
 461    dcred.encode()
 462    dcred.sign()
 463
 464    if opts.delegate_user:
 465        dest_fn = os.path.join(sfi_dir, get_leaf(delegee_hrn) + "_" + get_leaf(object_hrn) + ".cred")
 466    elif opts.delegate_slice:
 467        dest_fn = os.path_join(sfi_dir, get_leaf(delegee_hrn) + "_slice_" + get_leaf(object_hrn) + ".cred")
 468
 469    dcred.save_to_file(dest_fn, save_parents = True)
 470
 471    print "delegated credential for", object_hrn, "to", delegee_hrn, "and wrote to", dest_fn
 472
 473 # removed named registry record
 474 #   - have to first retrieve the record to be removed
 475 def remove(opts, args):
 476    global registry
 477    auth_cred = get_auth_cred()
 478    return registry.remove(auth_cred, opts.type, args[0])
 479
 480 # add named registry record
 481 def add(opts, args):
 482    global registry
 483    auth_cred = get_auth_cred()
 484    rec_file = get_record_file(args[0])
 485    record = load_record_from_file(rec_file)
 486
 487    return registry.register(auth_cred, record)
 488
 489 # update named registry entry
 490 def update(opts, args):
 491    global registry
 492    user_cred = get_user_cred()
 493    rec_file = get_record_file(args[0])
 494    record = load_record_from_file(rec_file)
 495    if record.get_type() == "user":
 496        if record.get_name() == user_cred.get_gid_object().get_hrn():
 497           cred = user_cred
 498        else:
 499           cred = get_auth_cred()
 500    elif record.get_type() in ["slice"]:
 501        try:
 502            cred = get_slice_cred(record.get_name())
 503        except ServerException, e:
 504            # XXX smbaker -- once we have better error return codes, update this
 505            # to do something better than a string compare
 506            if "Permission error" in e.args[0]:
 507                cred = get_auth_cred()
 508            else:
 509                raise
 510    elif record.get_type() in ["authority"]:
 511        cred = get_auth_cred()
 512    elif record.get_type() == 'node':
 513         cred = get_auth_cred()
 514    else:
 515        raise "unknown record type" + record.get_type()
 516    return registry.update(cred, record)
 517
 518 #
 519 # Slice-related commands
 520 #
 521
 522 # list available nodes -- now use 'resources' w/ no argument instead
 523 #def nodes(opts, args):
 524 #   global slicemgr
 525 #   user_cred = get_user_cred()
 526 #   if not opts.format:
 527 #      context = None
 528 #   else:
 529 #      context = opts.format
 530 #   results = slicemgr.list_nodes(user_cred)
 531 #   if opts.format in ['rspec']:
 532 #      display_rspec(results)
 533 #   else:
 534 #      display_list(results)
 535 #   if (opts.file is not None):
 536 #      rspec = slicemgr.list_nodes(user_cred)
 537 #      save_rspec_to_file(rspec, opts.file)
 538 #   return
 539
 540 # list instantiated slices
 541 def slices(opts, args):
 542    global slicemgr
 543    user_cred = get_user_cred()
 544    results = slicemgr.get_slices(user_cred)
 545    display_list(results)
 546    return
 547
 548 # show rspec for named slice
 549 def resources(opts, args):
 550    global slicemgr
 551    if args:
 552        slice_cred = get_slice_cred(args[0])
 553        result = slicemgr.get_resources(slice_cred, args[0])
 554    else:
 555        user_cred = get_user_cred()
 556        result = slicemgr.get_resources(user_cred)
 557    format = opts.format
 558    display_rspec(result, format)
 559    if (opts.file is not None):
 560       save_rspec_to_file(result, opts.file)
 561    return
 562
 563 # created named slice with given rspec
 564 def create(opts, args):
 565    global slicemgr
 566    slice_hrn = args[0]
 567    slice_cred = get_slice_cred(slice_hrn)
 568    rspec_file = get_rspec_file(args[1])
 569    with open(rspec_file) as f:
 570       rspec = f.read()
 571    return slicemgr.create_slice(slice_cred, slice_hrn, rspec)
 572
 573 # delete named slice
 574 def delete(opts, args):
 575    global slicemgr
 576    slice_hrn = args[0]
 577    slice_cred = get_slice_cred(slice_hrn)
 578
 579    return slicemgr.delete_slice(slice_cred, slice_hrn)
 580
 581 # start named slice
 582 def start(opts, args):
 583    global slicemgr
 584    slice_hrn = args[0]
 585    slice_cred = get_slice_cred(args[0])
 586    return slicemgr.start_slice(slice_cred, slice_hrn)
 587
 588 # stop named slice
 589 def stop(opts, args):
 590    global slicemgr
 591    slice_hrn = args[0]
 592    slice_cred = get_slice_cred(args[0])
 593    return slicemgr.stop_slice(slice_cred, slice_hrn)
 594
 595 # reset named slice
 596 def reset(opts, args):
 597    global slicemgr
 598    slice_hrn = args[0]
 599    slice_cred = get_slice_cred(args[0])
 600    return slicemgr.reset_slice(slice_cred, slice_hrn)
 601
 602 #
 603 #
 604 # Display, Save, and Filter RSpecs and Records
 605 #   - to be replace by EMF-generated routines
 606 #
 607 #
 608
 609 def display_rspec(rspec, format = 'rspec'):
 610     if format in ['dns']:
 611         spec = Rspec()
 612         spec.parseString(rspec)
 613         hostnames = []
 614         nodespecs = spec.getDictsByTagName('NodeSpec')
 615         for nodespec in nodespecs:
 616             if nodespec.has_key('name') and nodespec['name']:
 617                 if isinstance(nodespec['name'], ListType):
 618                     hostnames.extend(nodespec['name'])
 619                 elif isinstance(nodespec['name'], StringTypes):
 620                     hostnames.append(nodespec['name'])
 621         result = hostnames
 622     elif format in ['ip']:
 623         spec = Rspec()
 624         spec.parseString(rspec)
 625         ips = []
 626         ifspecs = spec.getDictsByTagName('IfSpec')
 627         for ifspec in ifspecs:
 628             if ifspec.has_key('addr') and ifspec['addr']:
 629                 ips.append(ifspec['addr'])
 630         result = ips
 631     else:
 632         result = rspec
 633
 634     print result
 635     return
 636
 637 def display_list(results):
 638     for result in results:
 639         print result
 640
 641 def save_rspec_to_file(rspec, filename):
 642    if not filename.startswith(os.sep):
 643        filename = sfi_dir + filename
 644    if not filename.endswith(".rspec"):
 645        filename = filename + ".rspec"
 646
 647    f = open(filename, 'w')
 648    f.write(rspec)
 649    f.close()
 650    return
 651
 652 def display_records(recordList, dump = False):
 653    ''' Print all fields in the record'''
 654    for record in recordList:
 655       display_record(record, dump)
 656
 657 def display_record(record, dump = False):
 658    if dump:
 659        record.dump()
 660    else:
 661        info = record.getdict()
 662        print "%s (%s)" % (info['hrn'], info['type'])
 663    return
 664
 665 def filter_records(type, records):
 666    filtered_records = []
 667    for record in records:
 668        if (record.get_type() == type) or (type == "all"):
 669            filtered_records.append(record)
 670    return filtered_records
 671
 672 def save_records_to_file(filename, recordList):
 673    index = 0
 674    for record in recordList:
 675        if index>0:
 676            save_record_to_file(filename + "." + str(index), record)
 677        else:
 678            save_record_to_file(filename, record)
 679        index = index + 1
 680
 681 def save_record_to_file(filename, record):
 682    if not filename.startswith(os.sep):
 683        filename = sfi_dir + filename
 684    str = record.save_to_string()
 685    file(filename, "w").write(str)
 686    return
 687
 688 def load_record_from_file(filename):
 689    str = file(filename, "r").read()
 690    record = GeniRecord(string=str)
 691    return record
 692
 693 if __name__=="__main__":
 694    main()