cmdline/sfi.py

   1 #! /usr/bin/env python
   2 from __future__ import with_statement
   3
   4 # sfi -- slice-based facility interface
   5
   6 import sys
   7 import os, os.path
   8 import tempfile
   9 from optparse import OptionParser
  10 from geni.util.cert import Keypair, Certificate
  11 from geni.util.credential import Credential
  12 from geni.util.geniclient import GeniClient, ServerException
  13 from geni.util.gid import create_uuid
  14 from geni.util.record import GeniRecord
  15 from geni.util.rspec import Rspec
  16 from types import StringTypes, ListType
  17
  18 sfi_dir = os.path.expanduser("~/.sfi/")
  19 slicemgr = None
  20 registry = None
  21 user = None
  22 authority = None
  23 verbose = False
  24
  25 #
  26 # Establish Connection to SliceMgr and Registry Servers
  27 #
  28 def set_servers(options):
  29    global slicemgr
  30    global registry
  31    global user
  32    global authority
  33
  34    # Set SliceMgr URL
  35    if (options.sm is not None):
  36       sm_url = options.sm
  37    elif ("SFI_SM" in os.environ):
  38       sm_url = os.environ["SFI_SM"]
  39    else:
  40       print "No Known Slice Manager"
  41       sys.exit(1)
  42
  43    # Set Registry URL
  44    if (options.registry is not None):
  45       reg_url = options.registry
  46    elif ("SFI_REGISTRY" in os.environ):
  47       reg_url = os.environ["SFI_REGISTRY"]
  48    else:
  49       print "No Known Registry Server"
  50       sys.exit(1)
  51
  52    if options.verbose :
  53       print "Contacting Slice Manager at:", sm_url
  54       print "Contacting Registry at:", reg_url
  55
  56    # Set user HRN
  57    if (options.user is not None):
  58       user = options.user
  59    elif ("SFI_USER" in os.environ):
  60       user = os.environ["SFI_USER"]
  61    else:
  62       print "No Known User Name"
  63       sys.exit(1)
  64
  65    # Set authority HRN
  66    if (options.auth is not None):
  67       authority = options.auth
  68    elif ("SFI_AUTH" in os.environ):
  69       authority = os.environ["SFI_AUTH"]
  70    else:
  71       authority = None
  72
  73    # Get key and certificate
  74    key_file = get_key_file()
  75    cert_file = get_cert_file(key_file)
  76
  77    # Establish connection to server(s)
  78    slicemgr = GeniClient(sm_url, key_file, cert_file)
  79    registry = GeniClient(reg_url, key_file, cert_file)
  80    return
  81
  82 #
  83 # Get various credential and spec files
  84 #
  85 # Establishes limiting conventions
  86 #   - conflates MAs and SAs
  87 #   - assumes last token in slice name is unique
  88 #
  89 # Bootstraps credentials
  90 #   - bootstrap user credential from self-signed certificate
  91 #   - bootstrap authority credential from user credential
  92 #   - bootstrap slice credential from user credential
  93 #
  94
  95 def get_leaf(name):
  96    parts = name.split(".")
  97    return parts[-1]
  98
  99 def get_key_file():
 100    file = os.path.join(sfi_dir, get_leaf(user) + ".pkey")
 101    if (os.path.isfile(file)):
 102       return file
 103    else:
 104       print "Key file", file, "does not exist"
 105       sys.exit(-1)
 106    return
 107
 108 def get_cert_file(key_file):
 109    global verbose
 110
 111    file = os.path.join(sfi_dir, get_leaf(user) + ".cert")
 112    if (os.path.isfile(file)):
 113       return file
 114    else:
 115       k = Keypair(filename = key_file)
 116       cert = Certificate(subject=user)
 117       cert.set_pubkey(k)
 118       cert.set_issuer(k, user)
 119       cert.sign()
 120       if verbose :
 121          print "Writing self-signed certificate to", file
 122       cert.save_to_file(file)
 123       return file
 124
 125 def get_user_cred():
 126    global user
 127
 128    file = os.path.join(sfi_dir, get_leaf(user) + ".cred")
 129    if (os.path.isfile(file)):
 130       user_cred = Credential(filename=file)
 131       return user_cred
 132    else:
 133       # bootstrap user credential
 134       user_cred = registry.get_credential(None, "user", user)
 135       if user_cred:
 136          user_cred.save_to_file(file, save_parents=True)
 137          if verbose:
 138             print "Writing user credential to", file
 139          return user_cred
 140       else:
 141          print "Failed to get user credential"
 142          sys.exit(-1)
 143
 144 def get_auth_cred():
 145    global authority
 146
 147    if not authority:
 148       print "no authority specified. Use -a or set SF_AUTH"
 149       sys.exit(-1)
 150
 151    file = os.path.join(sfi_dir, get_leaf("authority") +".cred")
 152    if (os.path.isfile(file)):
 153       auth_cred = Credential(filename=file)
 154       return auth_cred
 155    else:
 156       # bootstrap authority credential from user credential
 157       user_cred = get_user_cred()
 158       auth_cred = registry.get_credential(user_cred, "sa", authority)
 159       if auth_cred:
 160          auth_cred.save_to_file(file, save_parents=True)
 161          if verbose:
 162             print "Writing authority credential to", file
 163          return auth_cred
 164       else:
 165          print "Failed to get authority credential"
 166          sys.exit(-1)
 167
 168 def get_slice_cred(name):
 169    file = os.path.join(sfi_dir, "slice_" + get_leaf(name) + ".cred")
 170    if (os.path.isfile(file)):
 171       slice_cred = Credential(filename=file)
 172       return slice_cred
 173    else:
 174       # bootstrap slice credential from user credential
 175       user_cred = get_user_cred()
 176       slice_cred = registry.get_credential(user_cred, "slice", name)
 177       if slice_cred:
 178          slice_cred.save_to_file(file, save_parents=True)
 179          if verbose:
 180             print "Writing slice credential to", file
 181          return slice_cred
 182       else:
 183          print "Failed to get slice credential"
 184          sys.exit(-1)
 185
 186 def get_rspec_file(rspec):
 187    if (os.path.isabs(rspec)):
 188       file = rspec
 189    else:
 190       file = os.path.join(sfi_dir, rspec)
 191    if (os.path.isfile(file)):
 192       return file
 193    else:
 194       print "No such rspec file", rspec
 195       sys.exit(1)
 196
 197 def get_record_file(record):
 198    if (os.path.isabs(record)):
 199       file = record
 200    else:
 201       file = os.path.join(sfi_dir, record)
 202    if (os.path.isfile(file)):
 203       return file
 204    else:
 205       print "No such registry record file", record
 206       sys.exit(1)
 207
 208 def load_publickey_string(fn):
 209    f = file(fn,"r")
 210    key_string = f.read()
 211
 212    # if the filename is a private key file, then extract the public key
 213    if "PRIVATE KEY" in key_string:
 214        outfn = tempfile.mktemp()
 215        cmd = "openssl rsa -in " + fn + " -pubout -outform PEM -out " + outfn
 216        os.system(cmd)
 217        f = file(outfn, "r")
 218        key_string = f.read()
 219        os.remove(outfn)
 220
 221    return key_string
 222
 223 #
 224 # Generate sub-command parser
 225 #
 226 def create_cmd_parser(command, additional_cmdargs = None):
 227    cmdargs = {"list": "name",
 228               "show": "name",
 229               "remove": "name",
 230               "add": "record",
 231               "update": "record",
 232               "slices": "",
 233               "resources": "[name]",
 234               "create": "name rspec",
 235               "delete": "name",
 236               "reset": "name",
 237               "start": "name",
 238               "stop": "name"
 239              }
 240
 241    if additional_cmdargs:
 242       cmdargs.update(additional_cmdargs)
 243
 244    if command not in cmdargs:
 245       print "Invalid command\n"
 246       print "Commands: ",
 247       for key in cmdargs.keys():
 248           print key+",",
 249       print ""
 250       sys.exit(2)
 251
 252    parser = OptionParser(usage="sfi [sfi_options] %s [options] %s" \
 253       % (command, cmdargs[command]))
 254    if command in ("resources"):
 255       parser.add_option("-f", "--format", dest="format",type="choice",
 256            help="display format (dns|ip|rspec)",default="rspec",
 257            choices=("dns","ip","rspec"))
 258    if command in ("list", "show", "remove"):
 259       parser.add_option("-t", "--type", dest="type",type="choice",
 260            help="type filter (user|slice|sa|ma|node|aggregate)",
 261            choices=("user","slice","sa","ma","node","aggregate", "all"),
 262            default="all")
 263    if command in ("show", "list", "resources"):
 264       parser.add_option("-o", "--output", dest="file",
 265            help="output XML to file", metavar="FILE", default=None)
 266    return parser
 267
 268 def create_parser():
 269    # Generate command line parser
 270    parser = OptionParser(usage="sfi [options] command [command_options] [command_args]",
 271         description="Commands: list,show,remove,add,update,nodes,slices,resources,create,delete,start,stop,reset")
 272    parser.add_option("-r", "--registry", dest="registry",
 273         help="root registry", metavar="URL", default=None)
 274    parser.add_option("-s", "--slicemgr", dest="sm",
 275         help="slice manager", metavar="URL", default=None)
 276    parser.add_option("-d", "--dir", dest="dir",
 277         help="working directory", metavar="PATH", default = sfi_dir)
 278    parser.add_option("-u", "--user", dest="user",
 279         help="user name", metavar="HRN", default=None)
 280    parser.add_option("-a", "--auth", dest="auth",
 281         help="authority name", metavar="HRN", default=None)
 282    parser.add_option("-v", "--verbose",
 283         action="store_true", dest="verbose", default=False,
 284         help="verbose mode")
 285    parser.disable_interspersed_args()
 286
 287    return parser
 288
 289 def dispatch(command, cmd_opts, cmd_args):
 290    globals()[command](cmd_opts, cmd_args)
 291
 292 #
 293 # Main: parse arguments and dispatch to command
 294 #
 295 def main():
 296    global verbose
 297
 298    parser = create_parser()
 299    (options, args) = parser.parse_args()
 300
 301    if len(args) <= 0:
 302         print "No command given. Use -h for help."
 303         return -1
 304
 305    command = args[0]
 306    (cmd_opts, cmd_args) = create_cmd_parser(command).parse_args(args[1:])
 307    verbose = options.verbose
 308    if verbose :
 309       print "Resgistry %s, sm %s, dir %s, user %s, auth %s" % (options.registry,
 310                                             options.sm,
 311                                             options.dir,
 312                                             options.user,
 313                                             options.auth)
 314       print "Command %s" %command
 315       if command in ("resources"):
 316          print "resources cmd_opts %s" %cmd_opts.format
 317       elif command in ("list","show","remove"):
 318          print "cmd_opts.type %s" %cmd_opts.type
 319       print "cmd_args %s" %cmd_args
 320
 321    set_servers(options)
 322
 323    try:
 324       dispatch(command, cmd_opts, cmd_args)
 325    except KeyError:
 326       print "Command not found:", command
 327       sys.exit(1)
 328
 329    return
 330
 331 #
 332 # Following functions implement the commands
 333 #
 334 # Registry-related commands
 335 #
 336
 337 # list entires in named authority registry
 338 def list(opts, args):
 339    global registry
 340    user_cred = get_user_cred()
 341    list = registry.list(user_cred, args[0])
 342    # filter on person, slice, site, node, etc.
 343    # THis really should be in the filter_records funct def comment...
 344    list = filter_records(opts.type, list)
 345    display_records(list)
 346    if opts.file:
 347        save_records_to_file(opts.file, list)
 348    return
 349
 350 # show named registry record
 351 def show(opts, args):
 352    global registry
 353    user_cred = get_user_cred()
 354    records = registry.resolve(user_cred, args[0])
 355    records = filter_records(opts.type, records)
 356    if not records:
 357       print "No record of type", opts.type
 358    display_records(records, True)
 359    if opts.file:
 360        save_records_to_file(opts.file, records)
 361    return
 362
 363 # removed named registry record
 364 #   - have to first retrieve the record to be removed
 365 def remove(opts, args):
 366    global registry
 367    auth_cred = get_auth_cred()
 368    return registry.remove(auth_cred, opts.type, args[0])
 369
 370 # add named registry record
 371 def add(opts, args):
 372    global registry
 373    auth_cred = get_auth_cred()
 374    rec_file = get_record_file(args[0])
 375    record = load_record_from_file(rec_file)
 376
 377    # check and see if we need to create a gid for this record. The creator
 378    # of the record signals this by filling in the create_gid, create_gid_hrn,
 379    # and create_gid_key members.
 380    # (note: we'd use an unsigned GID in the record instead, but pyOpenSSL is
 381    #   broken and has no way for us to get the key back out of the gid)
 382    geni_info = record.get_geni_info()
 383    if "create_gid" in geni_info:
 384        gid = registry.create_gid(auth_cred, geni_info["create_gid_hrn"], create_uuid(), geni_info["create_gid_key"])
 385        record.set_gid(gid)
 386
 387        del geni_info["create_gid"]
 388        del geni_info["create_gid_hrn"]
 389        del geni_info["create_gid_key"]
 390
 391    return registry.register(auth_cred, record)
 392
 393 # update named registry entry
 394 def update(opts, args):
 395    global registry
 396    user_cred = get_user_cred()
 397    rec_file = get_record_file(args[0])
 398    record = load_record_from_file(rec_file)
 399    if record.get_type() == "user":
 400        if record.get_name() == user_cred.get_gid_object().get_hrn():
 401           cred = user_cred
 402        else:
 403           create = get_auth_cred()
 404    elif record.get_type() in ["slice"]:
 405        try:
 406            cred = get_slice_cred(record.get_name())
 407        except ServerException, e:
 408            if "PermissionError" in e.args[0]:
 409                cred = get_auth_cred()
 410            else:
 411                raise
 412    elif record.get_type() in ["sa", "ma", "node"]:
 413        cred = get_auth_cred()
 414    else:
 415        raise "unknown record type" + record.get_type()
 416    return registry.update(cred, record)
 417
 418 #
 419 # Slice-related commands
 420 #
 421
 422 # list available nodes -- now use 'resources' w/ no argument instead
 423 #def nodes(opts, args):
 424 #   global slicemgr
 425 #   user_cred = get_user_cred()
 426 #   if not opts.format:
 427 #      context = None
 428 #   else:
 429 #      context = opts.format
 430 #   results = slicemgr.list_nodes(user_cred)
 431 #   if opts.format in ['rspec']:
 432 #      display_rspec(results)
 433 #   else:
 434 #      display_list(results)
 435 #   if (opts.file is not None):
 436 #      rspec = slicemgr.list_nodes(user_cred)
 437 #      save_rspec_to_file(rspec, opts.file)
 438 #   return
 439
 440 # list instantiated slices
 441 def slices(opts, args):
 442    global slicemgr
 443    user_cred = get_user_cred()
 444    results = slicemgr.get_slices(user_cred)
 445    display_list(results)
 446    return
 447
 448 # show rspec for named slice
 449 def resources(opts, args):
 450    global slicemgr
 451    if args:
 452        slice_cred = get_slice_cred(args[0])
 453        result = slicemgr.get_resources(slice_cred, args[0])
 454    else:
 455        user_cred = get_user_cred()
 456        result = slicemgr.get_resources(user_cred)
 457    format = opts.format
 458    display_rspec(result, format)
 459    if (opts.file is not None):
 460       save_rspec_to_file(opts.file, result)
 461    return
 462
 463 # created named slice with given rspec
 464 def create(opts, args):
 465    global slicemgr
 466    slice_hrn = args[0]
 467    slice_cred = get_slice_cred(slice_hrn)
 468    rspec_file = get_rspec_file(args[1])
 469    with open(rspec_file) as f:
 470       rspec = f.read()
 471    return slicemgr.create_slice(slice_cred, slice_hrn, rspec)
 472
 473 # delete named slice
 474 def delete(opts, args):
 475    global slicemgr
 476    slice_hrn = args[0]
 477    slice_cred = get_slice_cred(slice_hrn)
 478
 479    return slicemgr.delete_slice(slice_cred, slice_hrn)
 480
 481 # start named slice
 482 def start(opts, args):
 483    global slicemgr
 484    slice_cred = get_slice_cred(args[0])
 485    return slicemgr.start_slice(slice_cred)
 486
 487 # stop named slice
 488 def stop(opts, args):
 489    global slicemgr
 490    slice_cred = get_slice_cred(args[0])
 491    return slicemgr.stop_slice(slice_cred)
 492
 493 # reset named slice
 494 def reset(opts, args):
 495    global slicemgr
 496    slice_cred = get_slice_cred(args[0])
 497    return slicemgr.reset_slice(slice_cred)
 498
 499 #
 500 #
 501 # Display, Save, and Filter RSpecs and Records
 502 #   - to be replace by EMF-generated routines
 503 #
 504 #
 505
 506 def display_rspec(rspec, format = 'rspec'):
 507     if format in ['dns']:
 508         spec = Rspec()
 509         spec.parseString(rspec)
 510         hostnames = []
 511         nodespecs = spec.getDictsByTagName('NodeSpec')
 512         for nodespec in nodespecs:
 513             if nodespec.has_key('name') and nodespec['name']:
 514                 if isinstance(nodespec['name'], ListType):
 515                     hostnames.extend(nodespec['name'])
 516                 elif isinstance(nodespec['name'], StringTypes):
 517                     hostnames.append(nodespec['name'])
 518         result = hostnames
 519     elif format in ['ip']:
 520         spec = Rspec()
 521         spec.parseString(rspec)
 522         ips = []
 523         ifspecs = spec.getDictsByTagName('IfSpec')
 524         for ifspec in ifspecs:
 525             if ifspec.has_key('addr') and ifspec['addr']:
 526                 ips.append(ifspec['addr'])
 527         result = ips
 528     else:
 529         result = rspec
 530
 531     print result
 532     return
 533
 534 def display_list(results):
 535     for result in results:
 536         print result
 537
 538 def save_rspec_to_file(rspec, filename):
 539    if not filename.startswith(os.sep):
 540        filename = sfi_dir + filename
 541    if not filename.endswith(".rspec"):
 542        filename = filename + ".rspec"
 543
 544    f = open(filename, 'w')
 545    f.write(rspec)
 546    f.close()
 547    return
 548
 549 def display_records(recordList, dump = False):
 550    ''' Print all fields in the record'''
 551    for record in recordList:
 552       display_record(record, dump)
 553
 554 def display_record(record, dump = False):
 555    if dump:
 556        record.dump()
 557    else:
 558        info = record.getdict()
 559        print "%s (%s)" % (info['hrn'], info['type'])
 560    return
 561
 562 def filter_records(type, records):
 563    filtered_records = []
 564    for record in records:
 565        if (record.get_type() == type) or (type == "all"):
 566            filtered_records.append(record)
 567    return filtered_records
 568
 569 def save_records_to_file(filename, recordList):
 570    index = 0
 571    for record in recordList:
 572        if index>0:
 573            save_record_to_file(filename + "." + str(index), record)
 574        else:
 575            save_record_to_file(filename, record)
 576        index = index + 1
 577
 578 def save_record_to_file(filename, record):
 579    if not filename.startswith(os.sep):
 580        filename = sfi_dir + filename
 581    str = record.save_to_string()
 582    file(filename, "w").write(str)
 583    return
 584
 585 def load_record_from_file(filename):
 586    str = file(filename, "r").read()
 587    record = GeniRecord(string=str)
 588    return record
 589
 590 if __name__=="__main__":
 591    main()