planetstack/syndicate_observer/steps/sync_volumeslice.py

   1 #!/usr/bin/python
   2
   3 import os
   4 import sys
   5 import base64
   6 import traceback
   7
   8 if __name__ == "__main__":
   9     # for testing
  10     if os.getenv("OPENCLOUD_PYTHONPATH"):
  11         sys.path.append( os.getenv("OPENCLOUD_PYTHONPATH") )
  12     else:
  13         print >> sys.stderr, "No OPENCLOUD_PYTHONPATH variable set.  Assuming that OpenCloud is in PYTHONPATH"
  14
  15     os.environ.setdefault("DJANGO_SETTINGS_MODULE", "planetstack.settings")
  16
  17 from django.db.models import F, Q
  18 from planetstack.config import Config
  19 from observer.syncstep import SyncStep
  20 from core.models import Service, Slice
  21
  22 import logging
  23 from logging import Logger
  24 logging.basicConfig( format='[%(levelname)s] [%(module)s:%(lineno)d] %(message)s' )
  25 logger = logging.getLogger()
  26 logger.setLevel( logging.INFO )
  27
  28 # point to planetstack
  29 if __name__ != "__main__":
  30     if os.getenv("OPENCLOUD_PYTHONPATH") is not None:
  31         sys.path.insert(0, os.getenv("OPENCLOUD_PYTHONPATH"))
  32     else:
  33         logger.warning("No OPENCLOUD_PYTHONPATH set; assuming your PYTHONPATH works")
  34
  35 from syndicate_storage.models import VolumeSlice,VolumeAccessRight,Volume
  36
  37 # syndicatelib will be in stes/..
  38 parentdir = os.path.join(os.path.dirname(__file__),"..")
  39 sys.path.insert(0,parentdir)
  40
  41 import syndicatelib
  42
  43
  44 class SyncVolumeSlice(SyncStep):
  45     provides=[VolumeSlice]
  46     requested_interval=0
  47
  48     def __init__(self, **args):
  49         SyncStep.__init__(self, **args)
  50
  51     def fetch_pending(self):
  52         return VolumeSlice.objects.filter(Q(enacted__lt=F('updated')) | Q(enacted=None))
  53
  54     def sync_record(self, vs):
  55
  56         logger.info("Sync VolumeSlice for (%s, %s)" % (vs.volume_id.name, vs.slice_id.name))
  57
  58         # extract arguments...
  59         user_email = vs.slice_id.creator.email
  60         slice_name = vs.slice_id.name
  61         volume_name = vs.volume_id.name
  62         syndicate_caps = syndicatelib.opencloud_caps_to_syndicate_caps( vs.cap_read_data, vs.cap_write_data, vs.cap_host_data )
  63         RG_port = vs.RG_portnum
  64         UG_port = vs.UG_portnum
  65         slice_secret = None
  66
  67         config = syndicatelib.get_config()
  68         try:
  69            observer_secret = config.SYNDICATE_OPENCLOUD_SECRET
  70            RG_closure = config.SYNDICATE_RG_CLOSURE
  71            observer_pkey_path = config.SYNDICATE_PRIVATE_KEY
  72            syndicate_url = config.SYNDICATE_SMI_URL
  73
  74         except Exception, e:
  75            traceback.print_exc()
  76            logger.error("syndicatelib config is missing one or more of the following: SYNDICATE_OPENCLOUD_SECRET, SYNDICATE_RG_CLOSURE, SYNDICATE_PRIVATE_KEY, SYNDICATE_SMI_URL")
  77            raise e
  78
  79         # get secrets...
  80         try:
  81            observer_pkey_pem = syndicatelib.get_private_key_pem( observer_pkey_path )
  82            assert observer_pkey_pem is not None, "Failed to load Observer private key"
  83
  84            # get/create the slice secret
  85            slice_secret = syndicatelib.get_or_create_slice_secret( observer_pkey_pem, slice_name )
  86            assert slice_secret is not None, "Failed to get or create slice secret for %s" % slice_name
  87
  88         except Exception, e:
  89            traceback.print_exc()
  90            logger.error("Failed to load secret credentials")
  91            raise e
  92
  93         # make sure there's a slice-controlled Syndicate user account for the slice owner
  94         slice_principal_id = syndicatelib.make_slice_principal_id( user_email, slice_name )
  95
  96         try:
  97             rc, user = syndicatelib.ensure_principal_exists( slice_principal_id, observer_secret, is_admin=False, max_UGs=1100, max_RGs=1 )
  98             assert rc is True, "Failed to ensure principal %s exists (rc = %s,%s)" % (slice_principal_id, rc, user)
  99         except Exception, e:
 100             traceback.print_exc()
 101             logger.error('Failed to ensure slice user %s exists' % slice_principal_id)
 102             raise e
 103
 104         # grant the slice-owning user the ability to provision UGs in this Volume, and also provision for the user the (single) RG the slice will instantiate in each VM.
 105         try:
 106             rc = syndicatelib.setup_volume_access( slice_principal_id, volume_name, syndicate_caps, RG_port, observer_secret, RG_closure=RG_closure )
 107             assert rc is True, "Failed to set up Volume access for slice %s in %s" % (slice_principal_id, volume_name)
 108
 109         except Exception, e:
 110             traceback.print_exc()
 111             logger.error("Failed to set up Volume access for slice %s in %s" % (slice_principal_id, volume_name))
 112             raise e
 113
 114         # generate and save slice credentials....
 115         try:
 116             slice_cred = syndicatelib.save_slice_credentials( observer_pkey_pem, syndicate_url, slice_principal_id, volume_name, slice_name, observer_secret, slice_secret, UG_port, existing_user=user )
 117             assert slice_cred is not None, "Failed to generate slice credential for %s in %s" % (slice_principal_id, volume_name )
 118
 119         except Exception, e:
 120             traceback.print_exc()
 121             logger.error("Failed to generate slice credential for %s in %s" % (slice_principal_id, volume_name))
 122             raise e
 123
 124         # ... and push them all out.
 125         try:
 126             rc = syndicatelib.push_credentials_to_slice( slice_name, slice_cred )
 127             assert rc is True, "Failed to push credentials to slice %s for volume %s" % (slice_name, volume_name)
 128
 129         except Exception, e:
 130             traceback.print_exc()
 131             logger.error("Failed to push slice credentials to %s for volume %s" % (slice_name, volume_name))
 132             raise e
 133
 134         return True
 135
 136
 137 if __name__ == "__main__":
 138     sv = SyncVolumeSlice()
 139
 140     # first, set all VolumeSlice to not-enacted so we can test
 141     for v in VolumeSlice.objects.all():
 142        v.enacted = None
 143        v.save()
 144
 145     # NOTE: for resetting only
 146     if len(sys.argv) > 1 and sys.argv[1] == "reset":
 147        sys.exit(0)
 148
 149     recs = sv.fetch_pending()
 150
 151     for rec in recs:
 152         if rec.slice_id.creator is None:
 153            print "Ignoring slice %s, since it has no creator" % (rec.slice_id)
 154            continue
 155
 156         sv.sync_record( rec )
 157