Setting tag nodemanager-1.8-39
[nodemanager.git] / sm.py
diff --git a/sm.py b/sm.py
index eb45362..ca21d48 100644 (file)
--- a/sm.py
+++ b/sm.py
@@ -7,12 +7,15 @@ also to make inter-sliver resource loans.  The sliver manager is also
 responsible for handling delegation accounts.
 """
 
+# $Id$
+
 try: from bwlimit import bwmin, bwmax
 except ImportError: bwmin, bwmax = 8, 1000*1000*1000
 import accounts
 import api
+import api_calls
 import database
-import delegate
+import controller
 import logger
 import sliver_vs
 import string,re
@@ -20,10 +23,9 @@ import string,re
 
 DEFAULT_ALLOCATION = {
     'enabled': 1,
-    'whitelist': 1,
     # CPU parameters
-    'cpu_min': 0, # ms/s
-    'cpu_share': 32, # proportional share
+    'cpu_pct': 0, # percent CPU reserved
+    'cpu_share': 1, # proportional share
     # bandwidth parameters
     'net_min_rate': bwmin / 1000, # kbps
     'net_max_rate': bwmax / 1000, # kbps
@@ -32,14 +34,16 @@ DEFAULT_ALLOCATION = {
     'net_i2_min_rate': bwmin / 1000, # kbps
     'net_i2_max_rate': bwmax / 1000, # kbps
     'net_i2_share': 1, # proportional share
-    'net_max_kbyte' : 5662310, #Kbyte
-    'net_thresh_kbyte': 4529848, #Kbyte
-    'net_i2_max_kbyte': 17196646,
-    'net_i2_thresh_kbyte': 13757316,
+    'net_max_kbyte' : 10546875, #Kbyte
+    'net_thresh_kbyte': 9492187, #Kbyte
+    'net_i2_max_kbyte': 31640625,
+    'net_i2_thresh_kbyte': 28476562,
     # disk space limit
-    'disk_max': 5000000, # bytes
+    'disk_max': 10000000, # bytes
     # capabilities
     'capabilities': '',
+    # IP addresses
+    'ip_addresses': '0.0.0.0',
 
     # NOTE: this table is further populated with resource names and
     # default amounts via the start() function below.  This probably
@@ -49,56 +53,17 @@ DEFAULT_ALLOCATION = {
 
 start_requested = False  # set to True in order to request that all slivers be started
 
-
-def whitelistfilter():
-    """creates a regex (re) object based on the slice definitions
-       in /etc/planetlab/whitelist"""
-
-    whitelist = []
-    whitelist_re = re.compile("([a-zA-Z0-9\*]+)_([a-zA-Z0-9\*]+)")
-    linecount = 0
-    try:
-        f = open('/etc/planetlab/whitelist')
-        for line in f.readlines():
-            linecount = linecount+1
-            line = line.strip()
-            # skip comments
-            if len(line)>0 and line[0]=='#':
-                continue
-            m = whitelist_re.search(line)
-            if m == None:
-                logger.log("skipping line #%d in /etc/planetlab/whitelist" % linecount)
-                continue
-            else:
-                whitelist.append(m.group())
-        f.close()
-    except IOError,e:
-        logger.log("IOError -> %s" % e)
-        logger.log("No whitelist file found; setting slice white list to *_*")
-        whitelist = ["*_*"]
-
-    white_re_list = None
-    for w in whitelist:
-        w = string.replace(w,'*','([a-zA-Z0-9]+)')
-        if white_re_list == None:
-            white_re_list = w
-        else:
-            white_re_list = "(%s)|(%s)" % (white_re_list,w)
-
-    if white_re_list == None:
-        white_re_list = "([a-zA-Z0-9]+)_([a-zA-Z0-9]+)"
-
-    logger.log("whitelist regex = %s" % white_re_list)
-    whitelist_re = re.compile(white_re_list)
-    return whitelist_re
-
 @database.synchronized
-def GetSlivers(data, fullupdate=True):
+def GetSlivers(data, config = None, plc=None, fullupdate=True):
     """This function has two purposes.  One, convert GetSlivers() data
     into a more convenient format.  Two, even if no updates are coming
     in, use the GetSlivers() heartbeat as a cue to scan for expired
     slivers."""
 
+    logger.verbose("Entering sm:GetSlivers with fullupdate=%r"%fullupdate)
+    for key in data.keys():
+        logger.verbose('GetSlivers key : ' + key)
+
     node_id = None
     try:
         f = open('/etc/planetlab/node_id')
@@ -113,74 +78,65 @@ def GetSlivers(data, fullupdate=True):
             if network['is_primary'] and network['bwlimit'] is not None:
                 DEFAULT_ALLOCATION['net_max_rate'] = network['bwlimit'] / 1000
 
-### Emulab-specific hack begins here
-#    emulabdelegate = {
-#        'instantiation': 'plc-instantiated',
-#        'keys': '''ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5Rimz6osRvlAUcaxe0YNfGsLL4XYBN6H30V3l/0alZOSXbGOgWNdEEdohwbh9E8oYgnpdEs41215UFHpj7EiRudu8Nm9mBI51ARHA6qF6RN+hQxMCB/Pxy08jDDBOGPefINq3VI2DRzxL1QyiTX0jESovrJzHGLxFTB3Zs+Y6CgmXcnI9i9t/zVq6XUAeUWeeXA9ADrKJdav0SxcWSg+B6F1uUcfUd5AHg7RoaccTldy146iF8xvnZw0CfGRCq2+95AU9rbMYS6Vid8Sm+NS+VLaAyJaslzfW+CAVBcywCOlQNbLuvNmL82exzgtl6fVzutRFYLlFDwEM2D2yvg4BQ== root@boss.emulab.net''',
- #       'name': 'utah_elab_delegate',
- #       'timestamp': data['timestamp'],
- #       'type': 'delegate',
- #       'vref': None
- #       }
- #   database.db.deliver_record(emulabdelegate)
-### Emulab-specific hack ends here
-
-
-    initscripts_by_id = {}
+    # Take intscripts (global) returned by API, make dict
+    initscripts = {}
     for is_rec in data['initscripts']:
-        initscripts_by_id[str(is_rec['initscript_id'])] = is_rec['script']
+        logger.verbose("initscript: %s" % is_rec['name'])
+        initscripts[str(is_rec['name'])] = is_rec['script']
 
-    # remove slivers not on the whitelist
-    whitelist_regex = whitelistfilter()
-    
     for sliver in data['slivers']:
+        logger.verbose("sm:GetSlivers in slivers loop")
         rec = sliver.copy()
         rec.setdefault('timestamp', data['timestamp'])
 
         # convert attributes field to a proper dict
         attr_dict = {}
-        for attr in rec.pop('attributes'): attr_dict[attr['name']] = attr['value']
+        for attr in rec.pop('attributes'): attr_dict[attr['tagname']] = attr['value']
+        rec.setdefault("attributes", attr_dict)
 
         # squash keys
         keys = rec.pop('keys')
         rec.setdefault('keys', '\n'.join([key_struct['key'] for key_struct in keys]))
 
+        ## 'Type' isn't returned by GetSlivers() for whatever reason.  We're overloading
+        ## instantiation here, but i suppose its the same thing when you think about it. -FA
         # Handle nm controller here
-        rec.setdefault('type', attr_dict.get('type', 'sliver.VServer'))
-        if rec['instantiation'] == 'nm-controller':
-        # type isn't returned by GetSlivers() for whatever reason.  We're overloading
-        # instantiation here, but i suppose its the ssame thing when you think about it. -FA
-            rec['type'] = 'delegate'
+        if rec['instantiation'].lower() == 'nm-controller':
+            rec.setdefault('type', attr_dict.get('type', 'controller.Controller'))
+        else:
+            rec.setdefault('type', attr_dict.get('type', 'sliver.VServer'))
 
+        # set the vserver reference.  If none, set to default.
         rec.setdefault('vref', attr_dict.get('vref', 'default'))
-        is_id = attr_dict.get('plc_initscript_id')
-        if is_id is not None and is_id in initscripts_by_id:
-            rec['initscript'] = initscripts_by_id[is_id]
+
+        # set initscripts.  first check if exists, if not, leave empty.
+        is_name = attr_dict.get('initscript')
+        if is_name is not None and is_name in initscripts:
+            rec['initscript'] = initscripts[is_name]
         else:
             rec['initscript'] = ''
+
+        # set delegations, if none, set empty
         rec.setdefault('delegations', attr_dict.get("delegations", []))
 
         # extract the implied rspec
         rspec = {}
         rec['rspec'] = rspec
         for resname, default_amt in DEFAULT_ALLOCATION.iteritems():
-            try: amt = int(attr_dict[resname])
-            except KeyError: amt = default_amt
-            except ValueError:
-                if type(default_amt) is type('str'):
-                    amt = attr_dict[resname]
-                else:
-                    amt = default_amt
+            try:
+                t = type(default_amt)
+                amt = t.__new__(t, attr_dict[resname])
+            except (KeyError, ValueError): amt = default_amt
             rspec[resname] = amt
 
-        # disable sliver
-        m = whitelist_regex.search(sliver['name'])
-        if m == None:
-            rspec['whitelist'] = 0
-            rspec['enabled'] = 0
+        # add in sysctl attributes into the rspec
+        for key in attr_dict.keys():
+            if key.find("sysctl.") == 0:
+                rspec[key] = attr_dict[key]
 
         database.db.deliver_record(rec)
     if fullupdate: database.db.set_min_timestamp(data['timestamp'])
+    # slivers are created here.
     database.db.sync()
     accounts.Startingup = False
 
@@ -192,8 +148,8 @@ def start(options, config):
         DEFAULT_ALLOCATION[resname]=default_amt
         
     accounts.register_class(sliver_vs.Sliver_VS)
-    accounts.register_class(delegate.Delegate)
+    accounts.register_class(controller.Controller)
     accounts.Startingup = options.startup
     database.start()
-    api.deliver_ticket = deliver_ticket
+    api_calls.deliver_ticket = deliver_ticket
     api.start()