- if web server was configured but not enabled, script would think that
[myplc.git] / db-config
index 833657a..6a94941 100755 (executable)
--- a/db-config
+++ b/db-config
@@ -7,7 +7,7 @@
 # Mark Huang <mlhuang@cs.princeton.edu>
 # Copyright (C) 2006 The Trustees of Princeton University
 #
-# $Id: db-config,v 1.1 2006/06/23 20:33:44 mlhuang Exp $
+# $Id: db-config,v 1.21 2007/02/02 19:56:21 mlhuang Exp $
 #
 
 from plc_config import PLCConfiguration
@@ -53,9 +53,7 @@ def main():
     site = { 'site_id': 1,
              'name': plc['name'] + " Central",
              'abbreviated_name': plc['name'],
-             # XXX Default site slice_prefix/login_base must be "pl_"
-             # 'login_base': plc['slice_prefix'],
-             'login_base': "pl",
+             'login_base': plc['slice_prefix'],
              'is_public': False,
              'url': url,
              'max_slices': 100 }
@@ -69,10 +67,8 @@ def main():
                   site['name']
         sites = [site]
 
-    # Must call AdmUpdateSite() even after AdmAddSite() to update max_slices
+    # Must call UpdateSite() even after AddSite() to update max_slices
     site_id = sites[0]['site_id']
-    # XXX login_base cannot be updated
-    del site['login_base']
     UpdateSite(site_id, site)
 
     # The default administrator account must be associated with a site
@@ -88,7 +84,7 @@ def main():
     default_conf_files = [
         # NTP configuration
         {'enabled': True,
-         'source': 'PlanetLabConf/ntpconf.php',
+         'source': 'PlanetLabConf/ntp.conf.php',
          'dest': '/etc/ntp.conf',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -99,7 +95,7 @@ def main():
          'ignore_cmd_errors': False,
          'always_update': False},
         {'enabled': True,
-         'source': 'PlanetLabConf/ntptickers.php',
+         'source': 'PlanetLabConf/ntp/step-tickers.php',
          'dest': '/etc/ntp/step-tickers',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -131,7 +127,7 @@ def main():
          'file_owner': 'root',
          'file_group': 'root',
          'preinstall_cmd': '',
-         'postinstall_cmd': '',
+         'postinstall_cmd': '/bin/chmod 700 /root/.ssh',
          'error_cmd': '',
          'ignore_cmd_errors': False,
          'always_update': False},
@@ -142,7 +138,7 @@ def main():
          'file_owner': 'site_admin',
          'file_group': 'site_admin',
          'preinstall_cmd': 'grep -q site_admin /etc/passwd',
-         'postinstall_cmd': '',
+         'postinstall_cmd': '/bin/chmod 700 /home/site_admin/.ssh',
          'error_cmd': '',
          'ignore_cmd_errors': False,
          'always_update': False},
@@ -153,7 +149,7 @@ def main():
          'file_owner': 'pl_admin',
          'file_group': 'pl_admin',
          'preinstall_cmd': 'grep -q pl_admin /etc/passwd',
-         'postinstall_cmd': '',
+         'postinstall_cmd': '/bin/chmod 700 /home/pl_admin/.ssh',
          'error_cmd': '',
          'ignore_cmd_errors': False,
          'always_update': False},
@@ -254,9 +250,10 @@ def main():
          'ignore_cmd_errors': False,
          'always_update': False},
 
+        # XXX Required for old Node Manager
         # Node Manager configuration
         {'enabled': True,
-         'source': 'PlanetLabConf/pl_nm-v3.conf',
+         'source': 'PlanetLabConf/pl_nm.conf',
          'dest': '/etc/planetlab/pl_nm.conf',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -300,9 +297,10 @@ def main():
          'ignore_cmd_errors': False,
          'always_update': False},
 
+        # XXX Required for old Node Manager
         # Proper configuration
         {'enabled': True,
-         'source': 'PlanetLabConf/propd-NM-1.0.conf',
+         'source': 'PlanetLabConf/propd.conf',
          'dest': '/etc/proper/propd.conf',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -313,6 +311,7 @@ def main():
          'ignore_cmd_errors': True,
          'always_update': False},
 
+        # XXX Required for old Node Manager
         # Bandwidth cap
         {'enabled': True,
          'source': 'PlanetLabConf/bwlimit.php',
@@ -361,7 +360,7 @@ def main():
          'postinstall_cmd': '/sbin/iptables-restore --noflush < /etc/planetlab/blacklist',
          'error_cmd': '',
          'ignore_cmd_errors': True,
-         'always_update': True},
+         'always_update': False},
 
         # /etc/issue
         {'enabled': True,
@@ -387,11 +386,11 @@ def main():
          'postinstall_cmd': '/sbin/sysctl -e -p /etc/sysctl.conf',
          'error_cmd': '',
          'ignore_cmd_errors': False,
-         'always_update': True},
+         'always_update': False},
 
         # Sendmail configuration
         {'enabled': True,
-         'source': 'PlanetLabConf/alpha-sendmail.mc',
+         'source': 'PlanetLabConf/sendmail.mc',
          'dest': '/etc/mail/sendmail.mc',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -402,7 +401,7 @@ def main():
          'ignore_cmd_errors': False,
          'always_update': False},
         {'enabled': True,
-         'source': 'PlanetLabConf/alpha-sendmail.cf',
+         'source': 'PlanetLabConf/sendmail.cf',
          'dest': '/etc/mail/sendmail.cf',
          'file_permissions': '644',
          'file_owner': 'root',
@@ -452,7 +451,7 @@ def main():
 
         # sudo configuration
         {'enabled': True,
-         'source': 'PlanetLabConf/v3-sudoers.php',
+         'source': 'PlanetLabConf/sudoers',
          'dest': '/etc/sudoers',
          'file_permissions': '440',
          'file_owner': 'root',
@@ -475,7 +474,6 @@ def main():
 
     # Create/update default PlanetLabConf entries
     for default_conf_file in default_conf_files:
-        print "Considering", default_conf_file['dest']
         if default_conf_file['dest'] not in dests:
             AddConfFile(default_conf_file)
         else:
@@ -485,49 +483,85 @@ def main():
     # Setup default slice attribute types
     default_attribute_types = [
         # Slice type (only vserver is supported)
-        {'name': "plc_slice_type",
-         'description': "Type of slice rspec to be created",
+        {'name': "type",
+         'description': "Type of slice (e.g. vserver)",
          'min_role_id': 20},
 
+        # System slice
+        {'name': "system",
+         'description': "Is a default system slice (1) or not (0 or unset)",
+         'min_role_id': 10},
+
+        # Slice enabled (1) or suspended (0)
+        {'name': "enabled",
+         'description': "Slice enabled (1 or unset) or suspended (0)",
+         'min_role_id': 10},
+
+        # Slice reference image
+        {'name': "vref",
+         'description': "Reference image",
+         'min_role_id': 30},
+
         # Slice initialization script
         {'name': "initscript",
-         'description': "slice initialization script",
+         'description': "Slice initialization script",
          'min_role_id': 10},
 
-        # CPU share (general_prop_share is deprecated)
-        {'name': "general_prop_share",
-         'description': "general share",
+        # CPU share
+        {'name': "cpu_min",
+         'description': "Minimum CPU share (ms/s)",
          'min_role_id': 10},
-        {'name': "nm_cpu_share",
-         'description': "Number of CPU shares to be allocated to slice",
+        {'name': "cpu_share",
+         'description': "Number of CPU shares",
          'min_role_id': 10},
 
         # Bandwidth limits
-        {'name': "nm_net_min_rate",
-         'description': "Minimum network Tx bandwidth (bps)",
+        {'name': "net_min_rate",
+         'description': "Minimum bandwidth (kbps)",
          'min_role_id': 10},
-        {'name': "nm_net_max_rate",
-         'description': "Maximum network Tx bandwidth (bps)",
+        {'name': "net_max_rate",
+         'description': "Maximum bandwidth (kbps)",
          'min_role_id': 10},
-        {'name': "nm_net_avg_rate",
-         'description': "Average daily network Tx bandwidth (bps)",
+        {'name': "net_i2_min_rate",
+         'description': "Minimum bandwidth over I2 routes (kbps)",
          'min_role_id': 10},
-        {'name': "nm_net_exempt_min_rate",
-         'description': "Minimum network Tx bandwidth to Internet2 destinations (bps)",
+        {'name': "net_i2_max_rate",
+         'description': "Maximum bandwidth over I2 routes (kbps)",
          'min_role_id': 10},
-        {'name': "nm_net_exempt_max_rate",
-         'description': "Maximum network Tx bandwidth to Internet2 destinations (bps)",
+        {'name': "net_max_kbyte",
+         'description': "Maximum daily network Tx KByte limit.",
          'min_role_id': 10},
-        {'name': "nm_net_exempt avg_rate",
-         'description': "Average daily network Tx bandwidth to Internet2 destinations (bps)",
+        {'name': "net_thresh_kbyte",
+         'description': "KByte limit before warning and throttling.",
          'min_role_id': 10},
-
+        {'name': "net_i2_max_kbyte",
+         'description': "Maximum daily network Tx KByte limit to I2 hosts.",
+         'min_role_id': 10},
+        {'name': "net_i2_thresh_kbyte",
+         'description': "KByte limit to I2 hosts before warning and throttling.",
+         'min_role_id': 10},
+        {'name': "net_share",
+         'description': "Number of bandwidth shares",
+         'min_role_id': 10},
+        {'name': "net_i2_share",
+         'description': "Number of bandwidth shares over I2 routes",
+         'min_role_id': 10},
         # Disk quota
-        {'name': "nm_disk_quota",
+        {'name': "disk_max",
          'description': "Disk quota (1k disk blocks)",
          'min_role_id': 10},
 
+        # Proper operations
+        {'name': "proper_op",
+         'description': "Proper operation (e.g. bind_socket)",
+         'min_role_id': 10},
+
+        # XXX Required for old Node Manager
         # Special attributes applicable to Slice Creation Service (pl_conf) slice
+        {'name': "plc_slice_type",
+         'description': "Type of slice rspec to be created",
+         'min_role_id': 20},
         {'name': "plc_agent_version",
          'description': "Version of PLC agent (slice creation service) software to be deployed",
          'min_role_id': 10},
@@ -547,45 +581,318 @@ def main():
         else:
             UpdateSliceAttributeType(default_attribute_type['name'], default_attribute_type)
 
-    # Get contents of SSL public certificate used for signing slice tickets
-    try:
-        plc_ticket_pubkey = ""
-        for line in file(plc_ma_sa['ssl_key_pub']):
-            # Skip comments
-            if line[0:5] != "-----":
-                # XXX The embedded newlines matter, do not strip()!
-                plc_ticket_pubkey += line
-    except:
-        plc_ticket_pubkey = '%KEY%'
-
     # Create/update system slices
-    slices = [{'name': "pl_conf",
-               'description': "PlanetLab Slice Creation Service (SCS)",
-               'url': url,
-               'instantiation': "plc-instantiated",
-               # Renew forever
-               'expires': sys.maxint,
-               'attributes': {'plc_slice_type': "VServerSlice",
-                              'plc_agent_version': "1.0",
-                              'plc_ticket_pubkey': plc_ticket_pubkey}},
-              {'name': "pl_conf_vserverslice",
-               'description': "Default attributes for vserver slices",
-               'url': url,
-               'instantiation': "plc-instantiated",
-               # Renew forever
-               'expires': sys.maxint,
-               'attributes': {'nm_cpu_share': "32",
-                              'plc_slice_type': "VServerSlice",
-                              'nm_disk_quota': "5000000"}}]
-    for slice in slices:
-        try:
-            UpdateSlice(slice['name'], slice)
-        except:
-            AddSlice(slice)
+    legacy_slices = [
+        # XXX Required for old Node Manager
+        {'name': "pl_conf",
+         'description': "PlanetLab Slice Creation Service (SCS)",
+         'url': url,
+         'instantiation': "plc-instantiated",
+         # Renew forever
+         'expires': sys.maxint,
+         'attributes': [('plc_slice_type', "VServerSlice"),
+                        ('plc_agent_version', "1.0"),
+                        ('plc_ticket_pubkey', "")]},
+
+        # XXX Required for old Node Manager
+        {'name': "pl_conf_vserverslice",
+         'description': "Default attributes for vserver slices",
+         'url': url,
+         'instantiation': "plc-instantiated",
+         # Renew forever
+         'expires': sys.maxint,
+         'attributes': [('cpu_share', "32"),
+                        ('plc_slice_type', "VServerSlice"),
+                        ('disk_max', "5000000")]},
+        ]
+    default_slices = [
+         # PlanetFlow
+        {'name': plc['slice_prefix'] + "_netflow",
+         'description': "PlanetFlow Traffic Auditing Service",
+         'url': url,
+         'instantiation': "plc-instantiated",
+         # Renew forever
+         'expires': sys.maxint,
+         'attributes': [('system', "1"),
+                        ('vref', "planetflow"),
+                        ('proper_op', "open file=/etc/passwd, flags=r"),
+                        ('proper_op', "create_socket"),
+                        ('proper_op', "bind_socket")]},
+        ]
+         
+    ### xxx - to review once new node manager rolls out
+    # if PLC_SLICE_PREFIX is left to default - this is meant for the public PL only
+    if plc['slice_prefix'] == 'pl':
+        # create both legacy slices together with netflow through default_slices
+        default_slices += legacy_slices
+    else:
+        # we use another slice prefix : disable legacy slices if already created
+        for legacy_slice in legacy_slices:
+            try:
+                DeleteSlice(legacy_slice['name'])
+            except:
+                pass
+    
+    for default_slice in default_slices:
+        slices = GetSlices([default_slice['name']])
+        if slices:
+            slice = slices[0]
+            UpdateSlice(slice['slice_id'], default_slice)
+        else:
+            AddSlice(default_slice)
+            slice = GetSlices([default_slice['name']])[0]
+
         # Create/update all attributes
-        for attribute, value in slice['attributes'].iteritems():
-            AddSliceAttribute(slice['name'], attribute, value)
+        slice_attributes = []
+        if slice['slice_attribute_ids']:
+            # Delete unknown attributes
+            for slice_attribute in GetSliceAttributes(slice['slice_attribute_ids']):
+                if (slice_attribute['name'], slice_attribute['value']) \
+                   not in default_slice['attributes']:
+                    DeleteSliceAttribute(slice_attribute['slice_attribute_id'])
+                else:
+                    slice_attributes.append((slice_attribute['name'], slice_attribute['value']))
+
+        for (name, value) in default_slice['attributes']:
+            if (name, value) not in slice_attributes:
+                AddSliceAttribute(slice['name'], name, value)
+
+    installfailed = """
+Once the node meets these requirements, please reinitiate the install
+by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
+
+Click the Reinstall link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+
+    # Load default message templates
+    message_templates = [
+        {'message_id': 'Verify account',
+         'subject': "Verify account registration",
+         'template': """
+Please verify that you registered for a %(PLC_NAME)s account with the
+username %(email)s by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/persons/register.php?id=%(person_id)d&key=%(verification_key)s
+
+If you did not register for a %(PLC_NAME)s account, please ignore this
+message, or contact %(PLC_NAME)s Support <%(PLC_MAIL_SUPPORT_ADDRESS)s>.
+"""
+         },
+
+        {'message_id': 'New PI account',
+         'subject': "New PI account registration from %(first_name)s %(last_name)s <%(email)s> at %(site_name)s",
+         'template': """
+%(first_name)s %(last_name)s <%(email)s> has signed up for a new
+%(PLC_NAME)s account at %(site_name)s and has requested a PI role. PIs
+are responsible for enabling user accounts, creating slices, and
+ensuring that all users abide by the %(PLC_NAME)s Acceptable Use
+Policy.
+
+Only %(PLC_NAME)s administrators may enable new PI accounts. If you
+are a PI at %(site_name)s, please respond and indicate whether this
+registration is acceptable.
+
+To view the request, visit:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/persons/index.php?id=%(person_id)d
+"""
+         },
+
+        {'message_id': 'New account',
+         'subject': "New account registration from %(first_name)s %(last_name)s <%(email)s> at %(site_name)s",
+         'template': """
+%(first_name)s %(last_name)s <%(email)s> has signed up for a new
+%(PLC_NAME)s account at %(site_name)s and has requested the following
+roles: %(roles)s.
+
+To deny the request or enable the account, visit:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/persons/index.php?id=%(person_id)d
+"""
+         },
+
+        {'message_id': 'Password reset requested',
+         'subject': "Password reset requested",
+         'template': """
+Someone has requested that the password of your %(PLC_NAME)s account
+%(email)s be reset. If this person was you, you may continue with the
+reset by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/persons/reset_password.php?id=%(person_id)d&key=%(verification_key)s
+
+If you did not request that your password be reset, please contact
+%(PLC_NAME)s Support <%(PLC_MAIL_SUPPORT_ADDRESS)s>. Do not quote or
+otherwise include any of this text in any correspondence.
+"""
+         },
+
+        {'message_id': 'Password reset',
+         'subject': "Password reset",
+         'template': """
+The password of your %(PLC_NAME)s account %(email)s has been
+temporarily reset to:
+
+%(password)s
+
+Please change it at as soon as possible by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/persons/index.php?id=%(person_id)d
+
+If you did not request that your password be reset, please contact
+%(PLC_NAME)s Support <%(PLC_MAIL_SUPPORT_ADDRESS)s>. Do not quote or
+otherwise include any of this text in any correspondence.
+"""
+         },
+
+        # Boot Manager messages
+        {'message_id': "installfinished",
+         'subject': "%(hostname)s completed installation",
+         'template': """
+%(hostname)s just completed installation.
+
+The node should be usable in a couple of minutes if installation was
+successful.
+"""
+         },
+
+        {'message_id': "insufficientdisk",
+         'subject': "%(hostname)s does not have sufficient disk space",
+         'template': """
+%(hostname)s failed to boot because it does not have sufficent disk
+space, or because its disk controller was not recognized.
+
+Please replace the current disk or disk controller or install
+additional disks to meet the current hardware requirements.
+""" + installfailed
+         },
+
+        {'message_id': "insufficientmemory",
+         'subject': "%(hostname)s does not have sufficient memory",
+         'template': """
+%(hostname)s failed to boot because it does not have sufficent
+memory.
+
+Please install additional memory to meet the current hardware
+requirements.
+""" + installfailed
+         },
+
+        {'message_id': "authfail",
+         'subject': "%(hostname)s failed to authenticate",
+         'template':
+"""
+%(hostname)s failed to authenticate for the following reason:
+
+%(fault)s
+
+The most common reason for authentication failure is that the
+authentication key stored in the node configuration file, does not
+match the key on record. Regenerate the node configuration file by
+visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
+
+Click the Configuration File link, and save the downloaded file as
+plnode.txt on either a floppy disk or a USB flash drive. Click the
+Boot link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+         },
+
+        {'message_id': "notinstalled",
+         'subject': "%(hostname)s is not installed",
+         'template':
+"""
+%(hostname)s failed to boot because it has either never been
+installed, or the installation is corrupt.
+
+Please check if the hard drive has failed, and replace it if so. After
+doing so, visit:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
+
+Click the Reinstall link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+         },
+
+        {'message_id': "hostnamenotresolve",
+         'subject': "%(hostname)s does not resolve",
+         'template':
+"""
+%(hostname)s failed to boot because its hostname does not resolve, or
+does resolve but does not match its configured IP address.
+
+Please check the network settings for the node, especially its
+hostname, IP address, and DNS servers, by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
 
+Correct any errors, click the Reinstall link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+         },
+
+        # XXX N.B. I don't think these are necessary, since there's no
+        # way that the Boot Manager would even be able to contact the
+        # API to send these messages.
+
+        {'message_id': "noconfig",
+         'subject': "%(hostname)s does not have a configuration file",
+         'template': """
+%(hostname)s failed to boot because it could not find a PlanetLab
+configuration file. To create this file, visit:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
+
+Click the Configuration File link, and save the downloaded file as
+plnode.txt on either a floppy disk or a USB flash drive. Click the
+Reinstall link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+         },
+
+        {'message_id': "nodetectednetwork",
+         'subject': "%(hostname)s has unsupported network hardware",
+         'template':
+"""
+
+%(hostname)s failed to boot because it has network hardware that is
+unsupported by the current production kernel. If it has booted
+successfully in the past, please try re-installing it by visiting:
+
+https://%(PLC_WWW_HOST)s:%(PLC_WWW_SSL_PORT)d/db/nodes/?id=%(node_id)d
+
+Click the Reinstall link, then reboot the node.
+
+If you have already performed this step and are still receiving this
+message, please reply so that we may investigate the problem.
+"""
+         },
+        ]
+
+    for template in message_templates:
+       messages = GetMessages([template['message_id']])
+       if not messages:
+            AddMessage(template)       
 
 if __name__ == '__main__':
     main()
+
+# Local variables:
+# tab-width: 4
+# mode: python
+# End: