- switch to using ext2 vs. ext3.
[bootmanager.git] / source / steps / InstallBootstrapFS.py
index 088b68d..2124f72 100644 (file)
@@ -1,4 +1,4 @@
-#!/usr/bin/python2
+#!/usr/bin/python
 
 # Copyright (c) 2003 Intel Corporation
 # All rights reserved.
@@ -10,6 +10,7 @@
 import os, sys, string
 import popen2
 import shutil
+import traceback 
 
 from Exceptions import *
 import utils
@@ -72,7 +73,7 @@ def Run( vars, log ):
         log.write( "Missing partition in PARTITIONS: %s\n" % part )
         return 0   
 
-    bs_request= BootServerRequest.BootServerRequest()
+    bs_request= BootServerRequest.BootServerRequest(vars)
     
     log.write( "turning on swap space\n" )
     utils.sysexec( "swapon %s" % PARTITIONS["swap"], log )
@@ -81,69 +82,90 @@ def Run( vars, log ):
     utils.makedirs( SYSIMG_PATH )
 
     log.write( "mounting root file system\n" )
-    utils.sysexec( "mount -t ext3 %s %s" % (PARTITIONS["root"],SYSIMG_PATH), log )
+    utils.sysexec( "mount -t ext2 %s %s" % (PARTITIONS["root"],SYSIMG_PATH), log )
 
     log.write( "mounting vserver partition in root file system\n" )
     utils.makedirs( SYSIMG_PATH + "/vservers" )
-    utils.sysexec( "mount -t ext3 %s %s/vservers" % (PARTITIONS["vservers"],
+    utils.sysexec( "mount -t ext2 %s %s/vservers" % (PARTITIONS["vservers"],
                                                      SYSIMG_PATH), log )
 
     vars['ROOT_MOUNTED']= 1
 
-    # check which nodegroups we are part of (>=4.0)
-    utils.breakpoint("querying nodegroups for loading extensions")
+    # which extensions are we part of ?
+    utils.breakpoint("Checking for the extension(s) tags")
+    extensions = []
     try:
-        nodes = BootAPI.call_api_function(vars, "GetNodes", ([NODE_ID], ['nodegroup_ids']))
-        node = nodes[0]
-        nodegroups = BootAPI.call_api_function(vars, "GetNodeGroups", (node['nodegroup_ids'], ['name']))
-        nodegroupnames = [ nodegroup['name'].lower() for nodegroup in nodegroups ]
+        extension_tag = BootAPI.call_api_function(vars, "GetNodeExtensions", (NODE_ID,) )
+        if extension_tag:
+            extensions = extension_tag.split()
+
+    except:
+        log.write("WARNING : Failed to query tag 'extensions'\n")
+        log.write(traceback.format_exc())
 
+    if not extensions:
+        log.write("installing only core software\n")
+    
+    # check if the plain-bootstrapfs tag is set
+    download_suffix=".tar.bz2"
+    untar_option="-j"
+    try:
+        if BootAPI.call_api_function (vars, "GetNodePlainBootstrapfs", (NODE_ID,) ):
+            download_suffix=".tar"
+            untar_option=""
     except:
-        log.write("WARNING : Failed to query nodegroups - installing only core software\n")
-        nodegroupnames = []
-        pass
+        log.write("WARNING : Failed to query tag 'plain-bootstrapfs'\n")
+        log.write(traceback.format_exc())
+
+    if not untar_option:
+        log.write("Using uncompressed bootstrapfs images\n")
 
     # see also GetBootMedium in PLCAPI that does similar things
     # figuring the default node family:
-    # (1) look at /etc/planetlab/nodefamily on the bootcd
-    # (2) otherwise use GetPlcRelease()
-    # (3) if everything else fails, set to planetlab-i386
+    # (1) get node's tags 'arch' and 'pldistro'
+    # (2) if unsuccessful search /etc/planetlab/nodefamily on the bootcd
+    # (3) if that fails, set to planetlab-i386
+
     try:
-        (pldistro,arch) = file("/etc/planetlab/nodefamily").read().split("-")
+        api_pldistro = BootAPI.call_api_function(vars, "GetNodePldistro", (NODE_ID,) )
     except:
-        # fetch the pldistro our myplc was built upon
-        try:
-            plc_release = BootAPI.call_api_function (vars, "GetPlcRelease",())
-            pldistro = plc_release ['build']['planetlab-distro']
-            arch = plc_release ['build']['target-arch']
-        except:
-            (pldistro,arch) = ("planetlab","i386")
-
-    # scan nodegroupnames - temporary, as most of this nodegroup-based info 
-    # should be more adequately defined in the nodes data model
-    known_archs = [ 'i386', 'x86_64' ]
-    extensions = []
-    # (1) if groupname == arch, nodefamily becomes pldistro-groupname
-    # (2) else if groupname looks like pldistro-arch, it is taken as a nodefamily
-    # (3) otherwise groupname is taken as an extension
-    for nodegroupname in nodegroupnames:
-        if nodegroupname in known_archs:
-            arch = nodegroupname
-        else:
-            is_nodefamily = False
-            for known_arch in known_archs:
-                try:
-                    (api_pldistro,api_arch)=nodegroupname.split("-")
-                    # sanity check
-                    if api_arch != known_arch: raise Exception,"mismatch"
-                    (pldistro,arch) = (api_pldistro, api_arch)
-                    is_nodefamily = True
-                    break
-                except:
-                    pass
-            if not is_nodefamily:
-                extensions.append(nodegroupname)
-            
+        log.write("WARNING : Failed to query tag 'pldistro'\n")
+        api_pldistro = None
+    try:
+        api_arch = BootAPI.call_api_function(vars, "GetNodeArch", (NODE_ID,) )
+    except:
+        log.write("WARNING : Failed to query tag 'arch'\n")
+        api_arch = None
+    try:
+        (etc_pldistro,etc_arch) = file("/etc/planetlab/nodefamily").read().strip().split("-")
+    except:
+        log.write("WARNING : Failed to parse /etc/planetlab/nodefamily\n")
+        (etc_pldistro,etc_arch)=(None,None)
+    default_pldistro="planetlab"
+    default_arch="i386"
+
+    if api_pldistro:
+        pldistro = api_pldistro
+        log.write ("Using pldistro from pldistro API tag\n")
+    elif etc_pldistro:
+        pldistro = etc_pldistro
+        log.write ("Using pldistro from /etc/planetlab/nodefamily\n")
+    else:
+        pldistro = default_pldistro
+        log.write ("Using default pldistro\n")
+
+    if api_arch:
+        arch = api_arch
+        log.write ("Using arch from arch API tag\n")
+    elif etc_arch:
+        arch = etc_arch
+        log.write ("Using arch from /etc/planetlab/nodefamily\n")
+    else:
+        arch = default_arch
+        log.write ("Using default arch\n")
+
+    log.write ("Using nodefamily=%s-%s\n"%(pldistro,arch))
+
     bootstrapfs_names = [ pldistro ] + extensions
 
     # download and extract support tarball for this step, which has
@@ -153,7 +175,7 @@ def Run( vars, log ):
     yum_extensions = []
     # download and extract support tarball for this step, 
     for bootstrapfs_name in bootstrapfs_names:
-        tarball = "bootstrapfs-%s-%s.tar.bz2"%(bootstrapfs_name,arch)
+        tarball = "bootstrapfs-%s-%s%s"%(bootstrapfs_name,arch,download_suffix)
         source_file= "%s/%s" % (SUPPORT_FILE_DIR,tarball)
         dest_file= "%s/%s" % (SYSIMG_PATH, tarball)
 
@@ -165,7 +187,7 @@ def Run( vars, log ):
                                          30, 14400)
         if result:
             log.write( "extracting %s in %s\n" % (dest_file,SYSIMG_PATH) )
-            result= utils.sysexec( "tar -C %s -xpjf %s" % (SYSIMG_PATH,dest_file), log )
+            result= utils.sysexec( "tar -C %s -xpf %s %s" % (SYSIMG_PATH,dest_file,untar_option), log )
             log.write( "Done\n")
             utils.removefile( dest_file )
         else:
@@ -207,39 +229,12 @@ def Run( vars, log ):
     utils.sysexec("gpg --homedir=/root --export --armor" \
                   " --no-default-keyring --keyring %s/usr/boot/pubring.gpg" \
                   " >%s/etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab" % (SYSIMG_PATH, SYSIMG_PATH))
-    utils.sysexec("chroot %s rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab" % \
-                  SYSIMG_PATH)
-
-    # yum-based extensions:
-    # before we can use yum, yum.conf needs to get installed
-    # xxx this should probably depend on the node's nodegroup, at least among alpha, beta ..
-    # however there does not seem to be a clear interface for that in yum.conf.php
-    # so let's keep it simple for the bootstrap phase, as yum.conf will get overwritten anyway
+    utils.sysexec_chroot(SYSIMG_PATH, "rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab")
+
+    # the yum config has changed entirely; 
+    # in addition yum installs have more or less never worked - let's forget about this
+    # maybe NodeManager could profitably do the job instead
     if yum_extensions:
-        getDict = {'gpgcheck':1,'arch':arch}
-        url="PlanetLabConf/yum.conf.php"
-        dest="%s/etc/yum.conf"%SYSIMG_PATH
-        log.write("downloading bootstrap yum.conf\n")
-        yumconf=bs_request.DownloadFile (url,getDict,None,
-                                         1, 1, dest)
-        if not yumconf:
-            log.write("Cannot fetch %s from %s - aborting yum extensions"%(dest,url))
-            # failures here should not stop the install process
-            return 1
-
-        # yum also needs /proc to be mounted 
-        # do it here so as to not break the tarballs-only case
-        cmd = "mount -t proc none %s/proc" % SYSIMG_PATH
-        utils.sysexec( cmd, log )
-        # we now just need to yum groupinstall everything
-        for extension in yum_extensions:
-            yum_command="yum groupinstall extension%s"%extension
-            utils.breakpoint ("before chroot %s %s"%(SYSIMG_PATH,yum_command))
-            log.write("Attempting to install extension %s through yum\n"%extension)
-            utils.sysexec_noerr("chroot %s %s" % (SYSIMG_PATH,yum_command))
-            # xxx how to check that this completed correctly ?
-        # let's cleanup
-        utils.sysexec_noerr( "umount %s/proc" % SYSIMG_PATH, log )
-        utils.breakpoint ("Done with yum extensions")
+        log.write("WARNING : yum installs for node extensions are not supported anymore\n")
 
     return 1