fix how bm gets tags - test node now installs in 1'40'' for download+extract
[bootmanager.git] / source / steps / InstallBootstrapFS.py
index cc7ed60..f7e9be0 100644 (file)
@@ -1,4 +1,4 @@
-#!/usr/bin/python2
+#!/usr/bin/python
 
 # Copyright (c) 2003 Intel Corporation
 # All rights reserved.
@@ -10,6 +10,7 @@
 import os, sys, string
 import popen2
 import shutil
+import traceback 
 
 from Exceptions import *
 import utils
@@ -90,55 +91,87 @@ def Run( vars, log ):
 
     vars['ROOT_MOUNTED']= 1
 
-    # check which nodegroups we are part of (>=4.0)
-    extensions = [ "__main__" ]
-    utils.breakpoint("querying nodegroups for loading extensions")
+    # which extensions are we part of ?
+    utils.breakpoint("Getting the extension tag on node")
+    extensions = []
     try:
-#        for (k,v) in vars.iteritems():
-#            print "vars['%s']='%s'"%(k,v)
-#        print 'NODE_ID=%d'%NODE_ID
-        nodes = BootAPI.call_api_function(vars, "GetNodes", ([NODE_ID], ['nodegroup_ids']))
-        node = nodes[0]
-        nodegroups = BootAPI.call_api_function(vars, "GetNodeGroups", (node['nodegroup_ids'], ['name']))
-        extensions += [ nodegroup['name'].lower() for nodegroup in nodegroups]
+        extension_tag = BootAPI.call_api_function(vars, "GetNodeExtensions", (NODE_ID,) )
+        if extension_tag:
+            extensions = extension_tag.split()
 
     except:
-        log.write("WARNING : Failed to query nodegroups - installing only core software\n")
-        pass
+        log.write("WARNING : Failed to query tag 'extensions'")
+        log.write(traceback.format_exc())
+
+    if not extensions:
+        log.write("installing only core software\n")
+    
+    # check if the plain-bootstrapfs tag is set
+    download_suffix=".tar.bz2"
+    untar_option="-j"
+    try:
+        if BootAPI.call_api_function (vars, "GetNodePlainBootstrapfs", (NODE_ID,) ):
+            download_suffix=".tar"
+            untar_option=""
+    except:
+        log.write("WARNING : Failed to query tag 'plain-bootstrapfs'")
+        log.write(traceback.format_exc())
+
+    if not untar_option:
+        log.write("Using uncompressed bootstrapfs images\n")
+
+    # see also GetBootMedium in PLCAPI that does similar things
+    # figuring the default node family:
+    # (1) look at /etc/planetlab/nodefamily on the bootcd
+    # (2) if that fails, set to planetlab-i386
+    try:
+        (pldistro,arch) = file("/etc/planetlab/nodefamily").read().strip().split("-")
+    except:
+        # what arch should be used for this node
+        utils.breakpoint("Getting the arch tag on node")
+        pldistro="planetlab"
+        default_arch="i386"
+        try:
+            arch = BootAPI.call_api_function(vars, "GetNodeArch", (NODE_ID,) )
+        except:
+            log.write("WARNING : Failed to query tag 'arch'")
+            log.write(traceback.format_exc())
+            arch = default_arch
+
+    log.write ("Using arch=%s\n"%arch)
+
+    bootstrapfs_names = [ pldistro ] + extensions
 
     # download and extract support tarball for this step, which has
     # everything we need to successfully run
 
     # we first try to find a tarball, if it is not found we use yum instead
     yum_extensions = []
-    # download and extract support tarball for this step, which has 
-    for extension in extensions:
-        if extension == "__main__":
-            tarball = "PlanetLab-Bootstrap.tar.bz2"
-        else:
-            tarball = "PlanetLab-Bootstrap-%s.tar.bz2"%extension
+    # download and extract support tarball for this step, 
+    for bootstrapfs_name in bootstrapfs_names:
+        tarball = "bootstrapfs-%s-%s%s"%(bootstrapfs_name,arch,download_suffix)
         source_file= "%s/%s" % (SUPPORT_FILE_DIR,tarball)
         dest_file= "%s/%s" % (SYSIMG_PATH, tarball)
 
         # 30 is the connect timeout, 14400 is the max transfer time in
         # seconds (4 hours)
-        log.write( "downloading %s\n" % tarball )
+        log.write( "downloading %s\n" % source_file )
         result= bs_request.DownloadFile( source_file, None, None,
                                          1, 1, dest_file,
                                          30, 14400)
         if result:
             log.write( "extracting %s in %s\n" % (dest_file,SYSIMG_PATH) )
-            result= utils.sysexec( "tar -C %s -xpjf %s" % (SYSIMG_PATH,dest_file), log )
+            result= utils.sysexec( "tar -C %s -xpf %s %s" % (SYSIMG_PATH,dest_file,untar_option), log )
             log.write( "Done\n")
             utils.removefile( dest_file )
         else:
             # the main tarball is required
-            if extension == "__main__":
-                raise BootManagerException, "Unable to download %s from server." % \
+            if bootstrapfs_name == pldistro:
+                raise BootManagerException, "Unable to download main tarball %s from server." % \
                     source_file
             else:
-                log.write("tarball for %s not found, scheduling a yum attempt\n"%extension)
-                yum_extensions.append(extension)
+                log.write("tarball for %s-%s not found, scheduling a yum attempt\n"%(bootstrapfs_name,arch))
+                yum_extensions.append(bootstrapfs_name)
 
     # copy resolv.conf from the base system into our temp dir
     # so DNS lookups work correctly while we are chrooted
@@ -173,36 +206,10 @@ def Run( vars, log ):
     utils.sysexec("chroot %s rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab" % \
                   SYSIMG_PATH)
 
-    # yum-based extensions:
-    # before we can use yum, yum.conf needs to get installed
-    # xxx this should probably depend on the node's nodegroup, at least among alpha, beta ..
-    # however there does not seem to be a clear interface for that in yum.conf.php
-    # so let's keep it simple for the bootstrap phase, as yum.conf will get overwritten anyway
+    # the yum config has changed entirely; 
+    # in addition yum installs have more or less never worked - let's forget about this
+    # maybe NodeManager could profitably do the job instead
     if yum_extensions:
-        getDict = {'gpgcheck':1}
-        url="PlanetLabConf/yum.conf.php"
-        dest="%s/etc/yum.conf"%SYSIMG_PATH
-        log.write("downloading bootstrap yum.conf\n")
-        yumconf=bs_request.DownloadFile (url,getDict,None,
-                                         1, 1, dest)
-        if not yumconf:
-            log.write("Cannot fetch %s from %s - aborting yum extensions"%(dest,url))
-            # failures here should not stop the install process
-            return 1
-
-        # yum also needs /proc to be mounted 
-        # do it here so as to not break the tarballs-only case
-        cmd = "mount -t proc none %s/proc" % SYSIMG_PATH
-        utils.sysexec( cmd, log )
-        # we now just need to yum groupinstall everything
-        for extension in yum_extensions:
-            yum_command="yum groupinstall extension%s"%extension
-            utils.breakpoint ("before chroot %s %s"%(SYSIMG_PATH,yum_command))
-            log.write("Attempting to install extension %s through yum\n"%extension)
-            utils.sysexec_noerr("chroot %s %s" % (SYSIMG_PATH,yum_command))
-            # xxx how to check that this completed correctly ?
-        # let's cleanup
-        utils.sysexec_noerr( "umount %s/proc" % SYSIMG_PATH, log )
-        utils.breakpoint ("Done with yum extensions")
+        log.write('WARNING : yum installs for node extensions are not supported anymore')
 
     return 1