uses the extension tag rather than nodegroups
[bootmanager.git] / source / steps / InstallBootstrapFS.py
1 #!/usr/bin/python
2
3 # Copyright (c) 2003 Intel Corporation
4 # All rights reserved.
5 #
6 # Copyright (c) 2004-2007 The Trustees of Princeton University
7 # All rights reserved.
8 # expected /proc/partitions format
9
10 import os, sys, string
11 import popen2
12 import shutil
13
14 from Exceptions import *
15 import utils
16 import BootServerRequest
17 import BootAPI
18
19
20 def Run( vars, log ):
21     """
22     Download enough files to run rpm and yum from a chroot in
23     the system image directory
24     
25     Expect the following variables from the store:
26     SYSIMG_PATH          the path where the system image will be mounted
27     PARTITIONS           dictionary of generic part. types (root/swap)
28                          and their associated devices.
29     SUPPORT_FILE_DIR     directory on the boot servers containing
30                          scripts and support files
31     NODE_ID              the id of this machine
32     
33     Sets the following variables:
34     TEMP_BOOTCD_PATH     where the boot cd is remounted in the temp
35                          path
36     ROOT_MOUNTED         set to 1 when the the base logical volumes
37                          are mounted.
38     """
39
40     log.write( "\n\nStep: Install: bootstrapfs tarball.\n" )
41
42     # make sure we have the variables we need
43     try:
44         SYSIMG_PATH= vars["SYSIMG_PATH"]
45         if SYSIMG_PATH == "":
46             raise ValueError, "SYSIMG_PATH"
47
48         PARTITIONS= vars["PARTITIONS"]
49         if PARTITIONS == None:
50             raise ValueError, "PARTITIONS"
51
52         SUPPORT_FILE_DIR= vars["SUPPORT_FILE_DIR"]
53         if SUPPORT_FILE_DIR == None:
54             raise ValueError, "SUPPORT_FILE_DIR"
55
56         NODE_ID= vars["NODE_ID"]
57         if NODE_ID == "":
58             raise ValueError, "NODE_ID"
59
60     except KeyError, var:
61         raise BootManagerException, "Missing variable in vars: %s\n" % var
62     except ValueError, var:
63         raise BootManagerException, "Variable in vars, shouldn't be: %s\n" % var
64
65
66     try:
67         # make sure the required partitions exist
68         val= PARTITIONS["root"]
69         val= PARTITIONS["swap"]
70         val= PARTITIONS["vservers"]
71     except KeyError, part:
72         log.write( "Missing partition in PARTITIONS: %s\n" % part )
73         return 0   
74
75     bs_request= BootServerRequest.BootServerRequest()
76     
77     log.write( "turning on swap space\n" )
78     utils.sysexec( "swapon %s" % PARTITIONS["swap"], log )
79
80     # make sure the sysimg dir is present
81     utils.makedirs( SYSIMG_PATH )
82
83     log.write( "mounting root file system\n" )
84     utils.sysexec( "mount -t ext3 %s %s" % (PARTITIONS["root"],SYSIMG_PATH), log )
85
86     log.write( "mounting vserver partition in root file system\n" )
87     utils.makedirs( SYSIMG_PATH + "/vservers" )
88     utils.sysexec( "mount -t ext3 %s %s/vservers" % (PARTITIONS["vservers"],
89                                                      SYSIMG_PATH), log )
90
91     vars['ROOT_MOUNTED']= 1
92
93     # which extensions are we part of ?
94     utils.breakpoint("Getting the extension tag on node")
95     try:
96         extension_tag = BootAPI.call_api_function(vars, "GetNodeExtension", ([NODE_ID]))
97         extensions = extension_tag.split()
98
99     except:
100         log.write("WARNING : Failed to query the extension tag - installing only core software\n")
101         extensions = []
102     
103     # see also GetBootMedium in PLCAPI that does similar things
104     # figuring the default node family:
105     # (1) look at /etc/planetlab/nodefamily on the bootcd
106     # (2) if that fails, set to planetlab-i386
107     try:
108         (pldistro,arch) = file("/etc/planetlab/nodefamily").read().strip().split("-")
109     except:
110         # what arch should be used for this node
111         utils.breakpoint("Getting the arch tag on node")
112         pldistro="planetlab"
113         default_arch="i386"
114         try:
115             arch = BootAPI.call_api_function(vars, "GetNodeArch", ([NODE_ID]))
116         except:
117             log.write("WARNING : Failed to query node arch - using %(default_arch)s\n"%locals())
118             arch = default_arch
119
120     bootstrapfs_names = [ pldistro ] + extensions
121
122     # download and extract support tarball for this step, which has
123     # everything we need to successfully run
124
125     # we first try to find a tarball, if it is not found we use yum instead
126     yum_extensions = []
127     # download and extract support tarball for this step, 
128     for bootstrapfs_name in bootstrapfs_names:
129         tarball = "bootstrapfs-%s-%s.tar.bz2"%(bootstrapfs_name,arch)
130         source_file= "%s/%s" % (SUPPORT_FILE_DIR,tarball)
131         dest_file= "%s/%s" % (SYSIMG_PATH, tarball)
132
133         # 30 is the connect timeout, 14400 is the max transfer time in
134         # seconds (4 hours)
135         log.write( "downloading %s\n" % source_file )
136         result= bs_request.DownloadFile( source_file, None, None,
137                                          1, 1, dest_file,
138                                          30, 14400)
139         if result:
140             log.write( "extracting %s in %s\n" % (dest_file,SYSIMG_PATH) )
141             result= utils.sysexec( "tar -C %s -xpjf %s" % (SYSIMG_PATH,dest_file), log )
142             log.write( "Done\n")
143             utils.removefile( dest_file )
144         else:
145             # the main tarball is required
146             if bootstrapfs_name == pldistro:
147                 raise BootManagerException, "Unable to download main tarball %s from server." % \
148                     source_file
149             else:
150                 log.write("tarball for %s-%s not found, scheduling a yum attempt\n"%(bootstrapfs_name,arch))
151                 yum_extensions.append(bootstrapfs_name)
152
153     # copy resolv.conf from the base system into our temp dir
154     # so DNS lookups work correctly while we are chrooted
155     log.write( "Copying resolv.conf to temp dir\n" )
156     utils.sysexec( "cp /etc/resolv.conf %s/etc/" % SYSIMG_PATH, log )
157
158     # Copy the boot server certificate(s) and GPG public key to
159     # /usr/boot in the temp dir.
160     log.write( "Copying boot server certificates and public key\n" )
161
162     if os.path.exists("/usr/boot"):
163         utils.makedirs(SYSIMG_PATH + "/usr")
164         shutil.copytree("/usr/boot", SYSIMG_PATH + "/usr/boot")
165     elif os.path.exists("/usr/bootme"):
166         utils.makedirs(SYSIMG_PATH + "/usr/boot")
167         boot_server = file("/usr/bootme/BOOTSERVER").readline().strip()
168         shutil.copy("/usr/bootme/cacert/" + boot_server + "/cacert.pem",
169                     SYSIMG_PATH + "/usr/boot/cacert.pem")
170         file(SYSIMG_PATH + "/usr/boot/boot_server", "w").write(boot_server)
171         shutil.copy("/usr/bootme/pubring.gpg", SYSIMG_PATH + "/usr/boot/pubring.gpg")
172         
173     # For backward compatibility
174     if os.path.exists("/usr/bootme"):
175         utils.makedirs(SYSIMG_PATH + "/mnt/cdrom")
176         shutil.copytree("/usr/bootme", SYSIMG_PATH + "/mnt/cdrom/bootme")
177
178     # Import the GPG key into the RPM database so that RPMS can be verified
179     utils.makedirs(SYSIMG_PATH + "/etc/pki/rpm-gpg")
180     utils.sysexec("gpg --homedir=/root --export --armor" \
181                   " --no-default-keyring --keyring %s/usr/boot/pubring.gpg" \
182                   " >%s/etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab" % (SYSIMG_PATH, SYSIMG_PATH))
183     utils.sysexec("chroot %s rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-planetlab" % \
184                   SYSIMG_PATH)
185
186     # the yum config has changed entirely; 
187     # in addition yum installs have more or less never worked - let's forget about this
188     # maybe NodeManager could profitably do the job instead
189     if yum_extensions:
190         log.write('WARNING : yum installs for node extensions are not supported anymore')
191
192     return 1