build.sh

   1 #!/bin/bash
   2 #
   3 # Build bootstrapfs-*.tar.bz2, the reference image(s) for PlanetLab nodes.
   4 #
   5 # Mark Huang <mlhuang@cs.princeton.edu>
   6 # Marc E. Fiuczynski <mef@cs.princeton.edu>
   7 # Copyright (C) 2005-2007 The Trustees of Princeton University
   8 #
   9 # $Id$
  10 #
  11
  12 #
  13 # This will build the bootstrafs-*.tar.bz2 images, which comprises
  14 # the base root image on the node, then create the ${NAME} bootstrap image
  15 # which is made up of just the additional files needed for a ${NAME} nodegroup
  16 # node.
  17 #
  18
  19 PATH=/sbin:/bin:/usr/sbin:/usr/bin
  20
  21 # in the PlanetLab build environment, our dependencies are checked out
  22 # into directories at the same level as us.
  23 if [ -d ../build ] ; then
  24     PATH=$PATH:../build
  25     srcdir=../
  26 else
  27     echo "Error: Could not find ../build in $(pwd)"
  28     exit 1
  29 fi
  30
  31 export PATH
  32
  33 . build.common
  34
  35 pl_process_fedora_options $@
  36 shiftcount=$?
  37 shift $shiftcount
  38
  39 # expecting fcdistro and pldistro on the command line
  40 pldistro=$1; shift
  41 fcdistro=${pl_DISTRO_NAME}
  42
  43 # Do not tolerate errors
  44 set -e
  45
  46 # Some of the PlanetLab RPMs attempt to (re)start themselves in %post,
  47 # unless the installation is running inside the BootCD environment. We
  48 # would like to pretend that we are.
  49 export PL_BOOTCD=1
  50
  51 # Populate a minimal /dev and then the files for the base bootstrapfs content
  52 vref=${PWD}/base
  53 install -d -m 755 ${vref}
  54 pl_root_makedevs $vref
  55
  56 pkgsfile=$(pl_locateDistroFile ../build/ ${pldistro} bootstrapfs.pkgs)
  57 echo "* Building Bootstrapfs for ${pldistro}: $(date)"
  58 # -k = exclude kernel* packages
  59 pl_root_mkfedora ${vref} ${pldistro} $pkgsfile
  60
  61 # optionally invoke a post processing script after packages from
  62 # $pkgsfile have been installed
  63 postfile=$(pl_locateDistroFile ../build/ ${pldistro} bootstrapfs.post)
  64 [ -f $postfile ] && { echo "Running post install file $postfile" ; /bin/bash $postfile ${vref} || : ; }
  65
  66 displayed=""
  67
  68 # for distros that do not define bootstrapfs variants
  69 pkgs_count=$(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs 2> /dev/null | wc -l)
  70 [ $pkgs_count -gt 0 ] && for pkgs in $(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs); do
  71     NAME=$(basename $pkgs .pkgs | sed -e s,bootstrapfs-,,)
  72
  73     [ -z "$displayed" ] && echo "* Handling ${plistro} bootstrapfs extensions"
  74     displayed=true
  75
  76     extension_plain=bootstrapfs-${NAME}-${pl_DISTRO_ARCH}.tar
  77     extension_name=bootstrapfs-${NAME}-${pl_DISTRO_ARCH}.tar.bz2
  78
  79     echo "* Start Building $extension_name: $(date)"
  80
  81     # "Parse" out the packages and groups for yum
  82     packages=$(pl_getPackages $fcdistro $pldistro $pkgs)
  83     groups=$(pl_getGroups $fcdistro $pldistro $pkgs)
  84     echo "${NAME} has the following packages : ${packages}"
  85     echo "${NAME} has the following groups : ${groups}"
  86
  87     vdir=${PWD}/${pldistro}-filesystems/${NAME}
  88     rm -rf ${vdir}/*
  89     install -d -m 755 ${vdir}
  90
  91     # Clone the base reference to the bootstrap fs
  92     (cd ${vref} && find . | cpio -m -d -u -p ${vdir})
  93     rm -f ${vdir}/var/lib/rpm/__db*
  94
  95     # Install the system vserver specific packages
  96     [ -n "$packages" ] && yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y install $packages
  97     [ -n "$groups" ] && yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y groupinstall $groups
  98
  99     if [ -f "${vdir}/proc/cpuinfo" ] ; then
 100         echo "WARNING: some RPM appears to have mounted /proc in ${NAME}. Unmounting it!"
 101         umount ${vdir}/proc
 102     fi
 103
 104     # optionally invoke a post processing script after packages from
 105     # $pkgs have been installed
 106     postfile=$(pl_locateDistroFile ../build/ ${pldistro} bootstrapfs-${NAME}.post)
 107     [ -f $postfile ] && { echo "Running post install file $postfile" ; /bin/bash $postfile ${vdir} || : ; }
 108
 109     # Create a copy of the ${NAME} bootstrap filesystem w/o the base
 110     # bootstrap filesystem and make it smaller.  This is a three step
 111     # process:
 112
 113     # step 1: clean out yum cache to reduce space requirements
 114     yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y clean all
 115
 116     # step 2: figure out the new/changed files in ${vdir} vs. ${vref} and compute ${vdir}.changes
 117     rsync -anv ${vdir}/ ${vref}/ > ${vdir}.changes
 118     linecount=$(wc -l ${vdir}.changes | awk ' { print $1 } ')
 119     let headcount=$linecount-3
 120     let tailcount=$headcount-1
 121     # get rid of the last 3 lines of the rsync output
 122     head -${headcount} ${vdir}.changes > ${vdir}.changes.1
 123     # get rid of the first line of the rsync output
 124     tail -${tailcount} ${vdir}.changes.1 > ${vdir}.changes.2
 125     # post process rsync output to get rid of symbolic link embellish output
 126     awk ' { print $1 } ' ${vdir}.changes.2 > ${vdir}.changes
 127     rm -f ${vdir}.changes.*
 128
 129     # step 3: create the ${vdir} with just the list given in ${vdir}.changes
 130     install -d -m 755 ${vdir}-tmp/
 131     rm -rf ${vdir}-tmp/*
 132     (cd ${vdir} && cpio -m -d -u -p ${vdir}-tmp < ${vdir}.changes)
 133     rm -rf ${vdir}
 134     rm -f  ${vdir}.changes
 135     mv ${vdir}-tmp ${vdir}
 136
 137     echo -n "* tar $extension_name s=$(date +%H-%M-%S)"
 138     tar -cpf ${pldistro}-filesystems/$extension_plain -C ${vdir} .
 139     echo -n " m=$(date +%H-%M-%S) "
 140     bzip2 --compress --stdout ${pldistro}-filesystems/$extension_plain > ${pldistro}-filesystems/$extension_name
 141     echo " e=$(date +%H-%M-%S) "
 142 done
 143
 144 # Build the base Bootstrap filesystem
 145 # clean out yum cache to reduce space requirements
 146 yum -c ${vref}/etc/mkfedora-yum.conf --installroot=${vref} -y clean all
 147
 148 bootstrapfs_plain=bootstrapfs-${pldistro}-${pl_DISTRO_ARCH}.tar
 149 bootstrapfs_name=bootstrapfs-${pldistro}-${pl_DISTRO_ARCH}.tar.bz2
 150 echo -n "* tar $bootstrapfs_name s=$(date +%H-%M-%S)"
 151 tar -cpf $bootstrapfs_plain -C ${vref} .
 152 echo -n " m=$(date +%H-%M-%S) "
 153 bzip2 --compress --stdout $bootstrapfs_plain > $bootstrapfs_name
 154 echo " e=$(date +%H-%M-%S) "
 155
 156 exit 0