build.sh

   1 #!/bin/bash
   2 #
   3 # Build bootstrapfs-*.tar.bz2, the reference image(s) for PlanetLab nodes.
   4 #
   5 # Mark Huang <mlhuang@cs.princeton.edu>
   6 # Marc E. Fiuczynski <mef@cs.princeton.edu>
   7 # Copyright (C) 2005-2007 The Trustees of Princeton University
   8 #
   9 # $Id: buildnode.sh,v 1.12.6.1 2007/08/30 20:09:20 mef Exp $
  10 #
  11
  12
  13 #
  14 # This will build the bootstrafs-*.tar.bz2 images, which comprises
  15 # the base root image on the node, then create the ${NAME} bootstrap image
  16 # which is made up of just the additional files needed for a ${NAME} nodegroup
  17 # node.
  18 #
  19
  20 PATH=/sbin:/bin:/usr/sbin:/usr/bin
  21
  22 # in the PlanetLab build environment, our dependencies are checked out
  23 # into directories at the same level as us.
  24 if [ -d ../build ] ; then
  25     PATH=$PATH:../build
  26     srcdir=../
  27 else
  28     echo "Error: Could not find ../build in $(pwd)"
  29     exit 1
  30 fi
  31
  32 export PATH
  33
  34 . build.common
  35
  36 pl_process_fedora_options $@
  37 shiftcount=$?
  38 shift $shiftcount
  39
  40 # expecting fcdistro and pldistro on the command line
  41 pldistro=$1; shift
  42 fcdistro=${pl_DISTRO_NAME}
  43
  44 # Do not tolerate errors
  45 set -e
  46
  47 # Some of the PlanetLab RPMs attempt to (re)start themselves in %post,
  48 # unless the installation is running inside the BootCD environment. We
  49 # would like to pretend that we are.
  50 export PL_BOOTCD=1
  51
  52 # Populate a minimal /dev and then the files for the base bootstrapfs content
  53 vref=${PWD}/base
  54 install -d -m 755 ${vref}
  55 pl_root_makedevs $vref
  56
  57 pkgsfile=$(pl_locateDistroFile ../build/ ${pldistro} bootstrapfs.pkgs)
  58 echo "--------START BUILDING PlanetLab-Bootstrap: $(date)"
  59 # -k = exclude kernel* packages
  60 pl_root_mkfedora ${vref} ${pldistro} $pkgsfile
  61
  62 # optionally invoke a post processing script after packages from
  63 # $pkgsfile have been installed
  64 pkgsdir=$(dirname $pkgsfile)
  65 pkgsname=$(basename $pkgsfile .pkgs)
  66 postfile="${pkgsdir}/${pkgsname}.post"
  67 [ -f $postfile ] && /bin/bash $postfile ${vref} || :
  68
  69 once=1
  70
  71 # for distros that do not define bootstrapfs variants
  72 pkgs_count=$(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs 2> /dev/null | wc -l)
  73 [ $pkgs_count -gt 0 ] && for pkgs in $(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs); do
  74     NAME=$(basename $pkgs .pkgs | sed -e s,bootstrapfs-,,)
  75
  76     if [ $once -eq 1 ] ; then
  77         once=0
  78         echo "--------CREATING PlanetLab-Bootstrap SUBPACKAGES"
  79     fi
  80
  81     echo "--------START BUILDING PlanetLab-Bootstrap-${NAME}: $(date)"
  82
  83     # "Parse" out the packages and groups for yum
  84     packages=$(pl_getPackages $fcdistro $pldistro $pkgs)
  85     groups=$(pl_getGroups $fcdistro $pldistro $pkgs)
  86     echo "${NAME} has the following packages : ${packages}"
  87     echo "${NAME} has the following groups : ${groups}"
  88
  89     vdir=${PWD}/${pldistro}-filesystems/${NAME}
  90     rm -rf ${vdir}/*
  91     install -d -m 755 ${vdir}
  92
  93     # Clone the base reference to the bootstrap fs
  94     (cd ${vref} && find . | cpio -m -d -u -p ${vdir})
  95     rm -f ${vdir}/var/lib/rpm/__db*
  96
  97     # Install the system vserver specific packages
  98     [ -n "$packages" ] && yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y install $packages
  99     [ -n "$groups" ] && yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y groupinstall $groups
 100
 101     if [ -f "${vdir}/proc/cpuinfo" ] ; then
 102         echo "WARNING: some RPM appears to have mounted /proc in ${NAME}. Unmounting it!"
 103         umount ${vdir}/proc
 104     fi
 105
 106     # optionally invoke a post processing script after packages from
 107     # $pkgs have been installed
 108     pkgsdir=$(dirname $pkgs)
 109     pkgsname=$(basename $pkgs .pkgs)
 110     postfile="${pkgsdir}/${pkgsname}.post"
 111     [ -f $postfile ] && /bin/bash $postfile ${vdir} || :
 112
 113
 114     # Create a copy of the ${NAME} bootstrap filesystem w/o the base
 115     # bootstrap filesystem and make it smaller.  This is a three step
 116     # process:
 117
 118     # step 1: clean out yum cache to reduce space requirements
 119     yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y clean all
 120
 121     # step 2: figure out the new/changed files in ${vdir} vs. ${vref} and compute ${vdir}.changes
 122     rsync -anv ${vdir}/ ${vref}/ > ${vdir}.changes
 123     linecount=$(wc -l ${vdir}.changes | awk ' { print $1 } ')
 124     let headcount=$linecount-3
 125     let tailcount=$headcount-1
 126     # get rid of the last 3 lines of the rsync output
 127     head -${headcount} ${vdir}.changes > ${vdir}.changes.1
 128     # get rid of the first line of the rsync output
 129     tail -${tailcount} ${vdir}.changes.1 > ${vdir}.changes.2
 130     # post process rsync output to get rid of symbolic link embellish output
 131     awk ' { print $1 } ' ${vdir}.changes.2 > ${vdir}.changes
 132     rm -f ${vdir}.changes.*
 133
 134     # step 3: create the ${vdir} with just the list given in ${vdir}.changes
 135     install -d -m 755 ${vdir}-tmp/
 136     rm -rf ${vdir}-tmp/*
 137     (cd ${vdir} && cpio -m -d -u -p ${vdir}-tmp < ${vdir}.changes)
 138     rm -rf ${vdir}
 139     rm -f  ${vdir}.changes
 140     mv ${vdir}-tmp ${vdir}
 141
 142     echo "--------STARTING tar'ing bootstrapfs-${NAME}-${pl_DISTRO_ARCH}.tar.bz2: $(date)"
 143     tar -cpjf ${pldistro}-filesystems/bootstrapfs-${NAME}-${pl_DISTRO_ARCH}.tar.bz2 -C ${vdir} .
 144     echo "--------FINISHED tar'ing bootstrapfs-${NAME}-${pl_DISTRO_ARCH}.tar.bz2: $(date)"
 145     echo "--------DONE BUILDING bootstrapfs-${NAME}-${pl_DISTRO_ARCH}: $(date)"
 146 done
 147
 148 # Build the base Bootstrap filesystem
 149 # clean out yum cache to reduce space requirements
 150 yum -c ${vref}/etc/yum.conf --installroot=${vref} -y clean all
 151
 152 echo "--------STARTING tar'ing bootstrapfs-${pldistro}-${pl_DISTRO_ARCH}.tar.bz2: $(date)"
 153 tar -cpjf bootstrapfs-${pldistro}-${pl_DISTRO_ARCH}.tar.bz2 -C ${vref} .
 154 echo "--------FINISHED tar'ing bootstrapfs-${pldistro}-${pl_DISTRO_ARCH}.tar.bz2: $(date)"
 155 echo "--------DONE BUILDING PlanetLab-Bootstrap: $(date)"
 156
 157 exit 0