build.sh

   1 #!/bin/bash
   2 #
   3 # Build PlanetLab-Bootstrap.tar.bz2, the reference image for PlanetLab
   4 # nodes.
   5 #
   6 # Mark Huang <mlhuang@cs.princeton.edu>
   7 # Marc E. Fiuczynski <mef@cs.princeton.edu>
   8 # Copyright (C) 2005-2007 The Trustees of Princeton University
   9 #
  10 # $Id: buildnode.sh,v 1.12.6.1 2007/08/30 20:09:20 mef Exp $
  11 #
  12
  13
  14 #
  15 # This will build the Planetlab-Bootstrap.tar.bz2, which comprises
  16 # the base root image on the node, then create the ${NAME} bootstrap image
  17 # which is made up of just the additional files needed for a ${NAME} nodegroup
  18 # node.
  19 #
  20
  21 PATH=/sbin:/bin:/usr/sbin:/usr/bin
  22
  23 # In both a normal CVS environment and a PlanetLab RPM
  24 # build environment, all of our dependencies are checked out into
  25 # directories at the same level as us.
  26 if [ -d ../build ] ; then
  27     PATH=$PATH:../build
  28     srcdir=../
  29 else
  30     echo "Error: Could not find $(cd ../.. && pwd -P)/build/"
  31     exit 1
  32 fi
  33
  34 export PATH
  35
  36 . build.common
  37
  38 pl_process_fedora_options $@
  39 shiftcount=$?
  40 shift $shiftcount
  41
  42 # pldistro expected as $1 - defaults to planetlab
  43 pldistro=planetlab
  44 [ -n "$@" ] && pldistro=$1
  45
  46 # Do not tolerate errors
  47 set -e
  48
  49 # Some of the PlanetLab RPMs attempt to (re)start themselves in %post,
  50 # unless the installation is running inside the BootCD environment. We
  51 # would like to pretend that we are.
  52 export PL_BOOTCD=1
  53
  54 echo "+++++++++++++pkgsfile=$pkgsfile (and -k)"
  55
  56 # Populate a minimal /dev and then the files for the base PlanetLab-Bootstrap content
  57 vref=${PWD}/base
  58 install -d -m 755 ${vref}
  59 pl_root_makedevs $vref
  60
  61 pkgsfile=$(pl_locateDistroFile ../build/ ${pldistro} bootstrapfs.pkgs)
  62 # -k = exclude kernel* packages
  63 pl_root_mkfedora -k -f $pkgsfile ${vref}
  64
  65 # for distros that do not define bootstrapfs variants
  66 shopt -s nullglob
  67 pkgs_count=$(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs 2> /dev/null | wc -l)
  68 [ $pkgs_count -gt 0 ] && for pkgs in $(ls ../build/config.${pldistro}/bootstrapfs-*.pkgs); do
  69     NAME=$(basename $pkgs .pkgs | sed -e s,bootstrapfs-,,)
  70
  71     echo "--------START BUILDING PlanetLab-Bootstrap-${NAME}: $(date)"
  72
  73     # "Parse" out the packages and groups for yum
  74     packages=$(pl_getPackages ${pl_DISTRO_NAME} $pkgs)
  75     groups=$(pl_getGroups ${pl_DISTRO_NAME} $pkgs)
  76     echo "${NAME} has the following packages : ${packages}"
  77     echo "${NAME} has the following groups : ${groups}"
  78
  79     vdir=${PWD}/${pldistro}-filesystems/${NAME}
  80     rm -rf ${vdir}/*
  81     install -d -m 755 ${vdir}
  82
  83     # Clone the base reference to the bootstrap fs
  84     (cd ${vref} && find . | cpio -m -d -u -p ${vdir})
  85     rm -f ${vdir}/var/lib/rpm/__db*
  86
  87     # Install the system vserver specific packages
  88     [ -n "$packages" ] && yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y install $packages
  89     [ -n "$groups" ] && yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y groupinstall $groups
  90
  91     if [ -f "${vdir}/proc/cpuinfo" ] ; then
  92         echo "WARNING: some RPM appears to have mounted /proc in ${NAME}. Unmounting it!"
  93         umount ${vdir}/proc
  94     fi
  95
  96     # Remove unneeded services
  97     for service in util-vserver vprocunhide vservers-default; do
  98         chroot ${vdir} /sbin/chkconfig $service off
  99     done
 100
 101     # Create a copy of the ${NAME} bootstrap filesystem w/o the base
 102     # bootstrap filesystem and make it smaller.  This is a three step
 103     # process:
 104
 105     # step 1: clean out yum cache to reduce space requirements
 106     yum -c ${vdir}/etc/yum.conf --installroot=${vdir} -y clean all
 107
 108     # step 2: figure out the new/changed files in ${vdir} vs. ${vref} and compute ${vdir}.changes
 109     rsync -anv ${vdir}/ ${vref}/ > ${vdir}.changes
 110     linecount=$(wc -l ${vdir}.changes | awk ' { print $1 } ')
 111     let headcount=$linecount-3
 112     let tailcount=$headcount-1
 113     # get rid of the last 3 lines of the rsync output
 114     head -${headcount} ${vdir}.changes > ${vdir}.changes.1
 115     # get rid of the first line of the rsync output
 116     tail -${tailcount} ${vdir}.changes.1 > ${vdir}.changes.2
 117     # post process rsync output to get rid of symbolic link embellish output
 118     awk ' { print $1 } ' ${vdir}.changes.2 > ${vdir}.changes
 119     rm -f ${vdir}.changes.*
 120
 121     # step 3: create the ${vdir} with just the list given in ${vdir}.changes
 122     install -d -m 755 ${vdir}-tmp/
 123     rm -rf ${vdir}-tmp/*
 124     (cd ${vdir} && cpio -m -d -u -p ${vdir}-tmp < ${vdir}.changes)
 125     rm -rf ${vdir}
 126     rm -f  ${vdir}.changes
 127     mv ${vdir}-tmp ${vdir}
 128
 129     echo "--------STARTING tar'ing PlanetLab-Bootstrap-${NAME}.tar.bz2: $(date)"
 130     tar -cpjf ${pldistro}-filesystems/PlanetLab-Bootstrap-${NAME}.tar.bz2 -C ${vdir} .
 131     echo "--------FINISHED tar'ing PlanetLab-Bootstrap-${NAME}.tar.bz2: $(date)"
 132     echo "--------DONE BUILDING PlanetLab-Bootstrap-${NAME}: $(date)"
 133 done
 134
 135 # Build the base Bootstrap filesystem
 136 # clean out yum cache to reduce space requirements
 137 yum -c ${vref}/etc/yum.conf --installroot=${vdir} -y clean all
 138
 139 # Disable splaying of cron.
 140 echo > ${vref}/etc/sysconfig/crontab
 141
 142 # Add site_admin account
 143 chroot ${vref} /usr/sbin/useradd -p "" -u 502 -m site_admin
 144
 145 echo "--------STARTING tar'ing PlanetLab-Bootstrap.tar.bz2: $(date)"
 146 tar -cpjf PlanetLab-Bootstrap.tar.bz2 -C ${vref} .
 147 echo "--------FINISHED tar'ing PlanetLab-Bootstrap.tar.bz2: $(date)"
 148
 149 exit 0