build.sh

   1 #!/bin/bash
   2 #
   3 # Builds all reference image for slices.  To optimize for space it
   4 # will only build a complete base reference image and then
   5 # builds "stub" images that are just contain the additional files
   6 # and/or changes for a given reference image.  This is done to shrink
   7 # the RPM itself.  These will be pieced back together with the base
   8 # image by an init script that is installed on the node.
   9 #
  10 # Mark Huang <mlhuang@cs.princeton.edu>
  11 # Marc E. Fiuczynski <mef@cs.princeton.edu>
  12 # Copyright (C) 2004-2007 The Trustees of Princeton University
  13 #
  14
  15 PATH=/sbin:/bin:/usr/sbin:/usr/bin
  16
  17 # In both a normal CVS environment and a PlanetLab RPM
  18 # build environment, all of our dependencies are checked out into
  19 # directories at the same level as us.
  20 if [ -d ../build ] ; then
  21     PATH=$PATH:../build
  22     srcdir=..
  23 else
  24     echo "Error: Could not find $(cd .. && pwd -P)/build/"
  25     exit 1
  26 fi
  27
  28 export PATH
  29
  30 # build.common comes from the build module
  31 . build.common
  32
  33 pl_process_fedora_options $@
  34 shiftcount=$?
  35 shift $shiftcount
  36
  37 # pldistro expected as $1
  38 pldistro=$1 ; shift
  39 # this comes from spec's slicefamily
  40 slicefamily=$1; shift
  41
  42 # Do not tolerate errors
  43 set -e
  44
  45 # Path's to the reference images and stubs
  46 # This is inherited from util-vservers
  47 vrefdir=$PWD/vservers/.vref
  48 vref=${vrefdir}/${slicefamily}
  49 # stubs are created in a subdir per slicefamily
  50 vstubdir=$PWD/vservers/.vstub/${slicefamily}
  51
  52 # Create paths
  53 install -d -m 755 ${vref}
  54 install -d -m 755 ${vstubdir}
  55
  56 # Some of the PlanetLab RPMs attempt to (re)start themselves in %post,
  57 # unless the installation is running inside the BootCD environment. We
  58 # would like to pretend that we are.
  59 export PL_BOOTCD=1
  60
  61 # Populate image with sliceimage packages
  62 pl_root_makedevs ${vref}
  63 # locate the packages and groups file
  64 pkgsfile=$(pl_locateDistroFile ../build/ ${pldistro} sliceimage.pkgs)
  65 pl_root_mkfedora ${vref} ${pldistro} $pkgsfile
  66 pl_root_tune_image ${vref}
  67
  68 systemslice_count=$(ls ../build/config.${pldistro}/sliceimage-*.pkgs 2> /dev/null | wc -l)
  69 [ $systemslice_count -gt 0 ] && for systemslice in $(ls ../build/config.${pldistro}/sliceimage-*.pkgs) ; do
  70     NAME=$(basename $systemslice .pkgs | sed -e s,sliceimage-,,)
  71
  72     echo "--------START BUILDING system sliceimage ${NAME}: $(date)"
  73
  74     # "Parse" out the packages and groups for yum
  75     systempackages=$(pl_getPackages ${pl_DISTRO_NAME} $pldistro $systemslice)
  76     systemgroups=$(pl_getGroups ${pl_DISTRO_NAME} $pldistro $systemslice)
  77     systempips=$(pl_getPips ${pl_DISTRO_NAME} $pldistro $systemslice)
  78     systemgems=$(pl_getGems ${pl_DISTRO_NAME} $pldistro $systemslice)
  79
  80     vdir=${vstubdir}/${NAME}
  81     rm -rf ${vdir}/*
  82     install -d -m 755 ${vdir}
  83
  84     # Clone the base sliceimage reference to the system sliceimage reference
  85     (cd ${vref} && find . | cpio -m -d -u -p ${vdir})
  86     rm -f ${vdir}/var/lib/rpm/__db*
  87
  88     # Communicate to the initialization script from which vref this stub was cloned
  89     echo ${slicefamily} > ${vdir}.cloned
  90
  91     # Install the system sliceimage specific packages
  92     [ -n "$systempackages" ] && yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y install $systempackages
  93     for group_plus in $systemgroups; do
  94         group=$(echo $group_plus | sed -e "s,+++, ,g")
  95         yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y groupinstall "$group"
  96     done
  97
  98     # this requires pip to be available in sliceimage at that point
  99     # fedora and debian -> python-pip
 100     # on fedora the command is called pip-python (sigh.)
 101     for pip in $systempips; do
 102         chroot ${vdir} pip -v install $pip || chroot ${vdir} pip-python -v $pip || :
 103     done
 104
 105     # same for gems; comes with ruby in fedora but ruby-devel is most likely a good thing
 106     # we add --no-rdoc --no-ri to keep it low
 107     for gem in $systemgems; do
 108         chroot ${vdir} gem install --no-rdoc --no-ri $gem || :
 109     done
 110
 111     # search e.g. sliceimage-planetflow.post in config.<pldistro> or in config.planetlab otherwise
 112     postfile=$(pl_locateDistroFile ../build/ ${pldistro} sliceimage-${NAME}.post || : )
 113
 114     [ -f $postfile ] && /bin/bash $postfile ${vdir} || :
 115
 116     # Create a copy of the system sliceimage w/o the sliceimage reference files and make it smaller.
 117     # This is a three step process:
 118
 119     # step 1: clean out yum cache to reduce space requirements
 120     yum -c ${vdir}/etc/mkfedora-yum.conf --installroot=${vdir} -y clean all
 121
 122     # step 2: figure out the new/changed files in ${vdir} vs. ${vref} and compute ${vdir}.changes
 123     rsync -anv ${vdir}/ ${vref}/ > ${vdir}.changes
 124     linecount=$(wc -l ${vdir}.changes | awk ' { print $1 } ')
 125     let headcount=$linecount-3
 126     let tailcount=$headcount-1
 127     # get rid of the last 3 lines of the rsync output
 128     head -${headcount} ${vdir}.changes > ${vdir}.changes.1
 129     # get rid of the first line of the rsync output
 130     tail -${tailcount} ${vdir}.changes.1 > ${vdir}.changes.2
 131     # post process rsync output to get rid of symbolic link embellish output
 132     awk ' { print $1 } ' ${vdir}.changes.2 > ${vdir}.changes
 133     rm -f ${vdir}.changes.*
 134
 135     # step 3: create the ${vdir} with just the list given in ${vdir}.changes
 136     install -d -m 755 ${vdir}-tmp/
 137     rm -rf ${vdir}-tmp/*
 138     (cd ${vdir} && cpio -m -d -u -p ${vdir}-tmp < ${vdir}.changes)
 139     rm -rf ${vdir}
 140     rm -f  ${vdir}.changes
 141     mv ${vdir}-tmp ${vdir}
 142
 143     # cleanup yum remainings
 144     rm -rf ${vdir}/build ${vdir}/longbuildroot
 145
 146     echo "--------DONE BUILDING system sliceimage ${NAME}: $(date)"
 147 done
 148
 149 # search sliceimage.post in config.<pldistro> or in config.planetlab otherwise
 150 postfile=$(pl_locateDistroFile ../build/ ${pldistro} sliceimage.post)
 151
 152 [ -f $postfile ] && /bin/bash $postfile ${vref} || :
 153
 154 # fix sudoers config
 155 [ -f ${vref}/etc/sudoers ] && echo -e "\nDefaults\tlogfile=/var/log/sudo\n" >> ${vref}/etc/sudoers
 156
 157 # cleanup yum remainings
 158 rm -rf ${vref}/build ${vref}/longbuildroot
 159
 160 exit 0