vtest-nightly.sh

   1 #!/bin/bash
   2 REVISION=$(echo '$Revision: 7654 $' | sed -e 's,\$,,g' -e 's,^\w*:\s,,' )
   3
   4 COMMANDPATH=$0
   5 COMMAND=$(basename $0)
   6
   7 # default values, tunable with command-line options
   8 DEFAULT_FCDISTRO=f7
   9 DEFAULT_PLDISTRO=planetlab
  10 DEFAULT_PERSONALITY=linux32
  11 DEFAULT_BASE="@DATE@--test-@PLDISTRO@-@FCDISTRO@-@PERSONALITY@"
  12 DEFAULT_SVNPATH="http://svn.planet-lab.org/svn/build/trunk"
  13 DEFAULT_WEBPATH="/build/@PLDISTRO@/"
  14
  15 DEFAULT_BUILDREPO="http://build.planet-lab.org/install-rpms/archive/"
  16 DEFAULT_REPOURL="@BUILDREPO@/@PLDISTRO@/@FCDISTRO@/@DATE@--@PLDISTRO@-@FCDISTRO@-@PERSONALITY@/RPMS"
  17
  18 # for the test part
  19 TESTSVNPATH="http://svn.planet-lab.org/svn/tests/trunk/system/"
  20
  21 ####################
  22 # assuming vserver runs in UTC
  23 DATE=$(date +'%Y.%m.%d')
  24
  25 # Notify recipient of failure or success, manage various stamps
  26 function failure() {
  27     set -x
  28     WEBLOG=${WEBPATH}/${BASE}.test-log.txt
  29     cp $LOG ${WEBLOG}
  30     (echo -n "============================== $COMMAND: failure at " ; date ; tail -c 20k $WEBLOG) > ${WEBLOG}.ko
  31     if [ -n "$MAILTO" ] ; then
  32         tail -c 20k ${WEBPATH}/${BASE}.log.txt | mail -s "Failures for test ${BASE}" $MAILTO
  33     fi
  34     exit 1
  35 }
  36
  37 function success () {
  38     set -x
  39     WEBLOG=${WEBPATH}/${BASE}.test-log.txt
  40     cp $LOG ${WEBLOG}
  41     touch ${WEBLOG}.ok
  42     if [ -n "$MAILTO" ] ; then
  43         (echo "$PLDISTRO ($BASE) tests for $FCDISTRO completed on $(date)" ) | mail -s "Successful test for ${BASE}" $MAILTO
  44     fi
  45     exit 0
  46 }
  47
  48 function show_env () {
  49     set +x
  50     echo FCDISTRO=$FCDISTRO
  51     echo PLDISTRO=$PLDISTRO
  52     echo BASE=$BASE
  53     echo SVNPATH=$SVNPATH
  54     echo MAKEVARS="${MAKEVARS[@]}"
  55     echo MAKEOPTS="${MAKEOPTS[@]}"
  56     echo PLDISTROTAGS="$PLDISTROTAGS"
  57     echo TAGSRELEASE="$TAGSRELEASE"
  58     echo -n "(might be unexpanded)"
  59     echo WEBPATH="$WEBPATH"
  60     if [ -d /vservers ] ; then
  61         echo PLDISTROTAGS="$PLDISTROTAGS"
  62     else
  63         echo "XXXXXXXXXXXXXXXXXXXX Contents of tags definition file /build/$PLDISTROTAGS"
  64         cat /build/$PLDISTROTAGS
  65         echo "XXXXXXXXXXXXXXXXXXXX end tags definition"
  66     fi
  67     set -x
  68 }
  69
  70 function usage () {
  71     echo "Usage: $COMMAND [option] make-targets"
  72     echo "This is $REVISION"
  73     echo "Supported options"
  74     echo " -n dry-run : -n passed to make - vserver gets created though - no mail sent"
  75     echo " -f fcdistro - defaults to $DEFAULT_FCDISTRO"
  76     echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
  77     echo " -p personality - defaults to $DEFAULT_PERSONALITY"
  78     echo " -b base - defaults to $DEFAULT_BASE"
  79     echo "    @NAME@ replaced as appropriate"
  80     echo " -t pldistrotags - defaults to \${PLDISTRO}-tags.mk"
  81     echo " -r tagsrelease - a release number that refers to PLDISTROTAGS - defaults to HEAD"
  82     echo " -s svnpath - where to fetch the build module"
  83     echo " -o : overwrite - re-run in base directory, do not create vserver"
  84     echo " -m mailto"
  85     echo " -a makevar=value - space in values are not supported"
  86     echo " -w webpath - defaults to $DEFAULT_WEBPATH"
  87     echo " -v : be verbose"
  88     echo " -7 : uses weekday-@FCDISTRO@ as base"
  89     exit 1
  90 }
  91
  92 function main () {
  93
  94     set -e
  95
  96     # preserve arguments for passing them again later
  97     declare -a argv
  98     for arg in "$@"; do argv=(${argv[@]} "$arg") ; done
  99
 100     # parse arguments
 101     MAKEVARS=()
 102     MAKEOPTS=()
 103     while getopts "nf:d:b:p:t:r:s:om:a:w:vh7" opt ; do
 104         case $opt in
 105             n) DRY_RUN="true" ; MAKEOPTS=(${MAKEOPTS[@]} -n) ;;
 106             f) FCDISTRO=$OPTARG ;;
 107             d) PLDISTRO=$OPTARG ;;
 108             p) PERSONALITY=$OPTARG ;;
 109             b) BASE=$OPTARG ;;
 110             t) PLDISTROTAGS=$OPTARG ;;
 111             r) TAGSRELEASE=$OPTARG ;;
 112             s) SVNPATH=$OPTARG ;;
 113             o) OVERWRITEMODE=true ;;
 114             m) MAILTO=$OPTARG ;;
 115             a) MAKEVARS=(${MAKEVARS[@]} "$OPTARG") ;;
 116             w) WEBPATH=$OPTARG ;;
 117             v) set -x ;;
 118             7) BASE="$(date +%a|tr A-Z a-z)-@FCDISTRO@" ;;
 119             h|*) usage ;;
 120         esac
 121     done
 122
 123     shift $(($OPTIND - 1))
 124     MAKETARGETS="$@"
 125
 126     # set defaults
 127     [ -z "$FCDISTRO" ] && FCDISTRO=$DEFAULT_FCDISTRO
 128     [ -z "$PLDISTRO" ] && PLDISTRO=$DEFAULT_PLDISTRO
 129     [ -z "$PERSONALITY" ] && PERSONALITY=$DEFAULT_PERSONALITY
 130     [ -z "$PLDISTROTAGS" ] && PLDISTROTAGS="${PLDISTRO}-tags.mk"
 131     [ -z "$BASE" ] && BASE="$DEFAULT_BASE"
 132     [ -z "$WEBPATH" ] && WEBPATH="$DEFAULT_WEBPATH"
 133     [ -z "$SVNPATH" ] && SVNPATH="$DEFAULT_SVNPATH"
 134     [ -z "$BUILDREPO" ] && SVNPATH="$DEFAULT_BUILDREPO"
 135     [ -z "$REPOURL" ] && SVNPATH="$DEFAULT_REPOURL"
 136
 137     [ -n "$DRY_RUN" ] && MAILTO=""
 138
 139     ### set BASE from DISTRO, if unspecified
 140     sedargs="-e s,@DATE@,${DATE},g -e s,@FCDISTRO@,${FCDISTRO},g -e s,@PLDISTRO@,${PLDISTRO},g -e s,@PERSONALITY@,${PERSONALITY},g"
 141     BASE=$(echo ${BASE} | sed $sedargs)
 142     WEBPATH=$(echo ${WEBPATH} | sed $sedargs)
 143     REPOURL=$(echo ${REPOURL} | sed $sedargs)
 144     sedargs="-e s,@BUILDREPO@,${BUILDREPO},g"
 145     REPOURL=$(echo ${REPOURL} | sed $sedargs)
 146
 147     trap failure ERR INT
 148     # create vserver: check it does not exist yet
 149     i=
 150     while [ -d /vservers/${BASE}${i} ] ; do
 151         # we name subsequent builds <base>-n<i> so the logs and builds get sorted properly
 152         [ -z ${i} ] && BASE=${BASE}-n
 153         i=$((${i}+1))
 154         if [ $i -gt 100 ] ; then
 155             echo "$COMMAND: Failed to create build vserver /vservers/${BASE}${i}"
 156             exit 1
 157         fi
 158     done
 159     BASE=${BASE}${i}
 160     # need update
 161     # manage LOG - beware it might be a symlink so nuke it first
 162     LOG=/vservers/${BASE}.log.txt
 163     rm -f $LOG
 164     exec > $LOG 2>&1
 165     set -x
 166     echo "XXXXXXXXXX $COMMAND: creating vserver $BASE" $(date)
 167     show_env
 168
 169     ### extract the whole build - much simpler
 170     tmpdir=/tmp/$COMMAND-$$
 171     svn export $SVNPATH $tmpdir
 172     # Create vserver
 173     cd $tmpdir
 174     ./myplc-init-vserver.sh -f ${FCDISTRO} -d ${PLDISTRO} -p ${PERSONALITY} ${BASE} ${REPOURL}
 175     # cleanup
 176     cd -
 177     rm -rf $tmpdir
 178
 179     vserver ${BASE} stop
 180     rm -f /etc/vservers/${BASE}/interfaces/0/*
 181     [ -z "${TESTVSERVER_IP}" ] && TESTVSERVER_DEV="eth0"
 182     if [ -z "${TESTVSERVER_IP}" ] ; then
 183         xid=$(cat /etc/vservers/${BASE}/context)
 184         class_a=10
 185         class_b=254
 186         TESTVSERVER_IP=$(python -c "context=int($xid); print '%d.%d.%d.%d' % ($a,$b,(context&0xff00)>>8,context&0xff)")
 187     fi
 188     echo "${TESTVSERVER_IP}" > /etc/vservers/${BASE}/interfaces/0/ip
 189     echo "${TESTVSERVER_DEV}" > /etc/vservers/${BASE}/interfaces/0/dev
 190     vserver ${BASE} start
 191     echo "XXXXXXXXXX $COMMAND: preparation of vserver $BASE done" $(date)
 192
 193     # The log inside the vserver contains everything
 194     LOG2=/vservers/${BASE}/log.txt
 195     (echo "==================== BEG VSERVER Transcript of vserver creation" ; \
 196         cat $LOG ; \
 197         echo "==================== END VSERVER Transcript of vserver creation" ; \
 198         echo "xxxxxxxxxx Messing with logs, symlinking $LOG2 to $LOG" ) >> $LOG2
 199     ### not too nice : nuke the former log, symlink it to the new one
 200     rm $LOG; ln -s $LOG2 $LOG
 201     LOG=$LOG2
 202     # redirect log again
 203     exec >> $LOG 2>&1
 204
 205     svn cat ${TESTSVNPATH}/selftest > /vservers/${BASE}/selftest
 206     vserver ${BASE} exec chmod +x /selftest
 207     vserver ${BASE} exec /selftest
 208     success
 209 }
 210
 211 ##########
 212 main "$@"