build.common

   1 # -*-Shell-script-*-
   2 #
   3 # Common functions for build scripts used by various packages
   4 # incorporated (e.g., build, myplc, myplc-devel, vserver-reference)
   5 #
   6 # Marc E. Fiuczynski <mef@cs.princeton.edu>
   7 # Copyright (C) 2007 The Trustees of Princeton University
   8 #
   9 # $Id$
  10 #
  11
  12 function pl_getDefaultDistro() {
  13     # FC4 is currently the default release
  14     echo "Fedora"
  15 }
  16
  17 function pl_getDefaultRelease() {
  18     # FC4 is currently the default release
  19     echo "4"
  20 }
  21
  22 function pl_getDistro() {
  23     defaultDistro=$(pl_getDefaultDistro)
  24     if [ -f "/etc/redhat-release" ] ; then
  25         distro=$(awk ' { print $1 } ' /etc/redhat-release)
  26     else
  27         distro=$defaultDistro
  28     fi
  29     echo "$distro"
  30 }
  31
  32 function pl_getRelease() {
  33     defaultRelease=$(pl_getDefaultRelease)
  34     if [ -f "/etc/redhat-release" ] ; then
  35         release=$(awk ' { if ($1=="Fedora" && $2=="Core") print $4 ; if (($1=="Fedora" && $2!="Core")||$1=="CentOS") print $3 } ' /etc/redhat-release)
  36         [ $release -lt $defaultRelease ] && release=$defaultRelease
  37     else
  38         release=$defaultRelease
  39     fi
  40     echo "$release"
  41 }
  42
  43 # figure out which redhat distro we are using (fedora, centos, redhat)
  44 pl_DISTRO=$(pl_getDistro)
  45
  46 # select basearch of the host devel environment
  47 pl_DISTRO_ARCH=$(uname -i)
  48
  49 # let mkfedora select one of its mirrors
  50 pl_DISTRO_URL=""
  51
  52 pl_DISTRO_RELEASE=$(pl_getRelease)
  53
  54 # vserver expects something like fc4 or f7
  55 # for fedora only as of now
  56 case $pl_DISTRO in
  57     [Ff]edora*)
  58         if [ "$pl_DISTRO_RELEASE" -le 6 ] ; then
  59             pl_DISTRO_NAME=fc$pl_DISTRO_RELEASE
  60         else
  61             pl_DISTRO_NAME=f$pl_DISTRO_RELEASE
  62         fi ;;
  63     [Cc]entOS*)
  64         if [ "$pl_DISTRO_RELEASE" = "4.5" ] ; then
  65             # centos 4.5 is just centos4 + enhancements
  66             pl_DISTRO_NAME=centos4
  67         else
  68             pl_DISTRO_NAME=centos$pl_DISTRO_RELEASE
  69         fi ;;
  70     *)
  71         echo "build.common: WARNING - pl_DISTRO_NAME not set for distro=$pl_DISTRO" ;;
  72 esac
  73
  74 # get patch to appropriate yumgroups.xml file
  75 # Thierry: quick & dirty improvement
  76 # this file is updated by the toplevel build, from groups/pldistro>.xml
  77 pl_DISTRO_YUMGROUPS="../../../RPMS/yumgroups.xml"
  78
  79 function pl_process_fedora_options () {
  80     # Get options
  81     shiftcount=0
  82     while getopts "l:r:a:h" opt ; do
  83         case $opt in
  84             l)
  85                 pl_DISTRO_URL=$OPTARG
  86                 let shiftcount=$shiftcount+2
  87                 ;;
  88             r)
  89                 pl_DISTRO_RELEASE=$OPTARG
  90                 let shiftcount=$shiftcount+2
  91                 ;;
  92             a)
  93                 pl_DISTRO_ARCH=$OPTARG
  94                 let shiftcount=$shiftcount+2
  95                 ;;
  96             h|*)
  97                 echo "Usage: $0 [OPTION]..."
  98                 echo "  -l url          distro mirror location (default: $pl_DISTRO_URL)"
  99                 echo "  -r release      distro release number (default: $pl_DISTRO_RELEASE)"
 100                 echo "  -a arch         distro architecture (default: $pl_DISTRO_ARCH)"
 101                 echo "where distro can be either fedora, centos, or redhat"
 102                 echo "  -h              This message"
 103                 exit 1
 104                 ;;
 105         esac
 106     done
 107     return $shiftcount
 108 }
 109
 110 function pl_makedevs() {
 111     vroot=$1
 112     # Clean ${vroot}/dev, but only when ${vroot}!=""
 113     [ -n $vroot ] && rm -rf $vroot/dev
 114
 115     mkdir -p $vroot/dev
 116     mknod -m 666 $vroot/dev/null c 1 3
 117     mknod -m 666 $vroot/dev/zero c 1 5
 118     mknod -m 666 $vroot/dev/full c 1 7
 119     mknod -m 644 $vroot/dev/random c 1 8
 120     mknod -m 644 $vroot/dev/urandom c 1 9
 121     mknod -m 666 $vroot/dev/tty c 5 0
 122     mknod -m 666 $vroot/dev/ptmx c 5 2
 123     # For bash command substitution
 124     ln -nsf ../proc/self/fd $vroot/dev/fd
 125
 126     # For df and linuxconf
 127     touch $vroot/dev/hdv1
 128
 129     # For pseudo ttys
 130     mkdir -p $vroot/dev/pts
 131
 132     # (Might have to remove the following for vserver-reference.)
 133
 134     # for tmpfs mount
 135     mkdir -p $vroot/dev/shm
 136
 137     # For TUN/TAP
 138     mkdir -p $vroot/dev/net
 139     mknod -m 600 $vroot/dev/net/tun c 10 200
 140
 141     # For mkinitrd (in case a kernel is being installed)
 142     # As well for loop back mounting within a vserver.
 143     for i in $(seq 0 255) ; do
 144         mknod -m 640 $vroot/dev/loop$i b 7 $i
 145     done
 146 }
 147
 148 function pl_mkfedora() {
 149     root=$1
 150     shift
 151     options=$@
 152
 153     pl_makedevs $root
 154
 155     [ -n "$pl_DISTRO_URL" ] && options="$options -l $pl_DISTRO_URL"
 156     [ -n "$pl_DISTRO_ARCH" ] && options="$options -a $pl_DISTRO_ARCH"
 157     [ -n "$pl_DISTRO_RELEASE" ] && options="$options -r $pl_DISTRO_RELEASE"
 158     # echo "mkfedora -v $options $root"
 159     eval mkfedora -v $options $root
 160 }
 161
 162 function pl_setup_chroot() {
 163     root=$1
 164     shift
 165     options=$@
 166
 167     pl_mkfedora $root $options
 168
 169     # Disable all services in reference image
 170     chroot $root sh -c "/sbin/chkconfig --list | awk '{ print \$1 }' | xargs -i /sbin/chkconfig {} off"
 171
 172     # FC2 minilogd starts up during shutdown and makes unmounting
 173     # impossible. Just get rid of it.
 174     rm -f $root/sbin/minilogd
 175     ln -nsf /bin/true $root/sbin/minilogd
 176
 177     # This tells the Boot Manager that it is okay to update
 178     # /etc/resolv.conf and /etc/hosts whenever the network configuration
 179     # changes. Users are free to delete this file.
 180     touch $vroot/etc/AUTO_UPDATE_NET_FILES
 181 }
 182
 183 # Move specified directories out of a src tree into a dst tree, and
 184 # then for each moved directory create a symlink in src to dst.
 185 function pl_move_dirs() {
 186     root=$1
 187     data=$2
 188     store=$3
 189     shift 3
 190
 191     mkdir -p $root/data
 192     for datadir in "$@" ; do
 193         mkdir -p ${data}${datadir}
 194         if [ -d ${root}/${datadir} -a ! -h ${root}/${datadir} ] ; then
 195             (cd ${root} && find ./${datadir} | cpio -p -d -u ../${data}/)
 196         fi
 197         rm -rf ${root}/${datadir}
 198         mkdir -p $(dirname ${root}/${datadir})
 199         ln -nsf /${store}/${datadir} ${root}/${datadir}
 200     done
 201 }
 202
 203 # Construct an image file from given some directory
 204 # XXX in the future maybe use livecdtools?
 205 function pl_make_image() {
 206     root=$1
 207     image=$2
 208     extraspace=$3
 209
 210     # Leave about 100 MB free space and allow for about 20% inode overhead
 211     bytes=$((($(du -sb $root | cut -f1) + $extraspace) * 120 / 100))
 212     bs=4096
 213     blocks=$(($bytes / $bs))
 214     dd bs=$bs count=$blocks if=/dev/zero of=$image
 215     mkfs.ext3 -b $bs -j -F $image
 216
 217     # Temporarily mount it
 218     tmp=$(mktemp -d tmp.XXXXXX)
 219     mount -o loop $image $tmp
 220     trap "umount $tmp; rmdir $tmp" ERR INT
 221
 222     # Move files to it
 223     (cd $root && tar cpf - .) | (cd $tmp && tar xpf -)
 224
 225     # Unmount it
 226     umount -l $tmp
 227     rmdir $tmp
 228     trap - ERR INT
 229 }
 230
 231 # Fix permissions on tmp directories
 232 function pl_fixtmp_permissions() {
 233     root=$1
 234     chmod 1777 $root/tmp $root/usr/tmp $root/var/tmp
 235 }
 236
 237 function pl_fixdirs() {
 238     root=$1
 239     datadirs=$2
 240     for datadir in datadirs ; do
 241         if [ -h ${root}/${datadir} ] ; then
 242             rm -f ${root}/${datadir}
 243             mkdir -p ${root}/${datadir}
 244         fi
 245     done
 246 }
 247
 248 ########## .lst format
 249 # comments start with a # - this is needed only if you use a keyword in a comment
 250 # lst_parse keyword fcdistro lst1 .. lstn
 251 # for a given keyword like 'package' :
 252 # we support fcdistro-dependant format, for tokens (pkgname) without whitespace
 253 # you can e.g. use
 254 # package: pkg1 .. pkgn
 255 # package+f8: pkg1 .. pkgn
 256 # package-f8: pkg1 .. pkgn
 257
 258 function lst_parse () {
 259
 260     keyword=$1;shift
 261     fcdistro=$1; shift
 262
 263     # grab regular descriptions
 264     all=$(grep -v '^#' "$@" | grep --regexp="^${keyword}:" | sed -e "s,${keyword}:,,")
 265     # grab additions
 266     add=$(grep -v '^#' "$@" | grep --regexp="^${keyword}+${fcdistro}:" | sed -e "s,${keyword}\+${fcdistro}:,,")
 267     # grab exclusions
 268     sub=$(grep -v '^#' "$@" | grep --regexp="^${keyword}\-${fcdistro}:" | sed -e "s,${keyword}\-${fcdistro}:,,")
 269
 270     for i in $all $add; do
 271         for exclude in $sub; do
 272             [ "$i" = "$exclude" ] && continue 2
 273         done
 274         echo "$i "
 275     done
 276     return 0
 277 }
 278
 279 function pl_getPackages2() { fcdistro=$1; shift ; lst_parse package $fcdistro "$@" ; }
 280 function pl_getGroups2() { fcdistro=$1; shift ; lst_parse group $fcdistro "$@" ; }
 281
 282 function pl_getPackages() {
 283     filename=$1
 284     packages=$(grep "^package:" $filename | sed -e s,package:,,)
 285     echo "$packages"
 286     return 0
 287 }
 288
 289 # add -p before each package for mkfedora
 290 function pl_getPackagesOptions() {
 291     pl_getPackages "$@" | awk '{for (i=1;i<=NF;i++) {print "-p " $i}}'
 292 }
 293
 294 function pl_getGroups() {
 295     filename=$1
 296     groups=$(grep "^group:" $filename | sed -e s,group:,,)
 297     echo "$groups"
 298     return 0
 299 }
 300
 301 # add -g before each group for mkfedora
 302 function pl_getGroupsOptions() {
 303     pl_getGroups "$@" | awk '{for (i=1;i<=NF;i++) {print "-g " $i}}'
 304 }
 305