Add dependency for util-vserver-0.30.216
[build.git] / build.common
index 1d14927..f9d9168 100644 (file)
@@ -8,9 +8,10 @@
 #
 # $Id$
 #
+# supported distros f8, f10, (f11) -- fc[46] probably does not work anymore
+# centos5.3
 
-# support for fedora and centos only for now
-
+# returns 'Fedora' or 'CentOS' for now
 function pl_getDistro() {
     if [ -f "/etc/redhat-release" ] ; then
        distro=$(awk ' { print $1 } ' /etc/redhat-release)
@@ -22,6 +23,7 @@ function pl_getDistro() {
     return 0
 }
 
+# returns something like 8, 10, or 5.3
 function pl_getRelease() {
     if [ -f "/etc/redhat-release" ] ; then
        release=$(awk ' { if ($1=="Fedora" && $2=="Core") print $4 ; if (($1=="Fedora" && $2!="Core")||$1=="CentOS") print $3 } ' /etc/redhat-release)
@@ -33,17 +35,14 @@ function pl_getRelease() {
     return 0
 }
 
-# vserver expects something like fc4 or f7
+# returns stuff for vserver, i.e. something like 'f8' or 'centos5'
 function pl_getReleaseName () {
     distro=$1; shift
     release=$1; shift
     case $distro in
        [Ff]edora*)
-           if [ "$release" -le 6 ] ; then
-               releasename=fc$release
-           else
-               releasename=f$release
-           fi ;;
+           releasename=f$release
+           ;;
        [Cc]entOS*)
            old_IFS="$IFS"
            IFS="."
@@ -61,6 +60,20 @@ function pl_getReleaseName () {
     return 0
 }
 
+# on fedora 8 or above, we use libnl from the stock repos
+# on centos5 we build it locally
+function pl_getKexcludes () {
+    distroname=$1; shift
+    case $distroname in
+       f*)
+           echo 'kernel kernel-vserver kernel-devel kernel-headers kernel-debuginfo util-vserver* iptables iproute drupal' ;;
+       centos5)
+           echo 'kernel kernel-vserver kernel-devel kernel-headers kernel-debuginfo util-vserver* iptables iproute drupal inotify-tools* libnl' ;;
+       *)
+           echo "pl_DISTRO_NAME=$pl_DISTRO_NAME not supported in getexcludes.sh" ; exit 1 ;;
+    esac
+}
+
 # figure out which redhat distro we are using (fedora, centos, redhat)
 pl_DISTRO=$(pl_getDistro)
 
@@ -70,12 +83,15 @@ pl_DISTRO_ARCH=$(uname -i 2>/dev/null|| echo unknownarch)
 # the release number (plain number)
 pl_DISTRO_RELEASE=$(pl_getRelease)
 
-# the release name - for vserver build - like fc4, f8 or centos4
+# the release name - for vserver build ...
 pl_DISTRO_NAME=$(pl_getReleaseName $pl_DISTRO $pl_DISTRO_RELEASE)
 
+# the packages to exclude
+pl_KEXCLUDES=$(pl_getKexcludes $pl_DISTRO_NAME)
+
 # get path to appropriate yumgroups.xml file
 # Thierry: quick & dirty improvement 
-# this file is updated by the toplevel build, from groups/<pldistro>.xml
+# this file is updated by the toplevel build, from the .pkgs files
 pl_DISTRO_YUMGROUPS="../../../RPMS/yumgroups.xml"
 
 function pl_process_fedora_options () {
@@ -186,13 +202,8 @@ function pl_root_mkfedora () {
     basearch=$pl_DISTRO_ARCH
 
 # Get options
-###    mirrors=""
-###    while getopts "l:r:a:vh" opt ; do
     while getopts "vh" opt ; do
        case $opt in
-###        l) mirrors="$mirrors $OPTARG" ;;
-###        r) releasever=$OPTARG ;;
-###        a) basearch=$OPTARG ;;
            v) verbose=1; set -x ;;
            h|*) mkfedora_usage ;;
        esac
@@ -211,24 +222,27 @@ function pl_root_mkfedora () {
     fcdistro=${pl_DISTRO_NAME}
     pkgs_packages=$(pl_parsePkgs package $fcdistro $pldistro $pkgsfile) 
     pkgs_groups=$(pl_parsePkgs group $fcdistro $pldistro $pkgsfile)
-    # packages to exclude - obsolete, was maybe useful when installing a group
+    # packages to exclude 
     pkgs_excludes=$(pl_parsePkgs exclude $fcdistro $pldistro $pkgsfile) 
+    # what can get trashed to save space
     pkgs_junk=$(pl_parsePkgs junk $fcdistro $pldistro $pkgsfile)
+    # but not this
     pkgs_precious=$(pl_parsePkgs precious $fcdistro $pldistro $pkgsfile)
-    # formerly related to mkfedora -k
-    pkgs_kexcludes=$(pl_parsePkgs kexclude $fcdistro $pldistro $pkgsfile)
+    # formerly related to mkfedora -k : packages to take from our own build 
+    # and thus need be excluded frem the stock repos
+    pkgs_kexcludes=$(pl_parsePkgs kexclude $fcdistro $pldistro $pkgsfile | sed -e s,@KEXCLUDE@,"$pl_KEXCLUDES",)
     # get mirrors if not specified with -l
     if [ -z "$mirrors" ] ; then
        mirrorsfile=$(pl_locateDistroFile ../build/ $pldistro "$pldistro.mirrors")
        mirrors=$(pl_parsePkgs mirror $fcdistro $pldistro $mirrorsfile)
     fi
 
-    exclude_line=""
+    kexclude_line=""
     # add them manually as the output of pl_parsePkgs is line-separated
     if [ -n "$pkgs_kexcludes" ] ; then
-       exclude_line="exclude="
+       kexclude_line="exclude="
        for kexclude in $pkgs_kexcludes ; do
-           exclude_line="$exclude_line $kexclude"
+           kexclude_line="$kexclude_line $kexclude"
        done
     fi
 
@@ -239,7 +253,7 @@ function pl_root_mkfedora () {
 
     # the repo part of the final yum.conf
     yum_conf_repos=$vroot/xxxmkfedora-repos.confxxx
-    if ! yumconf_mirrors $yum_conf_repos ../build/ $fcdistro "$exclude_line" $mirrors ; then
+    if ! yumconf_mirrors $yum_conf_repos ../build/ $fcdistro "$kexclude_line" $mirrors ; then
        echo xxx -- error ; return 1
     fi
     
@@ -360,12 +374,14 @@ fi
     # glibc must be specified explicitly for the correct arch to be
     # chosen.
     echo "* Installing glibc"
-    yum $yum_options $exclude_arg install glibc
+    # ignore yum's return code that is basically undefined
+    yum $yum_options $exclude_arg install glibc || :
 
     # Go, baby, go
     if [ -n "$pkgs_packages" ] ; then
        echo "* Installing optional packages" $pkgs_packages
-       yum $yum_options $exclude_arg install $pkgs_packages
+        # ignore yum's return code that is basically undefined
+       yum $yum_options $exclude_arg install $pkgs_packages || :
        if ! rpm --root $vroot -q $pkgs_packages >/dev/null ; then
            echo "* Warning: Missing packages"
            rpm --root $vroot -q $pkgs_packages | grep "not installed"
@@ -376,7 +392,8 @@ fi
        ## call yum sequentially to get finer-grained info on dependencies
        for grp in $pkgs_groups ; do
            echo "* Installing optional group $grp" 
-           yum $yum_options $exclude_arg groupinstall "$grp"
+            # ignore yum's return code that is basically undefined
+           yum $yum_options $exclude_arg groupinstall "$grp" || :
        done
     fi
 
@@ -395,7 +412,8 @@ fi
 
     # Clean yum cache
     echo "* Cleaning up"
-    yum $yum_options clean all
+    # ignore yum's return code that is basically undefined
+    yum $yum_options clean all || :
 
     # Clean RPM state
     rm -f $vroot/var/lib/rpm/__db*
@@ -519,9 +537,16 @@ function pl_getPkgsAttribute () {
 # 
 # values can contain @arch@, @fcdistro@ or @pldistro@ that are replaced with the current values
 #
+# Usage: pl_parsePkgs keyword [-a arch] fcdistro pldistro pkgs-file[..s]
+# the reason for the -a option is for when we build the build vserver itself; in this case
+# pl_DISTRO_ARCH is the one we obtain from the root context, and that's wrong
+# specify -sa arch AFTER keyword, so as to keep pl_getPackages and pl_getGroups simple
+#
 function pl_parsePkgs () {
 
+    target_arch=$pl_DISTRO_ARCH
     keyword=$1;shift
+    [ "$1" == "-a" ] && { shift; target_arch="$1"; shift; }
     fcdistro=$1; shift
     pldistro=$1; shift
     # remaining arguments are paths to the pkgs files
@@ -533,17 +558,18 @@ function pl_parsePkgs () {
     # grab exclusions
     sub=$(grep -v '^#' "$@" | grep --regexp="^${keyword}-${fcdistro}:" | sed -e "s,${keyword}-${fcdistro}:,,")
 
-    for i in $all $add; do
+    for rpm in $all $add; do
        for exclude in $sub; do
-           [ "$i" = "$exclude" ] && continue 2
+           [ "$rpm" = "$exclude" ] && continue 2
        done
-       echo "$i " | sed -e "s,@arch@,$pl_DISTRO_ARCH,g" -e "s,@fcdistro@,$fcdistro,g" -e "s,@pldistro@,$pldistro,g"
+       echo "${rpm} " | sed -e "s,@arch@,${target_arch},g" -e "s,@fcdistro@,$fcdistro,g" -e "s,@pldistro@,$pldistro,g"
     done
     return 0
 }
 
-function pl_getPackages() { fcdistro=$1; shift ; pldistro=$1; shift ; pl_parsePkgs package $fcdistro $pldistro "$@" ; }
-function pl_getGroups() { fcdistro=$1; shift ; pldistro=$1; shift ; pl_parsePkgs group $fcdistro $pldistro "$@" ; }
+# usage: pl_getPackages [-a arch] fcdistro pldistro pkg-file[..s]
+function pl_getPackages() { pl_parsePkgs package "$@" ; }
+function pl_getGroups() { pl_parsePkgs group "$@" ; }
 
 # locates a pldistro-dependant file
 # tries first in build/<pldistro>/, then in build/planetlab/
@@ -553,6 +579,11 @@ function pl_locateDistroFile () {
     pkgsfile=$1; shift
 
     pkgspath=""
+    # if config dir is missing but a .svnpath exists
+    if [[ -f "$builddir/config.${pldistro}.svnpath" && ! -d "$builddir/config.${pldistro}" ]] ; then
+       echo 1>&2 "Invoking make to extract remote config.${pldistro}"
+       make 1>&2 --silent --no-print-directory -C $builddir stage1=true config.${pldistro}
+    fi
     # locate it
     paths="$builddir/config.$pldistro/$pkgsfile $builddir/config.planetlab/$pkgsfile"
     for path in $paths; do
@@ -632,7 +663,7 @@ function yumconf_mirrors () {
     dest_yumconf=$1; shift
     builddir=$1; shift
     fcdistro=$1; shift
-    exclude_line="$1" ; shift
+    kexclude_line="$1" ; shift
     mirrors="$@"
 
     template=$builddir/mirroring/$fcdistro/yum.repos.d/building.repo.in
@@ -644,7 +675,7 @@ function yumconf_mirrors () {
     fi
 
     for mirror in $mirrors; do
-       if yumconf_mirror $dest_yumconf $template "$exclude_line" $mirror; then
+       if yumconf_mirror $dest_yumconf $template "$kexclude_line" $mirror; then
            return 0
        fi
     done
@@ -657,12 +688,12 @@ function yumconf_mirrors () {
 function yumconf_mirror () {
     dest_yumconf=$1; shift
     template=$1; shift
-    exclude_line="$1" ; shift
+    kexclude_line="$1" ; shift
     mirror=$1; shift
 
     sed -e "s,@MIRRORURL@,$mirror,g" \
        -e "/baseurl=/i\\
-$exclude_line" $template > $dest_yumconf
+$kexclude_line" $template > $dest_yumconf
     
     # capture all lines defining baseurl
     baseurl_defs=$(grep '^baseurl=' $dest_yumconf)
@@ -697,3 +728,12 @@ function yumconf_gpgkey () {
     echo $value
     return 0
 }
+
+# patches a yum conf to insert an exclude line in each declared repo
+function yumconf_exclude () {
+    repo=$1; shift
+    kexclude_line="$1" ; shift
+    
+    sed -i -e "/baseurl=.*$/i\\
+$kexclude_line" $repo
+}