start building onelab distro
[build.git] / build.common
index c7144d7..3b73da3 100644 (file)
@@ -9,60 +9,38 @@
 # $Id$
 #
 
-### xxx thierry : looks like we should bump this to fedora 8
-### however, rather than the actual default,
-### this looks more like the bottom of what we're able to build
-### so I leave it with fc4
-function pl_getDefaultDistro() {
-    # FC4 is currently the default release
-    echo "Fedora"
-    return 0
-}
-
-function pl_getDefaultRelease() {
-    # FC4 is currently the default release
-    echo "4"
-    return 0
-}
+# support for fedora and centos only for now
 
 function pl_getDistro() {
-    defaultDistro=$(pl_getDefaultDistro)
     if [ -f "/etc/redhat-release" ] ; then
        distro=$(awk ' { print $1 } ' /etc/redhat-release)
     else
-       distro=$defaultDistro
+       echo "build.common.pl_getDistro-unknown"
+       exit 1
     fi
     echo "$distro"
     return 0
 }
 
-### xxx thierry : when running in a centOS box, this issues a warning message
-### because 5.2 is not an integer and bash cannot compare that
-### seems harmless though
 function pl_getRelease() {
-    defaultRelease=$(pl_getDefaultRelease)
     if [ -f "/etc/redhat-release" ] ; then
        release=$(awk ' { if ($1=="Fedora" && $2=="Core") print $4 ; if (($1=="Fedora" && $2!="Core")||$1=="CentOS") print $3 } ' /etc/redhat-release)
-       [ $release -lt $defaultRelease ] && release=$defaultRelease
     else
-       release=$defaultRelease
+       echo "build.common.pl_getRelease-unknown"
+       exit 1
     fi
     echo "$release"
     return 0
 }
 
-# vserver expects something like fc4 or f7
-# for fedora and centos only for now
+# vserver expects something like f8 or centos5
 function pl_getReleaseName () {
     distro=$1; shift
     release=$1; shift
     case $distro in
        [Ff]edora*)
-           if [ "$release" -le 6 ] ; then
-               releasename=fc$release
-           else
-               releasename=f$release
-           fi ;;
+           releasename=f$release
+           ;;
        [Cc]entOS*)
            old_IFS="$IFS"
            IFS="."
@@ -80,6 +58,24 @@ function pl_getReleaseName () {
     return 0
 }
 
+# on fedora 8 or 9, we use libnl from the stock repos
+# on centos5 we build it locally
+function pl_getKexcludes () {
+    distroname=$1; shift
+    case $distroname in 
+       f?|f1?)
+           echo 'kernel* util-vserver* iptables iproute'
+           ;;
+       centos5)
+           echo 'kernel* util-vserver* iptables iproute inotify-tools* libnl*'
+           ;;
+       *)
+           echo "pl_DISTRO_NAME=$pl_DISTRO_NAME not supported in getexcludes.sh"
+           exit 1
+           ;;
+    esac
+}
+
 # figure out which redhat distro we are using (fedora, centos, redhat)
 pl_DISTRO=$(pl_getDistro)
 
@@ -89,12 +85,15 @@ pl_DISTRO_ARCH=$(uname -i 2>/dev/null|| echo unknownarch)
 # the release number (plain number)
 pl_DISTRO_RELEASE=$(pl_getRelease)
 
-# the release name - for vserver build - like fc4, f8 or centos4
+# the release name - for vserver build ...
 pl_DISTRO_NAME=$(pl_getReleaseName $pl_DISTRO $pl_DISTRO_RELEASE)
 
+# the packages to exclude
+pl_KEXCLUDES=$(pl_getKexcludes $pl_DISTRO_NAME)
+
 # get path to appropriate yumgroups.xml file
 # Thierry: quick & dirty improvement 
-# this file is updated by the toplevel build, from groups/<pldistro>.xml
+# this file is updated by the toplevel build, from the .pkgs files
 pl_DISTRO_YUMGROUPS="../../../RPMS/yumgroups.xml"
 
 function pl_process_fedora_options () {
@@ -205,13 +204,8 @@ function pl_root_mkfedora () {
     basearch=$pl_DISTRO_ARCH
 
 # Get options
-###    mirrors=""
-###    while getopts "l:r:a:vh" opt ; do
     while getopts "vh" opt ; do
        case $opt in
-###        l) mirrors="$mirrors $OPTARG" ;;
-###        r) releasever=$OPTARG ;;
-###        a) basearch=$OPTARG ;;
            v) verbose=1; set -x ;;
            h|*) mkfedora_usage ;;
        esac
@@ -230,24 +224,27 @@ function pl_root_mkfedora () {
     fcdistro=${pl_DISTRO_NAME}
     pkgs_packages=$(pl_parsePkgs package $fcdistro $pldistro $pkgsfile) 
     pkgs_groups=$(pl_parsePkgs group $fcdistro $pldistro $pkgsfile)
-    # packages to exclude - obsolete, was maybe useful when installing a group
+    # packages to exclude 
     pkgs_excludes=$(pl_parsePkgs exclude $fcdistro $pldistro $pkgsfile) 
+    # what can get trashed to save space
     pkgs_junk=$(pl_parsePkgs junk $fcdistro $pldistro $pkgsfile)
+    # but not this
     pkgs_precious=$(pl_parsePkgs precious $fcdistro $pldistro $pkgsfile)
-    # formerly related to mkfedora -k
-    pkgs_kexcludes=$(pl_parsePkgs kexclude $fcdistro $pldistro $pkgsfile)
+    # formerly related to mkfedora -k : packages to take from our own build 
+    # and thus need be excluded frem the stock repos
+    pkgs_kexcludes=$(pl_parsePkgs kexclude $fcdistro $pldistro $pkgsfile | sed -e s,@KEXCLUDE@,"$pl_KEXCLUDES",)
     # get mirrors if not specified with -l
     if [ -z "$mirrors" ] ; then
        mirrorsfile=$(pl_locateDistroFile ../build/ $pldistro "$pldistro.mirrors")
        mirrors=$(pl_parsePkgs mirror $fcdistro $pldistro $mirrorsfile)
     fi
 
-    exclude_line=""
+    kexclude_line=""
     # add them manually as the output of pl_parsePkgs is line-separated
     if [ -n "$pkgs_kexcludes" ] ; then
-       exclude_line="exclude="
+       kexclude_line="exclude="
        for kexclude in $pkgs_kexcludes ; do
-           exclude_line="$exclude_line $kexclude"
+           kexclude_line="$kexclude_line $kexclude"
        done
     fi
 
@@ -258,7 +255,7 @@ function pl_root_mkfedora () {
 
     # the repo part of the final yum.conf
     yum_conf_repos=$vroot/xxxmkfedora-repos.confxxx
-    if ! yumconf_mirrors $yum_conf_repos ../build/ $fcdistro "$exclude_line" $mirrors ; then
+    if ! yumconf_mirrors $yum_conf_repos ../build/ $fcdistro "$kexclude_line" $mirrors ; then
        echo xxx -- error ; return 1
     fi
     
@@ -538,9 +535,16 @@ function pl_getPkgsAttribute () {
 # 
 # values can contain @arch@, @fcdistro@ or @pldistro@ that are replaced with the current values
 #
+# Usage: pl_parsePkgs keyword [-a arch] fcdistro pldistro pkgs-file[..s]
+# the reason for the -a option is for when we build the build vserver itself; in this case
+# pl_DISTRO_ARCH is the one we obtain from the root context, and that's wrong
+# specify -sa arch AFTER keyword, so as to keep pl_getPackages and pl_getGroups simple
+#
 function pl_parsePkgs () {
 
+    target_arch=$pl_DISTRO_ARCH
     keyword=$1;shift
+    [ "$1" == "-a" ] && { shift; target_arch="$1"; shift; }
     fcdistro=$1; shift
     pldistro=$1; shift
     # remaining arguments are paths to the pkgs files
@@ -552,17 +556,18 @@ function pl_parsePkgs () {
     # grab exclusions
     sub=$(grep -v '^#' "$@" | grep --regexp="^${keyword}-${fcdistro}:" | sed -e "s,${keyword}-${fcdistro}:,,")
 
-    for i in $all $add; do
+    for rpm in $all $add; do
        for exclude in $sub; do
-           [ "$i" = "$exclude" ] && continue 2
+           [ "$rpm" = "$exclude" ] && continue 2
        done
-       echo "$i " | sed -e "s,@arch@,$pl_DISTRO_ARCH,g" -e "s,@fcdistro@,$fcdistro,g" -e "s,@pldistro@,$pldistro,g"
+       echo "${rpm} " | sed -e "s,@arch@,${target_arch},g" -e "s,@fcdistro@,$fcdistro,g" -e "s,@pldistro@,$pldistro,g"
     done
     return 0
 }
 
-function pl_getPackages() { fcdistro=$1; shift ; pldistro=$1; shift ; pl_parsePkgs package $fcdistro $pldistro "$@" ; }
-function pl_getGroups() { fcdistro=$1; shift ; pldistro=$1; shift ; pl_parsePkgs group $fcdistro $pldistro "$@" ; }
+# usage: pl_getPackages [-a arch] fcdistro pldistro pkg-file[..s]
+function pl_getPackages() { pl_parsePkgs package "$@" ; }
+function pl_getGroups() { pl_parsePkgs group "$@" ; }
 
 # locates a pldistro-dependant file
 # tries first in build/<pldistro>/, then in build/planetlab/
@@ -651,7 +656,7 @@ function yumconf_mirrors () {
     dest_yumconf=$1; shift
     builddir=$1; shift
     fcdistro=$1; shift
-    exclude_line="$1" ; shift
+    kexclude_line="$1" ; shift
     mirrors="$@"
 
     template=$builddir/mirroring/$fcdistro/yum.repos.d/building.repo.in
@@ -663,7 +668,7 @@ function yumconf_mirrors () {
     fi
 
     for mirror in $mirrors; do
-       if yumconf_mirror $dest_yumconf $template "$exclude_line" $mirror; then
+       if yumconf_mirror $dest_yumconf $template "$kexclude_line" $mirror; then
            return 0
        fi
     done
@@ -676,12 +681,12 @@ function yumconf_mirrors () {
 function yumconf_mirror () {
     dest_yumconf=$1; shift
     template=$1; shift
-    exclude_line="$1" ; shift
+    kexclude_line="$1" ; shift
     mirror=$1; shift
 
     sed -e "s,@MIRRORURL@,$mirror,g" \
        -e "/baseurl=/i\\
-$exclude_line" $template > $dest_yumconf
+$kexclude_line" $template > $dest_yumconf
     
     # capture all lines defining baseurl
     baseurl_defs=$(grep '^baseurl=' $dest_yumconf)
@@ -716,3 +721,12 @@ function yumconf_gpgkey () {
     echo $value
     return 0
 }
+
+# patches a yum conf to insert an exclude line in each declared repo
+function yumconf_exclude () {
+    repo=$1; shift
+    kexclude_line="$1" ; shift
+    
+    sed -i -e "/baseurl=.*$/i\\
+$kexclude_line" $repo
+}