Merge branch 'master' of ssh://git.onelab.eu/git/bootstrapfs
[bootstrapfs.git] / plc.d / packages
index ad8a5d9..cd32f2b 100755 (executable)
@@ -1,6 +1,4 @@
 #!/bin/bash
-# $Id$
-# $URL$
 #
 # priority: 1200
 #
@@ -8,6 +6,7 @@
 #
 # Mark Huang <mlhuang@cs.princeton.edu>
 # Copyright (C) 2006 The Trustees of Princeton University
+# Thierry Parmentelat <thierry.parmentelat@inria.fr>
 #
 
 # Source function library and configuration
 # Be verbose
 set -x
 
+#################### hack yumgroups
+# if we've installed for several flavours
+# we create cross links in install-rpms like this one
+# ./onelab-f8-i386/vserver-onelab-f12-i386-5.0-6.2011.02.03.i686.rpm 
+#   -> /var/www/html/install-rpms/onelab-f12-i386/vserver-onelab-f12-i386-5.0-6.2011.02.03.i686.rpm
+#
+# but this won't make it to the nodes until they are insered in yumgroups.xml in the PlanetLab group
+# 
+
+function hack_yumgroups () {
+    repo=$1; shift
+
+    pushd $repo >& /dev/null
+    pwd
+    vsrpms=$(find . -name 'vserver*rpm')
+    echo found vsrpms $vsrpms
+    if [ ! -f yumgroups.xml ] ; then
+       echo "hack_yumgroups: could not find yumgroups in $(pwd)" 
+    elif [ -z "$vsrpms" ] ; then
+       echo "No need to hack yumgroups, no foreign vserver package found"
+    else
+       cp yumgroups.xml yumgroups.xml.hacking
+       # remove references to package vserver-
+       grep -v '>vserver-' yumgroups.xml.hacking > yumgroups.xml
+       # build a list of lines with corresponding rpm names
+       insert=""
+       for vsrpm in $vsrpms; do
+           rpmname=$(rpm -q --qf '%{name}' -p $vsrpm)
+           echo found file $vsrpm with name $rpmname
+           insert="$insert<packagereq type=\"mandatory\">$rpmname</packagereq>"
+       done
+       echo 'inserting' $insert
+       # insert in yumgroups at the right place -- first packages in the PlanetLab group
+       ed yumgroups.xml <<EOF
+1
+/name>PlanetLab<
+/packagelist
++
+i
+$insert
+.
+w
+q
+EOF
+    fi
+    popd >& /dev/null
+}
+
+#################### xxx fixme xxx
+# I'm seeing weird things with f14 nodes and an f8 myplc server
+# I suspect that the f8-based createrepo binary does not do the right thing,
+# as the node (onelab09.pl.sophia.inria.fr) issues a lot of 
+# 'package does not match intended content'
+# before reaching this conclusion I have entirely rebuilt the server-side yum repos
+# by (*) checking the gpg keys (*) yum reinstalling all noderepos 
+# and on top of that manually re-running createrepo
+# of course the node had gone through yum clean all as well
+####################
 case "$1" in
-    start)
+    start|force)
        if [ "$PLC_BOOT_ENABLED" != "1" ] ; then
            exit 0
        fi
@@ -28,7 +85,8 @@ case "$1" in
 
        shopt -s nullglob
 
-       shift
+       mode=$1; shift
+
        if [[ -z "$@" ]] ; then
            # use all subdirs in install-rpms by default
            repositories=/var/www/html/install-rpms/*
@@ -37,55 +95,67 @@ case "$1" in
            repositories="$@"
        fi
 
-       ### availability of repo indexing tools
-       # old one - might be needed for old-style nodes
-       type -p yum-arch > /dev/null && have_yum_arch="true"
-       # new one
-       type -p createrepo > /dev/null && have_createrepo="true"
-
-
-        ### copy vserver-PLDISTRO* and vserver-systemslices-PLDISTRO*
-        ### pacakges to each repository to be able to create different
-        ### flavours of vservers on nodes
-        for repository1 in $repositories; do
-            DISTRO=${PLC_FLAVOUR_SLICE_PLDISTRO}
-            VSERVER_PKG=vserver-$(basename $repository1)
-            VSERVER_SYS_SLICES_PKG=vserver-systemslices-$(basename $repository1)
-            for repository2 in $repositories; do
-                if [[ $(basename $repository1) == ${DISTRO}* ]]  \
-                    && [[ $(basename $repository2) == ${DISTRO}* ]] \
-                    && [[ $repository1 != $repository2 ]] ; then
-                        ln -s $repository1/${VSERVER_PKG}* $repository2
-                        ln -s $repository1/${VSERVER_SYS_SLICES_PKG}* $repository2
-                fi
-            done
-        done
+       ##########
+       # deal with the vserver packages
+       # symlink all instances of plain 'vserver-*rpm' in all repos
+       # and cleanup old links 
+       vsrpms=$(find $repositories -name 'vserver*rpm' -a -type f)
+       vslinks=$(find $repositories -name 'vserver*rpm' -a -type l)
+
+       for vslink in $vslinks; do
+           [ ! -e $vslink ] && { echo removing old $vslink; rm $vslink; }
+       done
+
+       for repo in $repositories; do
+           for vsrpm in $vsrpms; do
+           # if in the repo we're dealing with, ignore
+               if [ "$(echo $vsrpm | sed -e s,^$repo,,)" != $vsrpm ] ; then
+                   continue
+               fi
+               b=$(basename $vsrpm)
+               link=$repo/$b
+               if [ ! -e $link ] ; then
+                   echo "creating symlink $link towards $vsrpm"
+                   ln -s $vsrpm $link
+               fi
+           done
+       done
+
+       ##########
+       # now that the symlinks are OK, we can tweak yumgroups
+       for repository in $repositories; do
+           hack_yumgroups $repository
+       done
 
+       ########## sign plain packages
        for repository in $repositories ; do
            # the rpms that need signing
            new_rpms=
            # and the corresponding stamps
            new_stamps=
            # is there a need to refresh yum metadata
-           need_yum_arch=
-           need_createrepo=
+           # a safe approach would be to always run createrepo
+           # however this is painfully slow with multi-flavour installed
+           need_createrepo= 
+           # however if we run this script like
+           # /etc/plc.d/packages force
+           # then we force a createrepo
+           [ "$mode" == force ] && need_createrepo=true
 
            # right after installation, no package is present
            # but we still need to create index 
-           [ -n "$have_yum_arch" -a ! -f $repository/headers/header.info ] && need_yum_arch=true
-           [ -n "$have_createrepo" -a ! -f $repository/repodata/repomd.xml ] && need_createrepo=true
-           
-           for package in $(find $repository/ -name '*.rpm') ; do
+           [ ! -f $repository/repodata/repomd.xml ] && need_createrepo=true
+
+           # it's not helpful to sign symlinks that will get signed on their own
+           for package in $(find $repository/ -name '*.rpm' -a \! -type l) ; do
                stamp=$repository/signed-stamps/$(basename $package).signed
                # If package is newer than signature stamp
                if [ $package -nt $stamp ] ; then
                    new_rpms="$new_rpms $package"
                    new_stamps="$new_stamps $stamp"
                fi
-               # Or than yum-arch headers
-               [ -n "$have_yum_arch" ] && [ $package -nt $repository/headers/header.info ] && need_yum_arch=true
                # Or than createrepo database
-               [ -n "$have_createrepo" ] && [ $package -nt $repository/repodata/repomd.xml ] && need_createrepo=true
+               [ $package -nt $repository/repodata/repomd.xml ] && need_createrepo=true
            done
 
            if [ -n "$new_rpms" ] ; then
@@ -100,26 +170,21 @@ case "$1" in
                    --define "_gpg_path /etc/planetlab" \
                    --define "_gpg_name $PLC_MAIL_SUPPORT_ADDRESS" \
                    --resign $new_rpms && touch $new_stamps
-               check
+#              check
+               # if we sign at least one package then we need to reindex
+               need_createrepo=true
            fi
 
            # Update repository index / yum metadata. 
 
-           if [ -n "$need_yum_arch" ] ; then
-               # yum-arch sometimes leaves behind
-               # .oldheaders and .olddata directories accidentally.
-               rm -rf $repository/{.oldheaders,.olddata}
-               yum-arch $repository 
-               check
-           fi
-
            if [ -n "$need_createrepo" ] ; then
                if [ -f $repository/yumgroups.xml ] ; then
                    createrepo --quiet -g yumgroups.xml $repository 
+                   check
                else
                    createrepo --quiet $repository
+                   check
                fi
-               check
            fi
        done
 
@@ -139,10 +204,17 @@ case "$1" in
            rm -rf $repository/signed-stamps
            rm -rf $repository/repodata
            rm -rf $repository/headers
+           find $repository -type l | xargs rm
        done
        ;;
+    # (use this only if you have noderepos installed)
+    superclean)
+       find /var/www/html/install-rpms -name signed-stamps | xargs rm -rf
+       rpm -aq | grep noderepo | xargs yum -y reinstall
+       shift
+       ;;
     *)
-        echo "Usage: $0 start|clean [repo ..]"
+        echo "Usage: $0 start|force|clean [repo ..]"
        ;;
 esac