- bump version number
[bootcd.git] / build.sh
index c165075..b76019c 100755 (executable)
--- a/build.sh
+++ b/build.sh
@@ -8,7 +8,7 @@ CONFIGURATIONS_DIR=configurations/
 # where built files are stored
 BUILD_DIR=build/
 
-BOOTCD_VERSION="3.0-beta0.4"
+BOOTCD_VERSION="3.2"
 FULL_VERSION_STRING="PlanetLab BootCD"
 OUTPUT_IMAGE_NAME='PlanetLab-BootCD'
     
@@ -27,6 +27,19 @@ RAMDISK_SIZE=64
 INITRD_BYTES_PER_INODE=1024
 
 
+# make sure the boot manager source is checked out in the same directory
+# as the bootcd_v3 repository
+for BOOTMANAGER_DIR in ../bootmanager-* ../bootmanager ; do
+    [ -d $BOOTMANAGER_DIR ] && break
+done
+
+if [ ! -d $BOOTMANAGER_DIR ]; then
+    echo "the bootmanager repository needs to be checked out at the same"
+    echo "level as this directory, for the merge_hw_tables.py script"
+    exit
+fi
+
+
 function usage()
 {
     echo "Usage: build.sh <action> [<configuration>]"
@@ -57,20 +70,62 @@ function build_cdroot()
     echo "setup rpm to install only en_US locale and no docs"
     mkdir -p $CD_ROOT/etc/rpm
     cp -f $CONF_FILES_DIR/macros $CD_ROOT/etc/rpm
+    # trick rpm and yum
+    export HOME=$PWD
+    cp -f $CONF_FILES_DIR/macros $PWD/.rpmmacros
 
     echo "initialize rpm db"
     mkdir -p $CD_ROOT/var/lib/rpm
     rpm --root $CD_ROOT --initdb
+    
+    # XXX Should download yum.conf from the boot server?
+    echo "generate yum.conf"
+cat >yum.conf <<EOF
+[main]
+cachedir=/var/cache/yum
+debuglevel=2
+logfile=/var/log/yum.log
+pkgpolicy=newest
+### for yum-2.4 in fc4 (this will be ignored by yum-2.0)
+### everything in here, do not scan /etc/yum.repos.d/
+reposdir=/dev/null
+
+[FedoraCore2Base]
+name=Fedora Core 2 Base -- PlanetLab Central
+baseurl=http://$PRIMARY_SERVER/install-rpms/stock-fc2/
+
+[FedoraCore2Updates]
+name=Fedora Core 2 Updates -- PlanetLab Central
+baseurl=http://$PRIMARY_SERVER/install-rpms/updates-fc2/
+
+[PlanetLab]
+name=PlanetLab RPMS -- PlanetLab Central
+baseurl=http://$PRIMARY_SERVER/install-rpms/planetlab/
+EOF
+    yumgroups="http://$PRIMARY_SERVER/install-rpms/planetlab/yumgroups.xml"
+
+   # Solve the bootstrap problem by including any just built packages in
+   # the yum configuration. This cooperates with the PlanetLab build
+   # system.
+   if [ -n "$RPM_BUILD_DIR" ] ; then
+       cat >>yum.conf <<EOF
+[Bootstrap]
+name=Bootstrap RPMS -- $(dirname $RPM_BUILD_DIR)/RPMS/
+baseurl=file://$(dirname $RPM_BUILD_DIR)/RPMS/
+EOF
+       yumgroups="file://$(dirname $RPM_BUILD_DIR)/RPMS/yumgroups.xml"
+   fi
 
     echo "install boot cd base rpms"
     yum -c yum.conf --installroot=$CD_ROOT -y groupinstall $BOOTCD_YUM_GROUP
 
+    # Retrieve all of the packagereq declarations in the BootCD group of the yumgroups.xml file
     echo "checking to make sure rpms were installed"
-    packages=`cat yumgroups.xml | grep packagereq | sed 's#<[^<]*>##g'`
+    packages=$(curl $yumgroups | sed -n -e '/<name>BootCD<\/name>/,/<name>/{ s/.*<packagereq.*>\(.*\)<\/packagereq>/\1/p }')
     set +e
     for package in $packages; do
        echo "checking for package $package"
-       chroot $CD_ROOT /bin/rpm -qi $package > /dev/null
+       /usr/sbin/chroot $CD_ROOT /bin/rpm -qi $package > /dev/null
        if [[ "$?" -ne 0 ]]; then
            echo "package $package was not installed in the cd root."
            echo "make sure it exists in the yum repository."
@@ -85,7 +140,7 @@ function build_cdroot()
 
     echo "setting up non-ssh authentication"
     mkdir -p $CD_ROOT/etc/samba
-    chroot $CD_ROOT /usr/sbin/authconfig --nostart --kickstart \
+    /usr/sbin/chroot $CD_ROOT /usr/sbin/authconfig --nostart --kickstart \
        --enablemd5 --enableshadow
 
     echo "setting root password"
@@ -98,6 +153,12 @@ function build_cdroot()
     mv $CD_ROOT/var/lib/rpm $CD_ROOT/usr/relocated/var/lib/
     (cd $CD_ROOT/var/lib && ln -s ../../usr/relocated/var/lib/rpm rpm)
 
+    # get /var/cache/yum out, its 100Mb. create in its place a 
+    # symbolic link to /usr/relocated/var/cache/yum
+    mkdir -p $CD_ROOT/usr/relocated/var/cache/
+    mv $CD_ROOT/var/cache/yum $CD_ROOT/usr/relocated/var/cache/
+    (cd $CD_ROOT/var/cache && ln -s ../../usr/relocated/var/cache/yum yum)
+
     # get /lib/tls out
     mkdir -p $CD_ROOT/usr/relocated/lib
     mv $CD_ROOT/lib/tls $CD_ROOT/usr/relocated/lib/
@@ -114,6 +175,10 @@ function build_cdroot()
     KERNEL=$CD_ROOT/boot/vmlinuz-*
     mv -f $KERNEL $CD_ROOT/usr/isolinux/kernel
 
+    echo "moving /usr/bin/find and /usr/bin/dirname to /bin"
+    mv $CD_ROOT/usr/bin/find $CD_ROOT/bin/
+    mv $CD_ROOT/usr/bin/dirname $CD_ROOT/bin/
+
     echo "creating version files"
     echo "$FULL_VERSION_STRING" > $CD_ROOT/usr/isolinux/pl_version
     echo "$FULL_VERSION_STRING" > $CD_ROOT/pl_version
@@ -176,6 +241,11 @@ function build_initrd()
     echo "$PRIMARY_SERVER" > $CD_ROOT/usr/bootme/BOOTSERVER_IP
     echo "$PRIMARY_SERVER_PORT" > $CD_ROOT/usr/bootme/BOOTPORT
 
+    echo "copying cacert to old boot cd directory bootme (TEMPORARY)"
+    mkdir -p $CD_ROOT/usr/bootme/cacert/$PRIMARY_SERVER/
+    cp -f $CURRENT_CONFIG_DIR/$PRIMARY_SERVER_CERT \
+       $CD_ROOT/usr/bootme/cacert/$PRIMARY_SERVER/cacert.pem
+
     echo "forcing lvm to make lvm1 partitions (TEMPORARY)"
     cp -f $CONF_FILES_DIR/lvm.conf $CD_ROOT/etc/lvm/
 
@@ -204,11 +274,11 @@ function build_initrd()
     pci_map_file=`find $CD_ROOT/lib/modules/ -name modules.pcimap | head -1`
     module_dep_file=`find $CD_ROOT/lib/modules/ -name modules.dep | head -1`
     pci_table=$CD_ROOT/usr/share/hwdata/pcitable
-    ./scripts/rewrite-pcitable.py $module_dep_file $pci_map_file $pci_table \
-       $CD_ROOT/etc/pl_pcitable
+    $BOOTMANAGER_DIR/source/merge_hw_tables.py \
+       $module_dep_file $pci_map_file $pci_table $CD_ROOT/etc/pl_pcitable
 
     dd if=/dev/zero of=$INITRD bs=1M count=$RAMDISK_SIZE
-    mkfs.ext2 -F -m 0 -i $INITRD_BYTES_PER_INODE $INITRD
+    /sbin/mkfs.ext2 -F -m 0 -i $INITRD_BYTES_PER_INODE $INITRD
     mkdir -p $INITRD_MOUNT
     mount -o loop,rw $INITRD $INITRD_MOUNT
 
@@ -233,10 +303,31 @@ function build()
     # always build/rebuild initrd
     build_initrd
 
+    # build iso image
     rm -f $ISO
     mkisofs -o $ISO -R -allow-leading-dots -J -r -b isolinux/isolinux.bin \
        -c isolinux/boot.cat -no-emul-boot -boot-load-size 4 -boot-info-table \
        $CD_ROOT/usr
+
+    # build usb image and make it bootable with syslinux (instead of isolinux)
+    USB_IMAGE=${ISO%*.iso}.usb
+    # leave 1 MB of free space on the filesystem
+    USB_KB=$(du -kc $ISO $CD_ROOT/usr/isolinux | awk '$2 == "total" { print $1 + 1024 }')
+    /sbin/mkfs.vfat -C $USB_IMAGE $USB_KB
+
+    mkdir -p $INITRD_MOUNT
+    mount -o loop,rw $USB_IMAGE $INITRD_MOUNT
+
+    # populate the root of the image with the iso, pl_version, and the syslinux files
+    cp -a $ISO $INITRD_MOUNT
+    cp -a $CD_ROOT/usr/isolinux/{initrd.gz,kernel,message.txt,pl_version} $INITRD_MOUNT
+    cp -a $CD_ROOT/usr/isolinux/isolinux.cfg $INITRD_MOUNT/syslinux.cfg
+
+    umount $INITRD_MOUNT
+    rmdir $INITRD_MOUNT
+
+    # make it bootable
+    syslinux $USB_IMAGE
 }
 
 function burn()