2 minutes will be more than enough
[build.git] / lbuild-initvm.sh
index 11d22d2..a867f60 100755 (executable)
@@ -13,27 +13,17 @@ BUILD_DIR=$(pwd)
 # pkgs parsing utilities
 export PATH=$(dirname $0):$PATH
 
+# old guests have e.g. mount in /bin but this is no longer part of 
+# the standard PATH in recent hosts after usrmove, so let's keep it simple
+export PATH=$PATH:/bin:/sbin
+
 . build.common
 
 DEFAULT_FCDISTRO=f20
 DEFAULT_PLDISTRO=lxc
 DEFAULT_PERSONALITY=linux64
 
-COMMAND_LBUILD="lbuild-initvm.sh"
-COMMAND_LTEST="ltest-initvm.sh"
-
 ##########
-# when creating build boxes we use private NAT'ed addresses for the VMs
-# as per virbr0 that is taken care of by libvirt at startup
-PRIVATE_BRIDGE="virbr0"
-PRIVATE_PREFIX="192.168.122."
-PRIVATE_GATEWAY="192.168.122.1"
-# beware that changing this would break the logic of random_private_byte...
-PRIVATE_MASKLEN=24
-
-# we just try randomly in that range until a free IP address shows up
-PRIVATE_ATTEMPTS=20
-
 # constant
 PUBLIC_BRIDGE=br0
 
@@ -51,6 +41,7 @@ for line in file("/proc/net/dev"):
     if ifname.find("lo")==0: continue
     if ifname.find("br")==0: continue
     if ifname.find("virbr")==0: continue
+    if ifname.find("veth")==0: continue
     if ifname.find("tap")==0: continue
     print ifname
 EOF
@@ -63,22 +54,6 @@ function discover_interface () {
     # still not found ? that's bad
     echo unknown
 }
-########## check for a free IP
-function ip_is_busy () {
-    target=$1; shift
-    ping -c 1 -W 1 $target >& /dev/null
-}
-
-function random_private_byte () {
-    for attempt in $(seq $PRIVATE_ATTEMPTS); do
-       byte=$(($RANDOM % 256))
-       if [ "$byte" == 0 -o "$byte" == 1 ] ; then continue; fi
-       ip=${PRIVATE_PREFIX}${byte}
-       ip_is_busy $ip || { echo $byte; return; }
-    done
-    echo "Cannot seem to find a free IP address in range ${PRIVATE_PREFIX}.xx/24 after $PRIVATE_ATTEMPTS attempts - exiting"
-    exit 1
-}
 
 ########## networking -- ctd
 function gethostbyname () {
@@ -200,7 +175,7 @@ function package_method () {
     fcdistro=$1; shift
     case $fcdistro in
        f[0-9]*|centos[0-9]*|sl[0-9]*) echo yum ;;
-       squeeze|wheezy|oneiric|precise|quantal|raring|saucy) echo debootstrap ;;
+       squeeze|wheezy|jessie|oneiric|precise|quantal|raring|saucy) echo debootstrap ;;
        *) echo Unknown distro $fcdistro ;;
     esac 
 }
@@ -499,7 +474,7 @@ EOF
 function debian_mirror () {
     fcdistro=$1; shift
     case $fcdistro in
-       squeeze|wheezy) 
+       squeeze|wheezy|jessie
            echo http://ftp2.fr.debian.org/debian/ ;;
        oneiric|precise|quantal|raring|saucy) 
            echo http://mir1.ovh.net/ubuntu/ubuntu/ ;;
@@ -530,11 +505,10 @@ EOF
 
 function write_guest_interfaces_test () {
     cat <<EOF
-auto $VIF_GUEST
 iface $VIF_GUEST
-    address $IP
-    netmask $NETMASK
-    gateway $GATEWAY
+address $GUEST_IP
+netmask $NETMASK
+gateway $GATEWAY
 EOF
 }
 ##############################
@@ -580,7 +554,7 @@ function setup_lxc() {
     cat /root/.ssh/id_rsa.pub >> $lxc_root/root/.ssh/authorized_keys
     
     # don't keep the input xml, this can be retrieved at all times with virsh dumpxml
-    config_xml=$tmp/$lxc.xml
+    config_xml=/tmp/$lxc.xml
     ( [ -n "$BUILD_MODE" ] && write_lxc_xml_build $lxc || write_lxc_xml_test $lxc ) > $config_xml
     
     # define lxc container for libvirt
@@ -673,14 +647,14 @@ MTU=1500
 EOF
 }
 
-# use fixed IP as specified by GUEST_HOSTNAME
+# use fixed GUEST_IP as specified by GUEST_HOSTNAME
 function write_guest_ifcfg_test () {
     cat <<EOF
 DEVICE=$VIF_GUEST
 BOOTPROTO=static
 ONBOOT=yes
 HOSTNAME=$GUEST_HOSTNAME
-IPADDR=$IP
+IPADDR=$GUEST_IP
 NETMASK=$NETMASK
 GATEWAY=$GATEWAY
 NM_CONTROLLED=no
@@ -762,7 +736,7 @@ function post_install () {
        post_install_build $lxc $personality
        lxc_start $lxc
        # manually run dhclient in guest - somehow this network won't start on its own
-       virsh -c lxc:/// lxc-enter-namespace $lxc $(bin_in_container $lxc dhclient) $VIF_GUEST
+       virsh -c lxc:/// lxc-enter-namespace $lxc /bin/bash -c "dhclient $VIF_GUEST"
     else
        post_install_myplc $lxc $personality
        lxc_start $lxc
@@ -784,50 +758,12 @@ function post_install_build () {
 ### From myplc-devel-native.spec
 # be careful to backslash $ in this, otherwise it's the root context that's going to do the evaluation
     cat << EOF | chroot $lxc_root bash -x
-    # set up /dev/loop* in lxc
-    for i in \$(seq 0 255) ; do
-       /bin/mknod -m 640 /dev/loop\$i b 7 \$i
-    done
-    
-    # create symlink for /dev/fd
-    [ ! -e "/dev/fd" ] && /bin/ln -s /proc/self/fd /dev/fd
-
-    # modify /etc/rpm/macros to not use /sbin/new-kernel-pkg
-    /bin/sed -i 's,/sbin/new-kernel-pkg:,,' /etc/rpm/macros
-    if [ -h "/sbin/new-kernel-pkg" ] ; then
-       filename=\$(/bin/readlink -f /sbin/new-kernel-pkg)
-       if [ "\$filename" == "/sbin/true" ] ; then
-               /bin/echo "WARNING: /sbin/new-kernel-pkg symlinked to /sbin/true"
-               /bin/echo "\tmost likely /etc/rpm/macros has /sbin/new-kernel-pkg declared in _netsharedpath."
-               /bin/echo "\tPlease remove /sbin/new-kernel-pkg from _netsharedpath and reintall mkinitrd."
-               exit 1
-       fi
-    fi
     
     # customize root's prompt
     /bin/cat << PROFILE > /root/.profile
 export PS1="[$lxc] \\w # "
 PROFILE
 
-    uid=2000
-    gid=2000
-    
-    # add a "build" user to the system
-    builduser=\$(grep "^build:" /etc/passwd | wc -l)
-    if [ \$builduser -eq 0 ] ; then
-       groupadd -o -g \$gid build;
-       useradd -o -c 'Automated Build' -u \$uid -g \$gid -n -M -s /bin/bash build;
-    fi
-
-# Allow build user to build certain RPMs as root
-    if [ -f /etc/sudoers ] ; then
-       buildsudo=\$(grep "^build.*ALL=(ALL).*NOPASSWD:.*ALL"  /etc/sudoers | wc -l)
-       if [ \$buildsudo -eq 0 ] ; then
-           echo "build   ALL=(ALL)       NOPASSWD: ALL" >> /etc/sudoers
-       fi
-        sed -i 's,^Defaults.*requiretty,#Defaults requiretty,' /etc/sudoers
-    fi
-#
 EOF
        
 }
@@ -846,15 +782,9 @@ function post_install_myplc  () {
     # create /etc/sysconfig/network if missing
     [ -f /etc/sysconfig/network ] || /bin/echo NETWORKING=yes > /etc/sysconfig/network
 
-    # create symlink for /dev/fd
-    [ ! -e "/dev/fd" ] && /bin/ln -s /proc/self/fd /dev/fd
-
     # turn off regular crond, as plc invokes plc_crond
     /sbin/chkconfig crond off
 
-    # take care of loginuid in /etc/pam.d 
-    /bin/sed -i "s,#*\(.*loginuid.*\),#\1," /etc/pam.d/*
-
     # customize root's prompt
     /bin/cat << PROFILE > /root/.profile
 export PS1="[$lxc] \\w # "
@@ -883,17 +813,17 @@ function wait_for_ssh () {
 
     lxc=$1; shift
   
-    echo $IP is up, waiting for ssh...
+    echo network in guest is up, waiting for ssh...
 
-    #wait max 5 min for sshd to start 
+    #wait max 2 min for sshd to start 
     ssh_up=""
-    stop_time=$(($(date +%s) + 300))
     current_time=$(date +%s)
+    stop_time=$(($current_time + 120))
     
     counter=1
     while [ "$current_time" -lt "$stop_time" ] ; do
          echo "$counter-th attempt to reach sshd in container $lxc ..."
-         ssh -o "StrictHostKeyChecking no" $IP 'uname -i' && { ssh_up=true; echo "SSHD in container $lxc is UP"; break ; } || :
+         ssh -o "StrictHostKeyChecking no" $GUEST_IP 'uname -i' && { ssh_up=true; echo "SSHD in container $lxc is UP"; break ; } || :
          sleep 10
          current_time=$(($current_time + 10))
          counter=$(($counter+1))
@@ -912,18 +842,21 @@ function failure () {
 
 function usage () {
     set +x 
-    echo "Usage: $COMMAND_LBUILD [options] lxc-name"
-    echo "Usage: $COMMAND_LTEST [options] lxc-name"
+    echo "Usage: $COMMAND [options] lxc-name             (aka build mode)"
+    echo "Usage: $COMMAND -n hostname [options] lxc-name (aka test mode)"
     echo "Description:"
-    echo "   This command creates a fresh lxc instance, for building, or running a test myplc"
+    echo "    This command creates a fresh lxc instance, for building, or running a test myplc"
+    echo "In its first form, spawned VM gets a private IP bridged with virbr0 over dhcp/nat"
+    echo "With the second form, spawned VM gets a public IP bridged on public bridge br0"
+    echo ""
     echo "Supported options"
+    echo " -n hostname - the hostname to use in container"
     echo " -f fcdistro - for creating the root filesystem - defaults to $DEFAULT_FCDISTRO"
-    echo " -d pldistro - defaults to $DEFAULT_PLDISTRO"
+    echo " -d pldistro - defaults to $DEFAULT_PLDISTRO - current support for fedoras debians ubuntus"
     echo " -p personality - defaults to $DEFAULT_PERSONALITY"
-    echo " -n hostname - the hostname to use in container - required with $COMMAND_LTEST"
-    echo " -r repo-url - used to populate yum.repos.d - required with $COMMAND_LTEST"
-    echo " -P pkgs_file - defines the set of extra pacakges"
-    echo "    by default we use vtest.pkgs or devel.pkgs according to $COMMAND"
+    echo " -r repo-url - used to populate yum.repos.d - required in test mode"
+    echo " -P pkgs_file - defines a set of extra packages to install in guest"
+    echo "    by default we use devel.pkgs (build mode) or runtime.pkgs (test mode)"
     echo " -v be verbose"
     exit 1
 }
@@ -939,29 +872,12 @@ function main () {
           exit 1
     fi
 
-    case "$COMMAND" in
-       $COMMAND_LBUILD)
-           BUILD_MODE=true ;;
-       $COMMAND_LTEST)
-           TEST_MODE=true;;
-       *)
-           usage ;;
-    esac
-
-    echo 'build mode=' $BUILD_MODE 'test mode=' $TEST_MODE
-
-    # the set of preinstalled packages - depends on vbuild or vtest
-    if [ -n "$BUILD_MODE" ] ; then
-       PREINSTALLED=devel.pkgs
-    else
-       PREINSTALLED=vtest.pkgs
-    fi
-    while getopts "f:d:p:n:r:P:v" opt ; do
+    while getopts "n:f:d:p:r:P:v" opt ; do
        case $opt in
+           n) GUEST_HOSTNAME=$OPTARG;;
            f) fcdistro=$OPTARG;;
            d) pldistro=$OPTARG;;
            p) personality=$OPTARG;;
-           n) GUEST_HOSTNAME=$OPTARG;;
            r) REPO_URL=$OPTARG;;
            P) PREINSTALLED=$OPTARG;;
            v) VERBOSE=true; set -x;;
@@ -976,8 +892,8 @@ function main () {
     lxc=$1 ; shift
     lxc_root=/vservers/$lxc
     # rainchecks
-    [ -d $lxc_root ] && \
-       { echo "container $lxc already exists in filesystem - exiting" ; exit 1 ; }
+    almost_empty $lxc_root || \
+       { echo "container $lxc already exists in $lxc_root - exiting" ; exit 1 ; }
     virsh -c lxc:/// domuuid $lxc >& /dev/null && \
        { echo "container $lxc already exists in libvirt - exiting" ; exit 1 ; }
     mkdir -p $lxc_root
@@ -985,14 +901,29 @@ function main () {
     # check we've exhausted the arguments
     [[ -n "$@" ]] && usage
 
+    # BUILD_MODE is true unless we specified a hostname
+    [ -n "$GUEST_HOSTNAME" ] || BUILD_MODE=true
+
+    # set default values
     [ -z "$fcdistro" ] && fcdistro=$DEFAULT_FCDISTRO
     [ -z "$pldistro" ] && pldistro=$DEFAULT_PLDISTRO
     [ -z "$personality" ] && personality=$DEFAULT_PERSONALITY
     
+    # the set of preinstalled packages - depends on mode
+    if [ -z "$PREINSTALLED"] ; then
+       if [ -n "$BUILD_MODE" ] ; then
+           PREINSTALLED=devel.pkgs
+       else
+           PREINSTALLED=runtime.pkgs
+       fi
+    fi
+
     if [ -n "$BUILD_MODE" ] ; then
+       # we can now set GUEST_HOSTNAME safely
         [ -z "$GUEST_HOSTNAME" ] && GUEST_HOSTNAME=$lxc
     else
-       [[ -z "$GUEST_HOSTNAME" ]] && usage
+       # as this command can be used in other contexts, not specifying
+       # a repo is considered a warning
        # use -r none to get rid of this warning
        if [ "$REPO_URL" == "none" ] ; then
            REPO_URL=""
@@ -1014,29 +945,20 @@ function main () {
         echo "Unknown personality: $personality"
     fi
 
-    if [ -n "$BUILD_MODE" ] ; then
+    # compute networking details for the test mode
+    # (build mode relies entirely on dhcp on the private subnet)
+    if [ -z "$BUILD_MODE" ] ; then
 
-       # Bridge IP affectation
-       byte=$(random_private_byte)
-       IP=${PRIVATE_PREFIX}$byte
-       NETMASK=$(masklen_to_netmask $PRIVATE_MASKLEN)
-       GATEWAY=$PRIVATE_GATEWAY
-       VIF_HOST="i$byte"
-    else
-        [[ -z "GUEST_HOSTNAME" ]] && usage
-       
        create_bridge_if_needed
 
-       IP=$(gethostbyname $GUEST_HOSTNAME)
+       GUEST_IP=$(gethostbyname $GUEST_HOSTNAME)
        # use same NETMASK as bridge interface br0
        MASKLEN=$(ip addr show $PUBLIC_BRIDGE | grep -v inet6 | grep inet | awk '{print $2;}' | cut -d/ -f2)
         NETMASK=$(masklen_to_netmask $MASKLEN)
-        GATEWAY=$(ip route show | grep default | awk '{print $3}')
+        GATEWAY=$(ip route show | grep default | awk '{print $3}' | head -1)
         VIF_HOST="i$(echo $GUEST_HOSTNAME | cut -d. -f1)"
     fi
 
-    echo "the IP address of container $lxc is $IP, host virtual interface is $VIF_HOST"
-
     setup_lxc $lxc $fcdistro $pldistro $personality 
 
     devel_or_vtest_tools $lxc $fcdistro $pldistro $personality