Branch 4.2 for module BootCD created from tag BootCD-3.4-5

Tagging module BootCD - BootCD-3.4-5
kargs.txt for serial boot fixed: now properly exposed to bootmanager through the overlay image
build.sh cleaned up in the process
actual location of selected node config file displayed
import pypci rather than pypciscan

cosmetic : displays the node configuration file

Module changed names.

* reviewed to have kargs.txt stored in overlay.img
* 'serial' in type is NOT SUPPORTED anymore
  this is because of kargs.txt, and we prepare the overlay only once
* miscell cleanup to have clear steps implemented as functions

Second step towards multiarch myplc https://svn.planet-lab.org/ticket/214
-- design
* new notion of a 'nodefamily' - that for now is <pldistro>-<arch>
* standard rpm repository is now named /var/www/html/install-rpms/<nodefamily>
  a legacy symlink install-rpms/planetlab is created my myplc packaging
* bootstrafs rpm name is now bootstrapfs-<nodefamily> so that several instances
 from various builds can be installed in the same myplc
* noderepo rpm (named noderepo-<nodefamily>) built as part of the planetlab distro
  this is for installing /var/www/html/intall-rpms/<nodefamily> from another build

-- other changes
* extensive cleanup of mkfedora:
** obsolete  options -p -g -x removed
** option -p removed, pkgsfile is a mandatory argument
** option -k removed, use kexclude: in the pkgs file instead
* also cleaned up pl_root_* functions - no wrapper to pl_root_mkfedora anymore

-- status
* not tested at all - likely to break
* next step planned for storing nodefamily and pass it to yum.php.conf
  (impacted would be bootmanager, nodemanager and nodeconfig)
* a final cleanup in mkfedora would be to define mirrors in a separate .pkgs-like file
* kupdate.sh, as well as possibly other convenience scripts, might be impacted

remove empty dir

missed closing bracket when substituting kargs for serial.

-support so that kexec is invoked with the corrects args for serial console output

Tagging module BootCD - bootcd-3.4-4
build.sh support for -s <console_spec> (recommended vs using type)
build.sh cleanup - usage clearer wrt types - removed old code
fixed modprobe with args in pl_hwinit

previous change was too deep a cleaning - as might have been suspected
this restores the required stuff in /usr/bootme

removed all legacy code wrt alternative configurations (-c option),
  as build.sh is *never* invoked at build-time as it used to be
also, I was feeling is the mood, so I also removed the part
  about /usr/bootme in the overlay image, as it was marked deprecated

* build.sh completely cleaned wrt serial & -s
- can specify either -s <> or serial anywhere in the type
- supports -s default
- output filenames fixed, does not mention the console characteristics when default is used, duplicate serial fixed
* build.sh supports a new -o option, so the caller can specify the output
* GetBootMedium uses this new -o option
* GetBootMedium now has 3 known options serial[:console] cramfs partition
* GetBootMedium cowardly refuses options when deailng with floppy or generic images

haven't looked into planetlab's www module - so long as the web only supports iso/usb this should run fine

- reviewed usage, for more relevance (lists all actually supported types)
- minor bug fixes

this command needs a -o option that would not add the suffix stuff that -O does
so GetBootMedium could use it to its full power

- fixed bug where all bootcd were built assuming a serial line console.

- cleaned up console definition

Minor clean up to modprobe() function.

Added support to specify serial line options from the command line.

Tagging module BootCD  -- from bootcd-3.4-2 to bootcd-3.4-3
load floppy with modprobe flags
support for creating a usb partition
removed obsolete files newbuild.sh, bootcustom.sh and cdcustom.sh

possible fix for rmmod floppy hanging before kexec on nodes without drives.

Passing a custom-dir without setting serial was not working
  Fixed/protected arg passing among functions
+ formatting, marginally

Cleanup:
- cdcustom.sh was the ancestor of bootcustom.sh
- bootcustom.sh itself is not used anymore in myplc
- newbuild.sh looks like a rather old version of build.sh - despite the name

removed extra quotes - fixes the iso/cramfs build

ifs and fis without indents make me dizzy.

Add a build_usb_partition function to create a partitioned usb image that will
allow (at least) the dc7800 PCs to boot from a USB image.  Uses the mtools
configuration file to reach inside of an image file.

ready for tagging
reviewed URLs and %{plrelease}

cleaning up the root creation functions and build.common - untested

(*) groups distro-dependent files in build/config.<distro>
(*) renamed .lst files into .pkgs (lst suffix commonly used for other/tmp purposes)
(*) distro-dependent files are (mostly) optional, defaults to planetlab
(*) mkfedora accepts new -f argument : to pass a pkgs file rather than -p .. -g ..
(*) mkfedora supports junk: and precious: in pkgs file
    this is from the former bootcd/prep.sh - to reduce footprint

Notes.
(*) this is untested
(*) mkfedora still supports -x (exclude) on the command line and in pkgs file
    however I suspect this feature is never used
(*) mkfedora is still a separate command - could/should be merged into buld.common
(*) myplc/build.functions could/should be merged into build.common as well

Handle wireless (by letting ifup do its thang).

loadedmodules is global.

Add OpenVPN.

who wants to use rsh ?

Remove unused directory.

Remove planetlab package. Generic images are built by MyPLC/plc.d/bootcd.
Remove any remaining references to local syslinux.

copy isolinux.bin from install syslinux

syslinux has been removed

syslinux is no longer included. Use the system version, which uses mtools.

Drop syslinux, require distro's version instead.

isolinux.bin needs to be writable.

Readd /tmp/loadedmodules.

obsolete package

If ata_generic is loaded, we want it to grab all matching devices.

Non-root users cannot chown.

Readd the -a option to build all supported images.

Use /data/tmp if it exists.

Use mtools to build USB images, no more loop-mounts here, woohoo!
Add an option to specify which image(s) to build.
Some cleanup.

includes pypcilib

I suspect this is a recent change that I missed in the renaming

replacing pldistro-fcdistro-*.lst with a pldistro-*.lst with variants embedded

Progif added to class.

pl_pcitable isn't used anymore.

Check for supported network devices, and warn if none are present (make it an error?).

Rewrite pl_hwinit in Python.

Merge disconnected ops branch.

this mostly undoes changeset svn.planet-lab.org/changeset/6958
that would not work on fc4 anymore

in any case this .dist file is a dummy placeholder that reads
# empty file, can be removed, if it is not included by /etc/modprobe.conf

created from fc6

figures where modprobe.conf.dist gets installed

takes package list out of prep.sh in a .lst -- provides -k to mkfedora as it used to be - pldistro passed from spec file to prep.sh

Need to squash the error exit status of mktemp when testing whether
/data is a readonly filesystem.  Instead need to check if the result
of mktemp is an empty string or not.

Use /data if it exists and is writeable, otherwise use /usr/tmp to
build images.

Add in filesystem package explicitly.

Due to package name change, need to invoke the merge_hw_tables.py file
from BootManager and not bootmanger.

pushd to BootCD rather than bootcd.

use build/build.common functions

fix to selecting Fedora release number

Make Fedora 7 compatible

+ modified the version number to 3.4, since it's now using a 2.6.20 kernel.

specify architecture to build bootcd for

+ added bootcustom.sh as a file to include with the package.  I think I did it
right, but not 100% sure.

+ added bootcustom.sh into bootcd.  this will provide support to new
actions.php file for building custom ISOs on-the-fly.

invoke prep with fedora core release argument

do not dereference symlinks when chowning files back to the SUDO_USER

- select newascii cpio format explicitly, debian cpio uses oldascii by default

support RC1 configs

experimental build script for new build system

Fixed up usb image that uses cramfs and 9600baud serial line console.
Also added ttyS0 to securetty.

Also check readonly hd* devices (e.g., compact flash) as a source for
plnode.txt.

fix - small glitch when building several images

* Added support to build images with the serial line as the console

* Added support to build cramfs based images, which lets one install
  on memory constrained systems.  These are only built when the -a
  flag

* Intermediate images are now built in /data (if available), rather
  than in /tmp.  The reason being that /tmp within a chroot'ed myplc
  environment does not have sufficient space.  Falls back to using
  /tmp if /data is not available

* Made build.sh be backwards compatible with an RC1 based MyPLC
  installations.

- also install vconfig, the VLAN configuration utility

Install supermicro ipnmac utility

Linux ipnmac utility from SuperMicro

- allow IPMI_ADDRESS and IPMI_MAC to be specified

- fix NET_DEVICE parsing implementation to match the comment,
  i.e. accept device name as well. Also cast NET_DEVICE to lowercase so
  that MAC addresses can be compared properly.

- initialize IPMI interface (currently only SuperMicro boards are
  supported)

dev replaced with udev for mkfedora package checking

- use tar instead of cpio so that directories don't get created with
  0700 perms

- also cleanup after Ctrl-C
- round up ramdisk_size to nearest kilobyte to avoid kernel memory
  contamination if the size of the cpio archives is not a perfect
  multiple of 1024!

- get rid of /boot after copying kernel out

- remove /boot (kernel stored on boot media)
- remove /usr/lib/gconv (only used by iconv)
- remove /usr/lib/tls (don't need tls support in the bootcd)

- install the cert of the CA that signed the boot server cert on the
  bootcd
- if /etc/planetlab/plc_config is not a valid myplc configuration (maybe
  a myplc-devel configuration), try static configuration

do not compile com32 tools

- revert to 1.36 (install boot server cert, which may optionally be a
  third-party CA cert)

added a comment on the load order among the images

reworked, now uses a third image for holding local customizations - able to generate a custom node-independent image too

- install root CA SSL certificate instead of boot server certificate

- remove pycurl from bootcd

supports partial bootcd in bootcd-custom, merges with CD if found

reworked for new CD layout

- fix removal of junk; let bash expand the wildcards
- remove precious tarball when done

- label step