Setting tag BootManager-4.3-17
merge initrd changes from trunk

merge initrd changes from trunk

Branch 5.0 for module BootManager created (as new trunk) from tag BootManager-4.3-16

Setting tag BootManager-4.3-16
support for fedora 12

Setting tag BootManager-4.3-16
support for fedora 12

uploading bmlog - fits new pycurl

support for pyparted-2.x (f12)

Setting tag BootManager-4.3-15
- support for when the node is behind a NAT
- clean up RUN_LEVEL support
- support for early sshd

Use utils.sysexec.

Add means for executing a script before starting sshd.

revert previous commit for deployment tag.

bootmanager + nodeconfig + myplc: they provide the very same
functionality altogether.

check deployment node tag and if present install the deployment bootstrapfs.
we use this to install "alpha" nodes. what we do is, build the packages separately
(using the automated nightly build/test) and put them in a sub-folder.

Rework NAT support.

make sure we only use proper run_level values

fixed erroneous changelog

Setting tag BootManager-4.3-14
Use ext2 instead of ext3.
Add NAT model option for nodes which don't resolve properly.

revert back to ext3

Add means to disable the hostname check for nodes behind NAT.

Setting tag 4.3-13 (manually) with only changeset svn.planet-lab.org/changeset/15328

fsck forced by the length of time since the last fsck, returns 256.  this is
not a documented return value, but catching it will prevent BM from exiting
unnecessarily.

- switch to using ext2 vs. ext3.

- mount /vserver after /proc

- remove backwards compat support for CKRM enabled kernels

- use sysexec and not sysexec_noerr for umount/vgchange operations

initialize NODE_MODL_OPTIONS in case we go into debug mode before we've successfully contacted the API

Setting tag BootManager-4.3-12

Moved some configuration values from BootServerRequest.py to 'configuration' file.
BootServerRequest takes the 'VARS' variable to read these values.
UPLOAD_LOG_SCRIPT can point optionally to the 'upload-bmlog.php' or 'monitor/upload'
  (or any other interface that accepts a POST file)
build.sh bundles cacerts for boot and monitor servers (if present) to
  authenticate the UPLOAD_LOG_SCRIPT.
  Previously, these certs were re-used from the bootcd, now they are bundled
  with BM.  This allows the BM to point to a completely different myplc if
  desired, and it is still secure, because the original download is
  authenticated.

add ssl certificate fields for Monitor in default_config.xml
add ssl certificate generation for Monitor in plc.d/ssl

separate bootcd values from bootmanager configuration
build.sh now collects all the certificates that it needs to authenticate the
https sessions. As well, the BM configuration includes several new values that
control how and where it uploads logs.

BOOT_API_SERVER remains as the API server for all API calls
BOOT_SERVER is the host from which the bootstrapfs and other files are fetched.
MONITOR_SERVER is the host where logs are uploaded
UPLOAD_LOG_SCRIPT is the path to the upload script or entry point.

If the configuration value PLC_MONITOR_ENABLED=false, then MONITOR_SERVER=BOOT_SERVER
It is now much easier to extend BM in the future to upload additional files
such as for hardware information, SMART data, commands run by root users
during the session, etc.

Setting tag BootManager-4.3-11
raise a single exception for nodes with authentication errors
fix syntax error in MakeInitrd.py

Catch and raise the exception when GetSession Fails.
Then start sshd and stop BootManager immediately so that only one message goes to the user

syntax problem; node boot process was failing here

Setting tag BootManager-4.3-10
Replace UpdateBootstate with UpdateRunlevel where appropriate.
Removed failboot and install from forced states.
Removed checks for initrd in Validate
Added extra messages for Validate failures, not-installed, no kernel, failed fsck
Added libc-opendir-hack.so patch from 3.2 branch for 2.6.12 bootcds on PL.

do not check for initrd in Validate, since it is recreated later.
catch the error if removing initrd fails in MakeInitrd, since it's about to
recreate it anyway.

In combination this patch avoids the situation where initrd is missing but BM
fails.  Now, if initrd is missing, BM will proceed and recreate it without
error.

add -ldl, missing from original patch

no tabs...

Add additional messages regarding kinds of boot failures due to
 notinstalled
 filesystem corrupted
 mount failed
 missing kernel

Each of these events occurs with enough frequency that differentiating them
is helpful both for operators and for the user.

added file missing from last commit to use 'runlevel' rather than 'bootstate'

remove 'failboot' from possible boot states
update run level rather than the boot state
only upudate boot state for manual calls and reinstall->boot

also return if fsck fails; it's a bad bad idea to try to mount if fsck has just failed.

missed the 'merge' conflict stuff

svn merge -c 9766 https://svn.planet-lab.org/svn/BootManager/branches/3.2 into trunk

sync sys clock to hardware to prevent fsck reboot bug for systems with wrong
hardware clocks.  there may be a better place for this code in bm.

disable runlevelagent when it is installed by bootmanager as part of myplc.

Tagging module BootManager - BootManager-4.3-9

Special handling for "forcedeth" ethernet NIC.

https://bugzilla.redhat.com/show_bug.cgi?id=178557
lspci says that the builtin ethernet on nVidia nForce3 chipset is a
Bridge.  It should be a Communications device.

This specifically was a problem on planetlab2.icu.ac.kr, but there
were a few others as well for which we worked around the problem by
inserting a known-to-work NIC card.

With this little special exception we basically treat this device as a
network device and can therefore use this NIC.

Tagging module BootManager - BootManager-4.3-8
include a fix for public pl dealing with old/new boot images and root
environments

clear immutible attribute before writing file, to address wide-spread issues
seen on public pl related to 2.6.12 boot cd and 2.6.22 root context.

Tagging module BootManager - BootManager-4.3-7
review selection nodefamily at bootstrapfs install-time
now based on (1) tags (2) nodefamily and (3) defaults
this is required on very old bootcd

use arch and pldistro tag first, then /etc/planetlab/nodefamily, then defaults
this is required for very old bootCD's that don't have a nodefamily
also this is compliant with what BetBootMedium is currently doing

Use modprobe module to write out /etc/modprobe.conf.

Tagging module BootManager - BootManager-4.3-6

Tagging module BootManager - BootManager-4.3-5
minor updates - using the new modprobe module *not* in this tag

for centos5.3 - workaround for mkinitrd, as our kernel lacks the dm-mem-cache module

if i find the guy who thought that was a good idea....

Uses modprobe to write out /etc/modprobe.conf properly

Tagging module BootManager - BootManager-4.3-4
load device mapper if needed, for centos5-based bootcd variant

fix for centos5-based variant bootCD, where device mapper needs some help

Tagging module BootManager - BootManager-4.3-3
renumbered 4.3
New step StartRunLevelAgent
various other tweaks

fix the typo in the second line

move the comment as it causes problems with e100 and e1000.
this fixes the interface problem we had with plc 4.3 / centos5

create SYSIMG_PATH/{vservers,proc} before trying to mount them.

more renumbering 5.0 into 4.3

mass-renaming 5.0 into 4.3 - db still named planetlab5 and planetlab5.sql

svn-keywords

merged from branch, to remove 'sorted' which is not supported in older
versions of python.

same as on branch.

review dependencies globally : fewer are attached to myplc directly, and more are attached to the other PL subcomponents

Patch to BootManager to implement the proposed run_level
http://lists.planet-lab.org/pipermail/devel/2009-February/003283.html

basically:
BM will safe it's session key to make it available to the RunlevelAgent.py
exported by monitor-runlevelagent package.  This script is started and
runs continuously or until the system enter production.

build.sh copies the necessary files from the monitor-runlevelagent package

preserve the 'session' variable across BootManager runs.  This also makes the
file accessible to the RunlevelAgent.

merge 'sorted' change into trunk.

another module to blacklist for poweredge 175

Tagging module BootManager - BootManager-5.0-2
most of the actual network config job moved to (py)plnet
support for RAWDISK
network interfaces deterministically sorted
does not use nodegroups anymore for getting node arch and other extensions
drop yum-based extensions
debug sshd started as early as possible
timestamped and uploadable logs (requires upload-bmlog.php from nodeconfig/)
cleaned up (drop support for bootcdv2)
still needs testing

Return the values from the API.

run ValidateNodeInstall in debug/disabled/diagnose mode to fsck/mount the fs
before leaving the system.  this is handy for admins who visit the node.

merged from branch. run fsck before mounts.

a bit more explicit/helpful error message

Add support for a rawdisk model option, to let a slice use the drives which aren't required for the node/slices to function.

Use the correct variable.

Commit 11339 for the trunk.

renaming SliceAttribute into SliceTag and InterfaceSetting into InterfaceTag

fix how bm gets tags - test node now installs in 1'40'' for download+extract

download plain bootstrapfs tarball if the plain-bootstrapfs tag is set

Use the PCI slot to order the interfaces.

 * improve availability - reliability : start a fallback sshd very early in the bm logic
 * bm log upload (formerly known as alpina-logs) is avail. back again (requires nodeconfig-5.0-2)
 * code cleanup : remove support for bootCD-2.x

see http://svn.planet-lab.org/ticket/427

Daniel rightly pointed out that my change to use
interface.get('hostname',hostname) instead of an if/then/else on
interface['hostname'] was not semantically equivalent.  Reverted to
the original code for this case.

take close() out of conditional

Use more python native coding convention

the extensions node tag

uses the extension tag rather than nodegroups

PCI_* now defined in pypci module

not all platforms have the python2 hook

cosmetic

quick fix for broken build

change handling of dynamically loaded drivers

Minor clean up:
- moved definitions of PCI_BASE_CLASS_NETWORK, PCI_BASE_CLASS_STORAGE,
  and PCI_ANY out to the pypci module.  This way the pl_hwinit code
  in the BootCD can use those definitions.

- fixed variable reference in print statement for "Unable to read".

- cleaned up code to print device modules in the main() function

merged changes from branch

change order so old boot cds don't keep pulling the boot manager from plc.
and successfully write out 'CANCEL_BOOT' flag.

Update MINIMUM_BOOT_VERSION to 3,0

imports fixed and revisited

attempt to display timestamps during boot manager steps

Tagging module BootManager - BootManager-5.0-1
reflects new names from the data model

repaired - thanks fred

update to modules.  catches other e1000-like modules in newer hpdc7800
hardware, also ignore the i82875p_edac module, since it seems to cause
planetlab-3.cs.princeton.edu to hang

fix build