mass-renaming 5.0 into 4.3 - db still named planetlab5 and planetlab5.sql

Tagging module BootManager - BootManager-5.0-2
most of the actual network config job moved to (py)plnet
support for RAWDISK
network interfaces deterministically sorted
does not use nodegroups anymore for getting node arch and other extensions
drop yum-based extensions
debug sshd started as early as possible
timestamped and uploadable logs (requires upload-bmlog.php from nodeconfig/)
cleaned up (drop support for bootcdv2)
still needs testing

Tagging module BootManager - BootManager-5.0-2
most of the actual network config job moved to (py)plnet
support for RAWDISK
network interfaces deterministically sorted
does not use nodegroups anymore for getting node arch and other extensions
drop yum-based extensions
debug sshd started as early as possible
timestamped and uploadable logs (requires upload-bmlog.php from nodeconfig/)
cleaned up (drop support for bootcdv2)
still needs testing

Return the values from the API.

run ValidateNodeInstall in debug/disabled/diagnose mode to fsck/mount the fs
before leaving the system.  this is handy for admins who visit the node.

merged from branch. run fsck before mounts.

a bit more explicit/helpful error message

Add support for a rawdisk model option, to let a slice use the drives which aren't required for the node/slices to function.

Use the correct variable.

Commit 11339 for the trunk.

renaming SliceAttribute into SliceTag and InterfaceSetting into InterfaceTag

fix how bm gets tags - test node now installs in 1'40'' for download+extract

download plain bootstrapfs tarball if the plain-bootstrapfs tag is set

Use the PCI slot to order the interfaces.

 * improve availability - reliability : start a fallback sshd very early in the bm logic
 * bm log upload (formerly known as alpina-logs) is avail. back again (requires nodeconfig-5.0-2)
 * code cleanup : remove support for bootCD-2.x

see http://svn.planet-lab.org/ticket/427

Daniel rightly pointed out that my change to use
interface.get('hostname',hostname) instead of an if/then/else on
interface['hostname'] was not semantically equivalent.  Reverted to
the original code for this case.

take close() out of conditional

Use more python native coding convention

the extensions node tag

uses the extension tag rather than nodegroups

PCI_* now defined in pypci module

not all platforms have the python2 hook

cosmetic

quick fix for broken build

change handling of dynamically loaded drivers

Minor clean up:
- moved definitions of PCI_BASE_CLASS_NETWORK, PCI_BASE_CLASS_STORAGE,
  and PCI_ANY out to the pypci module.  This way the pl_hwinit code
  in the BootCD can use those definitions.

- fixed variable reference in print statement for "Unable to read".

- cleaned up code to print device modules in the main() function

merged changes from branch

change order so old boot cds don't keep pulling the boot manager from plc.
and successfully write out 'CANCEL_BOOT' flag.

Update MINIMUM_BOOT_VERSION to 3,0

imports fixed and revisited

attempt to display timestamps during boot manager steps

Tagging module BootManager - BootManager-5.0-1
reflects new names from the data model

repaired - thanks fred

update to modules.  catches other e1000-like modules in newer hpdc7800
hardware, also ignore the i82875p_edac module, since it seems to cause
planetlab-3.cs.princeton.edu to hang

fix build

Change all boot_state names based on new names, also add dependency of
bootmanager on 5.0 version of PLCAPI.

Remove the .sgn file also.  Otherwise the symlinks will break the signature

Accept an argument that designates a node group name.  Based on this name
modify the configuration file to look for the bootstrap fs images in
/boot/NODEGROUP/
This is easier to do automatically, rather than by hand.

move the UpdateNodeConfiguration step after the NodeUpdate step in ChainBoot

tmp fix before we use node tags

...

moving towards 5.0

Branch 5.0 for module BootManager created from tag BootManager-3.2-7

Tagging module BootManager - BootManager-3.2-7
dont unload cpqphp

dont unload cpqphp

Tagging module BootManager - BootManager-3.2-6
changes in the state automaton logic
root+swap = 7G
usb-key threshhold increased to 17 G
bootstrafs selection logic altered - uses /etc/planetlab/nodefamily instead of GetPlcRelease

simpler heuristic, same as for creating bootcd - less code, fewer bugs

review how to figure nodefamily:
* use /etc/planetlab/nodefamily from the bootcd if present
* no more hard-coded list ok known pldistros; has i386 and x86_64 hard-coded
* change semantics of nodegroup names:
** may be an arch, like 'x86_64'
** or a nodefamily as-is, e.g. 'onelab-x86_64'

BM now recognizes two distinct forms of 'debug' mode.

1) 'dbg' comes from failing to reach 'boot' state.
2) 'diag' comes from an admin explicitly setting the node to
'diagnostic'/'debug' mode.

Previously there was no way to tell the diff.  And, users trying to
reconfigure their machines, would reboot the node, but not reset the boot
state through the gui.  The result would be that the machine would pull the
current boot state from PLC (which happened to be debug from previous
failures) and the node would appear to the user to still be broken.  THis adds
unnecessary time to the support@ list in mis-understanding what's going on for the
user, when everything is actually in place on the node; it's just in the wrong
boot state.

Thus, having BM automatically try to perform the 'bootRun()' when in 'dbg'
state will prevent a correct configuration from stalling the node from coming
online.  In this way, we have moved the requirement for setting the boot state
through the GUI by the user to BM.

I think this is preferrable.

Add additional size to ROOT_SIZE to allow netflow data to be collected without
running out of room.  Our initial trials on the public pl with 3GB root
partitions resulted in out of space errors, and lost netflow logs.

A preferable solution might be to have an independent partition, or to have a
reserved space in the /vserver partition, but adding a new parition is too
large a change too soon prior to relase of 4.2. And, putting non-slice data
into /vserver seems inappropriate design.

Got complaints via RT that users are using usb sticks with 8GB of flash.  This
causes BM to try to add the usb stick as part of the LVM volume.  This fix
just increases the size of the flash device to avoid being included.

preferably, BM should avoid adding the device's bootmedia to the LVM. :-)

Tagging module BootManager - BootManager-3.2-5
renamed step InstallBootstrapRPM into InstallBootstrapFS
reviewed selection of bootstrapfs, based on nodegroups, for multi-arch deployment
import pypcimap rather than pypciscan
initial downlaoding of plc_config made more robust
root and /vservers file systems mounted ext3
calls to BootGetNodeDetails replaced with GetNodes/GetNodeNetworks
also seems to be using session-based authentication rather than former hmac-based one

display the source file path in the log messages to determine specifically
which 'bootstrapfs' was downloaded, since we're using different directories to
differentiate nodegroup images.

bump config version

wrong api server.

Key error.  fixed.  Sorry for the delay, Thierry.

wrong key.  Fixed.

remove debug line.

Keep session around instead of calling the API for a new one every time a call is made.

BootNotifyOwners now accepts session auth.

use Notify API function

syntax error.

get site_id

Unclear why this was needed. Removed Boot API calls.

dont know how this got in there, but reverting to original copy

hmac auth seems to not work in some cases.  switching to session auth.

Took out the get_devices code and moved it to pypcilib.  Changed import
statement.

No longer needed. fixed the right way.

No longer needed.  Fixed the right way.

Added a replacement code for get_devices() in case this runs on older boot cds
that cannot load the pciscan.so library.

fixed 2 glitches

cross-module change for multi-arch myplc

* name of the bootstrap tarball changed into
  bootstrapfs-<id>-<arch>.tar.bz2
    with id=<planetlab-distro> for the main tarball
    and  id=<extension> for the extensions tarballs

* bootmanager to use node's nodegroups to figure the tarball to use

* the noderepo rpm allows to install /var/www/html/install-rpms/<repo>
==
status
* checkpoint version to verify that mono-arch mono-distro still works
* build phase tested
* but some parts are still missing for complete multi-arch behaviour:
* bootstrapfs's rpm name should sontain pldistro and arch (as it is a noarch rpm)
* yum.php.conf also needs tunings

renaming bootmanager step InstallBootstrapRPM into InstallBootstrapFS

Get plc_config via PlanetLabConf

Adds backward compatibility to the BootManager for older bootcds.  Rather than
failing to load the new pciscan library, it will succeed with the old
behavior.  In particular some devices will fail to be detected using the old
bootcd.  But, this shouldn't be that much of a problem.

Daniel has proposed that the pypciscan.so library simply be re-written in
python by parsing /proc/bus/pci/devices to create a structure like:

    pypciscan.get_devices()
returns {'<domain>:<bus>:<dev>.<func>' :
(<vendor id>, <device id>, <subvendor id>, <subdevice id>, <device class << 8 | progif>)}
for all PCI devices.

I agree that this would be a better approach.  Would have to check that the
older bootcd kernel exports all of this information, then rewrite the module.

mount explicitly with -t ext3; be more verbose with log info

This fix to the MakeRequest() method gets rid of the hiddeous
exception message that shows up when a node goes into debug mode.  For
example, in the past one would see this type of message on the
console:

Exception exceptions.OSError: (2, 'No such file or directory', '/tmp/tmpBjmo14') in <bound method _TemporaryFileWrapper.__del__ of <closed file '<fdopen>', mode 'w+b' at 0xb7b108d8>> ignored

This is no longer the case.

Tagging module BootManager  -- from bootmanager-3.2-3 to bootmanager-3.2-4
usage of wireless attributes fixed and tested
breakpoints cleaned up (no change for production)
less alarming message when floppy does not get unloaded

- not printing ominous warning message: "Unknown effect on other platforms"
- moved 4 second sleep after e1000 unload into module != "" branch

cleanup of breakpoints - no functional change

fixes for wireless interfaces

Tagging module BootManager  -- from bootmanager-3.2-2 to bootmanager-3.2-3
network config : support the full set of settings from ifup-wireless - see also http://svn.planet-lab.org/svn/MyPLC/tags/myplc-4.2-1/db-config
removes legacy calls to PlanetLabConf.py
refrains from unloading floppy
first draft of the dual-method for implementing extensions (bootstrapfs-like images or yum install)

A patch to avoid unloading the floppy module before chain booting the node
into the production kernel.  This prevents the HP dc7800 from hanging during boot
up.  Unknown cause, since the machine has no floppy drive.

yum-based extensions :
- fetches yum.conf
- mounts /proc
first draft, apparently works, needs more tests though

yum's return code is not reliable - ignore it

--editor-cmd=emacs

First draft of a dual method for installing extensions
- core tarball always installed through the tarball
- extensions (nodegroups) are then attempted by the same method
  i.e. by fetching PlanetLab-Bootstrap-%s.tar.bz2
- if that fails, then we try via
  yum groupinstall extension<nodegroup>

NOTE.
due to a bug with GetNodes that causes the nodegroups fetching part to fail
I could not have the tests completed yet
However nodes should correctly install the core software

PlanetLabConf.py no longer exists.

ready for tagging
reviewed URLs and %{plrelease}

Cross module commit for 'diag' and 'disabled' node states.

restoring operations default settings for breakpoint mode

cosmetic

fixed so as to use correct default value when prompt is on

Fix indentation.

Support multihoming on a single interface.

Add all matching modules.
Let the pcimap decide which modules to load.

Deal with values containing = rather than bailing out on them.

Use tagxid.

Don't need the ESSID or IWCONFIG in BootManager.
Write the MODE as well.

no longer 'pushd BootManager' due to wacky build environment