Tagging module BootManager - BootManager-3.2-19

Only use
 /etc/modprobe.d/blacklist
 /etc/modprobe.d/blacklist-compat
 /etc/modprobe.d/blacklist-firewire
as the blacklist files.

When no ethernet interfaces can be found for the production kernel set
the BOOT_STATE to failboot, rather than dbg.

Tagging module BootManager - BootManager-3.2-19

Only use
 /etc/modprobe.d/blacklist
 /etc/modprobe.d/blacklist-compat
 /etc/modprobe.d/blacklist-firewire
as the blacklist files.

When no ethernet interfaces can be found for the production kernel set
the BOOT_STATE to failboot, rather than dbg.

set to 'failboot' when there are no recognized ethernet interfaces for the production kernel

only look at /etc/modprobe.d/{blacklist,blacklist-compat,blacklist-firewire}

Tagging module BootManager - BootManager-3.2-18
looks like some modprobe fixes
added nuke_lvm functions
use 'sort' instead of 'sorted' for backward compatibility.

Needed to fix the case when there is lvm partition information on a
disk that we want to use a raw disk, which causes confusion in later
LVM operations and prevents the machine from being successfully
reinstalled.

remove use of 'sorted' which is not supported by older versions of python.

Make sure to take the blacklisted drivers into account when writing out aliases for disk/nic drivers.

svn:keywords

Tagging module BootManager - BootManager-3.2-17
from trunk : upload logs on myplc
from trunk : early sshd start
tweaked fstab for remount after kexec
modprobe write: uses new module from pyplnet

merge from trunk : upload log & early sshd start
the rest of it unintentionally made it into changeset 12257

undo this one for building rc26

address a continuing issue on production machines where a node will fsck,
mount during BM, but after kexec, the fs will be corrupted again and hang.
changing these values will ensure that the production system runs fsck again.
not at all sure where the source of the problem is coming from.

Updated to use modprobe module to update an existing /etc/modprobe.conf file rather than blowing it away.

Make sure dm_mod is loaded when running on a kernel where this has been built as a module

Tagging module BootManager - BootManager-3.2-16

removed 'sorted' so older versions of python could continue to run code
fixed WriteNetworkConfig so that it returns the result of calls to the API
added e2fsck prior to mounting any filesystem.

the 'sorted' function does not exist in earlier versions of python.  reverted
code to use 'sort' to work on older bootcds.

Return the value from the API.

run fsck prior to mount.  should address hanging-mount failures on
/dev/planetlab/vservers

Added in Daniel's support to only create a small /vserver and leave
remaining disks alone so that their partitions can be used as raw
disk extents by slices

Tagging module BootManager - BootManager-3.2-15

revert so I can use module-tag to upgrade the taglevel

Added in Daniel's support to only create a small /vserver and leave
remaining disks alone so that their partitions can be used as raw wdisk
extents by slices.

applied Daniel's patch to bring rawdisk support to the branch

Tagging module BootManager - BootManager-3.2-14
Use pyplnet.
Order devices by PCI slot number.
Module debugging code.

Use pyplnet to build the network configuration.
Include it in the tarball for older BootCDs.

Use the PCI slot to order the interfaces.

Minor cleanup:
 - added a modules.close()
 - print the kexec command for the bm.log to both screen and log

Added functionality:
 - Printing the set of modules that have not been unloaded yet.
 - Can list a set of modules that should be explicitly unloaded. Right
   now this has to be done by manually editing this python module.  I
   suppose in the future this should be something that can be obtained
   from a node attribute of some sort

merge from trunk  10727:10728

Merged changes from trunk

Tagging module BootManager - BootManager-3.2-13
include latest module tweaks in current production bootmanager.

include in branch for current production nodes.
addresses boot hangs for dc7800 nodes and other machines at princeton.

Tagging module BootManager - BootManager-3.2-12
correctly convert port number to int before creating HTTPSConnection() object,
plus other changes to file to accomodate this.

convert port to an int before passing it to httplib.HTTPSConnection().  It
fails otherwise.

Also, rename a local variable from 'int' to 'inter' to make available the
conversion function for the above.

-ldl is required.

Tagging module BootManager - BootManager-3.2-11
More hacks.

This seems to catch everything.

Tagging module BootManager - BootManager-3.2-10
Make the hack work.

Fix typos and stuff.

Copy the library once per boot, in case it gets updated.

As it turns out, glob is also an offender...

Tagging module BootManager - BootManager-3.2-9
Ugly hack stuff.

Add ugly hack to workaround O_CLOEXEC vs. O_ATOMICLOOKUP.

Tagging module BootManager - BootManager-3.2-8

move the UpdateNodeConfiguration step after the NodeUpdate step in ChainBoot

move the UpdateNodeConfiguration step after the NodeUpdate step in ChainBoot

Branch 5.0 for module BootManager created from tag BootManager-3.2-7

Tagging module BootManager - BootManager-3.2-7
dont unload cpqphp

dont unload cpqphp

Tagging module BootManager - BootManager-3.2-6
changes in the state automaton logic
root+swap = 7G
usb-key threshhold increased to 17 G
bootstrafs selection logic altered - uses /etc/planetlab/nodefamily instead of GetPlcRelease

simpler heuristic, same as for creating bootcd - less code, fewer bugs

review how to figure nodefamily:
* use /etc/planetlab/nodefamily from the bootcd if present
* no more hard-coded list ok known pldistros; has i386 and x86_64 hard-coded
* change semantics of nodegroup names:
** may be an arch, like 'x86_64'
** or a nodefamily as-is, e.g. 'onelab-x86_64'

BM now recognizes two distinct forms of 'debug' mode.

1) 'dbg' comes from failing to reach 'boot' state.
2) 'diag' comes from an admin explicitly setting the node to
'diagnostic'/'debug' mode.

Previously there was no way to tell the diff.  And, users trying to
reconfigure their machines, would reboot the node, but not reset the boot
state through the gui.  The result would be that the machine would pull the
current boot state from PLC (which happened to be debug from previous
failures) and the node would appear to the user to still be broken.  THis adds
unnecessary time to the support@ list in mis-understanding what's going on for the
user, when everything is actually in place on the node; it's just in the wrong
boot state.

Thus, having BM automatically try to perform the 'bootRun()' when in 'dbg'
state will prevent a correct configuration from stalling the node from coming
online.  In this way, we have moved the requirement for setting the boot state
through the GUI by the user to BM.

I think this is preferrable.

Add additional size to ROOT_SIZE to allow netflow data to be collected without
running out of room.  Our initial trials on the public pl with 3GB root
partitions resulted in out of space errors, and lost netflow logs.

A preferable solution might be to have an independent partition, or to have a
reserved space in the /vserver partition, but adding a new parition is too
large a change too soon prior to relase of 4.2. And, putting non-slice data
into /vserver seems inappropriate design.

Got complaints via RT that users are using usb sticks with 8GB of flash.  This
causes BM to try to add the usb stick as part of the LVM volume.  This fix
just increases the size of the flash device to avoid being included.

preferably, BM should avoid adding the device's bootmedia to the LVM. :-)

Tagging module BootManager - BootManager-3.2-5
renamed step InstallBootstrapRPM into InstallBootstrapFS
reviewed selection of bootstrapfs, based on nodegroups, for multi-arch deployment
import pypcimap rather than pypciscan
initial downlaoding of plc_config made more robust
root and /vservers file systems mounted ext3
calls to BootGetNodeDetails replaced with GetNodes/GetNodeNetworks
also seems to be using session-based authentication rather than former hmac-based one

display the source file path in the log messages to determine specifically
which 'bootstrapfs' was downloaded, since we're using different directories to
differentiate nodegroup images.

bump config version

wrong api server.

Key error.  fixed.  Sorry for the delay, Thierry.

wrong key.  Fixed.

remove debug line.

Keep session around instead of calling the API for a new one every time a call is made.

BootNotifyOwners now accepts session auth.

use Notify API function

syntax error.

get site_id

Unclear why this was needed. Removed Boot API calls.

dont know how this got in there, but reverting to original copy

hmac auth seems to not work in some cases.  switching to session auth.

Took out the get_devices code and moved it to pypcilib.  Changed import
statement.

No longer needed. fixed the right way.

No longer needed.  Fixed the right way.

Added a replacement code for get_devices() in case this runs on older boot cds
that cannot load the pciscan.so library.

fixed 2 glitches

cross-module change for multi-arch myplc

* name of the bootstrap tarball changed into
  bootstrapfs-<id>-<arch>.tar.bz2
    with id=<planetlab-distro> for the main tarball
    and  id=<extension> for the extensions tarballs

* bootmanager to use node's nodegroups to figure the tarball to use

* the noderepo rpm allows to install /var/www/html/install-rpms/<repo>
==
status
* checkpoint version to verify that mono-arch mono-distro still works
* build phase tested
* but some parts are still missing for complete multi-arch behaviour:
* bootstrapfs's rpm name should sontain pldistro and arch (as it is a noarch rpm)
* yum.php.conf also needs tunings

renaming bootmanager step InstallBootstrapRPM into InstallBootstrapFS

Get plc_config via PlanetLabConf

Adds backward compatibility to the BootManager for older bootcds.  Rather than
failing to load the new pciscan library, it will succeed with the old
behavior.  In particular some devices will fail to be detected using the old
bootcd.  But, this shouldn't be that much of a problem.

Daniel has proposed that the pypciscan.so library simply be re-written in
python by parsing /proc/bus/pci/devices to create a structure like:

    pypciscan.get_devices()
returns {'<domain>:<bus>:<dev>.<func>' :
(<vendor id>, <device id>, <subvendor id>, <subdevice id>, <device class << 8 | progif>)}
for all PCI devices.

I agree that this would be a better approach.  Would have to check that the
older bootcd kernel exports all of this information, then rewrite the module.

mount explicitly with -t ext3; be more verbose with log info

This fix to the MakeRequest() method gets rid of the hiddeous
exception message that shows up when a node goes into debug mode.  For
example, in the past one would see this type of message on the
console:

Exception exceptions.OSError: (2, 'No such file or directory', '/tmp/tmpBjmo14') in <bound method _TemporaryFileWrapper.__del__ of <closed file '<fdopen>', mode 'w+b' at 0xb7b108d8>> ignored

This is no longer the case.

Tagging module BootManager  -- from bootmanager-3.2-3 to bootmanager-3.2-4
usage of wireless attributes fixed and tested
breakpoints cleaned up (no change for production)
less alarming message when floppy does not get unloaded

- not printing ominous warning message: "Unknown effect on other platforms"
- moved 4 second sleep after e1000 unload into module != "" branch

cleanup of breakpoints - no functional change

fixes for wireless interfaces

Tagging module BootManager  -- from bootmanager-3.2-2 to bootmanager-3.2-3
network config : support the full set of settings from ifup-wireless - see also http://svn.planet-lab.org/svn/MyPLC/tags/myplc-4.2-1/db-config
removes legacy calls to PlanetLabConf.py
refrains from unloading floppy
first draft of the dual-method for implementing extensions (bootstrapfs-like images or yum install)

A patch to avoid unloading the floppy module before chain booting the node
into the production kernel.  This prevents the HP dc7800 from hanging during boot
up.  Unknown cause, since the machine has no floppy drive.

yum-based extensions :
- fetches yum.conf
- mounts /proc
first draft, apparently works, needs more tests though

yum's return code is not reliable - ignore it

--editor-cmd=emacs

First draft of a dual method for installing extensions
- core tarball always installed through the tarball
- extensions (nodegroups) are then attempted by the same method
  i.e. by fetching PlanetLab-Bootstrap-%s.tar.bz2
- if that fails, then we try via
  yum groupinstall extension<nodegroup>

NOTE.
due to a bug with GetNodes that causes the nodegroups fetching part to fail
I could not have the tests completed yet
However nodes should correctly install the core software

PlanetLabConf.py no longer exists.

ready for tagging
reviewed URLs and %{plrelease}

Cross module commit for 'diag' and 'disabled' node states.

restoring operations default settings for breakpoint mode

cosmetic

fixed so as to use correct default value when prompt is on

Fix indentation.

Support multihoming on a single interface.

Add all matching modules.
Let the pcimap decide which modules to load.

Deal with values containing = rather than bailing out on them.

Use tagxid.