log subprocess calls.

Tagging module NodeManager - NodeManager-1.7-47

*  Removed thread in conf_files.  The thread with die but the module's callback would happily return without any errors.

Threads run without try/excepts are BAD!!
Also, I see no performance concern running this serially, so I'm removing the thread.

Tagging module NodeManager - NodeManager-1.7-46
Log calls to vuseradd.  If vuseradd fails, the exception will be reported in /valog/nm.

Capture exceptions when spawning other processes.

Tagging module NodeManager - NodeManager-1.7-45
Allowing controller accounts to use unique GIDs can overwrite the default "slice" group.  Controllers now use the "slice" GID instead of unique GIDs.

groups are strings.

controller accounts can use slices group.

Tagging module NodeManager - NodeManager-1.7-44
Delegation code optimization
Fixed some comments

* Delegated slivers are refreshed on each epoc from info from PLC.  Can be suspended remotely.
* Comments

Tagging module NodeManager - NodeManager-1.7-43
BUGFIX:  Extra logging was causing the main thread to die when the API was unavailable (which happens nightly due to db cleanup job).  Fixed.

The logger message was preventing modules from running if/when the API was unavailable.

Tagging module NodeManager - NodeManager-1.7-42
* Can add or remove BW limits from PLC w/o reboots.

Can add and remove bw accounting without reboots.

Tagging module NodeManager - NodeManager-1.7-41
Syntax fix.

Syntax error.

Make sure the account exists before trying to check if it's running.

Tagging module NodeManager - NodeManager-1.7-40
* Ensure RSPEC update on all account types per epoch.
* BUGFIX:  HTBs were never being created when default slice's overrides weren'tset.

Merge database from trunk.  Runs ensure created on every account type.
Fix bug in net where if no overrides, HTBs are never setup.

Tagging module NodeManager - NodeManager-1.7-39
Supports disabling of HTBs from PLC.

Supports turning off all queuing when the right flag is set.

Can disable slice HTB's via PLC_SlICE_PREFIX+_default: sliceattribute net_max_rate=-1

Fix typo.

Tagging module NodeManager - NodeManager-1.7-38
Add support for plugins.
Move network code to a separate module.
Add AdminTicket API.
Add support for sysctl slice attributes.

Use pyplnet.

Use codemux condrestart.

Fix usage.

Revert to previous revisions in branches/1.7/

Less noisey, more relevant.

Merge from trunk- Includes support for GENI Component wrapper

Merge changes that existed in branch concerning slicefamily w/ trunk.
Also changed logging in 1.7 branch to be less noisey.
Removed support for proper.

Merge changeset 11123 from the trunk

Bail more gracefully when "data" from GetSlivers() does not contain
the fields needed by the various Init*() functions.

modprobe.py:
This new python module implements a class to parse /etc/modprobe.conf
and change/update/add aliases and options.  This is generally needed
to support the NodeNetworkSetting for "DRIVER".  For now I am
leveraging this to add NIC bonding.

net.py:
Added InitInterfaces() which was originally based on the code found in
the BootManager/source/steps/WriteNetworkConfig.py.  My original
motivation was to support "ALIAS" setup dynamically so that one could
assign a slice a separate IP address without needing to reboot the
node.

Added support to more generally handle "CFGOPTIONS", which are the
name=value pairs that are supposed to be dumped into a
/etc/sysconfig/network-scripts/ifcfg-$dev file.

Added support for "DRIVER".  This code calls the modprobe
functionality mentioned above.

Added support to let aliases be associated by "IFNAME" rather than
just by "HWADDR".  E.g., it is possible to associate an alias with
eth0 rather than having to figure out its explicitl macaddr.

Added suport to add, change, remove
/etc/sysconfig/network-scripts/ifcfg-$dev files and then appropriately
call ifdown and ifup.

Indentation and arbitrary sysctls.

One can now specify "sysctl.x.y" attributes where x.y is a kernel variable.

sm.py searches for these slice attributes and adds them to the rspec.

sliver_vs.py processes these in set_resources(), but only if the new
"setup" argument to set_resources() is set to True.  By default
setup=False and should only be set to true when setting up a vserver,
as done in util-vserver-pl/python/vserver.py:__do_chcontext().  The
reason being is that it needs to write /proc/sys/x/y while within the
setup phase of a vserver context when capability checking is disabled.

Tagging module NodeManager - NodeManager-1.7-37
Slices are created 1 at a time to avoid race conditions.

Only 1 vuseradd will run at a time.

Tagging module NodeManager - NodeManager-1.7-36

Internet2 clique flow classification is now setup by NM.

Check for the existence of the Internet2 clique iptables rule and add if absent.

Tagging module NodeManager - NodeManager-1.7-35
Clique network shares don't exist.  Removed from bwmon.

Clique network shares don't exist yet.

Tagging module NodeManager - NodeManager-1.7-34
* Fixed slice restart via xmlrpc to actually set resources
* Reverted bwmon to check current min/max limits before manipulating HTB.

enable pl_Mom's bw monitor.

Move checks from bwmon for running limits before calling bwlimit.

* Explicitly run configure, which sets capabilities and resources, before starting vserver.
* Print username when NM api returns permission denied.

kluge until packet tagging works again.  DO NOT TAGsvn diff

Tagging module NodeManager - NodeManager-1.7-33
bwmon now has enable/disable flag to control throttling.

Added ENABLE flag to disable throttling.

Tagging module NodeManager - NodeManager-1.7-32
always log message when expected vserver reference is missing

promote serious log messages

Tagging module NodeManager - NodeManager-1.7-31
Emails were only being sent of high bandwidth caps were being exceeded.  Fixed.

Emails were only being sent if high bandwidth caps were exceeded.  Fixed.

Tagging module NodeManager - NodeManager-1.7-30
bwmon:  Only mention the limit the slice went over.  Not both it and the second limit.

bwmon: Fixed extra notification when 1 of 2 limits weren't exceeded.

Tagging module NodeManager - NodeManager-1.7-29
Fixed KeyError in logging.

Fixed KeyError in logging

If the kernel doesn't have support for fuse, exit nicely.

Tagging module NodeManager - NodeManager-1.7-28
Fixed syntax error in notify function call.  Also fixed values in email message and logging.

Syntax error in notify function call.  Also fixed logging.

Tagging module NodeManager - NodeManager-1.7-27
Fix the FUSE initscript.

Expand the glob.

Tagging module NodeManager - NodeManager-1.7-26
FUSE support.

fix build

FUSE patch from Jeremy Stribling.

Tagging module NodeManager - NodeManager-1.7-25
Removed thread created for each sliver (!!!).
Slivers now spawned out of main thread.
This closes the Delegation bug and closes the recent rash of NM instabilities due to queue overflows. [ticket: 384]

Threads with queues using global timers for throttling execution rates are a BAD IDEAsvn diff

Bound queue so they don't grow without bound.

Tagging module NodeManager - NodeManager-1.7-24
* Update bandwidth related attributes on every NM sync.  Bwlimit will check if values have changed.
* Vsys supports local_ scripts and NM will disregard them.

Get defaults from bwlimit.  Also remove checks before issuing bwlimit commands.  Bwlimit now checks running values before committing new ones.  This should fix the share/bwmin updates from Sirius loans.

Support for local_ scripts

Tagging module NodeManager - NodeManager-1.7-23
After removing the fork() to the slice's uid when writing .ssh/authorized_keys, .ssh had the wrong owner/group.  Fixed.

Chown .ssh to user:slices.  SSH will bail otherwise.

Tagging module NodeManager - NodeManager-1.7-22
Small change.  Change uid to slice owner of authorized_keys.

Change ownership of authorized_keys after writing

Tagging module NodeManager - NodeManager-1.7-21
Slices with initscripts kept restarting.  Fixed.
Also removed unnecessary fork just to write .ssh/authorized keys for every slice.

* Slices w/ initscripts were starting repeatedly because the flag that signals the initscript has not changed was being toggled after the fork().  Fixed.

why are we forking here?  Removed fork just to write a file.

Tagging module NodeManager - NodeManager-1.7-20

* Check slice is_running() every cycle.  If not, assume damaged and restart.

Added logging.  Forgot to return anything;  threads would blow up since test of is_runing would fail.

Add check to see if sliver is_running() during ensure_created.  Previously, if the object existed in the database, it was assumed the sliver was running and the start() operation would ignore the record.  However, if a sliver is damaged, its best to query util-vserver to actually make sure the slice is indeed running.

Tagging module NodeManager - NodeManager-1.7-19
chrooting is not thread-safe.

Use the right variable.

chrooting is not thread-safe. Install the initscript before calling VServer.start instead, where we know we're the only thread running.

Tagging module NodeManager - NodeManager-1.7-18
Log disk init AFTER acquiring disk semaphore.

Print log only after global vdu semaphore is acquired.  Misleading otherwise.

Tagging module NodeManager - NodeManager-1.7-17
unconditionnally passes node_id and slicefamily to conf_file scripts
correctly set personality a sliver creation time (not yet used by util-vserver-pl though)

passes slicefamily unconditionnaly, as for node_id

enable & fix keyword expansion

conf_files has support for @SLICEFAMILY@ in sources
new functions for reading node's arch, node_id and the like have moved in tools.py

cross-module change for 4.2
- NodeManager/conf_files set node_id when invoking source URL
- nodeconfig/yum.conf.php : no functional change, but uses node_id to gather nodegroups and displays them in comments

set personality for slivers with a different arch

Tagging module NodeManager - NodeManager-1.7-16

enables a vsys slice attribute to end with 'a', 'c', or 'l' characters without
NM going bonkers.

Stupidest bug in history.

rstrip is a character oriented function, that nukes all characters in the
argument, therefore, an attribute named "comon_exec.acl" will strip all the
right most, 'a', 'c', 'l', and '.' characters.  The result is 'comon_exe' b/c
of the trailing 'c'.

Ugg.

Tagging module NodeManager - NodeManager-1.7-15

enable restart if vsys.conf changes also.

also set vsys to restart when the vsys.conf file is re-written.

this avoids the vsys update, which may wipe out the current /etc/vsys.conf
file, from keeping vsys dysfunctional forever.  Previously, vsys never would
have been restarted.

Tagging module NodeManager - NodeManager-1.7-14

the _restart flag for vsys was getting lost when looking across multiple
vservers.  adding the 'or' should preserve any 'True' returns from
createVsysDir()

the _restart value was being reset when subsequent slices weren't yet created.

the result was that vsys was not being restarted when it should be.

Tagging module NodeManager - NodeManager-1.7-13

Time out curl when no response for 90 seconds.

Timeout curl in the event Apache (PLC side) opens the XMLRPC session, but returns no data for specified timeout.