Simple module for toggling network namespaces based on slice attributes

Trellis branch

Tagging module NodeManager - NodeManager-1.7-37
Slices are created 1 at a time to avoid race conditions.

Tagging module NodeManager - NodeManager-1.7-37
Slices are created 1 at a time to avoid race conditions.

Only 1 vuseradd will run at a time.

Tagging module NodeManager - NodeManager-1.7-36

Internet2 clique flow classification is now setup by NM.

Check for the existence of the Internet2 clique iptables rule and add if absent.

Tagging module NodeManager - NodeManager-1.7-35
Clique network shares don't exist.  Removed from bwmon.

Clique network shares don't exist yet.

Tagging module NodeManager - NodeManager-1.7-34
* Fixed slice restart via xmlrpc to actually set resources
* Reverted bwmon to check current min/max limits before manipulating HTB.

enable pl_Mom's bw monitor.

Move checks from bwmon for running limits before calling bwlimit.

* Explicitly run configure, which sets capabilities and resources, before starting vserver.
* Print username when NM api returns permission denied.

kluge until packet tagging works again.  DO NOT TAGsvn diff

Tagging module NodeManager - NodeManager-1.7-33
bwmon now has enable/disable flag to control throttling.

Added ENABLE flag to disable throttling.

Tagging module NodeManager - NodeManager-1.7-32
always log message when expected vserver reference is missing

promote serious log messages

Tagging module NodeManager - NodeManager-1.7-31
Emails were only being sent of high bandwidth caps were being exceeded.  Fixed.

Emails were only being sent if high bandwidth caps were exceeded.  Fixed.

Tagging module NodeManager - NodeManager-1.7-30
bwmon:  Only mention the limit the slice went over.  Not both it and the second limit.

bwmon: Fixed extra notification when 1 of 2 limits weren't exceeded.

Tagging module NodeManager - NodeManager-1.7-29
Fixed KeyError in logging.

Fixed KeyError in logging

If the kernel doesn't have support for fuse, exit nicely.

Tagging module NodeManager - NodeManager-1.7-28
Fixed syntax error in notify function call.  Also fixed values in email message and logging.

Syntax error in notify function call.  Also fixed logging.

Tagging module NodeManager - NodeManager-1.7-27
Fix the FUSE initscript.

Expand the glob.

Tagging module NodeManager - NodeManager-1.7-26
FUSE support.

fix build

FUSE patch from Jeremy Stribling.

Tagging module NodeManager - NodeManager-1.7-25
Removed thread created for each sliver (!!!).
Slivers now spawned out of main thread.
This closes the Delegation bug and closes the recent rash of NM instabilities due to queue overflows. [ticket: 384]

Threads with queues using global timers for throttling execution rates are a BAD IDEAsvn diff

Bound queue so they don't grow without bound.

Tagging module NodeManager - NodeManager-1.7-24
* Update bandwidth related attributes on every NM sync.  Bwlimit will check if values have changed.
* Vsys supports local_ scripts and NM will disregard them.

Get defaults from bwlimit.  Also remove checks before issuing bwlimit commands.  Bwlimit now checks running values before committing new ones.  This should fix the share/bwmin updates from Sirius loans.

Support for local_ scripts

Tagging module NodeManager - NodeManager-1.7-23
After removing the fork() to the slice's uid when writing .ssh/authorized_keys, .ssh had the wrong owner/group.  Fixed.

Chown .ssh to user:slices.  SSH will bail otherwise.

Tagging module NodeManager - NodeManager-1.7-22
Small change.  Change uid to slice owner of authorized_keys.

Change ownership of authorized_keys after writing

Tagging module NodeManager - NodeManager-1.7-21
Slices with initscripts kept restarting.  Fixed.
Also removed unnecessary fork just to write .ssh/authorized keys for every slice.

* Slices w/ initscripts were starting repeatedly because the flag that signals the initscript has not changed was being toggled after the fork().  Fixed.

why are we forking here?  Removed fork just to write a file.

Tagging module NodeManager - NodeManager-1.7-20

* Check slice is_running() every cycle.  If not, assume damaged and restart.

Added logging.  Forgot to return anything;  threads would blow up since test of is_runing would fail.

Add check to see if sliver is_running() during ensure_created.  Previously, if the object existed in the database, it was assumed the sliver was running and the start() operation would ignore the record.  However, if a sliver is damaged, its best to query util-vserver to actually make sure the slice is indeed running.

Tagging module NodeManager - NodeManager-1.7-19
chrooting is not thread-safe.

Use the right variable.

chrooting is not thread-safe. Install the initscript before calling VServer.start instead, where we know we're the only thread running.

Tagging module NodeManager - NodeManager-1.7-18
Log disk init AFTER acquiring disk semaphore.

Print log only after global vdu semaphore is acquired.  Misleading otherwise.

Tagging module NodeManager - NodeManager-1.7-17
unconditionnally passes node_id and slicefamily to conf_file scripts
correctly set personality a sliver creation time (not yet used by util-vserver-pl though)

passes slicefamily unconditionnaly, as for node_id

enable & fix keyword expansion

conf_files has support for @SLICEFAMILY@ in sources
new functions for reading node's arch, node_id and the like have moved in tools.py

cross-module change for 4.2
- NodeManager/conf_files set node_id when invoking source URL
- nodeconfig/yum.conf.php : no functional change, but uses node_id to gather nodegroups and displays them in comments

set personality for slivers with a different arch

Tagging module NodeManager - NodeManager-1.7-16

enables a vsys slice attribute to end with 'a', 'c', or 'l' characters without
NM going bonkers.

Stupidest bug in history.

rstrip is a character oriented function, that nukes all characters in the
argument, therefore, an attribute named "comon_exec.acl" will strip all the
right most, 'a', 'c', 'l', and '.' characters.  The result is 'comon_exe' b/c
of the trailing 'c'.

Ugg.

Tagging module NodeManager - NodeManager-1.7-15

enable restart if vsys.conf changes also.

also set vsys to restart when the vsys.conf file is re-written.

this avoids the vsys update, which may wipe out the current /etc/vsys.conf
file, from keeping vsys dysfunctional forever.  Previously, vsys never would
have been restarted.

Tagging module NodeManager - NodeManager-1.7-14

the _restart flag for vsys was getting lost when looking across multiple
vservers.  adding the 'or' should preserve any 'True' returns from
createVsysDir()

the _restart value was being reset when subsequent slices weren't yet created.

the result was that vsys was not being restarted when it should be.

Tagging module NodeManager - NodeManager-1.7-13

Time out curl when no response for 90 seconds.

Timeout curl in the event Apache (PLC side) opens the XMLRPC session, but returns no data for specified timeout.

Tagging module NodeManager - NodeManager-1.7-12
Patch designed to work around the vsys-fail-to-restart problem with
non-existent directories, and the vuseradd-fail-to-work on directories that
do exist.

This patch will work in conjunction with the new vsys patch.

patch to not create the /vservers/slicename/vsys directory until vuseradd has
created /vservers/slicename, then report the difference so that vsys can be
restarted even if the configuration files have not been movidifed.

Restarting vsys will ensure that it re-reads the config file.  The preferred
long-term solution is for vsys to auto-read it's config files using the
same/similar inotify mechanism used on the pipes.

taglevel on the 1.7-11 tag had remained 10 - also moving the trunk to 1.8-0 as 1.7 is confusing

Log when talking to PLC.

Don't wait for vserver to be running before starting vsys on slice.

Removed proper.

Tagging module NodeManager - NodeManager-1.7-10
fixed doc build by locating locally installed DTDs at build-time

merge changeset 9346 in the 4.2 branches

Tagging module NodeManager - NodeManager-1.7-9
* Reverted vserver start to forking before VServer.start to avoid defunct procs.* House keeping in various places.

* Avoids defunct procs
* generalized architecture vserver reference code.

Tagging module NodeManager - NodeManager-1.7-8
merge changes for myplc-docs from trunk

nm branch : merge changesets 9269 and 9278

Tagging module NodeManager - NodeManager-1.7-7

Set vcVHI_CONTEXT as slice_id for fprobe-ulog to mark packets with.

setname as part of set_resources.  Better than stupid sleep while part of start().  Called from VServer.__do_chcontext().

Set name to slice_id during start.
Removed extra fork during start.

Tagging module NodeManager - NodeManager-1.7-6

* Codemux will use PLC_API_HOST when PLC_PLANETFLOW_HOST isn't defined.

BW limits and resources are handled by bwmon.py

Use API host when Planetflow host isn't defined.

Tagging module NodeManager - NodeManager-1.7-5
* vdu limitting when NM restarts and slices are re-init'ed
* CoDemux config parser update.  Now tolerates spaces.

File locking isn't exclusive in the same process across threads.  Switched to regular semaphores.  The assumption is sliver_vs.configure is called before Vserver.start(), which sets disk_usage_initialized.  The disk check should be skipped during start, so the lock won't carry over.  ...I hope.

Fix config file parsing.  Blank lines were messing thigns up.

Fixed api deliver_ticket bug.

Updated changelog

Added support for multiple host -> same slice mappings

Bump revision.

Syntax error when writing config file

updated changelog.

Bump versions

Latest branch.

get config from file.

sort domain name.  lower order domains should be first.

root slice needs to come first.  Also, emtpy conf file now handled correctly.

*  Checks for zombied pids during restart
*  Fixed toggling of instantiated slices.