Setting tag NodeManager-2.0-2
modules and plugins have a priority
specialaccounts appears soon in the priority chain
logger.log_call logs process output, and has a timeout
vuser{add,del} run through bash -x
nm initscript has support for 'service nm restartverbose'
logs reviewed for consistency
use hashlib module instead of sha when available

Setting tag NodeManager-2.0-2
modules and plugins have a priority
specialaccounts appears soon in the priority chain
logger.log_call logs process output, and has a timeout
vuser{add,del} run through bash -x
nm initscript has support for 'service nm restartverbose'
logs reviewed for consistency
use hashlib module instead of sha when available

fix log_call deadlock
initscript cleaned up - now supports 'service nm restartverbose'
run vuseradd and vuserdel through bash -x (should be in verbose only but..)

use hashlib and fallback to sha (for python 2.4)

(*) the various modules have a priority; lower gets invoked first
(*) default is net, conf_files, specialaccounts, sm, bwmon, then the rest
(*) log_call can log child output on the fly even if hangs
(*) log_call has timeout and terminates hanging child if too long

expects the 'interfaces' key in GetSlivers - review logs to always mention module

cosmetic

more graceful log message when GetSlivers() API called failed

gracefully handle case where the sliver has not yet been instantiated

Setting tag NodeManager-2.0-1
first working version of 5.0:
pld.c/, db-config.d/ and nodeconfig/ scripts should now sit in the module they belong to
nodefamily is 3-fold with pldistro-fcdistro-arch
relies on GetSlivers to expose 'GetSliceFamily' for slivers
(in addition to the 'vref' tag that's still exposed too)
logging reviewed for more convenience
support for 'service nm restartdebug'
make sync knows how to publish uncommitted code on a test node

Branch 2.0 for module NodeManager created (as new trunk) from tag NodeManager-1.8-23

logs for when PLC is unreachable

fixed broken slice-creation

fixed and moved the server-side yum scripts, from nodeconfig/yum to BootstrapFS/nodeconfig/yum
  now known as the nodeyum package
  (might need some moer work for properly handling kexcludes in multi-fc plcs)
cleaned up all uses of /etc/planetlab/{node,slice}family
nodeconfig now does not need the build/ module anymore at build time

various tricks and notes for smoother debugging

log the setname operation

log_data_in_file is helpful of its own when debugging

undo broken change

run curl without the silent flag; provide more details when cannot connect

svn:keywords

revised layout

new global PLC_FLAVOUR category to globally chose sliver vref image
new method GetSliceFamily, value passed in GetSlivers
NodeManager does not have this logic anymore

Store the slice id of the current vserver on disk, rather than sticking it in the kernel.

Setting tag NodeManager-1.8-23
emergency tag - make the setting of hmac by the sliverauth plugin more robust

emergency fix for sliverauth & delegated slices

Setting tag NodeManager-1.8-22
support for f10 and f12 in the vref slice tag

support for f10 and f12 in the vref slice tag

Setting tag NodeManager-1.8-21
build on fedora12
uses slicename 'sfacm' instead of 'genicw'

renmaed _genicw to _sfacm

pl_genicw is allowed to call all methods

fix specfile

Setting tag NodeManager-1.8-20
This tag is identical to 1.8-19. The main addition is PLC-controllable vsys scripts. The reason I am
retagging is to eliminate any confusion associated with the -19 tag which was (temporarily) modified a few
days ago.

Make usage of sliver auth configurable from the _default slice attribute

Setting tag NodeManager-1.8-19
This patch makes vsys scripts PLC-configurable. Previously, vsys scripts needed to be
self-contained. With this change, they will be able to refer to the attributes associated with a
slice.

Bug

Bug fix: bracket

Added a log message for every time a slice is blessed.

New plugin for making vsys scripts PLC-controllable.

fix for syntax error

Setting tag NodeManager-1.8-18

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: tools.py
===================================================================
--- tools.py (.../tags/NodeManager-1.8-17) (révision 15402)
+++ tools.py (.../trunk) (révision 15402)
@@ -18,18 +18,21 @@
     return interface

 def get_hwaddr_from_plnode():
-    for line in open("/usr/boot/plnode.txt", 'r').readlines():
-        if line.startswith("NET_DEVICE"):
-            return line.split("=")[1].strip().strip('"')
+    try:
+        for line in open("/usr/boot/plnode.txt", 'r').readlines():
+            if line.startswith("NET_DEVICE"):
+                return line.split("=")[1].strip().strip('"')
+    except:
+        pass
     return None

 def get_if_from_hwaddr(hwaddr):
-   import sioc
-   devs = sioc.gifconf()
-   for dev in devs:
-      dev_hwaddr = sioc.gifhwaddr(dev)
-      if dev_hwaddr == hwaddr: return dev
-   return None
+    import sioc
+    devs = sioc.gifconf()
+    for dev in devs:
+        dev_hwaddr = sioc.gifhwaddr(dev)
+        if dev_hwaddr == hwaddr: return dev
+    return None

 def as_daemon_thread(run):
     """Call function <run> with no arguments in its own thread."""
Index: bwmon.py
===================================================================
--- bwmon.py (.../tags/NodeManager-1.8-17) (révision 15402)
+++ bwmon.py (.../trunk) (révision 15402)
@@ -324,7 +324,7 @@
                   (self.name,
                    bwlimit.format_tc_rate(maxrate),
                    bwlimit.format_tc_rate(maxi2rate)), 1)
-            bwlimit.set(xid = self.xid, dev = dev_default
+            bwlimit.set(xid = self.xid, dev = dev_default,
                 minrate = self.MinRate * 1000,
                 maxrate = self.MaxRate * 1000,
                 maxexemptrate = self.Maxi2Rate * 1000,

bug-fix

wrap open() with try/except

Setting tag NodeManager-1.8-17

-fixed problem with sioc import at the build side
-bwlimit.set() now accepts the device and does not asume that it is eth0

import sioc only when needed.

testing: this is to avoid building failing while building myplc-doc

- don't hardcode the device name (depends on util-vserver-pl change rev. 15385)

Setting tag NodeManager-1.8-16

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: tools.py
===================================================================
--- tools.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ tools.py (.../trunk) (révision 15386)
@@ -8,12 +8,31 @@
 import threading
 import fcntl
 import commands
+import sioc

 import logger

 PID_FILE = '/var/run/nm.pid'

+def get_default_if():
+    interface = get_if_from_hwaddr(get_hwaddr_from_plnode())
+    if not interface: interface = "eth0"
+    return interface
+
+def get_hwaddr_from_plnode():
+    for line in open("/usr/boot/plnode.txt", 'r').readlines():
+        if line.startswith("NET_DEVICE"):
+            return line.split("=")[1].strip().strip('"')
+    return None
+
+def get_if_from_hwaddr(hwaddr):
+    devs = sioc.gifconf()
+    for dev in devs:
+        dev_hwaddr = sioc.gifhwaddr(dev)
+        if dev_hwaddr == hwaddr: return dev
+    return None
+
 def as_daemon_thread(run):
     """Call function <run> with no arguments in its own thread."""
     thr = threading.Thread(target=run)
Index: bwmon.py
===================================================================
--- bwmon.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ bwmon.py (.../trunk) (révision 15386)
@@ -52,8 +52,9 @@
 seconds_per_day = 24 * 60 * 60
 bits_per_byte = 8

+dev_default = tools.get_default_if()
 # Burst to line rate (or node cap).  Set by NM. in KBit/s
-default_MaxRate = int(bwlimit.get_bwcap() / 1000)
+default_MaxRate = int(bwlimit.get_bwcap(dev_default) / 1000)
 default_Maxi2Rate = int(bwlimit.bwmax / 1000)
 # 5.4 Gbyte per day. 5.4 * 1024 k * 1024M * 1024G
 # 5.4 Gbyte per day max allowed transfered per recording period
@@ -323,7 +324,7 @@
                   (self.name,
                    bwlimit.format_tc_rate(maxrate),
                    bwlimit.format_tc_rate(maxi2rate)), 1)
-            bwlimit.set(xid = self.xid,
+            bwlimit.set(xid = self.xid, dev = dev_default
                 minrate = self.MinRate * 1000,
                 maxrate = self.MaxRate * 1000,
                 maxexemptrate = self.Maxi2Rate * 1000,
@@ -704,7 +705,7 @@
         nmdbcopy = copy.deepcopy(database.db)
         database.db_lock.release()
         try:
-            if getDefaults(nmdbcopy) and len(bwlimit.tc("class show dev eth0")) > 0:
+            if getDefaults(nmdbcopy) and len(bwlimit.tc("class show dev %s" % dev_default)) > 0:
                 # class show to check if net:InitNodeLimit:bwlimit.init has run.
                 sync(nmdbcopy)
             else: logger.log("bwmon:  BW limits DISABLED.")
Index: net.py
===================================================================
--- net.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ net.py (.../trunk) (révision 15386)
@@ -11,8 +11,10 @@
 import sioc, plnet

 # local modules
-import bwlimit, logger, iptables
+import bwlimit, logger, iptables, tools

+dev_default = tools.get_default_if()
+
 def start(options, conf):
     logger.log("net plugin starting up...")

@@ -22,7 +24,7 @@
     if 'OVERRIDES' in dir(config):
         if config.OVERRIDES.get('net_max_rate') == '-1':
             logger.log("net: Slice and node BW Limits disabled.")
-            if len(bwlimit.tc("class show dev eth0")):
+            if len(bwlimit.tc("class show dev %s" % dev_default)):
                 logger.verbose("*** DISABLING NODE BW LIMITS ***")
                 bwlimit.stop()
         else:
Index: plugins/rawdisk.py
===================================================================
--- plugins/rawdisk.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ plugins/rawdisk.py (.../trunk) (révision 15386)
@@ -39,7 +39,6 @@
             break
         buf = buf.strip()
         fields = re.split(pat, buf)
-        print fields
         dev = fields[-1]
         if not dev.startswith("dm-") and dev.endswith("1") and dev not in in_vg:
             devices.append("/dev/%s" % dev)

Remove debugging statement.

correcting file path

use dev_default for bwlimit.set()

don't hardcode the device name.

The seed for random previously was the meaning of life (i.e., 42) but
that resulted in a not so random choice for the hmac.  This
implementation now uses a random.seed that is based on the current
time.

Setting tag NodeManager-1.8-15

typo

minor improvements with the hope that slivers across machines get different hmacs

Setting tag NodeManager-1.8-14

Minor fix such that sliverauth.py makes a more specific call to
GetSliceTags that include that specific tagname it is looking for.

Only get the hmac tag.

Setting tag NodeManager-1.8-13
Fix bug that prevented 'OVERRIDES' for working correctly.

fixing the logic for r14697 and adding a clarifying note.

Setting tag NodeManager-1.8-12
Increase disk limits to 10G per sliver
Sanity check slice for home directory before starting (hack)
Check codemux arguments

Increase disk limit.

Be a bit more robust to poorly defined codemux attribute values

clean up of the 'configure' method.  Now provides more failure information

Setting tag NodeManager-1.8-11
* Fix Delegation
* Move plcapi in plugin-api GetSlivers() calls.
* Persistent Authcheck and resync session when auth failure

loop on authcheck code in case session is wrong AND api is unavailable.

Change plugin API (GetSlivers()) argument order to avoid unnecessary PLCAPI dependency.  Fixes Delegation.

formatting

Setting tag NodeManager-1.8-10
Disabling sliverauth module.  Not ready for deployment.

bump util-vserver-python requires.  old util-vserver-python's paths are wrong.

Disabling sliverauth

Setting tag NodeManager-1.8-9
Fixing overrides semantics.

Fix overrides to clean out when none present.

Setting tag NodeManager-1.8-8
Generalized plugins
Fixed initscript start up bug.

Rearranging and moving trunk to 1.8.

NM does not fork often.  A stack limit is now unnecessary.
This fixes the crond bug inside slivers.

cleanup: use os.path.join

Tabs vs. spaces.

use a temp file to write the keys

only copy in the /dev/sd* file if its not there

NodeManager plugin to empower slivers to make API calls.

NodeManager plugin to support mapping unused raw disks into a slice
that has the rawdisk sliver tag.

NM plugin to pull down special account keys: specifically site_admin and root

Need to use , rather than / as the sed separator

Syntax error in overrides

sync up with what's on the branch

as a plugin, be more verbose about when they are started

- change so that NodeManager/plugins are always loaded, as that's
  where codemux & vsys live

net.py is a 'required' 'plugin' module similar to conf_files.py, bwmon.py, and sm.py

Change local GetSlivers() callbacks to take args as (plc,data,config)

- turn net.py into a NM plugin and move to plugin directory
- pass plc, data, and config to each plugin

Call to get whole record, not just tags.

Get slice tags from within sliver using nm api.

* give all modules access to the API and to the config class
* Fix delegation
* codemux can be disabled using the _default slice

Rerun start up scripts after re-enable.

Updated bw limits

Double bw limits.

attributes are now tagnames.  Also move debugging output to statements before places where data is used.

clean up .ssh/authorized_keys setup for slices

guard AuthCheck with try/except as it will raise an exception.

if authentication with the session fails try authenticating with hmac
to get a new session.

Use log_call instead of os.system().