rc15 has the right linux, nodemanager, and vsys-scripts for the tuntap demo at FOKUS

using linux-2.6/tags/linux-2.6-22-39-1

oops

catching up

move to centos5.4

pointing sfa back to the latest tag

add centos5.4

testing sfa

Setting tag NodeManager-1.8-20
This tag is identical to 1.8-19. The main addition is PLC-controllable vsys scripts. The reason I am
retagging is to eliminate any confusion associated with the -19 tag which was (temporarily) modified a few
days ago.

going back to the status of today morning - what nightly has been using

test build for vsys

for testing vsys

for guthemberg to test vsys; will revert back to the previous configuration after a test build

Temporarily revert NodeManager to one that is running on VINI

Setting tag vsys-scripts-0.95-11
* Load the tun module if it is not already loaded
* Fixed a bug in fd_tuntap

Setting tag vsys-scripts-0.95-10
Adds Thom Haddow's tun/tap changes. I omitted a change in my previous commit.

Setting tag vsys-scripts-0.95-9
This update adds Thom Haddow's custom tun/tap-device scripts.

Setting tag NodeManager-1.8-19
This patch makes vsys scripts PLC-configurable. Previously, vsys scripts needed to be
self-contained. With this change, they will be able to refer to the attributes associated with a
slice.

Setting tag util-vserver-pl-0.3-19
Set ulimits for NM too.

Thierry's changes to handle svn_magic_line.

Setting tag BootstrapFS-1.0-10
cosmetic change in message at build-time

adopting manual tag BootManager-4.3-13

fix for syntax error

Setting tag NodeManager-1.8-18

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: tools.py
===================================================================
--- tools.py (.../tags/NodeManager-1.8-17) (révision 15402)
+++ tools.py (.../trunk) (révision 15402)
@@ -18,18 +18,21 @@
     return interface

 def get_hwaddr_from_plnode():
-    for line in open("/usr/boot/plnode.txt", 'r').readlines():
-        if line.startswith("NET_DEVICE"):
-            return line.split("=")[1].strip().strip('"')
+    try:
+        for line in open("/usr/boot/plnode.txt", 'r').readlines():
+            if line.startswith("NET_DEVICE"):
+                return line.split("=")[1].strip().strip('"')
+    except:
+        pass
     return None

 def get_if_from_hwaddr(hwaddr):
-   import sioc
-   devs = sioc.gifconf()
-   for dev in devs:
-      dev_hwaddr = sioc.gifhwaddr(dev)
-      if dev_hwaddr == hwaddr: return dev
-   return None
+    import sioc
+    devs = sioc.gifconf()
+    for dev in devs:
+        dev_hwaddr = sioc.gifhwaddr(dev)
+        if dev_hwaddr == hwaddr: return dev
+    return None

 def as_daemon_thread(run):
     """Call function <run> with no arguments in its own thread."""
Index: bwmon.py
===================================================================
--- bwmon.py (.../tags/NodeManager-1.8-17) (révision 15402)
+++ bwmon.py (.../trunk) (révision 15402)
@@ -324,7 +324,7 @@
                   (self.name,
                    bwlimit.format_tc_rate(maxrate),
                    bwlimit.format_tc_rate(maxi2rate)), 1)
-            bwlimit.set(xid = self.xid, dev = dev_default
+            bwlimit.set(xid = self.xid, dev = dev_default,
                 minrate = self.MinRate * 1000,
                 maxrate = self.MaxRate * 1000,
                 maxexemptrate = self.Maxi2Rate * 1000,

- add install_date

Setting tag Monitor-3.0-24

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: nodequery.py
===================================================================
--- nodequery.py (.../tags/Monitor-3.0-23) (révision 15400)
+++ nodequery.py (.../trunk) (révision 15400)
@@ -38,6 +38,8 @@
  fbnode['bootcd_version'] = "unknown"
         if not fbnode['boot_server']:
                 fbnode['boot_server'] = "unknown"
+        if not fbnode['install_date']:
+                fbnode['install_date'] = "unknown"
  fbnode['pcu'] = color_pcu_state(fbnode)

  if not fields:
@@ -60,7 +62,7 @@
  #print "ERROR!!!!!!!!!!!!!!!!!!!!!"
  pass

- print "%(hostname)-45s | %(date_checked)11.11s | %(boot_state)5.5s| %(observed_status)8.8s | %(ssh_status)5.5s | %(pcu)6.6s | %(bootcd_version)6.6s | %(boot_server)s | %(kernel_version)s" % fbnode
+ print "%(hostname)-45s | %(date_checked)11.11s | %(boot_state)5.5s| %(observed_status)8.8s | %(ssh_status)5.5s | %(pcu)6.6s | %(bootcd_version)6.6s | %(boot_server)s | %(install_date)s | %(kernel_version)s" % fbnode
  else:
  format = ""
  for f in fields:
Index: web/MonitorWeb/monitorweb/controllers.py
===================================================================
--- web/MonitorWeb/monitorweb/controllers.py (.../tags/Monitor-3.0-23) (révision 15400)
+++ web/MonitorWeb/monitorweb/controllers.py (.../trunk) (révision 15400)
@@ -54,6 +54,7 @@
  kernel_version = widgets.CheckBox(label="Kernel")
  bootcd_version = widgets.CheckBox(label="BootCD")
         boot_server = widgets.CheckBox(label="Boot Server")
+        install_date = widgets.CheckBox(label="Installation Date")
  observed_status = widgets.CheckBox(label="Observed Status")
  uptime = widgets.CheckBox(label="Uptime")
  traceroute = widgets.CheckBox(label="Traceroute")
Index: web/MonitorWeb/monitorweb/templates/nodescanhistory.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/nodescanhistory.kid (.../tags/Monitor-3.0-23) (révision 15400)
+++ web/MonitorWeb/monitorweb/templates/nodescanhistory.kid (.../trunk) (révision 15400)
@@ -63,6 +63,7 @@
       <th class="sortable plekit_table">kernel</th>
       <th class="sortable plekit_table">BootCD</th>
       <th class="sortable plekit_table">Boot Server</th>
+      <th class="sortable plekit_table">Installation Date</th>
       <th class="sortable plekit_table">Last_contact</th>
   </tr>
   </thead>
@@ -78,6 +79,7 @@
  <td nowrap="true" py:content="node.kernel"></td>
  <td nowrap="true" py:content="node.node.bootcd_version"></td>
  <td nowrap="true" py:content="node.node.boot_server"></td>
+ <td nowrap="true" py:content="node.node.install_date"></td>
  <td  id="node-${node.node.observed_status}" py:content="diff_time(node.node.plc_node_stats['last_contact'])"></td>
  </span>
     </tr>
Index: web/MonitorWeb/monitorweb/templates/node_template.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/node_template.kid (.../tags/Monitor-3.0-23) (révision 15400)
+++ web/MonitorWeb/monitorweb/templates/node_template.kid (.../trunk) (révision 15400)
@@ -16,6 +16,7 @@
  <th>kernel</th>
                 <th>BootCD</th>
                 <th>Boot Server</th>
+                <th>Installation Date</th>
  <th>last_contact</th>
  </span>
  <span py:if="node is not None">
@@ -43,6 +44,7 @@
  <td nowrap="true" py:content="node.kernel"></td>
  <td nowrap="true" py:content="node.node.bootcd_version"></td>
  <td nowrap="true" py:content="node.node.boot_server"></td>
+ <td nowrap="true" py:content="node.node.install_date"></td>
  <td  id="node-${node.node.observed_status}" py:content="diff_time(node.node.plc_node_stats['last_contact'])"></td>
  </span>
 </span>
Index: upgrade/monitor-server-3.0-23.sql
===================================================================
--- upgrade/monitor-server-3.0-23.sql (.../tags/Monitor-3.0-23) (révision 0)
+++ upgrade/monitor-server-3.0-23.sql (.../trunk) (révision 15400)
@@ -0,0 +1,3 @@
+
+ALTER TABLE findbadnoderecord ADD COLUMN install_date varchar DEFAULT NULL;
+ALTER TABLE findbadnoderecord_history ADD COLUMN install_date varchar DEFAULT NULL;
Index: monitor/database/info/findbad.py
===================================================================
--- monitor/database/info/findbad.py (.../tags/Monitor-3.0-23) (révision 15400)
+++ monitor/database/info/findbad.py (.../trunk) (révision 15400)
@@ -39,6 +39,7 @@
  kernel_version = Field(String,default=None)
  bootcd_version = Field(String,default=None)
         boot_server = Field(String,default=None)
+        install_date = Field(String,default=None)
  nm_status = Field(String,default=None)
  fs_status = Field(String,default=None)
  iptables_status = Field(String,default=None)
Index: monitor/scanapi.py
===================================================================
--- monitor/scanapi.py (.../tags/Monitor-3.0-23) (révision 15400)
+++ monitor/scanapi.py (.../trunk) (révision 15400)
@@ -238,6 +238,7 @@
  echo '  "bmlog":"'`ls /tmp/bm.log`'",'
  echo '  "bootcd_version":"'`cat /mnt/cdrom/bootme/ID`'",'
  echo '  "boot_server":"'`cat /mnt/cdrom/bootme/BOOTSERVER`'",'
+ echo '  "install_date":"'`python -c "import os,time,stat; print time.ctime(os.stat('/usr/boot/plnode.txt')[stat.ST_CTIME])"`'",'
  echo '  "nm_status":"'`ps ax | grep nm.py | grep -v grep`'",'
  echo '  "dns_status":"'`host boot.planet-lab.org 2>&1`'",'
  echo '  "iptables_status":"'`iptables -t mangle -nL | awk '$1~/^[A-Z]+$/ {modules[$1]=1;}END{for (k in modules) {if (k) printf "%s ",k;}}'`'",'
@@ -262,6 +263,7 @@
  else:
  values.update({'kernel_version': "", 'bmlog' : "", 'bootcd_version' : '',
                                                                         'boot_server' : '',
+                                                                        'install_date' : '',
  'nm_status' : '',
  'fs_status' : '',
  'uptime' : '',

testing the trunk of NM

Setting tag NodeManager-1.8-17

-fixed problem with sioc import at the build side
-bwlimit.set() now accepts the device and does not asume that it is eth0

- don't hardcode the device name (depends on util-vserver-pl change rev. 15385)

Setting tag NodeManager-1.8-16

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: tools.py
===================================================================
--- tools.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ tools.py (.../trunk) (révision 15386)
@@ -8,12 +8,31 @@
 import threading
 import fcntl
 import commands
+import sioc

 import logger

 PID_FILE = '/var/run/nm.pid'

+def get_default_if():
+    interface = get_if_from_hwaddr(get_hwaddr_from_plnode())
+    if not interface: interface = "eth0"
+    return interface
+
+def get_hwaddr_from_plnode():
+    for line in open("/usr/boot/plnode.txt", 'r').readlines():
+        if line.startswith("NET_DEVICE"):
+            return line.split("=")[1].strip().strip('"')
+    return None
+
+def get_if_from_hwaddr(hwaddr):
+    devs = sioc.gifconf()
+    for dev in devs:
+        dev_hwaddr = sioc.gifhwaddr(dev)
+        if dev_hwaddr == hwaddr: return dev
+    return None
+
 def as_daemon_thread(run):
     """Call function <run> with no arguments in its own thread."""
     thr = threading.Thread(target=run)
Index: bwmon.py
===================================================================
--- bwmon.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ bwmon.py (.../trunk) (révision 15386)
@@ -52,8 +52,9 @@
 seconds_per_day = 24 * 60 * 60
 bits_per_byte = 8

+dev_default = tools.get_default_if()
 # Burst to line rate (or node cap).  Set by NM. in KBit/s
-default_MaxRate = int(bwlimit.get_bwcap() / 1000)
+default_MaxRate = int(bwlimit.get_bwcap(dev_default) / 1000)
 default_Maxi2Rate = int(bwlimit.bwmax / 1000)
 # 5.4 Gbyte per day. 5.4 * 1024 k * 1024M * 1024G
 # 5.4 Gbyte per day max allowed transfered per recording period
@@ -323,7 +324,7 @@
                   (self.name,
                    bwlimit.format_tc_rate(maxrate),
                    bwlimit.format_tc_rate(maxi2rate)), 1)
-            bwlimit.set(xid = self.xid,
+            bwlimit.set(xid = self.xid, dev = dev_default
                 minrate = self.MinRate * 1000,
                 maxrate = self.MaxRate * 1000,
                 maxexemptrate = self.Maxi2Rate * 1000,
@@ -704,7 +705,7 @@
         nmdbcopy = copy.deepcopy(database.db)
         database.db_lock.release()
         try:
-            if getDefaults(nmdbcopy) and len(bwlimit.tc("class show dev eth0")) > 0:
+            if getDefaults(nmdbcopy) and len(bwlimit.tc("class show dev %s" % dev_default)) > 0:
                 # class show to check if net:InitNodeLimit:bwlimit.init has run.
                 sync(nmdbcopy)
             else: logger.log("bwmon:  BW limits DISABLED.")
Index: net.py
===================================================================
--- net.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ net.py (.../trunk) (révision 15386)
@@ -11,8 +11,10 @@
 import sioc, plnet

 # local modules
-import bwlimit, logger, iptables
+import bwlimit, logger, iptables, tools

+dev_default = tools.get_default_if()
+
 def start(options, conf):
     logger.log("net plugin starting up...")

@@ -22,7 +24,7 @@
     if 'OVERRIDES' in dir(config):
         if config.OVERRIDES.get('net_max_rate') == '-1':
             logger.log("net: Slice and node BW Limits disabled.")
-            if len(bwlimit.tc("class show dev eth0")):
+            if len(bwlimit.tc("class show dev %s" % dev_default)):
                 logger.verbose("*** DISABLING NODE BW LIMITS ***")
                 bwlimit.stop()
         else:
Index: plugins/rawdisk.py
===================================================================
--- plugins/rawdisk.py (.../tags/NodeManager-1.8-15) (révision 15386)
+++ plugins/rawdisk.py (.../trunk) (révision 15386)
@@ -39,7 +39,6 @@
             break
         buf = buf.strip()
         fields = re.split(pat, buf)
-        print fields
         dev = fields[-1]
         if not dev.startswith("dm-") and dev.endswith("1") and dev not in in_vg:
             devices.append("/dev/%s" % dev)

bwlimit.set() now accepts the device and don't assume that it's eth0

Setting tag util-vserver-pl-0.3-18

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: python/bwlimit.py
===================================================================
--- python/bwlimit.py (.../tags/util-vserver-pl-0.3-17) (révision 15382)
+++ python/bwlimit.py (.../trunk) (révision 15382)
@@ -573,8 +573,8 @@
        (dev, exempt_minor | xid, exempt_minor | xid))

-def set(xid, share = None, minrate = None, maxrate = None, minexemptrate = None, maxexemptrate = None):
-    on(xid = xid, share = share,
+def set(xid, share = None, minrate = None, maxrate = None, minexemptrate = None, maxexemptrate = None, dev = dev ):
+    on(xid = xid, dev = dev, share = share,
        minrate = minrate, maxrate = maxrate,
        minexemptrate = minexemptrate, maxexemptrate = maxexemptrate)

using tag for monitor

minor fixes

Setting tag MyPLC-4.3-28
db-config ignores sliver tags
sirius's db-config script renamed (was sirious)

Setting tag PLEWWW-4.3-33
fix pending sites page - was getting fooled by ext_consortium_id=None

Setting tag VserverReference-4.2-16
fix issue about locating the post-install script(s)
this was causing the onelab distro to miss the /etc/sudoers patch

Setting tag PLEWWW-4.3-32
resetting tag as something went wrong when setting 31

- comment out requiretty

Setting tag VserverReference-4.2-15

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: build.sh
===================================================================
--- build.sh (.../tags/VserverReference-4.2-14) (révision 15364)
+++ build.sh (.../trunk) (révision 15364)
@@ -137,5 +137,6 @@

 # fix sudoers config
 [ -f ${vref}/etc/sudoers ] && echo -e "\nDefaults\tlogfile=/var/log/sudo\n" >> ${vref}/etc/sudoers
+[ -f ${vref}/etc/sudoers ] && sed -i 's,^Defaults.*requiretty,#Defaults requiretty,' ${vref}/etc/sudoers

 exit 0

support for <package>-EXCLUDE-DEVEL-RPMS

Setting tag PLCAPI-4.3-29
let AddSite set ext_consortium_id - required for the poorman registration pages
drop version constraint on Requires: postgresql-python
don't log system calls nor ReportRunLevel

- remove monitor-client.cron
- remove unused monitor-client init script
- fix UP/DOWN summary on nodes page.
- make node page display all nodes by default
- add boot_server field
- add myops_ssh_key to the keychain
- use ext_consortium_id to distinguish pending sites.

Setting tag Monitor-3.0-23

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: monitor.cron
===================================================================
--- monitor.cron (.../tags/Monitor-3.0-22) (révision 15357)
+++ monitor.cron (.../trunk) (révision 15357)
@@ -1,5 +0,0 @@
-# Runs once a day at 12pm to fetch the monitor account keys in case it was
-# inaccessible previously due to a network outage.
-
-0 12 * * * root    /etc/init.d/monitor start > /dev/null 2>&1
-
Index: monitor-client.init
===================================================================
--- monitor-client.init (.../tags/Monitor-3.0-22) (révision 15357)
+++ monitor-client.init (.../trunk) (révision 15357)
@@ -1,53 +0,0 @@
-#!/bin/bash
-#
-# monitor  Enables the monitor account by setting up the ssh key from the enabled PLC.
-#
-# Load before nm, vcached, and vservers, vserver-reference
-# chkconfig: 3 59 80
-# description: Fetch monitor ssh key to enable access to machine via monitor immediately.
-#
-# Stephen Soltesz <soltesz@cs.princeton.edu>
-# Copyright (C) 2008 The Trustees of Princeton University
-#
-# $Id$
-#
-
-case "$1" in
-    start|restart|reload)
- ;;
-    stop|status)
- exit 0
- ;;
-    *)
- echo $"Usage: $0 {start|stop|restart|status}"
- exit 1
- ;;
-esac
-
-#
-# NOTE: This user is not used by monitor for the moment so better not create it.
-#
-
-# # NOTE: If user already exists, this just exists with status 9.  I think it's
-# # ok to simply let this command check and error out.
-# # Parse PLC configuration
-# if [ -r /etc/planetlab/plc_config ] ; then
-#     . /etc/planetlab/plc_config
-# else
-#     PLC_NAME="PlanetLab"
-#     PLC_SLICE_PREFIX="pl"
-#     PLC_BOOT_HOST="boot.planet-lab.org"
-# fi
-
-# USER="${PLC_SLICE_PREFIX}_monitor"
-# /usr/sbin/useradd -p "" -m $USER &> /dev/null || :
-
-# if [ ! -d /home/$USER/.ssh ] ; then
-#  mkdir /home/$USER/.ssh
-#  chmod 700 /home/$USER/.ssh
-#  chown $USER.$USER /home/$USER/.ssh
-# fi
-
-# URL="http://${PLC_BOOT_HOST}/PlanetLabConf/keys.php?$USER"
-# curl -s "$URL" > /home/$USER/.ssh/authorized_keys
-# chown $USER.$USER /home/$USER/.ssh/authorized_keys
Index: nodequery.py
===================================================================
--- nodequery.py (.../tags/Monitor-3.0-22) (révision 15357)
+++ nodequery.py (.../trunk) (révision 15357)
@@ -36,6 +36,8 @@
  fbnode['bootcd_version'] = fbnode['bootcd_version'].split()[-1]
  else:
  fbnode['bootcd_version'] = "unknown"
+        if not fbnode['boot_server']:
+                fbnode['boot_server'] = "unknown"
  fbnode['pcu'] = color_pcu_state(fbnode)

  if not fields:
@@ -58,7 +60,7 @@
  #print "ERROR!!!!!!!!!!!!!!!!!!!!!"
  pass

- print "%(hostname)-45s | %(date_checked)11.11s | %(boot_state)5.5s| %(observed_status)8.8s | %(ssh_status)5.5s | %(pcu)6.6s | %(bootcd_version)6.6s | %(kernel_version)s" % fbnode
+ print "%(hostname)-45s | %(date_checked)11.11s | %(boot_state)5.5s| %(observed_status)8.8s | %(ssh_status)5.5s | %(pcu)6.6s | %(bootcd_version)6.6s | %(boot_server)s | %(kernel_version)s" % fbnode
  else:
  format = ""
  for f in fields:
Index: web/MonitorWeb/monitorweb/controllers.py
===================================================================
--- web/MonitorWeb/monitorweb/controllers.py (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/monitorweb/controllers.py (.../trunk) (révision 15357)
@@ -53,6 +53,7 @@
  external_dns_status = widgets.CheckBox(label="Hostname Resolves?")
  kernel_version = widgets.CheckBox(label="Kernel")
  bootcd_version = widgets.CheckBox(label="BootCD")
+        boot_server = widgets.CheckBox(label="Boot Server")
  observed_status = widgets.CheckBox(label="Observed Status")
  uptime = widgets.CheckBox(label="Uptime")
  traceroute = widgets.CheckBox(label="Traceroute")
Index: web/MonitorWeb/monitorweb/templates/nodescanhistory.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/nodescanhistory.kid (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/monitorweb/templates/nodescanhistory.kid (.../trunk) (révision 15357)
@@ -62,6 +62,7 @@
       <th class="sortable plekit_table">Stat</th>
       <th class="sortable plekit_table">kernel</th>
       <th class="sortable plekit_table">BootCD</th>
+      <th class="sortable plekit_table">Boot Server</th>
       <th class="sortable plekit_table">Last_contact</th>
   </tr>
   </thead>
@@ -76,6 +77,7 @@
                 <td py:content="node.node.plc_node_stats['boot_state']">boot</td>
  <td nowrap="true" py:content="node.kernel"></td>
  <td nowrap="true" py:content="node.node.bootcd_version"></td>
+ <td nowrap="true" py:content="node.node.boot_server"></td>
  <td  id="node-${node.node.observed_status}" py:content="diff_time(node.node.plc_node_stats['last_contact'])"></td>
  </span>
     </tr>
Index: web/MonitorWeb/monitorweb/templates/node_template.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/node_template.kid (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/monitorweb/templates/node_template.kid (.../trunk) (révision 15357)
@@ -15,6 +15,7 @@
  <th>pcu</th>
  <th>kernel</th>
                 <th>BootCD</th>
+                <th>Boot Server</th>
  <th>last_contact</th>
  </span>
  <span py:if="node is not None">
@@ -41,6 +42,7 @@
  </td>
  <td nowrap="true" py:content="node.kernel"></td>
  <td nowrap="true" py:content="node.node.bootcd_version"></td>
+ <td nowrap="true" py:content="node.node.boot_server"></td>
  <td  id="node-${node.node.observed_status}" py:content="diff_time(node.node.plc_node_stats['last_contact'])"></td>
  </span>
 </span>
Index: web/MonitorWeb/monitorweb/templates/nodelist.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/nodelist.kid (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/monitorweb/templates/nodelist.kid (.../trunk) (révision 15357)
@@ -17,8 +17,8 @@
   </script>

   <center>
-  <b py:content="'BOOT: %d' % len([agg for agg in query if agg.node.observed_status == 'BOOT'])"></b> |
-  <b py:content="'DOWN: %d' % len([agg for agg in query if agg.node.observed_status == 'DOWN'])"></b><br/>
+  <b py:content="'UP: %d' % len([agg for agg in query if agg.node.status in ('online', 'good')])"></b> |
+  <b py:content="'DOWN: %d' % len([agg for agg in query if agg.node.status not in ('online', 'good')])"></b><br/>
   </center>

 <table id="nodelist" cellpadding="0" border="0" class="plekit_table sortable-onload-2 colstyle-alt no-arrow paginationcallback-nodelist_paginator max-pages-10 paginate-25">
@@ -58,6 +58,7 @@
       <th class="sortable plekit_table">pcu</th>
       <th class="sortable plekit_table">kernel</th>
       <th class="sortable plekit_table">BootCD</th>
+      <th class="sortable plekit_table">Boot Server</th>
       <th class="sortable-sortLastContact plekit_table">Last_contact</th>
   </tr>
   </thead>
Index: web/MonitorWeb/monitorweb/templates/nodefast.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/nodefast.kid (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/monitorweb/templates/nodefast.kid (.../trunk) (révision 15357)
@@ -17,16 +17,16 @@
   </script>

   <center>
-  <b py:content="'BOOT: %d' % len([agg for agg in query if agg.node.status == 'good'])"></b> |
-  <b py:content="'DOWN: %d' % len([agg for agg in query if agg.node.status == 'down'])"></b><br/>
+  <b py:content="'UP: %d' % len([agg for agg in query if agg.node.status in ('online', 'good')])"></b> |
+  <b py:content="'DOWN: %d' % len([agg for agg in query if agg.node.status not in ('online', 'good')])"></b><br/>
   </center>

-<table id="nodelist" cellpadding="0" border="0" class="plekit_table sortable-onload-2 colstyle-alt no-arrow paginationcallback-nodelist_paginator max-pages-10 paginate-25">
+<table id="nodelist" cellpadding="0" border="0" class="plekit_table sortable-onload-2 colstyle-alt no-arrow paginationcallback-nodelist_paginator max-pages-10 paginate-999">
   <thead>

     <tr class='pagesize_area'><td class='pagesize_area' colspan='10'>
         <form class='pagesize' action='satisfy_xhtml_validator'><fieldset>
-            <input class='pagesize_input' type='text' id="nodelist_pagesize" value='25'
+            <input class='pagesize_input' type='text' id="nodelist_pagesize" value='999'
                    onkeyup='plekit_pagesize_set("nodelist","nodelist_pagesize", 25);'
                    size='3' maxlength='3' />
             <label class='pagesize_label'> items/page </label>
Index: web/MonitorWeb/dev.cfg
===================================================================
--- web/MonitorWeb/dev.cfg (.../tags/Monitor-3.0-22) (révision 15357)
+++ web/MonitorWeb/dev.cfg (.../trunk) (révision 15357)
@@ -31,7 +31,7 @@
 autoreload.package="monitorweb"

-server.socket_host="monitor.planet-lab.org"
+server.socket_host="www.planet-lab.eu"
 server.socket_port=8082
 #server.webpath="/monitor/"
 #base_url_filter.on = False
Index: upgrade/monitor-server-3.0-22.sql
===================================================================
--- upgrade/monitor-server-3.0-22.sql (.../tags/Monitor-3.0-22) (révision 0)
+++ upgrade/monitor-server-3.0-22.sql (.../trunk) (révision 15357)
@@ -0,0 +1,5 @@
+-- If there's an existing database, these commands will upgrade it to the
+-- current version
+
+ALTER TABLE findbadnoderecord ADD COLUMN boot_server varchar DEFAULT NULL;
+ALTER TABLE findbadnoderecord_history ADD COLUMN boot_server varchar DEFAULT NULL;
Index: Monitor.spec
===================================================================
--- Monitor.spec (.../tags/Monitor-3.0-22) (révision 15357)
+++ Monitor.spec (.../trunk) (révision 15357)
@@ -129,8 +129,8 @@
 %install
 rm -rf $RPM_BUILD_ROOT
 #################### CLIENT
-install -D -m 755 monitor-client.init $RPM_BUILD_ROOT/%{_initrddir}/monitor
-install -D -m 644 monitor.cron $RPM_BUILD_ROOT/%{_sysconfdir}/cron.d/monitor
+#install -D -m 755 monitor-client.init $RPM_BUILD_ROOT/%{_initrddir}/monitor
+#install -D -m 644 monitor.cron $RPM_BUILD_ROOT/%{_sysconfdir}/cron.d/monitor
 install -D -m 755 timeout.pl $RPM_BUILD_ROOT/usr/bin/timeout.pl

@@ -208,8 +208,8 @@

 %files client
 %defattr(-,root,root)
-%{_initrddir}/monitor
-%{_sysconfdir}/cron.d/monitor
+#%{_initrddir}/monitor
+#%{_sysconfdir}/cron.d/monitor
 /usr/bin/timeout.pl

 %files pcucontrol
Index: monitor/wrapper/plc.py
===================================================================
--- monitor/wrapper/plc.py (.../tags/Monitor-3.0-22) (révision 15357)
+++ monitor/wrapper/plc.py (.../trunk) (révision 15357)
@@ -14,6 +14,11 @@
 import traceback
 from monitor import database

+# note: this needs to be consistent with the value in PLEWWW/planetlab/includes/plc_functions.php
+PENDING_CONSORTIUM_ID = 0
+# not used in monitor
+#APPROVED_CONSORTIUM_ID = 999999
+
 try:
  from monitor import config
  debug = config.debug
@@ -116,12 +121,12 @@
  except:
  print "Call %s FAILED: Using old cached data" % cachename
  load_old_cache = True
-
+
  if load_old_cache:
  values = database.dbLoad(cachename)
  else:
  database.dbDump(cachename, values)
-
+
  return values
  else:
  values = database.dbLoad(cachename)
@@ -324,6 +329,22 @@
  #'last_updated', 'peer_node_id', 'ssh_rsa_key' ])
  return nodes

+
+# Check if the site is a pending site that needs to be approved.
+def isPendingSite(loginbase):
+        api = xmlrpclib.Server(auth.server, verbose=False)
+        try:
+                site = api.GetSites(auth.auth, loginbase)[0]
+        except Exception, exc:
+                login.info("ERROR: No site %s" % loginbase)
+                return False
+
+        if not site['enabled'] and site['ext_consortium_id'] == PENDING_CONSORTIUM_ID:
+                return True
+
+        return False
+
+
 '''
 Sets boot state of a node.
 '''
@@ -400,6 +421,7 @@

 def enableSlices(nodename):
  api = xmlrpclib.Server(auth.server, verbose=False, allow_none=True)
+
  for slice in slices(siteId(nodename)):
  logger.info("Enabling slices %s" % slice)
  try:
@@ -417,6 +439,7 @@
  logger.info("enableSlices: %s" % exc)
  print "exception: %s" % exc

+
 #I'm commenting this because this really should be a manual process.
 #'''
 #Enable suspended site slices.
@@ -428,6 +451,12 @@
 # api.SliceAttributeAdd(auth.auth, slice, "plc_slice_state", {"state" : "suspended"})
 #
 def enableSiteSliceCreation(loginbase):
+        if isPendingSite(loginbase):
+                msg = "INFO: enableSiteSliceCreation: Pending Site (%s)" % loginbase
+                print msg
+                logger.info(msg)
+                return
+
  api = xmlrpclib.Server(auth.server, verbose=False, allow_none=True)
  try:
  logger.info("Enabling slice creation for site %s" % loginbase)
@@ -442,10 +471,7 @@
  api = xmlrpclib.Server(auth.server, verbose=False, allow_none=True)
  try:
  loginbase = siteId(nodename)
- logger.info("Enabling slice creation for site %s" % loginbase)
- if not debug:
- logger.info("\tcalling UpdateSite(%s, enabled=True)" % loginbase)
- api.UpdateSite(auth.auth, loginbase, {'enabled': True})
+                enableSiteSliceCreation(loginbase)
  except Exception, exc:
  print "ERROR: enableSliceCreation:  %s" % exc
  logger.info("ERROR: enableSliceCreation:  %s" % exc)
@@ -453,13 +479,20 @@
 '''
 Removes site's ability to create slices. Returns previous max_slices
 '''
-def removeSiteSliceCreation(sitename):
- print "removeSiteSliceCreation(%s)" % sitename
+def removeSiteSliceCreation(loginbase):
+        print "removeSiteSliceCreation(%s)" % loginbase
+
+        if isPendingSite(loginbase):
+                msg = "INFO: removeSiteSliceCreation: Pending Site (%s)" % loginbase
+                print msg
+                logger.info(msg)
+                return
+
  api = xmlrpclib.Server(auth.server, verbose=False)
  try:
- logger.info("Removing slice creation for site %s" % sitename)
+ logger.info("Removing slice creation for site %s" % loginbase)
  if not debug:
- api.UpdateSite(auth.auth, sitename, {'enabled': False})
+ api.UpdateSite(auth.auth, loginbase, {'enabled': False})
  except Exception, exc:
  logger.info("removeSiteSliceCreation:  %s" % exc)

@@ -471,12 +504,7 @@
  api = xmlrpclib.Server(auth.server, verbose=False)
  try:
  loginbase = siteId(nodename)
- #numslices = api.GetSites(auth.auth, {"login_base": loginbase},
- # ["max_slices"])[0]['max_slices']
- logger.info("Removing slice creation for site %s" % loginbase)
- if not debug:
- #api.UpdateSite(auth.auth, loginbase, {'max_slices': 0})
- api.UpdateSite(auth.auth, loginbase, {'enabled': False})
+                removeSiteSliceCreation(loginbase)
  except Exception, exc:
  logger.info("removeSliceCreation:  %s" % exc)

Index: monitor/database/info/findbad.py
===================================================================
--- monitor/database/info/findbad.py (.../tags/Monitor-3.0-22) (révision 15357)
+++ monitor/database/info/findbad.py (.../trunk) (révision 15357)
@@ -38,6 +38,7 @@
 # INTERNAL
  kernel_version = Field(String,default=None)
  bootcd_version = Field(String,default=None)
+        boot_server = Field(String,default=None)
  nm_status = Field(String,default=None)
  fs_status = Field(String,default=None)
  iptables_status = Field(String,default=None)
Index: monitor/scanapi.py
===================================================================
--- monitor/scanapi.py (.../tags/Monitor-3.0-22) (révision 15357)
+++ monitor/scanapi.py (.../trunk) (révision 15357)
@@ -237,6 +237,7 @@
  echo '  "kernel_version":"'`uname -a`'",'
  echo '  "bmlog":"'`ls /tmp/bm.log`'",'
  echo '  "bootcd_version":"'`cat /mnt/cdrom/bootme/ID`'",'
+ echo '  "boot_server":"'`cat /mnt/cdrom/bootme/BOOTSERVER`'",'
  echo '  "nm_status":"'`ps ax | grep nm.py | grep -v grep`'",'
  echo '  "dns_status":"'`host boot.planet-lab.org 2>&1`'",'
  echo '  "iptables_status":"'`iptables -t mangle -nL | awk '$1~/^[A-Z]+$/ {modules[$1]=1;}END{for (k in modules) {if (k) printf "%s ",k;}}'`'",'
@@ -260,6 +261,7 @@
  break
  else:
  values.update({'kernel_version': "", 'bmlog' : "", 'bootcd_version' : '',
+                                                                        'boot_server' : '',
  'nm_status' : '',
  'fs_status' : '',
  'uptime' : '',
Index: automate-default.sh
===================================================================
--- automate-default.sh (.../tags/Monitor-3.0-22) (révision 15357)
+++ automate-default.sh (.../trunk) (révision 15357)
@@ -56,6 +56,7 @@
         # if no agent is running, set it up.
         ssh-agent > ${MONITOR_SCRIPT_ROOT}/agent.sh
         source ${MONITOR_SCRIPT_ROOT}/agent.sh
+        ssh-add /etc/planetlab/myops_ssh_key.rsa
         ssh-add /etc/planetlab/debug_ssh_key.rsa
         ssh-add /etc/planetlab/root_ssh_key.rsa
 fi

using a few trunks

packaging nrpe

Setting tag tests-4.3-5
modification in fetching the /var/log/* of node in the context of special account

Setting tag PLCAPI-4.3-28
Fix requires for CentOS.

Update NodeManager tag

Setting tag MyPLC-4.3-27
fix for silverauth - missing tag types now created at plc startup time

Setting tag MyPLC-4.3-26
plc.d/ssl preserves SSL certificates when it thinkfs they're obsolete

Needed to make the trellis version of util-vserver build.

bring closer in sync with planetlab-tags.mk

switch to using PLCAPI-4.3-26 now that we have a somewhat ok feeling that postgres 8.2 will work on CentOS

show/hide advance query form.

Setting tag Monitor-3.0-22

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: web/MonitorWeb/monitorweb/controllers.py
===================================================================
--- web/MonitorWeb/monitorweb/controllers.py (.../tags/Monitor-3.0-21) (révision 15272)
+++ web/MonitorWeb/monitorweb/controllers.py (.../trunk) (révision 15272)
@@ -63,6 +63,7 @@
 class QueryForm(widgets.TableForm):
     template = """
     <form xmlns:py="http://purl.org/kid/ns#"
+        id="queryform"
         name="${name}"
         action="${action}"
         method="${method}"
Index: web/MonitorWeb/monitorweb/templates/sitemenu.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/sitemenu.kid (.../tags/Monitor-3.0-21) (révision 15272)
+++ web/MonitorWeb/monitorweb/templates/sitemenu.kid (.../trunk) (révision 15272)
@@ -7,11 +7,13 @@

     <script type="text/javascript" src="/plekit/prototype/prototype.js"></script>

+    <script type="text/javascript" src="/plekit/toggle/toggle.js"></script>
     <script type="text/javascript" src="/plekit/tablesort/tablesort.js"></script>
     <script type="text/javascript" src="/plekit/tablesort/customsort.js"></script>
     <script type="text/javascript" src="/plekit/tablesort/paginate.js"></script>
     <script type="text/javascript" src="/plekit/table/table.js"></script>
     <link href="/plekit/table/table.css" rel="stylesheet" type="text/css" />
+    <link href="/plekit/toggle/toggle.css" rel="stylesheet" type="text/css" />

     <script type="text/javascript" src="/plekit/niftycorner/niftycube.js"></script>
     <script type="text/javascript" src="/plekit/niftycorner/nifty_init.js"></script>
Index: web/MonitorWeb/monitorweb/templates/query.kid
===================================================================
--- web/MonitorWeb/monitorweb/templates/query.kid (.../tags/Monitor-3.0-21) (révision 15272)
+++ web/MonitorWeb/monitorweb/templates/query.kid (.../trunk) (révision 15272)
@@ -13,11 +13,18 @@

   <div py:match="item.tag == 'content'">
    <h2>Functional, but Under Development...</h2>
+
+<img id="toggle-image-visible-query" src="/plekit/icons/toggle-visible.png" style="height:18px;" onclick="plc_toggle('query')" />
+<img id="toggle-image-hidden-query" src="/plekit/icons/toggle-hidden.png" style="height:18px;display:none" onclick="plc_toggle('query')" /> <span style="font-size:2em;">Monitor Query</span>
+
+<div id="toggle-area-query">
  <table>
  <tr>
  <td>${queryform.display(method="GET", value=data)}</td>
  </tr>
  </table>
+</div>
+
 <h4>Results</h4>
  <table py:if="fields and len(fields.keys()) > 0" id="querylist" cellpadding="0" border="0" class="plekit_table sortable-onload-0 colstyle-alt no-arrow paginationcallback-querylist_paginator max-pages-10 paginate-50" width="100%">
  <thead>
@@ -64,5 +71,16 @@
  </tr>
       </tbody>
  </table>
+<script type="text/javascript">
+var lst = $("querylist");
+var tbody = lst.getElementsBySelector("tbody")[0];
+var trs = tbody.getElementsBySelector("tr");
+if (trs.length > 2) {
+ plc_toggle("query");
+}
+</script>
+
   </div>
+
+
 </html>

Require postgresql 8.2 (for array operators && and @>)

Setting tag PLCAPI-4.3-27

--This line, and those below, will be ignored--
Please write a changelog for this new tag in the section above
DIFF=========
Index: PLCAPI.spec
===================================================================
--- PLCAPI.spec (.../tags/PLCAPI-4.3-26) (révision 15270)
+++ PLCAPI.spec (.../trunk) (révision 15270)
@@ -28,7 +28,7 @@

 # We use set everywhere
 Requires: python >= 2.4
-Requires: postgresql postgresql-server postgresql-python
+Requires: postgresql >= 8.2, postgresql-server >= 8.2, postgresql-python >= 8.2
 Requires: python-psycopg2
 Requires: python-pycurl
 Requires: httpd

The seed for random previously was the meaning of life (i.e., 42) but
that resulted in a not so random choice for the hmac.  This
implementation now uses a random.seed that is based on the current
time.

Setting tag NodeManager-1.8-15

Setting tag VserverReference-4.2-14
can use groups in the pkgs file with +++ for space

Setting tag BootstrapFS-1.0-9
can use groups in the pkgs file with +++ for space

Setting tag sfa-0.9-5
Create_slice and get_resources methods are connected to sfatables.
Other features include compatibility with RP, handling remote objects created as part of federation, preliminary version of sfatables, call tracability and logging.

mkfedora to use the same convention for group names with +++

can yum install groups (use +++ for space) in bootstrapfs and vserver-reference

PLCAPI-4.3-26 does not work on CentOS and so we need to stick with 4.3-25 or fork to get all changes except those related to filters

oops

fix quoting

comments

Setting tag PLCAPI-4.3-26
Filter now supports the | and & features to match in sequence values
bugfix in the postgresql wrapper for sequence filter values
reviewed GetSlivers to export admin keys more efficiently
fix checking roles in UpdateSliceTag

cosmetic

module-version can do html

fix

module-diff can generate html

using the latest tag of the tests module in onelab build

Setting tag tests-4.3-4
Updated to take care of testing in the context of special accounts. fetch_keys test method no longet attepms to fetch root key from /etc/planetlab. Also, a new account with admin rights have been added and this key is used for nodes_ssh_boot.

not using SFA right now

use non .coblitz tag for NodeManager

Setting tag sfa-0.9-4
Bug fix on update and remove_peer_object methods
Compatibility with RP, preliminiary version of sfatables, call tracability and logging

Setting tag PLEWWW-4.3-30
nicer look for slice creation, (public) sites
users show with all their sites in the persons page

Setting tag MyPLC-4.3-25
companion to NM's specialaccounts plugin
do not generate /etc/planetlab/root_ssh_key* anymore
remove related config. variables and conf_files

Setting tag NodeManager-1.8-14

Minor fix such that sliverauth.py makes a more specific call to
GetSliceTags that include that specific tagname it is looking for.

trying out new filters and getslivers

fix for remote pldistros

making space for the gnuradio package - renaming the gnuradio pldistro into wextoolbox

updating tags.mk

Setting tag sfa-0.9-3
Compatibility with RP, two additional methods to handle remote objects, call tracability and logging, PLCDB now has single table for sfa records, preliminary version of sfatables (still under development)

grab more lines in summary

use tests from trunk

attempt to fix tests on f10

improve build summary

Setting tag pyplnet-4.3-4
alias without a mac address: fix runtime error while issuing warning

use some trunks

added mirrors for poland

- Some typos in the documentation were fixed.

- UpdateSliceTag check if a node's min_role_id is >= (rather than >)
  to the tag's min_role_id.

Setting tag PLCAPI-4.3-25

Don't use trunk for NodeManager.

cleanup

does not rsync f8 anymore as this is now dead anyway

default is to rsync only the updates/ part of the repo

stop mirroring centos5.2

back to trunk

iptables-ipv6 is an output of our build on fedora{8,10}

Setting tag Monitor-3.0-21
fixed pause_penalty bug.
fixed IPAL pcucontrol bug
fixed bootman tunnel setup bug (occurred in rare cases)
deprecated pcuview
added BootmanSequenceRecords to separate config data from source code
added get/setBootmanSequence(s) to xmlrpc API

sync dhozac mirror using http

using tagged config for gnuradio

Setting tag PLCRT-1.0-10
add reverse-lookup on given host IP addr to add any extra hostnames this
server may be aliasing as.

Setting tag PLCRT-1.0-9
be more selective about which files to chmod

Setting tag PLCRT-1.0-8
shorter polling period for faster sync
remove attempt to install removed file

adopt tags and normalize for easier cross-pldistro diff