Thomas's fix about calling mkfs.btrfs with the -f option
[bootmanager.git] / source / utils.py
index 6cd286a..3c6c225 100644 (file)
@@ -1,8 +1,5 @@
 #!/usr/bin/python
 #
-# $Id$
-# $URL$
-#
 # Copyright (c) 2003 Intel Corporation
 # All rights reserved.
 #
 # expected /proc/partitions format
 
 import os, sys, shutil
-import popen2
+import subprocess
+import shlex
 import socket
 import fcntl
 import string
 import exceptions
-import hashlib
 
 from Exceptions import *
 
+####################
+# the simplest way to debug is to let the node take off, 
+# ssh into it as root using the debug ssh key in /etc/planetlab
+# then go to /tmp/source 
+# edit this file locally to turn on breakpoints if needed, then run
+# ./BootManager.py
+####################
 
 ### handling breakpoints in the startup process
 import select, sys, string
 
-### global debug settings
-# NOTE. when BREAKPOINT_MODE turns out enabled,
-# you have to attend the boot phase, that would hang otherwise 
+### global debugging settings
 
 # enabling this will cause the node to ask for breakpoint-mode at startup
 # production code should read False/False
 PROMPT_MODE=False
 # default for when prompt is turned off, or it's on but the timeout triggers
 BREAKPOINT_MODE=False
-VERBOSE_MODE=False
+
+# verbose mode is just fine
 VERBOSE_MODE=True
 # in seconds : if no input, proceed
 PROMPT_TIMEOUT=5
@@ -120,8 +123,7 @@ def removedir( path ):
     return 1
 
 
-
-def sysexec( cmd, log= None ):
+def sysexec( cmd, log=None, fsck=False, shell=False ):
     """
     execute a system command, output the results to the logger
     if log <> None
@@ -130,30 +132,62 @@ def sysexec( cmd, log= None ):
     0 if failed. A BootManagerException is raised if the command
     was unable to execute or was interrupted by the user with Ctrl+C
     """
-    if VERBOSE_MODE:
-        print ("sysexec >>> %s" % cmd)
-    prog= popen2.Popen4( cmd, 0 )
-    if prog is None:
+    try:
+        # Thierry - Jan. 6 2011
+        # would probably make sense to look for | here as well
+        # however this is fragile and hard to test thoroughly
+        # let the caller set 'shell' when that is desirable
+        if shell or cmd.__contains__(">"):
+            prog = subprocess.Popen(cmd, shell=True)
+            if log is not None:
+                log.write("sysexec (shell mode) >>> %s" % cmd)
+            if VERBOSE_MODE:
+                print "sysexec (shell mode) >>> %s" % cmd
+        else:
+            prog = subprocess.Popen(shlex.split(cmd), stdout=subprocess.PIPE, stderr=subprocess.PIPE)
+            if log is not None:
+                log.write("sysexec >>> %s\n" % cmd)
+            if VERBOSE_MODE:
+                print "sysexec >>> %s" % cmd
+    except OSError:
         raise BootManagerException, \
-              "Unable to create instance of popen2.Popen4 " \
+              "Unable to create instance of subprocess.Popen " \
               "for command: %s" % cmd
+    try:
+        (stdoutdata, stderrdata) = prog.communicate()
+    except KeyboardInterrupt:
+        raise BootManagerException, "Interrupted by user"
 
+    # log stdout & stderr
     if log is not None:
-        try:
-            for line in prog.fromchild:
-                log.write( line )
-        except KeyboardInterrupt:
-            raise BootManagerException, "Interrupted by user"
-
-    returncode= prog.wait()
-    if returncode != 0 and returncode != 256:
-        raise BootManagerException, "Running %s failed (rc=%d)" % (cmd,returncode)
-
-    prog= None
+        if stdoutdata:
+            log.write("==========stdout\n"+stdoutdata)
+        if stderrdata:
+            log.write("==========stderr\n"+stderrdata)
+
+    returncode = prog.wait()
+
+    if fsck:
+       # The exit code returned by fsck is the sum of the following conditions:
+       #      0    - No errors
+       #      1    - File system errors corrected
+       #      2    - System should be rebooted
+       #      4    - File system errors left uncorrected
+       #      8    - Operational error
+       #      16   - Usage or syntax error
+       #      32   - Fsck canceled by user request
+       #      128  - Shared library error
+       if returncode != 0 and returncode != 1:
+            raise BootManagerException, "Running %s failed (rc=%d)" % (cmd,returncode)
+    else:
+        if returncode != 0:
+            raise BootManagerException, "Running %s failed (rc=%d)" % (cmd,returncode)
+
+    prog = None
     return 1
 
 
-def sysexec_chroot( path, cmd, log= None ):
+def sysexec_chroot( path, cmd, log=None, shell=False):
     """
     same as sysexec, but inside a chroot
     """
@@ -165,29 +199,29 @@ def sysexec_chroot( path, cmd, log= None ):
         if not os.path.exists(library):
             shutil.copy("./libc-opendir-hack.so", library)
         preload = "/bin/env LD_PRELOAD=/lib/libc-opendir-hack.so"
-    sysexec("chroot %s %s %s" % (path, preload, cmd), log)
+    sysexec("chroot %s %s %s" % (path, preload, cmd), log, shell=shell)
 
 
-def sysexec_chroot_noerr( path, cmd, log= None ):
+def sysexec_chroot_noerr( path, cmd, log=None, shell=False ):
     """
     same as sysexec_chroot, but capture boot manager exceptions
     """
     try:
         rc= 0
-        rc= syexec_chroot( cmd, log )
+        rc= sysexec_chroot( cmd, log, shell=shell )
     except BootManagerException, e:
         pass
 
     return rc
 
 
-def sysexec_noerr( cmd, log= None ):
+def sysexec_noerr( cmd, log=None, shell=False ):
     """
     same as sysexec, but capture boot manager exceptions
     """
     try:
         rc= 0
-        rc= sysexec( cmd, log )
+        rc= sysexec( cmd, log, shell=shell )
     except BootManagerException, e:
         pass
 
@@ -255,7 +289,12 @@ def check_file_hash(filename, hash_filename):
 def sha1_file(filename):
     """Calculate sha1 hash of file."""
     try:
-        m = hashlib.sha1()
+        try:
+            import hashlib
+            m = hashlib.sha1()
+        except:
+            import sha
+            m=sha.new()
         f = file(filename, 'rb')
         while True:
             # 256 KB seems ideal for speed/memory tradeoff