merge master into lxc_devel
[bootmanager.git] / source / steps / InstallPartitionDisks.py
index 77bc9d4..9ecdc86 100644 (file)
@@ -1,5 +1,5 @@
 #!/usr/bin/python
-
+#
 # Copyright (c) 2003 Intel Corporation
 # All rights reserved.
 #
 import os, sys
 import string
 import popen2
-
+import time
 
 from Exceptions import *
 import utils
 import BootServerRequest
-
+import BootAPI
 import ModelOptions
 
 def Run( vars, log ):
@@ -55,12 +55,19 @@ def Run( vars, log ):
         if PARTITIONS == None:
             raise ValueError, "PARTITIONS"
 
+        if NODE_MODEL_OPTIONS & ModelOptions.RAWDISK:
+            VSERVERS_SIZE= "-1"
+            if "VSERVERS_SIZE" in vars:
+                VSERVERS_SIZE= vars["VSERVERS_SIZE"]
+                if VSERVERS_SIZE == "" or VSERVERS_SIZE == 0:
+                    raise ValueError, "VSERVERS_SIZE"
+
     except KeyError, var:
         raise BootManagerException, "Missing variable in vars: %s\n" % var
     except ValueError, var:
         raise BootManagerException, "Variable in vars, shouldn't be: %s\n" % var
 
-    bs_request= BootServerRequest.BootServerRequest()
+    bs_request= BootServerRequest.BootServerRequest(vars)
 
     
     # disable swap if its on
@@ -73,18 +80,23 @@ def Run( vars, log ):
     utils.sysexec_noerr( "lvremove -f %s" % PARTITIONS["swap"], log )
     utils.sysexec_noerr( "lvremove -f %s" % PARTITIONS["vservers"], log )
     utils.sysexec_noerr( "vgchange -an", log )
-    utils.sysexec_noerr( "vgremove planetlab", log )
+    utils.sysexec_noerr( "vgremove -f planetlab", log )
 
     log.write( "Running vgscan for devices\n" )
     utils.sysexec_noerr( "vgscan", log )
     
     used_devices= []
 
+    INSTALL_BLOCK_DEVICES.sort()
     for device in INSTALL_BLOCK_DEVICES:
 
         if single_partition_device( device, vars, log ):
-            used_devices.append( device )
-            log.write( "Successfully initialized %s\n" % device )
+            if (len(used_devices) > 0 and
+                (vars['NODE_MODEL_OPTIONS'] & ModelOptions.RAWDISK)):
+                log.write( "Running in raw disk mode, not using %s.\n" % device )
+            else:
+                used_devices.append( device )
+                log.write( "Successfully initialized %s\n" % device )
         else:
             log.write( "Unable to partition %s, not using it.\n" % device )
             continue
@@ -92,15 +104,22 @@ def Run( vars, log ):
     # list of devices to be used with vgcreate
     vg_device_list= ""
 
-    # initialize the physical volumes
+    # get partitions
+    partitions = []
     for device in used_devices:
-
         part_path= get_partition_path_from_device( device, vars, log )
-        
+        partitions.append(part_path)
+   
+    # create raid partition
+    raid_partition = create_raid_partition(partitions, vars, log)
+    if raid_partition != None:
+        partitions = [raid_partition]      
+    log.write("PARTITIONS %s\n" %  str(partitions)) 
+    # initialize the physical volumes
+    for part_path in partitions:
         if not create_lvm_physical_volume( part_path, vars, log ):
             raise BootManagerException, "Could not create lvm physical volume " \
                   "on partition %s" % part_path
-        
         vg_device_list = vg_device_list + " " + part_path
 
     # create an lvm volume group
@@ -112,17 +131,22 @@ def Run( vars, log ):
     # create root logical volume
     utils.sysexec( "lvcreate -L%s -nroot planetlab" % ROOT_SIZE, log )
 
-    # create vservers logical volume with all remaining space
-    # first, we need to get the number of remaining extents we can use
-    remaining_extents= get_remaining_extents_on_vg( vars, log )
-    
-    utils.sysexec( "lvcreate -l%s -nvservers planetlab" % remaining_extents, log )
+    if vars['NODE_MODEL_OPTIONS'] & ModelOptions.RAWDISK and VSERVERS_SIZE != "-1":
+        utils.sysexec( "lvcreate -L%s -nvservers planetlab" % VSERVERS_SIZE, log )
+        remaining_extents= get_remaining_extents_on_vg( vars, log )
+        utils.sysexec( "lvcreate -l%s -nrawdisk planetlab" % remaining_extents, log )
+    else:
+        # create vservers logical volume with all remaining space
+        # first, we need to get the number of remaining extents we can use
+        remaining_extents= get_remaining_extents_on_vg( vars, log )
+        
+        utils.sysexec( "lvcreate -l%s -nvservers planetlab" % remaining_extents, log )
 
     # activate volume group (should already be active)
     #utils.sysexec( TEMP_PATH + "vgchange -ay planetlab", log )
 
     # make swap
-    utils.sysexec( "mkswap %s" % PARTITIONS["swap"], log )
+    utils.sysexec( "mkswap -f %s" % PARTITIONS["swap"], log )
 
     # check if badhd option has been set
     option = ''
@@ -134,14 +158,24 @@ def Run( vars, log ):
     # filesystems partitions names and their corresponding
     # reserved-blocks-percentages
     filesystems = {"root":5,"vservers":0}
-
-    # make the file systems
-    for fs in filesystems.keys():
-        # get the reserved blocks percentage
-        rbp = filesystems[fs]
-        devname = PARTITIONS[fs]
-        log.write("formatting %s partition (%s)%s.\n" % (fs,devname,txt))
-        utils.sysexec( "mkfs.ext2 -q %s -m %d -j %s" % (option,rbp,devname), log )
+    
+    # ROOT filesystem with ext2
+    fs = 'root'
+    rbp = filesystems[fs]
+    devname = PARTITIONS[fs]
+    log.write("formatting %s partition (%s)%s.\n" % (fs,devname,txt))
+    utils.sysexec( "mkfs.ext2 -q %s -m %d -j %s" % (option,rbp,devname), log )
+
+    # VSERVER filesystem with btrfs to support snapshoting and stuff
+    fs = 'vservers'
+    rbp = filesystems[fs]
+    devname = PARTITIONS[fs]
+    log.write("formatting %s partition (%s)%s.\n" % (fs,devname,txt))
+    utils.sysexec( "mkfs.btrfs %s" % (devname), log )
+
+    # disable time/count based filesystems checks
+    for filesystem in ["root"]:
+        utils.sysexec_noerr( "tune2fs -c -1 -i 0 %s" % PARTITIONS[filesystem], log)
 
     # save the list of block devices in the log
     log.write( "Block devices used (in lvm): %s\n" % repr(used_devices))
@@ -152,7 +186,7 @@ def Run( vars, log ):
     return 1
 
 
-
+import parted
 def single_partition_device( device, vars, log ):
     """
     initialize a disk by removing the old partition tables,
@@ -161,11 +195,28 @@ def single_partition_device( device, vars, log ):
     return 1 if sucessful, 0 otherwise
     """
 
-    import parted
+    # two forms, depending on which version of pyparted we have
+    # v1 does not have a 'version' method
+    # v2 and above does, but to make it worse, 
+    # parted-3.4 on f14 has parted.version broken and raises SystemError
+    try:
+        parted.version()
+        return single_partition_device_2_x (device, vars, log)
+    except AttributeError:
+        # old parted does not have version at all
+        return single_partition_device_1_x (device, vars, log)
+    except SystemError:
+        # let's assume this is >=2
+        return single_partition_device_2_x (device, vars, log)
+    except:
+        raise
+
+def single_partition_device_1_x ( device, vars, log):
     
     lvm_flag= parted.partition_flag_get_by_name('lvm')
     
     try:
+        log.write("Using pyparted 1.x\n")
         # wipe the old partition table
         utils.sysexec( "dd if=/dev/zero of=%s bs=512 count=1" % device, log )
 
@@ -206,6 +257,44 @@ def single_partition_device( device, vars, log ):
 
 
 
+def single_partition_device_2_x ( device, vars, log):
+    try:
+        log.write("Using pyparted 2.x\n")
+        # wipe the old partition table
+        utils.sysexec( "dd if=/dev/zero of=%s bs=512 count=1" % device, log )
+        # get the device
+        dev= parted.Device(device)
+        # create a new partition table
+        try:
+            disk= parted.freshDisk(dev,'msdos')
+        # use gpt as a fallback for disks larger than 2TB
+        except:
+            disk= parted.freshDisk(dev,'gpt')
+        # create one big partition on each block device
+        constraint= parted.constraint.Constraint (device=dev)
+        geometry = parted.geometry.Geometry (device=dev, start=0, end=1)
+        fs = parted.filesystem.FileSystem (type="ext2",geometry=geometry)
+        new_part= parted.partition.Partition (disk, type=parted.PARTITION_NORMAL, 
+                                              fs=fs, geometry=geometry)
+        # make it an lvm partition
+        new_part.setFlag(parted.PARTITION_LVM)
+        # actually add the partition to the disk
+        disk.addPartition(new_part, constraint)
+        disk.maximizePartition(new_part,constraint)
+        disk.commit()
+        print >>log, 'Current disk for %s'%device,disk
+        print >>log, 'Current dev for %s'%device,dev
+        del disk
+    except Exception, e:
+        log.write( "Exception inside single_partition_device_2_x : %s\n" % str(e) )
+        import traceback
+        traceback.print_exc(file=log)
+        return 0
+                   
+    return 1
+
+
+
 def create_lvm_physical_volume( part_path, vars, log ):
     """
     make the specificed partition a lvm physical volume.
@@ -227,6 +316,53 @@ def create_lvm_physical_volume( part_path, vars, log ):
     return 1
 
 
+def create_raid_partition(partitions, vars, log):
+    """
+    create raid array using specified partitions.  
+    """ 
+    raid_part = None
+    raid_enabled = False
+    node_tags = BootAPI.call_api_function( vars, "GetNodeTags",
+                                        ({'node_id': vars['NODE_ID']},))
+    for node_tag in node_tags:
+        if node_tag['tagname'] == 'raid_enabled' and \
+           node_tag['value'] == '1':
+            raid_enabled = True
+            break
+    if not raid_enabled:
+        return raid_part
+
+    try:
+        log.write( "Software raid enabled.\n" )
+        # wipe everything
+        utils.sysexec_noerr("mdadm --stop /dev/md0", log)
+        time.sleep(1)
+        for part_path in partitions:
+            utils.sysexec_noerr("mdadm --zero-superblock %s " % part_path, log)
+
+        # assume each partiton is on a separate disk
+        num_parts = len(partitions)
+        if num_parts < 2:
+            log.write( "Not enough disks for raid. Found: %s\n" % partitions )
+            raise BootManagerException("Not enough disks for raid. Found: %s\n" % partitions)  
+        if num_parts == 2:
+            lvl = 1
+        else:
+            lvl = 5   
+        
+        # make the array
+        part_list = " ".join(partitions)
+        raid_part = "/dev/md0"
+        cmd = "mdadm --create %(raid_part)s --chunk=128 --level=raid%(lvl)s " % locals() + \
+              "--raid-devices=%(num_parts)s %(part_list)s" % locals()
+        utils.sysexec(cmd, log)        
+
+    except BootManagerException, e:
+        log.write("create_raid_partition failed.\n")
+        raid_part = None
+
+    return raid_part  
+
 
 def get_partition_path_from_device( device, vars, log ):
     """