refine strategy to spot ip address, keep on calling guest_ipv4
[build.git] / module-tools.py
index 948b0e2..7678bdc 100755 (executable)
@@ -7,9 +7,9 @@ import tempfile
 from glob import glob
 from optparse import OptionParser
 
-# e.g. other_choices = [ ('d','iff') , ('g','uess') ] - lowercase 
-def prompt (question, default=True, other_choices=[], allow_outside=False):
-    if not isinstance (other_choices, list):
+# e.g. other_choices = [ ('d','iff') , ('g','uess') ] - lowercase
+def prompt(question, default=True, other_choices=[], allow_outside=False):
+    if not isinstance(other_choices, list):
         other_choices = [ other_choices ]
     chars = [ c for (c,rest) in other_choices ]
 
@@ -65,19 +65,19 @@ def default_editor():
 ### fold long lines
 fold_length = 132
 
-def print_fold (line):
+def print_fold(line):
     while len(line) >= fold_length:
         print(line[:fold_length],'\\')
         line = line[fold_length:]
     print(line)
 
 class Command:
-    def __init__ (self, command, options):
+    def __init__(self, command, options):
         self.command = command
         self.options = options
         self.tmp = "/tmp/command-{}".format(os.getpid())
 
-    def run (self):
+    def run(self):
         if self.options.dry_run:
             print('dry_run', self.command)
             return 0
@@ -86,7 +86,7 @@ class Command:
             sys.stdout.flush()
         return os.system(self.command)
 
-    def run_silent (self):
+    def run_silent(self):
         if self.options.dry_run:
             print('dry_run', self.command)
             return 0
@@ -109,7 +109,7 @@ class Command:
             raise Exception("Command {} failed".format(self.command))
 
     # returns stdout, like bash's $(mycommand)
-    def output_of (self, with_stderr=False):
+    def output_of(self, with_stderr=False, binary=False):
         if self.options.dry_run:
             print('dry_run', self.command)
             return 'dry_run output'
@@ -124,13 +124,14 @@ class Command:
             command += " > "
         command += tmp
         os.system(command)
-        with open(tmp) as f:
+        mode = "r" if not binary else "rb"
+        with open(tmp, mode) as f:
             result=f.read()
         os.unlink(tmp)
         if self.options.debug:
             print('Done', end=' ')
         return result
-    
+
 class GitRepository:
     type = "git"
 
@@ -165,7 +166,7 @@ class GitRepository:
 
     @classmethod
     def remote_exists(cls, remote, options):
-        return Command ("git --no-pager ls-remote {} &> /dev/null".format(remote), options).run()==0
+        return Command("git --no-pager ls-remote {} &> /dev/null".format(remote), options).run()==0
 
     def tag_exists(self, tagname):
         command = 'git tag -l | grep "^{}$"'.format(tagname)
@@ -199,7 +200,7 @@ class GitRepository:
             self.__run_command_in_repo("git checkout {}".format(branch))
         else:
             self.to_branch(branch, remote=True)
-        self.__run_command_in_repo("git fetch origin --tags")
+        self.__run_command_in_repo("git fetch origin --tags", ignore_errors=True)
         self.__run_command_in_repo("git fetch origin")
         if not self.__is_commit_id(branch):
             # we don't need to merge anything for commit ids.
@@ -223,11 +224,17 @@ class GitRepository:
 
     def diff(self, f=""):
         c = Command("git diff {}".format(f), self.options)
-        return self.__run_in_repo(c.output_of, with_stderr=True)
+        try:
+            return self.__run_in_repo(c.output_of, with_stderr=True)
+        except:
+            return self.__run_in_repo(c.output_of, with_stderr=True, binary=True)
 
     def diff_with_tag(self, tagname):
         c = Command("git diff {}".format(tagname), self.options)
-        return self.__run_in_repo(c.output_of, with_stderr=True)
+        try:
+            return self.__run_in_repo(c.output_of, with_stderr=True)
+        except:
+            return self.__run_in_repo(c.output_of, with_stderr=True, binary=True)
 
     def commit(self, logfile, branch="master"):
         self.__run_command_in_repo("git add .", ignore_errors=True)
@@ -237,7 +244,7 @@ class GitRepository:
             self.__run_command_in_repo("git push")
         else:
             self.__run_command_in_repo("git push origin {}:{}".format(branch, branch))
-        self.__run_command_in_repo("git push --tags")
+        self.__run_command_in_repo("git push --tags", ignore_errors=True)
 
     def revert(self, f=""):
         if f:
@@ -256,11 +263,11 @@ class GitRepository:
 
     def is_valid(self):
         return os.path.exists(os.path.join(self.path, ".git"))
-    
+
 
 class Repository:
-    """ 
-    Generic repository 
+    """
+    Generic repository
     From old times when we had svn and git
     """
     supported_repo_types = [ GitRepository ]
@@ -290,7 +297,7 @@ class Module:
 
     edit_magic_line = "--This line, and those below, will be ignored--"
     setting_tag_format = "Setting tag {}"
-    
+
     redirectors = [
         # ('module_name_varname', 'name'),
         ('module_version_varname', 'version'),
@@ -299,7 +306,7 @@ class Module:
 
     # where to store user's config
     config_storage = "CONFIG"
-    # 
+    #
     config = {}
 
     import subprocess
@@ -316,14 +323,14 @@ class Module:
         cls.config[key]=input("{} [{}] : ".format(message,default)).strip() or default
 
     @classmethod
-    def prompt_config (cls):
+    def prompt_config(cls):
         for (key,message,default) in cls.configKeys:
             cls.config[key]=""
             while not cls.config[key]:
                 cls.prompt_config_option(key, message, default)
 
     # for parsing module spec name:branch
-    matcher_branch_spec = re.compile("\A(?P<name>[\w\.\-\/]+):(?P<branch>[\w\.\-]+)\Z")                                                                                                                         
+    matcher_branch_spec = re.compile("\A(?P<name>[\w\.\-\/]+):(?P<branch>[\w\.\-]+)\Z")
     # special form for tagged module - for Build
     matcher_tag_spec = re.compile("\A(?P<name>[\w\.\-\/]+)@(?P<tagname>[\w\.\-]+)\Z")
 
@@ -350,7 +357,7 @@ class Module:
         return name, branch_or_tagname, module_type
 
 
-    def __init__ (self, module_spec, options):
+    def __init__(self, module_spec, options):
         # parse module spec
         self.pathname, branch_or_tagname, module_type = self.parse_module_spec(module_spec)
         self.name = os.path.basename(self.pathname)
@@ -365,11 +372,11 @@ class Module:
         self.repository = None
         self.build = None
 
-    def run (self,command):
+    def run(self,command):
         return Command(command,self.options).run()
-    def run_fatal (self,command):
+    def run_fatal(self,command):
         return Command(command,self.options).run_fatal()
-    def run_prompt (self,message,fun, *args):
+    def run_prompt(self,message,fun, *args):
         fun_msg = "{}({})".format(fun.__name__, ",".join(args))
         if not self.options.verbose:
             while True:
@@ -384,7 +391,7 @@ class Module:
             if prompt(question, True):
                 fun(*args)
 
-    def friendly_name (self):
+    def friendly_name(self):
         if hasattr(self, 'branch'):
             return "{}:{}".format(self.pathname, self.branch)
         elif hasattr(self, 'tagname'):
@@ -393,12 +400,12 @@ class Module:
             return self.pathname
 
     @classmethod
-    def git_remote_dir (cls, name):
+    def git_remote_dir(cls, name):
         return "{}@{}:/git/{}.git".format(cls.config['gituser'], cls.config['gitserver'], name)
 
     ####################
     @classmethod
-    def init_homedir (cls, options):
+    def init_homedir(cls, options):
         if options.verbose and options.mode not in Main.silent_modes:
             print('Checking for', options.workdir)
         storage="{}/{}".format(options.workdir, cls.config_storage)
@@ -408,7 +415,7 @@ class Module:
         if os.path.isdir(options.workdir) and not os.path.isfile(storage):
             print("""The directory {} exists and has no CONFIG file
 If this is your regular working directory, please provide another one as the
-module-* commands need a fresh working dir. Make sure that you do not use 
+module-* commands need a fresh working dir. Make sure that you do not use
 that for other purposes than tagging""".format(options.workdir))
             sys.exit(1)
 
@@ -432,13 +439,13 @@ that for other purposes than tagging""".format(options.workdir))
             with open(storage) as f:
                 for line in f.readlines():
                     key, value = re.compile("^(.+)=(.+)$").match(line).groups()
-                    Module.config[key] = value                
+                    Module.config[key] = value
 
             # owerride config variables using options.
             if options.build_module:
                 Module.config['build'] = options.build_module
 
-        if not os.path.isdir (options.workdir):
+        if not os.path.isdir(options.workdir):
             print("Cannot find {}, let's create it".format(options.workdir))
             Command("mkdir -p {}".format(options.workdir), options).run_silent()
             cls.prompt_config()
@@ -453,7 +460,7 @@ that for other purposes than tagging""".format(options.workdir))
                     print("Configuration changed for module-tools")
                     cls.prompt_config_option(key, message, default)
                     old_layout = True
-                    
+
             if old_layout:
                 Command("rm -rf {}".format(options.workdir), options).run_silent()
                 Command("mkdir -p {}".format(options.workdir), options).run_silent()
@@ -476,11 +483,11 @@ that for other purposes than tagging""".format(options.workdir))
             for (key,message,default) in Module.configKeys:
                 print('\t{} = {}'.format(key,Module.config[key]))
 
-    def init_module_dir (self):
+    def init_module_dir(self):
         if self.options.verbose:
             print('Checking for', self.module_dir)
 
-        if not os.path.isdir (self.module_dir):
+        if not os.path.isdir(self.module_dir):
             self.repository = GitRepository.clone(self.git_remote_dir(self.pathname),
                                                   self.module_dir,
                                                   self.options)
@@ -494,19 +501,19 @@ that for other purposes than tagging""".format(options.workdir))
                 self.repository.to_tag(self.tagname)
         else:
             raise Exception('Cannot find {} - or not a git module'.format(self.module_dir))
-                
 
-    def revert_module_dir (self):
+
+    def revert_module_dir(self):
         if self.options.fast_checks:
             if self.options.verbose: print('Skipping revert of {}'.format(self.module_dir))
             return
         if self.options.verbose:
             print('Checking whether', self.module_dir, 'needs being reverted')
-        
+
         if not self.repository.is_clean():
             self.repository.revert()
 
-    def update_module_dir (self):
+    def update_module_dir(self):
         if self.options.fast_checks:
             if self.options.verbose: print('Skipping update of {}'.format(self.module_dir))
             return
@@ -520,9 +527,9 @@ that for other purposes than tagging""".format(options.workdir))
         else:
             self.repository.update()
 
-    def main_specname (self):
+    def main_specname(self):
         attempt = "{}/{}.spec".format(self.module_dir, self.name)
-        if os.path.isfile (attempt):
+        if os.path.isfile(attempt):
             return attempt
         pattern1 = "{}/*.spec".format(self.module_dir)
         level1 = glob(pattern1)
@@ -536,21 +543,21 @@ that for other purposes than tagging""".format(options.workdir))
         raise Exception('Cannot guess specfile for module {} -- patterns were {} or {}'\
                         .format(self.pathname,pattern1,pattern2))
 
-    def all_specnames (self):
+    def all_specnames(self):
         level1 = glob("{}/*.spec".format(self.module_dir))
         if level1:
             return level1
         level2 = glob("{}/*/*.spec".format(self.module_dir))
         return level2
 
-    def parse_spec (self, specfile, varnames):
+    def parse_spec(self, specfile, varnames):
         if self.options.verbose:
             print('Parsing',specfile, end=' ')
             for var in varnames:
                 print("[{}]".format(var), end=' ')
             print("")
         result={}
-        with open(specfile) as f:
+        with open(specfile, encoding='utf-8') as f:
             for line in f.readlines():
                 attempt = Module.matcher_rpm_define.match(line)
                 if attempt:
@@ -562,10 +569,10 @@ that for other purposes than tagging""".format(options.workdir))
             for k, v in result.items():
                 print('{} = {}'.format(k, v))
         return result
-                
+
     # stores in self.module_name_varname the rpm variable to be used for the module's name
     # and the list of these names in self.varnames
-    def spec_dict (self):
+    def spec_dict(self):
         specfile = self.main_specname()
         redirector_keys = [ varname for (varname, default) in Module.redirectors]
         redirect_dict = self.parse_spec(specfile, redirector_keys)
@@ -578,23 +585,23 @@ that for other purposes than tagging""".format(options.workdir))
                 varnames += [redirect_dict[varname]]
             else:
                 setattr(self, varname, default)
-                varnames += [ default ] 
+                varnames += [ default ]
         self.varnames = varnames
-        result = self.parse_spec (specfile, self.varnames)
+        result = self.parse_spec(specfile, self.varnames)
         if self.options.debug:
             print('2st pass parsing done, varnames={} result={}'.format(varnames, result))
         return result
 
-    def patch_spec_var (self, patch_dict,define_missing=False):
+    def patch_spec_var(self, patch_dict,define_missing=False):
         for specfile in self.all_specnames():
             # record the keys that were changed
-            changed = dict ( [ (x,False) for x in list(patch_dict.keys()) ] )
+            changed = {x : False  for x in list(patch_dict.keys()) }
             newspecfile = "{}.new".format(specfile)
             if self.options.verbose:
                 print('Patching', specfile, 'for', list(patch_dict.keys()))
 
-            with open (specfile) as spec:
-                with open(newspecfile, "w") as new:
+            with open(specfile, encoding='utf-8') as spec:
+                with open(newspecfile, "w", encoding='utf-8') as new:
                     for line in spec.readlines():
                         attempt = Module.matcher_rpm_define.match(line)
                         if attempt:
@@ -615,7 +622,7 @@ that for other purposes than tagging""".format(options.workdir))
             os.rename(newspecfile, specfile)
 
     # returns all lines until the magic line
-    def unignored_lines (self, logfile):
+    def unignored_lines(self, logfile):
         result = []
         white_line_matcher = re.compile("\A\s*\Z")
         with open(logfile) as f:
@@ -629,19 +636,19 @@ that for other purposes than tagging""".format(options.workdir))
         return result
 
     # creates a copy of the input with only the unignored lines
-    def strip_magic_line_filename (self, filein, fileout ,new_tag_name):
+    def strip_magic_line_filename(self, filein, fileout ,new_tag_name):
        with open(fileout,'w') as f:
            f.write(self.setting_tag_format.format(new_tag_name) + '\n')
            for line in self.unignored_lines(filein):
                f.write(line)
 
-    def insert_changelog (self, logfile, newtag):
+    def insert_changelog(self, logfile, newtag):
         for specfile in self.all_specnames():
             newspecfile = "{}.new".format(specfile)
             if self.options.verbose:
                 print('Inserting changelog from {} into {}'.format(logfile, specfile))
 
-            with open (specfile) as spec:
+            with open(specfile) as spec:
                 with open(newspecfile,"w") as new:
                     for line in spec.readlines():
                         new.write(line)
@@ -656,13 +663,13 @@ that for other purposes than tagging""".format(options.workdir))
                                 new.write("- " + logline)
                             new.write("\n")
             os.rename(newspecfile,specfile)
-            
-    def show_dict (self, spec_dict):
+
+    def show_dict(self, spec_dict):
         if self.options.verbose:
             for k, v in spec_dict.items():
                 print('{} = {}'.format(k, v))
 
-    def last_tag (self, spec_dict):
+    def last_tag(self, spec_dict):
         try:
             return "{}-{}".format(spec_dict[self.module_version_varname],
                                   spec_dict[self.module_taglevel_varname])
@@ -670,13 +677,13 @@ that for other purposes than tagging""".format(options.workdir))
             raise Exception('Something is wrong with module {}, cannot determine {} - exiting'\
                             .format(self.name, err))
 
-    def tag_name (self, spec_dict):
+    def tag_name(self, spec_dict):
         return "{}-{}".format(self.name, self.last_tag(spec_dict))
-    
+
 
     pattern_format="\A\s*{module}-(GITPATH)\s*(=|:=)\s*(?P<url_main>[^\s]+)/{module}[^\s]+"
 
-    def is_mentioned_in_tagsfile (self, tagsfile):
+    def is_mentioned_in_tagsfile(self, tagsfile):
         # so that {module} gets replaced from format
         module = self.name
         module_matcher = re.compile(Module.pattern_format.format(**locals()))
@@ -689,7 +696,7 @@ that for other purposes than tagging""".format(options.workdir))
 ##############################
     # using fine_grain means replacing only those instances that currently refer to this tag
     # otherwise, <module>-GITPATH is replaced unconditionnally
-    def patch_tags_file (self, tagsfile, oldname, newname, fine_grain=True):
+    def patch_tags_file(self, tagsfile, oldname, newname, fine_grain=True):
         newtagsfile = "{}.new".format(tagsfile)
 
         with open(tagsfile) as tags:
@@ -727,12 +734,12 @@ that for other purposes than tagging""".format(options.workdir))
                                       .format(self.name))
                                 return
                             if self.options.verbose:
-                                print(' ' + modulepath, end=' ') 
+                                print(' ' + modulepath, end=' ')
                             new.write(replacement)
                             matches += 1
                         else:
                             new.write(line)
-                            
+
         os.rename(newtagsfile,tagsfile)
         if self.options.verbose:
             print("{} changes".format(matches))
@@ -759,27 +766,27 @@ that for other purposes than tagging""".format(options.workdir))
 
 
 ##############################
-    def do_tag (self):
+    def do_tag(self):
         self.init_module_dir()
         self.revert_module_dir()
         self.update_module_dir()
         # parse specfile
         spec_dict = self.spec_dict()
         self.show_dict(spec_dict)
-        
+
         # compute previous tag - if not bypassed
         if not self.options.bypass:
             old_tag_name = self.tag_name(spec_dict)
             # sanity check
             old_tag_name = self.check_tag(old_tag_name, need_it=True)
 
-        if (self.options.new_version):
+        if self.options.new_version:
             # new version set on command line
             spec_dict[self.module_version_varname] = self.options.new_version
             spec_dict[self.module_taglevel_varname] = 0
         else:
             # increment taglevel
-            new_taglevel = str ( int (spec_dict[self.module_taglevel_varname]) + 1)
+            new_taglevel = str( int(spec_dict[self.module_taglevel_varname]) + 1)
             spec_dict[self.module_taglevel_varname] = new_taglevel
 
         new_tag_name = self.tag_name(spec_dict)
@@ -790,13 +797,13 @@ that for other purposes than tagging""".format(options.workdir))
         if not self.options.bypass:
             diff_output = self.repository.diff_with_tag(old_tag_name)
             if len(diff_output) == 0:
-                if not prompt ("No pending difference in module {}, want to tag anyway".format(self.pathname), False):
+                if not prompt("No pending difference in module {}, want to tag anyway".format(self.pathname), False):
                     return
 
         # side effect in head's specfile
         self.patch_spec_var(spec_dict)
 
-        # prepare changelog file 
+        # prepare changelog file
         # we use the standard subversion magic string (see edit_magic_line)
         # so we can provide useful information, such as version numbers and diff
         # in the same file
@@ -810,22 +817,22 @@ that for other purposes than tagging""".format(options.workdir))
 Please write a changelog for this new tag in the section above
 """.format(Module.edit_magic_line, setting_tag_line))
 
-        if self.options.bypass: 
+        if self.options.bypass:
             pass
         elif prompt('Want to see diffs while writing changelog', True):
             with open(changelog_plain, "a") as f:
                 f.write('DIFF=========\n' + diff_output)
-        
+
         if self.options.debug:
             prompt('Proceed ?')
 
-        # edit it        
+        # edit it
         self.run("{} {}".format(self.options.editor, changelog_plain))
         # strip magic line in second file
         self.strip_magic_line_filename(changelog_plain, changelog_strip, new_tag_name)
         # insert changelog in spec
         if self.options.changelog:
-            self.insert_changelog (changelog_plain, new_tag_name)
+            self.insert_changelog(changelog_plain, new_tag_name)
 
         ## update build
         build_path = os.path.join(self.options.workdir, Module.config['build'])
@@ -836,7 +843,7 @@ Please write a changelog for this new tag in the section above
             build.revert()
 
         tagsfiles = glob(build.path+"/*-tags.mk")
-        tagsdict = dict( [ (x,'todo') for x in tagsfiles ] )
+        tagsdict = { x : 'todo' for x in tagsfiles }
         default_answer = 'y'
         tagsfiles.sort()
         while True:
@@ -844,7 +851,7 @@ Please write a changelog for this new tag in the section above
             if self.options.bypass:
                 break
             for tagsfile in tagsfiles:
-                if not self.is_mentioned_in_tagsfile (tagsfile):
+                if not self.is_mentioned_in_tagsfile(tagsfile):
                     if self.options.verbose:
                         print("tagsfile {} does not mention {} - skipped".format(tagsfile, self.name))
                     continue
@@ -852,9 +859,9 @@ Please write a changelog for this new tag in the section above
                 basename = os.path.basename(tagsfile)
                 print(".................... Dealing with {}".format(basename))
                 while tagsdict[tagsfile] == 'todo' :
-                    choice = prompt ("insert {} in {}    ".format(new_tag_name, basename),
+                    choice = prompt("insert {} in {}    ".format(new_tag_name, basename),
                                      default_answer,
-                                     [ ('y','es'), ('n', 'ext'), ('f','orce'), 
+                                     [ ('y','es'), ('n', 'ext'), ('f','orce'),
                                        ('d','iff'), ('r','evert'), ('c', 'at'), ('h','elp') ] ,
                                      allow_outside=True)
                     if choice == 'y':
@@ -881,7 +888,7 @@ c: cat the current tag file
 n: move to next file""".format(**locals()))
 
             if prompt("Want to review changes on tags files", False):
-                tagsdict = dict ( [ (x, 'todo') for x in tagsfiles ] )
+                tagsdict = {x : 'todo' for x in tagsfiles }
                 default_answer = 'd'
             else:
                 break
@@ -909,7 +916,7 @@ n: move to next file""".format(**locals()))
 
 
 ##############################
-    def do_version (self):
+    def do_version(self):
         self.init_module_dir()
         self.revert_module_dir()
         self.update_module_dir()
@@ -919,19 +926,19 @@ n: move to next file""".format(**locals()))
                                   .format(self.friendly_name(), self.last_tag(spec_dict)))
         for varname in self.varnames:
             if varname not in spec_dict:
-                self.html_print ('Could not find %define for {}'.format(varname))
+                self.html_print('Could not find %define for {}'.format(varname))
                 return
             else:
-                self.html_print ("{:<16} {}".format(varname, spec_dict[varname]))
-        self.html_print ("{:<16} {}".format('url', self.repository.url()))
+                self.html_print("{:<16} {}".format(varname, spec_dict[varname]))
+        self.html_print("{:<16} {}".format('url', self.repository.url()))
         if self.options.verbose:
-            self.html_print ("{:<16} {}".format('main specfile:', self.main_specname()))
-            self.html_print ("{:<16} {}".format('specfiles:', self.all_specnames()))
+            self.html_print("{:<16} {}".format('main specfile:', self.main_specname()))
+            self.html_print("{:<16} {}".format('specfiles:', self.all_specnames()))
         self.html_print_end()
 
 
 ##############################
-    def do_diff (self):
+    def do_diff(self):
         self.init_module_dir()
         self.revert_module_dir()
         self.update_module_dir()
@@ -958,9 +965,9 @@ n: move to next file""".format(**locals()))
                 self.html_store_title("Diffs in module {} ({}) : {} chars"\
                                       .format(thename, self.last_tag(spec_dict), len(diff_output)))
 
-                self.html_store_raw ('<p> &lt; (left) {} </p>'"{:<16} {}".format(tag_name))
-                self.html_store_raw ('<p> &gt; (right) {} </p>'"{:<16} {}".format(thename))
-                self.html_store_pre (diff_output)
+                self.html_store_raw('<p> &lt; (left) {} </p>'.format(tag_name))
+                self.html_store_raw('<p> &gt; (right) {} </p>'.format(thename))
+                self.html_store_pre(diff_output)
             elif not self.options.www:
                 print('x'*30, 'module', thename)
                 print('x'*20, '<', tag_name)
@@ -969,35 +976,35 @@ n: move to next file""".format(**locals()))
 
 ##############################
     # store and restitute html fragments
-    @staticmethod 
-    def html_href (url,text):
+    @staticmethod
+    def html_href(url,text):
         return '<a href="{}">{}</a>'.format(url, text)
 
-    @staticmethod 
-    def html_anchor (url,text):
+    @staticmethod
+    def html_anchor(url,text):
         return '<a name="{}">{}</a>'.format(url,text)
 
     @staticmethod
-    def html_quote (text):
+    def html_quote(text):
         return text.replace('&', '&#38;').replace('<', '&lt;').replace('>', '&gt;')
 
     # only the fake error module has multiple titles
-    def html_store_title (self, title):
+    def html_store_title(self, title):
         if not hasattr(self,'titles'):
             self.titles=[]
         self.titles.append(title)
 
-    def html_store_raw (self, html):
+    def html_store_raw(self, html):
         if not hasattr(self,'body'):
             self.body=''
         self.body += html
 
-    def html_store_pre (self, text):
+    def html_store_pre(self, text):
         if not hasattr(self,'body'):
             self.body=''
         self.body += '<pre>{}</pre>'.format(self.html_quote(text))
 
-    def html_print (self, txt):
+    def html_print(self, txt):
         if not self.options.www:
             print(txt)
         else:
@@ -1006,9 +1013,9 @@ n: move to next file""".format(**locals()))
                 self.in_list = True
             self.html_store_raw('<li>{}</li>'.format(txt))
 
-    def html_print_end (self):
+    def html_print_end(self):
         if self.options.www:
-            self.html_store_raw ('</ul>')
+            self.html_store_raw('</ul>')
 
     @staticmethod
     def html_dump_header(title):
@@ -1050,12 +1057,12 @@ span.error {{text-weight:bold; color: red; }}
                 print('<hr /><h1>', self.html_anchor(self.friendly_name(),title), '</h1>')
         if hasattr(self,'body'):
             print(self.body)
-            print('<p class="top">', self.html_href('#','Back to top'), '</p>')            
+            print('<p class="top">', self.html_href('#','Back to top'), '</p>')
 
 
 
 class Build(Module):
-    
+
     def __get_modules(self, tagfile):
         self.init_module_dir()
         modules = {}
@@ -1085,20 +1092,20 @@ class Build(Module):
                     module_type = "tag"
                 elif url.find('/branches/') >= 0:
                     module_type = "branch"
-            
+
             modules[module] = {"module_type" : module_type,
                                "path_type": path_type,
                                "tag_or_branch": tag_or_branch,
                                "url":url}
         return modules
-                
-        
+
+
 
 def modules_diff(first, second):
     diff = {}
 
     for module in first:
-        if module not in second: 
+        if module not in second:
             print("=== module {} missing in right-hand side ===".format(module))
             continue
         if first[module]['tag_or_branch'] != second[module]['tag_or_branch']:
@@ -1172,7 +1179,7 @@ def release_changelog(options, buildtag_old, buildtag_new):
         specfile = m.main_specname()
         (tmpfd, tmpfile) = tempfile.mkstemp()
         os.system("cp -f /{} {}".format(specfile, tmpfile))
-        
+
         m = get_module(module, second)
         # patch for ipfw that, being managed in a separate repo, won't work for now
         try:
@@ -1200,11 +1207,11 @@ def release_changelog(options, buildtag_old, buildtag_new):
         print('=== {} : removed package from build {} ==='.format(tagfile_new, module))
 
 
-def adopt_tag (options, args):
+def adopt_tag(options, args):
     modules=[]
     for module in options.modules:
         modules += module.split()
-    for module in modules: 
+    for module in modules:
         modobj=Module(module,options)
         for tags_file in args:
             if options.verbose:
@@ -1221,13 +1228,13 @@ class Main:
 module-tools : a set of tools to manage subversion tags and specfile
   requires the specfile to either
   * define *version* and *taglevel*
-  OR alternatively 
+  OR alternatively
   * define redirection variables module_version_varname / module_taglevel_varname
 Master:
   by default, the 'master' branch of modules is the target
   in this case, just mention the module name as <module_desc>
 Branches:
-  if you wish to work on another branch, 
+  if you wish to work on another branch,
   you can use something like e.g. Mom:2.1 as <module_desc>
 """
     release_usage="""Usage: %prog [options] tag1 .. tagn
@@ -1251,13 +1258,13 @@ Branches:
     common_usage="""More help:
   see http://svn.planet-lab.org/wiki/ModuleTools"""
 
-    modes = { 
+    modes = {
         'list' : "displays a list of available tags or branches",
         'version' : "check latest specfile and print out details",
         'diff' : "show difference between module (trunk or branch) and latest tag",
         'tag'  : """increment taglevel in specfile, insert changelog in specfile,
                 create new tag and and monitor its adoption in build/*-tags.mk""",
-        'branch' : """create a branch for this module, from the latest tag on the trunk, 
+        'branch' : """create a branch for this module, from the latest tag on the trunk,
                   and change trunk's version number to reflect the new branch name;
                   you can specify the new branch name by using module:branch""",
         'sync' : """create a tag from the module
@@ -1273,7 +1280,7 @@ Branches:
     regular_modes = set(modes.keys()).difference(set(['changelog','adopt']))
 
     @staticmethod
-    def optparse_list (option, opt, value, parser):
+    def optparse_list(option, opt, value, parser):
         try:
             setattr(parser.values,option.dest,getattr(parser.values,option.dest)+value.split())
         except:
@@ -1305,14 +1312,14 @@ Branches:
             usage += Main.common_usage
 
         parser=OptionParser(usage=usage)
-        
+
         # the 'adopt' mode is really special and doesn't share any option
         if mode == 'adopt':
             parser.add_option("-m","--module",action="append",dest="modules",default=[],
                               help="modules, can be used several times or with quotes")
             parser.add_option("-t","--tag",action="store", dest="tag", default='master',
                               help="specify the tag to adopt, default is 'master'")
-            parser.add_option("-v","--verbose", action="store_true", dest="verbose", default=False, 
+            parser.add_option("-v","--verbose", action="store_true", dest="verbose", default=False,
                               help="run in verbose mode")
             (options, args) = parser.parse_args()
             options.workdir='unused'
@@ -1321,8 +1328,8 @@ Branches:
             if len(args)==0 or len(options.modules)==0:
                 parser.print_help()
                 sys.exit(1)
-            adopt_tag (options,args)
-            return 
+            adopt_tag(options,args)
+            return
 
         # the other commands (module-* and release-changelog) share the same skeleton
         if mode in [ 'tag', 'branch'] :
@@ -1346,7 +1353,7 @@ Branches:
         if mode == 'diff' :
             parser.add_option("-l","--list", action="store_true", dest="list", default=False,
                               help="just list modules that exhibit differences")
-            
+
         default_modules_list=os.path.dirname(sys.argv[0])+"/modules.list"
         parser.add_option("-a","--all",action="store_true",dest="all_modules",default=False,
                           help="run on all modules as found in {}".format(default_modules_list))
@@ -1359,7 +1366,7 @@ Branches:
                           help="""specify distro-tags files, e.g. onelab-tags-4.2.mk
 -- can be set multiple times, or use quotes""")
 
-        parser.add_option("-w","--workdir", action="store", dest="workdir", 
+        parser.add_option("-w","--workdir", action="store", dest="workdir",
                           default="{}/{}".format(os.getenv("HOME"),"modules"),
                           help="""name for dedicated working dir - defaults to ~/modules
 ** THIS MUST NOT ** be your usual working directory""")
@@ -1370,9 +1377,9 @@ Branches:
 
         # default verbosity depending on function - temp
         verbose_modes= ['tag', 'sync', 'branch']
-        
+
         if mode not in verbose_modes:
-            parser.add_option("-v","--verbose", action="store_true", dest="verbose", default=False, 
+            parser.add_option("-v","--verbose", action="store_true", dest="verbose", default=False,
                               help="run in verbose mode")
         else:
             parser.add_option("-q","--quiet", action="store_false", dest="verbose", default=True,
@@ -1385,7 +1392,7 @@ Branches:
             options.www=False
         options.debug=False
 
-        
+
 
         ########## module-*
         if len(args) == 0:
@@ -1397,7 +1404,7 @@ Branches:
                 parser.print_help()
                 sys.exit(1)
         Module.init_homedir(options)
-        
+
 
         if mode in Main.regular_modes:
             modules = [ Module(modname, options) for modname in args ]
@@ -1421,7 +1428,7 @@ Branches:
                         import traceback
                         traceback.print_exc()
                         print('Skipping module {}: {}'.format(module.name,e))
-    
+
             if options.www:
                 if mode == "diff":
                     modetitle="Changes to tag in {}".format(options.www)
@@ -1441,8 +1448,8 @@ Branches:
             # we typically have here latest latest-1 latest-2
             for (tag_new,tag_old) in zip ( args[:-1], args [1:]):
                 release_changelog(options, tag_old, tag_new)
-            
-    
+
+
 ####################
 if __name__ == "__main__" :
     try: