Update master of plcapi.
[build.git] / module-tools.py
index 0aa635e..20e78d5 100755 (executable)
@@ -1,8 +1,9 @@
 #!/usr/bin/python -u
 
 #!/usr/bin/python -u
 
-import sys, os
+import sys, os, os.path
 import re
 import time
 import re
 import time
+import tempfile
 from glob import glob
 from optparse import OptionParser
 
 from glob import glob
 from optparse import OptionParser
 
@@ -11,7 +12,18 @@ from optparse import OptionParser
 # Moving to git we decided to rename some of the repositories. Here is
 # a map of name changes applied in git repositories.
 RENAMED_SVN_MODULES = {
 # Moving to git we decided to rename some of the repositories. Here is
 # a map of name changes applied in git repositories.
 RENAMED_SVN_MODULES = {
-    "PLEWWW": "plewww"
+    "PLEWWW": "plewww",
+    "PLCAPI": "plcapi",
+    "BootManager": "bootmanager",
+    "BootCD": "bootcd",
+    "VserverReference": "vserver-reference",
+    "BootstrapFS": "bootstrapfs",
+    "MyPLC": "myplc",
+    "CoDemux": "codemux",
+    "NodeManager": "nodemanager",
+    "NodeUpdate": "nodeupdate",
+    "Monitor": "monitor",
+
     }
 
 def svn_to_git_name(module):
     }
 
 def svn_to_git_name(module):
@@ -151,6 +163,11 @@ class SvnRepository:
     def name(self):
         return os.path.basename(self.path)
 
     def name(self):
         return os.path.basename(self.path)
 
+    def pathname(self):
+        # for svn modules pathname is just the name of the module as
+        # all modules are at the root
+        return self.name()
+
     def url(self):
         out = Command("svn info %s" % self.path, self.options).output_of()
         for line in out.split('\n'):
     def url(self):
         out = Command("svn info %s" % self.path, self.options).output_of()
         for line in out.split('\n'):
@@ -162,7 +179,7 @@ class SvnRepository:
         for line in out.split('\n'):
             if line.startswith("Repository Root:"):
                 root = line.split()[2].strip()
         for line in out.split('\n'):
             if line.startswith("Repository Root:"):
                 root = line.split()[2].strip()
-                return "%s/%s" % (root, self.name())
+                return "%s/%s" % (root, self.pathname())
 
     @classmethod
     def checkout(cls, remote, local, options, recursive=False):
 
     @classmethod
     def checkout(cls, remote, local, options, recursive=False):
@@ -183,7 +200,7 @@ class SvnRepository:
         url = "%s/tags/%s" % (self.repo_root(), tagname)
         return SvnRepository.remote_exists(url)
 
         url = "%s/tags/%s" % (self.repo_root(), tagname)
         return SvnRepository.remote_exists(url)
 
-    def update(self, subdir="", recursive=True):
+    def update(self, subdir="", recursive=True, branch=None):
         path = os.path.join(self.path, subdir)
         if recursive:
             svncommand = "svn up %s" % path
         path = os.path.join(self.path, subdir)
         if recursive:
             svncommand = "svn up %s" % path
@@ -194,7 +211,7 @@ class SvnRepository:
     def commit(self, logfile):
         # add all new files to the repository
         Command("svn status %s | grep '^\?' | sed -e 's/? *//' | sed -e 's/ /\\ /g' | xargs svn add" %
     def commit(self, logfile):
         # add all new files to the repository
         Command("svn status %s | grep '^\?' | sed -e 's/? *//' | sed -e 's/ /\\ /g' | xargs svn add" %
-                self.path, self.options).run_silent()
+                self.path, self.options).output_of()
         Command("svn commit -F %s %s" % (logfile, self.path), self.options).run_fatal()
 
     def to_branch(self, branch):
         Command("svn commit -F %s %s" % (logfile, self.path), self.options).run_fatal()
 
     def to_branch(self, branch):
@@ -250,17 +267,22 @@ class GitRepository:
         return os.path.basename(self.path)
 
     def url(self):
         return os.path.basename(self.path)
 
     def url(self):
-        self.repo_root()
+        return self.repo_root()
+
+    def gitweb(self):
+        c = Command("git show | grep commit | awk '{print $2;}'", self.options)
+        out = self.__run_in_repo(c.output_of).strip()
+        return "http://git.onelab.eu/?p=%s.git;a=commit;h=%s" % (self.name(), out)
 
     def repo_root(self):
         c = Command("git remote show origin", self.options)
         out = self.__run_in_repo(c.output_of)
         for line in out.split('\n'):
             if line.strip().startswith("Fetch URL:"):
 
     def repo_root(self):
         c = Command("git remote show origin", self.options)
         out = self.__run_in_repo(c.output_of)
         for line in out.split('\n'):
             if line.strip().startswith("Fetch URL:"):
-                repo = line.split()[2]
+                return line.split()[2]
 
     @classmethod
 
     @classmethod
-    def checkout(cls, remote, local, options, depth=1):
+    def checkout(cls, remote, local, options, depth=0):
         Command("rm -rf %s" % local, options).run_silent()
         Command("git clone --depth %d %s %s" % (depth, remote, local), options).run_fatal()
         return GitRepository(local, options)
         Command("rm -rf %s" % local, options).run_silent()
         Command("git clone --depth %d %s %s" % (depth, remote, local), options).run_fatal()
         return GitRepository(local, options)
@@ -289,15 +311,34 @@ class GitRepository:
         else:
             return self.__run_in_repo(c.run_fatal)
 
         else:
             return self.__run_in_repo(c.run_fatal)
 
-    def update(self, subdir=None, recursive=None):
-        return self.__run_command_in_repo("git pull")
+    def __is_commit_id(self, id):
+        c = Command("git show %s | grep commit | awk '{print $2;}'" % id, self.options)
+        ret = self.__run_in_repo(c.output_of, with_stderr=False)
+        if ret.strip() == id:
+            return True
+        return False
+
+    def update(self, subdir=None, recursive=None, branch="master"):
+        if branch == "master":
+            self.__run_command_in_repo("git checkout %s" % branch)
+        else:
+            self.to_branch(branch, remote=True)
+        self.__run_command_in_repo("git fetch origin --tags")
+        self.__run_command_in_repo("git fetch origin")
+        if not self.__is_commit_id(branch):
+            # we don't need to merge anythign for commit ids.
+            self.__run_command_in_repo("git merge --ff origin/%s" % branch)
 
     def to_branch(self, branch, remote=True):
 
     def to_branch(self, branch, remote=True):
+        self.revert()
         if remote:
         if remote:
-            branch = "origin/%s" % branch
+            command = "git branch --track %s origin/%s" % (branch, branch)
+            c = Command(command, self.options)
+            self.__run_in_repo(c.output_of, with_stderr=True)
         return self.__run_command_in_repo("git checkout %s" % branch)
 
     def to_tag(self, tag):
         return self.__run_command_in_repo("git checkout %s" % branch)
 
     def to_tag(self, tag):
+        self.revert()
         return self.__run_command_in_repo("git checkout %s" % tag)
 
     def tag(self, tagname, logfile):
         return self.__run_command_in_repo("git checkout %s" % tag)
 
     def tag(self, tagname, logfile):
@@ -312,10 +353,14 @@ class GitRepository:
         c = Command("git diff %s" % tagname, self.options)
         return self.__run_in_repo(c.output_of, with_stderr=True)
 
         c = Command("git diff %s" % tagname, self.options)
         return self.__run_in_repo(c.output_of, with_stderr=True)
 
-    def commit(self, logfile):
-        self.__run_command_in_repo("git add -A", ignore_errors=True)
+    def commit(self, logfile, branch="master"):
+        self.__run_command_in_repo("git add .", ignore_errors=True)
+        self.__run_command_in_repo("git add -u", ignore_errors=True)
         self.__run_command_in_repo("git commit -F  %s" % logfile, ignore_errors=True)
         self.__run_command_in_repo("git commit -F  %s" % logfile, ignore_errors=True)
-        self.__run_command_in_repo("git push")
+        if branch == "master" or self.__is_commit_id(branch):
+            self.__run_command_in_repo("git push")
+        else:
+            self.__run_command_in_repo("git push origin %s:%s" % (branch, branch))
         self.__run_command_in_repo("git push --tags")
 
     def revert(self, f=""):
         self.__run_command_in_repo("git push --tags")
 
     def revert(self, f=""):
@@ -350,9 +395,12 @@ class Repository:
                 break
 
     @classmethod
                 break
 
     @classmethod
-    def has_moved_to_git(cls, module, svnpath):
-        module = git_to_svn_name(module)
-        return SvnRepository.remote_exists("%s/%s/aaaa-has-moved-to-git" % (svnpath, module))
+    def has_moved_to_git(cls, module, config):
+        module = svn_to_git_name(module)
+        # check if the module is already in Git
+#        return SvnRepository.remote_exists("%s/%s/aaaa-has-moved-to-git" % (config['svnpath'], module))
+        return GitRepository.remote_exists(Module.git_remote_dir(module))
+
 
     @classmethod
     def remote_exists(cls, remote):
 
     @classmethod
     def remote_exists(cls, remote):
@@ -385,7 +433,7 @@ class Module:
     configKeys=[ ('svnpath',"Enter your toplevel svnpath",
                   "svn+ssh://%s@svn.planet-lab.org/svn/"%commands.getoutput("id -un")),
                  ('gitserver', "Enter your git server's hostname", "git.onelab.eu"),
     configKeys=[ ('svnpath',"Enter your toplevel svnpath",
                   "svn+ssh://%s@svn.planet-lab.org/svn/"%commands.getoutput("id -un")),
                  ('gitserver', "Enter your git server's hostname", "git.onelab.eu"),
-                 ('gituser', "Enter your user name (login name) on git server", os.getlogin()),
+                 ('gituser', "Enter your user name (login name) on git server", commands.getoutput("id -un")),
                  ("build", "Enter the name of your build module","build"),
                  ('username',"Enter your firstname and lastname for changelogs",""),
                  ("email","Enter your email address for changelogs",""),
                  ("build", "Enter the name of your build module","build"),
                  ('username',"Enter your firstname and lastname for changelogs",""),
                  ("email","Enter your email address for changelogs",""),
@@ -402,33 +450,48 @@ class Module:
             while not cls.config[key]:
                 cls.prompt_config_option(key, message, default)
 
             while not cls.config[key]:
                 cls.prompt_config_option(key, message, default)
 
-
-    # for parsing module spec name:branch
-    matcher_branch_spec=re.compile("\A(?P<name>[\w\.-]+):(?P<branch>[\w\.-]+)\Z")
-    # special form for tagged module - for Build
-    matcher_tag_spec=re.compile("\A(?P<name>[\w-]+)@(?P<tagname>[\w\.-]+)\Z")
+    # for parsing module spec name:branch                                                                                                                                                                     
+    matcher_branch_spec=re.compile("\A(?P<name>[\w\.\-\/]+):(?P<branch>[\w\.\-]+)\Z")                                                                                                                         
+    # special form for tagged module - for Build                                                                                                                                                              
+    matcher_tag_spec=re.compile("\A(?P<name>[\w\.\-\/]+)@(?P<tagname>[\w\.\-]+)\Z")
     # parsing specfiles
     matcher_rpm_define=re.compile("%(define|global)\s+(\S+)\s+(\S*)\s*")
 
     # parsing specfiles
     matcher_rpm_define=re.compile("%(define|global)\s+(\S+)\s+(\S*)\s*")
 
-    def __init__ (self,module_spec,options):
-        # parse module spec
+    @classmethod
+    def parse_module_spec(cls, module_spec):
+        name = branch_or_tagname = module_type = ""
+
         attempt=Module.matcher_branch_spec.match(module_spec)
         if attempt:
         attempt=Module.matcher_branch_spec.match(module_spec)
         if attempt:
-            self.name=attempt.group('name')
-            self.branch=attempt.group('branch')
+            module_type = "branch"
+            name=attempt.group('name')
+            branch_or_tagname=attempt.group('branch')
         else:
             attempt=Module.matcher_tag_spec.match(module_spec)
             if attempt:
         else:
             attempt=Module.matcher_tag_spec.match(module_spec)
             if attempt:
-                self.name=attempt.group('name')
-                self.tagname=attempt.group('tagname')
+                module_type = "tag"
+                name=attempt.group('name')
+                branch_or_tagname=attempt.group('tagname')
             else:
             else:
-                self.name=module_spec
+                name=module_spec
+        return name, branch_or_tagname, module_type
+
+
+    def __init__ (self,module_spec,options):
+        # parse module spec
+        self.pathname, branch_or_tagname, module_type = self.parse_module_spec(module_spec)
+        self.name = os.path.basename(self.pathname)
+
+        if module_type == "branch":
+            self.branch=branch_or_tagname
+        elif module_type == "tag":
+            self.tagname=branch_or_tagname
 
         # when available prefer to use git module name internally
         self.name = svn_to_git_name(self.name)
 
         self.options=options
 
         # when available prefer to use git module name internally
         self.name = svn_to_git_name(self.name)
 
         self.options=options
-        self.module_dir="%s/%s"%(options.workdir,self.name)
+        self.module_dir="%s/%s"%(options.workdir,self.pathname)
         self.repository = None
         self.build = None
 
         self.repository = None
         self.build = None
 
@@ -453,11 +516,11 @@ class Module:
 
     def friendly_name (self):
         if hasattr(self,'branch'):
 
     def friendly_name (self):
         if hasattr(self,'branch'):
-            return "%s:%s"%(self.name,self.branch)
+            return "%s:%s"%(self.pathname,self.branch)
         elif hasattr(self,'tagname'):
         elif hasattr(self,'tagname'):
-            return "%s@%s"%(self.name,self.tagname)
+            return "%s@%s"%(self.pathname,self.tagname)
         else:
         else:
-            return self.name
+            return self.pathname
 
     @classmethod
     def git_remote_dir (cls, name):
 
     @classmethod
     def git_remote_dir (cls, name):
@@ -522,6 +585,10 @@ that for other purposes than tagging""" % options.workdir
                 Module.config[key]=value                
             f.close()
 
                 Module.config[key]=value                
             f.close()
 
+            # owerride config variables using options.
+            if options.build_module:
+                Module.config['build'] = options.build_module
+
         if not os.path.isdir (options.workdir):
             print "Cannot find",options.workdir,"let's create it"
             Command("mkdir -p %s" % options.workdir, options).run_silent()
         if not os.path.isdir (options.workdir):
             print "Cannot find",options.workdir,"let's create it"
             Command("mkdir -p %s" % options.workdir, options).run_silent()
@@ -565,8 +632,8 @@ that for other purposes than tagging""" % options.workdir
             print 'Checking for',self.module_dir
 
         if not os.path.isdir (self.module_dir):
             print 'Checking for',self.module_dir
 
         if not os.path.isdir (self.module_dir):
-            if Repository.has_moved_to_git(self.name, Module.config['svnpath']):
-                self.repository = GitRepository.checkout(self.git_remote_dir(self.name),
+            if Repository.has_moved_to_git(self.pathname, Module.config):
+                self.repository = GitRepository.checkout(self.git_remote_dir(self.pathname),
                                                          self.module_dir,
                                                          self.options)
             else:
                                                          self.module_dir,
                                                          self.options)
             else:
@@ -578,7 +645,7 @@ that for other purposes than tagging""" % options.workdir
         self.repository = Repository(self.module_dir, self.options)
         if self.repository.type == "svn":
             # check if module has moved to git    
         self.repository = Repository(self.module_dir, self.options)
         if self.repository.type == "svn":
             # check if module has moved to git    
-            if Repository.has_moved_to_git(self.name, Module.config['svnpath']):
+            if Repository.has_moved_to_git(self.pathname, Module.config):
                 Command("rm -rf %s" % self.module_dir, self.options).run_silent()
                 self.init_module_dir()
             # check if we have the required branch/tag
                 Command("rm -rf %s" % self.module_dir, self.options).run_silent()
                 self.init_module_dir()
             # check if we have the required branch/tag
@@ -612,7 +679,13 @@ that for other purposes than tagging""" % options.workdir
             return
         if self.options.verbose:
             print 'Updating', self.module_dir
             return
         if self.options.verbose:
             print 'Updating', self.module_dir
-        self.repository.update()
+
+        if hasattr(self,'branch'):
+            self.repository.update(branch=self.branch)
+        elif hasattr(self,'tagname'):
+            self.repository.update(branch=self.tagname)
+        else:
+            self.repository.update()
 
     def main_specname (self):
         attempt="%s/%s.spec"%(self.module_dir,self.name)
 
     def main_specname (self):
         attempt="%s/%s.spec"%(self.module_dir,self.name)
@@ -627,7 +700,7 @@ that for other purposes than tagging""" % options.workdir
 
         if level2:
             return level2[0]
 
         if level2:
             return level2[0]
-        raise Exception, 'Cannot guess specfile for module %s -- patterns were %s or %s'%(self.name,pattern1,pattern2)
+        raise Exception, 'Cannot guess specfile for module %s -- patterns were %s or %s'%(self.pathname,pattern1,pattern2)
 
     def all_specnames (self):
         level1=glob("%s/*.spec" % self.module_dir)
 
     def all_specnames (self):
         level1=glob("%s/*.spec" % self.module_dir)
@@ -774,7 +847,7 @@ that for other purposes than tagging""" % options.workdir
 
 ##############################
     # using fine_grain means replacing only those instances that currently refer to this tag
 
 ##############################
     # using fine_grain means replacing only those instances that currently refer to this tag
-    # otherwise, <module>-SVNPATH is replaced unconditionnally
+    # otherwise, <module>-{SVNPATH,GITPATH} is replaced unconditionnally
     def patch_tags_file (self, tagsfile, oldname, newname,fine_grain=True):
         newtagsfile=tagsfile+".new"
         tags=open (tagsfile)
     def patch_tags_file (self, tagsfile, oldname, newname,fine_grain=True):
         newtagsfile=tagsfile+".new"
         tags=open (tagsfile)
@@ -796,17 +869,21 @@ that for other purposes than tagging""" % options.workdir
         # brute-force : change uncommented lines that define <module>-SVNPATH
         else:
             if self.options.verbose:
         # brute-force : change uncommented lines that define <module>-SVNPATH
         else:
             if self.options.verbose:
-                print 'Searching for -SVNPATH lines referring to /%s/\n\tin %s .. '%(self.name,tagsfile),
-            pattern="\A\s*(?P<make_name>[^\s]+)-SVNPATH\s*(=|:=)\s*(?P<url_main>[^\s]+)/%s/[^\s]+"\
-                                          %(self.name)
+                print 'Searching for -SVNPATH or -GITPATH lines referring to /%s/\n\tin %s .. '%(self.pathname,tagsfile),
+            pattern="\A\s*%s-(SVNPATH|GITPATH)\s*(=|:=)\s*(?P<url_main>[^\s]+)/%s[^\s]+"\
+                                          %(self.name,self.name)
             matcher_module=re.compile(pattern)
             for line in tags.readlines():
                 attempt=matcher_module.match(line)
                 if attempt:
             matcher_module=re.compile(pattern)
             for line in tags.readlines():
                 attempt=matcher_module.match(line)
                 if attempt:
-                    svnpath="%s-SVNPATH"%(attempt.group('make_name'))
+                    if line.find("-GITPATH") >= 0:
+                        modulepath = "%s-GITPATH"%self.name
+                        replacement = "%-32s:= %s/%s.git@%s\n"%(modulepath,attempt.group('url_main'),self.pathname,newname)
+                    else:
+                        modulepath = "%s-SVNPATH"%self.name
+                        replacement = "%-32s:= %s/%s/tags/%s\n"%(modulepath,attempt.group('url_main'),self.name,newname)
                     if self.options.verbose:
                     if self.options.verbose:
-                        print ' '+svnpath, 
-                    replacement = "%-32s:= %s/%s/tags/%s\n"%(svnpath,attempt.group('url_main'),self.name,newname)
+                        print ' ' + modulepath, 
                     new.write(replacement)
                     matches += 1
                 else:
                     new.write(replacement)
                     matches += 1
                 else:
@@ -878,7 +955,7 @@ that for other purposes than tagging""" % options.workdir
         # checking for diffs
         diff_output = self.repository.diff_with_tag(old_tag_name)
         if len(diff_output) == 0:
         # checking for diffs
         diff_output = self.repository.diff_with_tag(old_tag_name)
         if len(diff_output) == 0:
-            if not prompt ("No pending difference in module %s, want to tag anyway"%self.name,False):
+            if not prompt ("No pending difference in module %s, want to tag anyway"%self.pathname,False):
                 return
 
         # side effect in trunk's specfile
                 return
 
         # side effect in trunk's specfile
@@ -921,7 +998,7 @@ Please write a changelog for this new tag in the section above
         if not build.is_clean():
             build.revert()
 
         if not build.is_clean():
             build.revert()
 
-        tagsfiles=glob(build.path+"/*-tags*.mk")
+        tagsfiles=glob(build.path+"/*-tags.mk")
         tagsdict=dict( [ (x,'todo') for x in tagsfiles ] )
         default_answer = 'y'
         tagsfiles.sort()
         tagsdict=dict( [ (x,'todo') for x in tagsfiles ] )
         default_answer = 'y'
         tagsfiles.sort()
@@ -943,14 +1020,14 @@ Please write a changelog for this new tag in the section above
                     elif choice == 'f':
                         self.patch_tags_file(tagsfile,old_tag_name,new_tag_name,fine_grain=False)
                     elif choice == 'd':
                     elif choice == 'f':
                         self.patch_tags_file(tagsfile,old_tag_name,new_tag_name,fine_grain=False)
                     elif choice == 'd':
-                        print build.diff(f=tagsfile)
+                        print build.diff(f=os.path.basename(tagsfile))
                     elif choice == 'r':
                         build.revert(f=tagsfile)
                     elif choice == 'c':
                         self.run("cat %s"%tagsfile)
                     else:
                         name=self.name
                     elif choice == 'r':
                         build.revert(f=tagsfile)
                     elif choice == 'c':
                         self.run("cat %s"%tagsfile)
                     else:
                         name=self.name
-                        print """y: change %(name)s-SVNPATH only if it currently refers to %(old_tag_name)s
+                        print """y: change %(name)s-{SVNPATH,GITPATH} only if it currently refers to %(old_tag_name)s
 f: unconditionnally change any line that assigns %(name)s-SVNPATH to using %(new_tag_name)s
 d: show current diff for this tag file
 r: revert that tag file
 f: unconditionnally change any line that assigns %(name)s-SVNPATH to using %(new_tag_name)s
 d: show current diff for this tag file
 r: revert that tag file
@@ -968,7 +1045,10 @@ n: move to next file"""%locals()
             print self.repository.diff()
 
         def commit_all_changes(log):
             print self.repository.diff()
 
         def commit_all_changes(log):
-            self.repository.commit(log)
+            if hasattr(self,'branch'):
+                self.repository.commit(log, branch=self.branch)
+            else:
+                self.repository.commit(log)
             build.commit(log)
 
         self.run_prompt("Review module and build", diff_all_changes)
             build.commit(log)
 
         self.run_prompt("Review module and build", diff_all_changes)
@@ -997,6 +1077,7 @@ n: move to next file"""%locals()
                 return
             else:
                 self.html_print ("%-16s %s"%(varname,spec_dict[varname]))
                 return
             else:
                 self.html_print ("%-16s %s"%(varname,spec_dict[varname]))
+        self.html_print ("%-16s %s"%('url',self.repository.url()))
         if self.options.verbose:
             self.html_print ("%-16s %s"%('main specfile:',self.main_specname()))
             self.html_print ("%-16s %s"%('specfiles:',self.all_specnames()))
         if self.options.verbose:
             self.html_print ("%-16s %s"%('main specfile:',self.main_specname()))
             self.html_print ("%-16s %s"%('specfiles:',self.all_specnames()))
@@ -1024,7 +1105,7 @@ n: move to next file"""%locals()
 
         if self.options.list:
             if diff_output:
 
         if self.options.list:
             if diff_output:
-                print self.name
+                print self.pathname
         else:
             thename=self.friendly_name()
             do_print=False
         else:
             thename=self.friendly_name()
             do_print=False
@@ -1122,6 +1203,163 @@ span.error {text-weight:bold; color: red; }
             print '<p class="top">',self.html_href('#','Back to top'),'</p>'            
 
 
             print '<p class="top">',self.html_href('#','Back to top'),'</p>'            
 
 
+
+class Build(Module):
+    
+    def __get_modules(self, tagfile):
+        self.init_module_dir()
+        modules = {}
+
+        tagfile = os.path.join(self.module_dir, tagfile)
+        for line in open(tagfile):
+            try:
+                name, url = line.split(':=')
+                name, git_or_svn_path = name.rsplit('-', 1)
+                name = svn_to_git_name(name.strip())
+                modules[name] = (git_or_svn_path.strip(), url.strip())
+            except:
+                pass
+        return modules
+
+    def get_modules(self, tagfile):
+        modules = self.__get_modules(tagfile)
+        for module in modules:
+            module_type = tag_or_branch = ""
+
+            path_type, url = modules[module]
+            if path_type == "GITPATH":
+                module_spec = os.path.split(url)[-1].replace(".git","")
+                name, tag_or_branch, module_type = self.parse_module_spec(module_spec)
+            else:
+                tag_or_branch = os.path.split(url)[-1].strip()
+                if url.find('/tags/') >= 0:
+                    module_type = "tag"
+                elif url.find('/branches/') >= 0:
+                    module_type = "branch"
+            
+            modules[module] = {"module_type" : module_type,
+                               "path_type": path_type,
+                               "tag_or_branch": tag_or_branch,
+                               "url":url}
+        return modules
+                
+        
+
+def modules_diff(first, second):
+    diff = {}
+
+    for module in first:
+        if module not in second: 
+            print "=== module %s missing in right-hand side ==="%module
+            continue
+        if first[module]['tag_or_branch'] != second[module]['tag_or_branch']:
+            diff[module] = (first[module]['tag_or_branch'], second[module]['tag_or_branch'])
+
+    first_set = set(first.keys())
+    second_set = set(second.keys())
+
+    new_modules = list(second_set - first_set)
+    removed_modules = list(first_set - second_set)
+
+    return diff, new_modules, removed_modules
+
+def release_changelog(options, buildtag_old, buildtag_new):
+
+    try:
+        tagfile = options.distrotags[0]
+        if not tagfile: raise 
+    except:
+        print "ERROR: provide a tagfile name (eg. onelab, onelab-k27, planetlab)"
+        return
+    # mmh, sounds wrong to blindly add the extension 
+    # if in a build directory, guess from existing files
+    if os.path.isfile (tagfile): 
+        pass
+    elif os.path.isfile ("%s-tags.mk" % tagfile):
+        tagfile="%s-tags.mk" % tagfile
+    else:
+        tagfile = "%s-tags.mk" % tagfile
+    
+    print '----'
+    print '----'
+    print '----'
+    print '= build tag %s to %s =' % (buildtag_old, buildtag_new)
+    print '== distro %s (%s to %s) ==' % (tagfile, buildtag_old, buildtag_new)
+
+    build = Build("build@%s" % buildtag_old, options)
+    build.init_module_dir()
+    first = build.get_modules(tagfile)
+
+    print ' * from', buildtag_old, build.repository.gitweb()
+
+    build = Build("build@%s" % buildtag_new, options)
+    build.init_module_dir()
+    second = build.get_modules(tagfile)
+
+    print ' * to', buildtag_new, build.repository.gitweb()
+
+    diff, new_modules, removed_modules = modules_diff(first, second)
+
+
+    def get_module(name, tag):
+        if not tag or  tag == "trunk":
+            return Module("%s" % (module), options)
+        else:
+            return Module("%s@%s" % (module, tag), options)
+
+
+    for module in diff:
+        print '=== %s - %s to %s : package %s ===' % (tagfile, buildtag_old, buildtag_new, module)
+
+        first, second = diff[module]
+        m = get_module(module, first)
+        os.system('rm -rf %s' % m.module_dir) # cleanup module dir
+        m.init_module_dir()
+
+        if m.repository.type == "svn":
+            print ' * from', first, m.repository.url()
+        else:
+            print ' * from', first, m.repository.gitweb()
+
+        specfile = m.main_specname()
+        (tmpfd, tmpfile) = tempfile.mkstemp()
+        os.system("cp -f /%s %s" % (specfile, tmpfile))
+        
+        m = get_module(module, second)
+        m.init_module_dir()
+        specfile = m.main_specname()
+
+        if m.repository.type == "svn":
+            print ' * to', second, m.repository.url()
+        else:
+            print ' * to', second, m.repository.gitweb()
+
+        print '{{{'
+        os.system("diff -u %s %s | sed -e 's,%s,[[previous version]],'" % (tmpfile, specfile,tmpfile))
+        print '}}}'
+
+        os.unlink(tmpfile)
+
+    for module in new_modules:
+        print '=== %s : new package in build %s ===' % (tagfile, module)
+
+    for module in removed_modules:
+        print '=== %s : removed package from build %s ===' % (tagfile, module)
+
+
+def adopt_tag (options, args):
+    modules=[]
+    for module in options.modules:
+        modules += module.split()
+    for module in modules: 
+        modobj=Module(module,options)
+        for tags_file in args:
+            if options.verbose:
+                print 'adopting tag %s for %s in %s'%(options.tag,module,tags_file)
+            modobj.patch_tags_file(tags_file,'_unused_',options.tag,fine_grain=False)
+    if options.verbose:
+        Command("git diff %s"%" ".join(args),options).run()
+
 ##############################
 class Main:
 
 ##############################
 class Main:
 
@@ -1147,6 +1385,13 @@ Branches:
       release-changelog :4.2 4.2-rc25
   You can refer to the build trunk by just mentioning 'trunk', e.g.
       release-changelog -t coblitz-tags.mk coblitz-2.01-rc6 trunk
       release-changelog :4.2 4.2-rc25
   You can refer to the build trunk by just mentioning 'trunk', e.g.
       release-changelog -t coblitz-tags.mk coblitz-2.01-rc6 trunk
+"""
+    adopt_usage="""Usage: %prog [options] tag-file[s]
+  With this command you can adopt a specifi tag or branch in your tag files
+    This should be run in your daily build workdir; no call of git nor svn is done
+  Examples:
+    adopt-tag -m "plewww plcapi" -m Monitor onelab*tags.mk
+    adopt-tag -m sfa -t sfa-1.0-33 *tags.mk
 """
     common_usage="""More help:
   see http://svn.planet-lab.org/wiki/ModuleTools"""
 """
     common_usage="""More help:
   see http://svn.planet-lab.org/wiki/ModuleTools"""
@@ -1156,7 +1401,7 @@ Branches:
         'version' : "check latest specfile and print out details",
         'diff' : "show difference between module (trunk or branch) and latest tag",
         'tag'  : """increment taglevel in specfile, insert changelog in specfile,
         'version' : "check latest specfile and print out details",
         'diff' : "show difference between module (trunk or branch) and latest tag",
         'tag'  : """increment taglevel in specfile, insert changelog in specfile,
-                create new tag and and monitor its adoption in build/*-tags*.mk""",
+                create new tag and and monitor its adoption in build/*-tags.mk""",
         'branch' : """create a branch for this module, from the latest tag on the trunk, 
                   and change trunk's version number to reflect the new branch name;
                   you can specify the new branch name by using module:branch""",
         'branch' : """create a branch for this module, from the latest tag on the trunk, 
                   and change trunk's version number to reflect the new branch name;
                   you can specify the new branch name by using module:branch""",
@@ -1164,10 +1409,13 @@ Branches:
                 this is a last resort option, mostly for repairs""",
         'changelog' : """extract changelog between build tags
                 expected arguments are a list of tags""",
                 this is a last resort option, mostly for repairs""",
         'changelog' : """extract changelog between build tags
                 expected arguments are a list of tags""",
+        'adopt' : """locally adopt a specific tag""",
         }
 
     silent_modes = ['list']
         }
 
     silent_modes = ['list']
-    release_modes = ['changelog']
+    # 'changelog' is for release-changelog
+    # 'adopt' is for 'adopt-tag'
+    regular_modes = set(modes.keys()).difference(set(['changelog','adopt']))
 
     @staticmethod
     def optparse_list (option, opt, value, parser):
 
     @staticmethod
     def optparse_list (option, opt, value, parser):
@@ -1179,7 +1427,8 @@ Branches:
     def run(self):
 
         mode=None
     def run(self):
 
         mode=None
-        for function in Main.modes.keys():
+        # hack - need to check for adopt first as 'adopt-tag' contains tag..
+        for function in [ 'adopt' ] + Main.modes.keys():
             if sys.argv[0].find(function) >= 0:
                 mode = function
                 break
             if sys.argv[0].find(function) >= 0:
                 mode = function
                 break
@@ -1188,16 +1437,39 @@ Branches:
             print "Supported commands:" + " ".join(Main.modes.keys())
             sys.exit(1)
 
             print "Supported commands:" + " ".join(Main.modes.keys())
             sys.exit(1)
 
-        if mode not in Main.release_modes:
+        usage='undefined usage, mode=%s'%mode
+        if mode in Main.regular_modes:
             usage = Main.module_usage
             usage += Main.common_usage
             usage += "\nmodule-%s : %s"%(mode,Main.modes[mode])
             usage = Main.module_usage
             usage += Main.common_usage
             usage += "\nmodule-%s : %s"%(mode,Main.modes[mode])
-        else:
+        elif mode=='changelog':
             usage = Main.release_usage
             usage += Main.common_usage
             usage = Main.release_usage
             usage += Main.common_usage
+        elif mode=='adopt':
+            usage = Main.adopt_usage
+            usage += Main.common_usage
 
         parser=OptionParser(usage=usage)
         
 
         parser=OptionParser(usage=usage)
         
+        # the 'adopt' mode is really special and doesn't share any option
+        if mode=='adopt':
+            parser.add_option("-m","--module",action="append",dest="modules",default=[],
+                              help="modules, can be used several times or with quotes")
+            parser.add_option("-t","--tag",action="store", dest="tag", default='master',
+                              help="specify the tag to adopt, default is 'master'")
+            parser.add_option("-v","--verbose", action="store_true", dest="verbose", default=False, 
+                              help="run in verbose mode")
+            (options, args) = parser.parse_args()
+            options.workdir='unused'
+            options.dry_run=False
+            options.mode='adopt'
+            if len(args)==0 or len(options.modules)==0:
+                parser.print_help()
+                sys.exit(1)
+            adopt_tag (options,args)
+            return 
+
+        # the other commands (module-* and release-changelog) share the same skeleton
         if mode == "tag" or mode == 'branch':
             parser.add_option("-s","--set-version",action="store",dest="new_version",default=None,
                               help="set new version and reset taglevel to 0")
         if mode == "tag" or mode == 'branch':
             parser.add_option("-s","--set-version",action="store",dest="new_version",default=None,
                               help="set new version and reset taglevel to 0")
@@ -1205,7 +1477,7 @@ Branches:
             parser.add_option("-c","--no-changelog", action="store_false", dest="changelog", default=True,
                               help="do not update changelog section in specfile when tagging")
             parser.add_option("-b","--build-branch", action="store", dest="build_branch", default=None,
             parser.add_option("-c","--no-changelog", action="store_false", dest="changelog", default=True,
                               help="do not update changelog section in specfile when tagging")
             parser.add_option("-b","--build-branch", action="store", dest="build_branch", default=None,
-                              help="specify a build branch; used for locating the *tags*.mk files where adoption is to take place")
+                              help="specify a build branch; used for locating the *tags.mk files where adoption is to take place")
         if mode == "tag" or mode == "sync" :
             parser.add_option("-e","--editor", action="store", dest="editor", default=default_editor(),
                               help="specify editor")
         if mode == "tag" or mode == "sync" :
             parser.add_option("-e","--editor", action="store", dest="editor", default=default_editor(),
                               help="specify editor")
@@ -1219,6 +1491,10 @@ Branches:
                               help="just list modules that exhibit differences")
             
         default_modules_list=os.path.dirname(sys.argv[0])+"/modules.list"
                               help="just list modules that exhibit differences")
             
         default_modules_list=os.path.dirname(sys.argv[0])+"/modules.list"
+        parser.add_option("-a","--all",action="store_true",dest="all_modules",default=False,
+                          help="run on all modules as found in %s"%default_modules_list)
+        parser.add_option("-f","--file",action="store",dest="modules_list",default=None,
+                          help="run on all modules found in specified file")
         parser.add_option("-n","--dry-run",action="store_true",dest="dry_run",default=False,
                           help="dry run - shell commands are only displayed")
         parser.add_option("-t","--distrotags",action="callback",callback=Main.optparse_list, dest="distrotags",
         parser.add_option("-n","--dry-run",action="store_true",dest="dry_run",default=False,
                           help="dry run - shell commands are only displayed")
         parser.add_option("-t","--distrotags",action="callback",callback=Main.optparse_list, dest="distrotags",
@@ -1232,6 +1508,8 @@ Branches:
 ** THIS MUST NOT ** be your usual working directory""")
         parser.add_option("-F","--fast-checks",action="store_true",dest="fast_checks",default=False,
                           help="skip safety checks, such as svn updates -- use with care")
 ** THIS MUST NOT ** be your usual working directory""")
         parser.add_option("-F","--fast-checks",action="store_true",dest="fast_checks",default=False,
                           help="skip safety checks, such as svn updates -- use with care")
+        parser.add_option("-B","--build-module",action="store",dest="build_module",default=None,
+                          help="specify a build module to owerride the one in the CONFIG")
 
         # default verbosity depending on function - temp
         verbose_modes= ['tag', 'sync', 'branch']
 
         # default verbosity depending on function - temp
         verbose_modes= ['tag', 'sync', 'branch']
@@ -1250,50 +1528,64 @@ Branches:
             options.www=False
         options.debug=False
 
             options.www=False
         options.debug=False
 
+        
+
         ########## module-*
         if len(args) == 0:
         ########## module-*
         if len(args) == 0:
-            parser.print_help()
-            sys.exit(1)
+            if options.all_modules:
+                options.modules_list=default_modules_list
+            if options.modules_list:
+                args=Command("grep -v '#' %s"%options.modules_list,options).output_of().split()
+            else:
+                parser.print_help()
+                sys.exit(1)
         Module.init_homedir(options)
         Module.init_homedir(options)
-
-        
         
 
         
 
-        modules=[ Module(modname,options) for modname in args ]
-        # hack: create a dummy Module to store errors/warnings
-        error_module = Module('__errors__',options)
+        if mode in Main.regular_modes:
+            modules=[ Module(modname,options) for modname in args ]
+            # hack: create a dummy Module to store errors/warnings
+            error_module = Module('__errors__',options)
 
 
-        for module in modules:
-            if len(args)>1 and mode not in Main.silent_modes:
-                print '========================================',module.friendly_name()
-            # call the method called do_<mode>
-            method=Module.__dict__["do_%s"%mode]
-            try:
-                method(module)
-            except Exception,e:
-                if options.www:
-                    title='<span class="error"> Skipping module %s - failure: %s </span>'%\
-                        (module.friendly_name(), str(e))
-                    error_module.html_store_title(title)
-                else:
-                    import traceback
-                    traceback.print_exc()
-                    print 'Skipping module %s: '%modname,e
-
-        if options.www:
-            if mode == "diff":
-                modetitle="Changes to tag in %s"%options.www
-            elif mode == "version":
-                modetitle="Latest tags in %s"%options.www
-            modules.append(error_module)
-            error_module.html_dump_header(modetitle)
-            for module in modules:
-                module.html_dump_toc()
-            Module.html_dump_middle()
             for module in modules:
             for module in modules:
-                module.html_dump_body()
-            Module.html_dump_footer()
-
+                if len(args)>1 and mode not in Main.silent_modes:
+                    if not options.www:
+                        print '========================================',module.friendly_name()
+                # call the method called do_<mode>
+                method=Module.__dict__["do_%s"%mode]
+                try:
+                    method(module)
+                except Exception,e:
+                    if options.www:
+                        title='<span class="error"> Skipping module %s - failure: %s </span>'%\
+                            (module.friendly_name(), str(e))
+                        error_module.html_store_title(title)
+                    else:
+                        import traceback
+                        traceback.print_exc()
+                        print 'Skipping module %s: '%modname,e
+    
+            if options.www:
+                if mode == "diff":
+                    modetitle="Changes to tag in %s"%options.www
+                elif mode == "version":
+                    modetitle="Latest tags in %s"%options.www
+                modules.append(error_module)
+                error_module.html_dump_header(modetitle)
+                for module in modules:
+                    module.html_dump_toc()
+                Module.html_dump_middle()
+                for module in modules:
+                    module.html_dump_body()
+                Module.html_dump_footer()
+        else:
+            # if we provide, say a b c d, we want to build (a,b) (b,c) and (c,d)
+            # remember that the changelog in the twiki comes latest first, so
+            # we typically have here latest latest-1 latest-2
+            for (tag_to,tag_from) in zip ( args[:-1], args [1:]):
+                release_changelog(options, tag_from,tag_to)
+            
+    
 ####################
 if __name__ == "__main__" :
     try:
 ####################
 if __name__ == "__main__" :
     try: