(*) dismantled DEPENDDEVELS
[build.git] / Makefile
index 9937e60..4759219 100644 (file)
--- a/Makefile
+++ b/Makefile
@@ -4,7 +4,7 @@
 ### $Id$
 # 
 ####################
-# invokation:
+# invocation:
 #
 # (*) make stage1=true
 #     this extracts all specfiles and computes .mk from specfiles
 # (*) create your main yumgroups.xml as groups/<distro>.xml
 # (*) there are also various places where a set of modules are defined.
 #     check for .lst files in the various modules that build root images
-#     and mimick what's done for planetlab 
+#     and mimic what's done for planetlab 
 # (*) then you need to run 
 #     make stage1=true PLDISTRO=onelab
 #
 #################### 
 # This build deals with 2 kinds of objects
 # 
-# (*) packages are named upon the RPM name; they are moslty lowercase
+# (*) packages are named upon the RPM name; they are mostly lowercase
 #     Add a package to ALL if you want it built as part of the default set.
 # (*) modules are named after the subversion tree; as of this writing their names 
-#     are mostly mixedcase like MyPLC or Vserverreference
+#     are mostly mixed case like MyPLC or Vserverreference
 # 
 #################### packages
 # basics: how to build a package - you need/may define the following variables
@@ -60,8 +60,8 @@
 #     would let you use the %release from the kernel's package when rpmbuild'ing mydriver - see automatic below
 # (*) package-DEPENDS
 #     a set of *packages* that this package depends on
-# (*) package-DEPENDDEVELS
-#     a set of *packages* that the build will rpm-install the -devel variant before building <package>
+# (*) package-DEPENDDEVELRPMS
+#     a set of *rpms* that the build will rpm-install before building <package>
 # (*) package-DEPENDFILES
 #     a set of files that the package depends on - and that make needs to know about
 #     if this contains RPMS/yumgroups.xml, then the toplevel RPMS's index 
 HOSTARCH := $(shell uname -i)
 DISTRO := $(shell ./getdistro.sh)
 RELEASE := $(shell ./getrelease.sh)
+RPM-INSTALL-DEVEL := rpm --force -Uvh
 
 #################### Makefile
 # Default target
@@ -191,14 +192,14 @@ include $(ALLMKS)
 # this is because the inter-package dependencies are expressed like
 # util-vserver: util-python
 all: rpms
+all: repo
 endif
 endif
 
 ####################
 # gather build information for the 'About' page
-SOURCES/myplc-release:
+myplc-release:
        @echo 'Creating myplc-release'
-       mkdir -p SOURCES
        rm -f $@
        (echo -n 'Build bdate: ' ; date '+%Y.%m.%d') >> $@
        (echo -n 'Build btime: ' ; date '+%H:%M') >> $@
@@ -208,6 +209,23 @@ SOURCES/myplc-release:
        echo "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx modules versions info" >> $@
        $(MAKE) --no-print-directory versions >> $@
 
+### yumgroups.xml
+# the source
+ifndef YUMGROUPS
+YUMGROUPS := groups/$(PLDISTRO).xml
+endif
+
+RPMS/yumgroups.xml: $(YUMGROUPS)
+       mkdir -p RPMS
+       install -D -m 644 $(YUMGROUPS) $@
+
+createrepo = createrepo --quiet -g yumgroups.xml RPMS/ 
+
+repo: RPMS/yumgroups.xml
+       $(createrepo)
+
+.PHONY: repo
+
 ####################
 # notes: 
 # * to make configuration easier, we always use the first module's
@@ -218,7 +236,7 @@ SOURCES/myplc-release:
 #
 define stage1_variables
 $(1)_spec = $(notdir $($(1)-SPEC))
-$(1)_specpath = CODESPECS/$(notdir $($(1)-SPEC))
+$(1)_specpath = SPECS/$(notdir $($(1)-SPEC))
 $(1)_module = $(firstword $($(1)-MODULES))
 endef
 
@@ -245,7 +263,7 @@ $(foreach package, $(ALL), $(eval $(call package_hasdate,$(package))))
 # cannot use variables in such rules, we need to inline everything, sigh
 define target_spec
 $($(1)_specpath):
-       mkdir -p CODESPECS
+       mkdir -p SPECS
        (echo -n "# Generated by planetlab build from $($(1)-SPEC) on " ; date) > $($(1)_specpath)
        echo "%define distroname $(DISTRO)" >> $($(1)_specpath)
        echo "%define distrorelease $(RELEASE)" >> $($(1)_specpath)
@@ -265,24 +283,34 @@ endef
 
 $(foreach package,$(ALL),$(eval $(call target_spec,$(package))))
 
-### this utility allows to extract various info from a spec file
-### and to define them in makefiles
-spec2make: spec2make.c
-       $(CC) -g -Wall $< -o $@ -lrpm -lrpmbuild
-
+###
 # Base rpmbuild in the current directory
-# trying a longer topdir 
-# http://forums.fedoraforum.org/showthread.php?t=39625
-# and more specifically post#6
-# hard-wired for now 
-export HOME := /building
+# issues on fedora 8 : see the following posts
+# http://forums.fedoraforum.org/showthread.php?t=39625 - and more specifically post#6
+# https://www.redhat.com/archives/fedora-devel-list/2007-November/msg00171.html
+REALROOT=/build
+FAKEROOT=/longbuildroot
+PWD=$(shell /bin/pwd)
+ifeq "$(PWD)" "$(REALROOT)"
+export HOME := $(FAKEROOT)
+else
+export HOME := $(PWD)
+endif
 .rpmmacros:
-       rm -f /building ; ln -s /build /building
+ifeq "$(shell pwd)" "/build"
+       rm -f $(FAKEROOT) ; ln -s $(REALROOT) $(FAKEROOT)
+endif
        rm -f $@ 
        echo "%_topdir $(HOME)" >> $@
        echo "%_tmppath $(HOME)/tmp" >> $@
        echo "%_netsharedpath /proc:/dev/pts" >> $@
        echo "%_install_langs C:de:en:es:fr" >> $@
+       echo "%_excludedocs yes" >> $@
+
+### this utility allows to extract various info from a spec file
+### and to define them in makefiles
+spec2make: spec2make.c
+       $(CC) -g -Wall $< -o $@ -lrpm -lrpmbuild
 
 ### run spec2make on the spec file and include the result
 # usage: spec2make package
@@ -387,11 +415,12 @@ srpms: $(ALLSRPMS)
 # usage: target_source_rpm package
 # select upon the package name, whether it contains srpm or not
 define target_source_rpm 
+$(1).all-devel-rpm-paths := $(foreach rpm,$($(1)-DEPENDDEVELRPMS),$($(rpm).rpm-path))
 ifeq "$(subst srpm,,$(1))" "$(1)"
 $($(1)-SRPM): $($(1)_specpath) .rpmmacros $($(1)-TARBALLS) 
        mkdir -p BUILD SRPMS tmp
        @(echo -n "XXXXXXXXXXXXXXX -- BEG SRPM $(1) " ; date)
-       -$(foreach devel,$($(1)-DEPENDDEVELS), $(if $($(devel)-DEVEL-RPMS),rpm -Uvh $($(devel)-DEVEL-RPMS);))
+       $(if $($(1).all-devel-rpm-paths), $(RPM-INSTALL-DEVEL) $($(1).all-devel-rpm-paths))
        $(if $($(1)-RPMBUILD),\
          $($(1)-RPMBUILD) $($(1)-RPMFLAGS) -bs $($(1)_specpath),
          $(RPMBUILD) $($(1)-RPMFLAGS) -bs $($(1)_specpath))    
@@ -400,7 +429,7 @@ else
 $($(1)-SRPM): $($(1)_specpath) .rpmmacros $($(1)-CODEBASE)
        mkdir -p BUILD SRPMS tmp
        @(echo -n "XXXXXXXXXXXXXXX -- BEG SRPM $(1) (using make srpm) " ; date)
-       -$(foreach devel,$($(1)-DEPENDDEVELS), $(if $($(devel)-DEVEL-RPMS),rpm -Uvh $($(devel)-DEVEL-RPMS);))
+       $(if $($(1).all-devel-rpm-paths), $(RPM-INSTALL-DEVEL) $($(1).all-devel-rpm-paths))
        make -C $($(1)-CODEBASE) srpm && \
            rm -f SRPMS/$(notdir $($(1)-SRPM)) && \
            ln $($(1)-CODEBASE)/$(notdir $($(1)-SRPM)) SRPMS/$(notdir $($(1)-SRPM)) 
@@ -417,28 +446,25 @@ rpms: $(ALLRPMS)
        @echo $(words $(ALLRPMS)) binary rpms OK
 .PHONY: rpms
 
+# use tmp dirs when building binary rpm so make remains idempotent 
+# otherwise SOURCES/ or SPEC gets touched again - which leads to rebuilding
+rpm_use_tmp_dirs = --define "_sourcedir $(HOME)/tmp" --define "_specdir $(HOME)/tmp"
+
 # usage: build_binary_rpm package
 # xxx hacky - invoke createrepo if DEPENDFILES mentions RPMS/yumgroups.xml
 define target_binary_rpm 
 $($(1)-RPMS): $($(1)-SRPM)
-       mkdir -p BUILD RPMS SPECS tmp
+       mkdir -p BUILD RPMS tmp
        @(echo -n "XXXXXXXXXXXXXXX -- BEG RPM $(1) " ; date)
-       $(if $(findstring RPMS/yumgroups.xml,$($(1)-DEPENDFILES)), createrepo --quiet -g yumgroups.xml RPMS/ , )
+       $(if $(findstring RPMS/yumgroups.xml,$($(1)-DEPENDFILES)), $(createrepo) , )
        $(if $($(1)-RPMBUILD),\
-         $($(1)-RPMBUILD) $($(1)-RPMFLAGS) --rebuild $($(1)-SRPM), \
-         $(RPMBUILD)  $($(1)-RPMFLAGS) --rebuild $($(1)-SRPM))
+         $($(1)-RPMBUILD) $($(1)-RPMFLAGS) --rebuild $(rpm_use_tmp_dirs) $($(1)-SRPM), \
+         $(RPMBUILD)  $($(1)-RPMFLAGS) --rebuild $(rpm_use_tmp_dirs) $($(1)-SRPM))
        @(echo -n "XXXXXXXXXXXXXXX -- END RPM $(1) " ; date)
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_binary_rpm,$(package))))
 
-### RPMS/yumgroups.xml
-ifndef YUMGROUPS
-YUMGROUPS := groups/$(PLDISTRO).xml
-endif
-RPMS/yumgroups.xml: $(YUMGROUPS)
-       install -D -m 644 $(YUMGROUPS) $@
-
 ### shorthand target
 # e.g. make proper -> does propers rpms
 # usage shorthand_target package
@@ -463,28 +489,35 @@ endef
 
 $(foreach package,$(ALL),$(eval $(call target_shorthand,$(package))))
 
-### dependencies
+### file dependencies
 define package_depends_on_file
 $(1):$(2)
-$($(1)-RPMS):$(2)
+$($(1)-SRPM):$(2)
 endef
 
 define target_dependfiles
 $(foreach file,$($(1)-DEPENDFILES),$(eval $(call package_depends_on_file,$(1),$(file))))
 endef
 
+$(foreach package,$(ALL),$(eval $(call target_dependfiles,$(package))))
+
+### package dependencies
+define compute_devel_depends
+$(1).depend-devel-packages := $(foreach rpm,$($(1)-DEPENDDEVELRPMS),$($(rpm).package))
+endef
+$(foreach package,$(ALL),$(eval $(call compute_devel_depends,$(package))))
+
 define package_depends_on_package
 $(1):$(2)
 $(1):$($(2)-RPMS)
-$($(1)-RPMS):$($(2)-RPMS)
+$($(1)-SRPM):$($(2)-RPMS)
 endef
 
 define target_depends
-$(foreach package,$($(1)-DEPENDS) $($(1)-DEPENDDEVELS),$(eval $(call package_depends_on_package,$(1),$(package))))
+$(foreach package,$($(1)-DEPENDS) $($(1).depend-devel-packages),$(eval $(call package_depends_on_package,$(1),$(package))))
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_depends,$(package))))
-$(foreach package,$(ALL),$(eval $(call target_dependfiles,$(package))))
 
 ### clean target
 # usage: target_clean package
@@ -512,8 +545,19 @@ $(1)-clean-srpm:
        rm -rf $($(1)-SRPM)
 .PHONY: $(1)-clean-srpm
 CLEANS += $(1)-clean-srpm
-$(1)-clean: $(1)-clean-codebase $(1)-clean-source $(1)-clean-tarball $(1)-clean-build $(1)-clean-rpms $(1)-clean-srpm
-.PHONY: $(1)-clean
+$(1)-codeclean: $(1)-clean-source $(1)-clean-tarball $(1)-clean-build $(1)-clean-rpms $(1)-clean-srpm
+$(1)-clean: $(1)-clean-codebase $(1)-codeclean
+.PHONY: $(1)-codeclean $(1)-clean 
+$(1)-clean-spec:
+       rm -rf $($(1)_specpath)
+.PHONY: $(1)-clean-spec
+$(1)-clean-make:
+       rm -rf MAKE/$(1).mk
+.PHONY: $(1)-clean-make
+$(1)-distclean: $(1)-distclean1 $(1)-distclean2
+$(1)-distclean1: $(1)-clean-spec $(1)-clean-make
+$(1)-distclean2: $(1)-clean
+.PHONY: $(1)-distclean $(1)-distclean1 $(1)-distclean2
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_clean,$(package))))
@@ -529,9 +573,9 @@ clean-help:
 
 ### brute force clean
 distclean1:
-       rm -rf pldistro.mk .rpmmacros spec2make CODESPECS MAKE 
+       rm -rf pldistro.mk .rpmmacros spec2make SPECS MAKE 
 distclean2:
-       rm -rf CODEBASES SOURCES BUILD RPMS SRPMS SPECS tmp
+       rm -rf CODEBASES SOURCES BUILD RPMS SRPMS tmp
 distclean: distclean1 distclean2
 .PHONY: distclean1 distclean2 distclean
 
@@ -577,7 +621,7 @@ help:
        @echo "Run make in two stages:"
        @echo ""
        @echo "make stage1=true PLDISTRO=onelab"
-       @echo " -> extracts all spec files in CODESPECS/ and mk files in MAKE/"
+       @echo " -> extracts all spec files in SPECS/ and mk files in MAKE/"
        @echo "    as well as save PLDISTRO for subsequent runs"
        @echo ""
        @echo "Then you can use the following targets"
@@ -611,6 +655,11 @@ help:
        @echo "  removes the files made by make"
        @echo "$ make distclean"
        @echo "  brute-force cleaning, removes entire directories - requires a new stage1"
+       @echo ""
+       @echo "$ make iptables-distclean"
+       @echo "$ make iptables-codeclean"
+       @echo "  run this if you've made a change in the CODEBASES area for iptables"
+       @echo ""
        @echo "$ make util-vserver-clean"
        @echo "  removes codebase, source, tarball, build, rpm and srpm for util-vserver"
        @echo "$ make util-vserver-clean-codebase"