(*) dismantled DEPENDDEVELS
[build.git] / Makefile
index 82d8e0a..4759219 100644 (file)
--- a/Makefile
+++ b/Makefile
@@ -4,7 +4,7 @@
 ### $Id$
 # 
 ####################
-# invokation:
+# invocation:
 #
 # (*) make stage1=true
 #     this extracts all specfiles and computes .mk from specfiles
 # (*) create your main yumgroups.xml as groups/<distro>.xml
 # (*) there are also various places where a set of modules are defined.
 #     check for .lst files in the various modules that build root images
-#     and mimick what's done for planetlab 
+#     and mimic what's done for planetlab 
 # (*) then you need to run 
 #     make stage1=true PLDISTRO=onelab
 #
 #################### 
 # This build deals with 2 kinds of objects
 # 
-# (*) packages are named upon the RPM name; they are moslty lowercase
+# (*) packages are named upon the RPM name; they are mostly lowercase
 #     Add a package to ALL if you want it built as part of the default set.
 # (*) modules are named after the subversion tree; as of this writing their names 
-#     are mostly mixedcase like MyPLC or Vserverreference
+#     are mostly mixed case like MyPLC or Vserverreference
 # 
 #################### packages
 # basics: how to build a package - you need/may define the following variables
@@ -60,6 +60,8 @@
 #     would let you use the %release from the kernel's package when rpmbuild'ing mydriver - see automatic below
 # (*) package-DEPENDS
 #     a set of *packages* that this package depends on
+# (*) package-DEPENDDEVELRPMS
+#     a set of *rpms* that the build will rpm-install before building <package>
 # (*) package-DEPENDFILES
 #     a set of files that the package depends on - and that make needs to know about
 #     if this contains RPMS/yumgroups.xml, then the toplevel RPMS's index 
 #################### automatic variables
 #
 # the build defines the following make variables - these are extracted from spec files
-# (*) package-TARBALL : from the Source<n>: declaration
-#     example: kernel-i386-TARBALL = SOURCES/linux-2.6.20.tar.bz2
+# (*) package-TARBALLS : from the Source<n>: declaration
+#     example: kernel-i386-TARBALLS = SOURCES/linux-2.6.20.tar.bz2
 # (*) package-SOURCE : 
 #     example: kernel-i386-SOURCE = SOURCES/linux-2.6.20
 # (*) package-SRPM
 #     example: kernel-i386-SRPM = SRPMS/kernel-2.6.20-1.2949.fc6.vs2.2.0.1.0.planetlab.src.rpm
-# (*) package-RPM
-#     example: kernel-i386-RPM = \
+# (*) package-RPMS
+#     example: kernel-i386-RPMS = \
 #      RPMS/i686/kernel-2.6.20-1.2949.fc6.vs2.2.0.1.0.planetlab.i686.rpm \
 #      RPMS/i686/kernel-devel-2.6.20-1.2949.fc6.vs2.2.0.1.0.planetlab.i686.rpm \
 #      RPMS/i686/kernel-vserver-2.6.20-1.2949.fc6.vs2.2.0.1.0.planetlab.i686.rpm \
 HOSTARCH := $(shell uname -i)
 DISTRO := $(shell ./getdistro.sh)
 RELEASE := $(shell ./getrelease.sh)
+RPM-INSTALL-DEVEL := rpm --force -Uvh
 
 #################### Makefile
 # Default target
@@ -185,16 +188,18 @@ include $(ALLMKS)
 #all : codebases
 #all : rpms
 #all : srpms
+# mention $(ALL) here rather than rpms 
+# this is because the inter-package dependencies are expressed like
+# util-vserver: util-python
 all: rpms
-all: srpms
+all: repo
 endif
 endif
 
 ####################
 # gather build information for the 'About' page
-SOURCES/myplc-release:
+myplc-release:
        @echo 'Creating myplc-release'
-       mkdir -p SOURCES
        rm -f $@
        (echo -n 'Build bdate: ' ; date '+%Y.%m.%d') >> $@
        (echo -n 'Build btime: ' ; date '+%H:%M') >> $@
@@ -204,6 +209,23 @@ SOURCES/myplc-release:
        echo "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx modules versions info" >> $@
        $(MAKE) --no-print-directory versions >> $@
 
+### yumgroups.xml
+# the source
+ifndef YUMGROUPS
+YUMGROUPS := groups/$(PLDISTRO).xml
+endif
+
+RPMS/yumgroups.xml: $(YUMGROUPS)
+       mkdir -p RPMS
+       install -D -m 644 $(YUMGROUPS) $@
+
+createrepo = createrepo --quiet -g yumgroups.xml RPMS/ 
+
+repo: RPMS/yumgroups.xml
+       $(createrepo)
+
+.PHONY: repo
+
 ####################
 # notes: 
 # * to make configuration easier, we always use the first module's
@@ -261,24 +283,34 @@ endef
 
 $(foreach package,$(ALL),$(eval $(call target_spec,$(package))))
 
-### this utility allows to extract various info from a spec file
-### and to define them in makefiles
-spec2make: spec2make.c
-       $(CC) -g -Wall $< -o $@ -lrpm -lrpmbuild
-
+###
 # Base rpmbuild in the current directory
-# trying a longer topdir 
-# http://forums.fedoraforum.org/showthread.php?t=39625
-# and more specifically post#6
-# hard-wired for now 
-export HOME := /building
+# issues on fedora 8 : see the following posts
+# http://forums.fedoraforum.org/showthread.php?t=39625 - and more specifically post#6
+# https://www.redhat.com/archives/fedora-devel-list/2007-November/msg00171.html
+REALROOT=/build
+FAKEROOT=/longbuildroot
+PWD=$(shell /bin/pwd)
+ifeq "$(PWD)" "$(REALROOT)"
+export HOME := $(FAKEROOT)
+else
+export HOME := $(PWD)
+endif
 .rpmmacros:
-       rm -f /building ; ln -s /build /building
+ifeq "$(shell pwd)" "/build"
+       rm -f $(FAKEROOT) ; ln -s $(REALROOT) $(FAKEROOT)
+endif
        rm -f $@ 
        echo "%_topdir $(HOME)" >> $@
        echo "%_tmppath $(HOME)/tmp" >> $@
        echo "%_netsharedpath /proc:/dev/pts" >> $@
        echo "%_install_langs C:de:en:es:fr" >> $@
+       echo "%_excludedocs yes" >> $@
+
+### this utility allows to extract various info from a spec file
+### and to define them in makefiles
+spec2make: spec2make.c
+       $(CC) -g -Wall $< -o $@ -lrpm -lrpmbuild
 
 ### run spec2make on the spec file and include the result
 # usage: spec2make package
@@ -305,7 +337,7 @@ all: savepldistro
 
 ####################
 ### pack sources into tarballs
-ALLTARBALLS:= $(foreach package, $(ALL), $($(package)-TARBALL))
+ALLTARBALLS:= $(foreach package, $(ALL), $($(package)-TARBALLS))
 tarballs: $(ALLTARBALLS)
        @echo $(words $(ALLTARBALLS)) source tarballs OK
 .PHONY: tarballs
@@ -374,27 +406,6 @@ CODEBASES/%:
          $(call extract_single_module,$(package)))
        @(echo -n "XXXXXXXXXXXXXXX -- END CODEBASE $(package) : $@ " ; date)
 
-### rpmbuild invokation
-ALLRPMS:=$(foreach package,$(ALL),$($(package)-RPM))
-rpms: $(ALLRPMS)
-       @echo $(words $(ALLRPMS)) binary rpms OK
-.PHONY: rpms
-
-# usage: build_binary_rpm package
-# xxx hacky - invoke createrepo if DEPENDFILES mentions RPMS/yumgroups.xml
-define target_binary_rpm 
-$($(1)-RPM): $($(1)_specpath) $($(1)-TARBALL) .rpmmacros
-       mkdir -p BUILD RPMS tmp
-       @(echo -n "XXXXXXXXXXXXXXX -- BEG RPM $(1) " ; date)
-       $(if $(findstring RPMS/yumgroups.xml,$($(1)-DEPENDFILES)), createrepo --quiet -g yumgroups.xml RPMS/ , )
-       $(if $($(1)-RPMBUILD),\
-         $($(1)-RPMBUILD) $($(1)-RPMFLAGS) -bb $($(1)_specpath), \
-         $(RPMBUILD)  $($(1)-RPMFLAGS) -bb $($(1)_specpath))
-       @(echo -n "XXXXXXXXXXXXXXX -- END RPM $(1) " ; date)
-endef
-
-$(foreach package,$(ALL),$(eval $(call target_binary_rpm,$(package))))
-
 ### source rpms
 ALLSRPMS:=$(foreach package,$(ALL),$($(package)-SRPM))
 srpms: $(ALLSRPMS)
@@ -404,10 +415,12 @@ srpms: $(ALLSRPMS)
 # usage: target_source_rpm package
 # select upon the package name, whether it contains srpm or not
 define target_source_rpm 
+$(1).all-devel-rpm-paths := $(foreach rpm,$($(1)-DEPENDDEVELRPMS),$($(rpm).rpm-path))
 ifeq "$(subst srpm,,$(1))" "$(1)"
-$($(1)-SRPM): $($(1)_specpath) .rpmmacros $($(1)-TARBALL) 
+$($(1)-SRPM): $($(1)_specpath) .rpmmacros $($(1)-TARBALLS
        mkdir -p BUILD SRPMS tmp
        @(echo -n "XXXXXXXXXXXXXXX -- BEG SRPM $(1) " ; date)
+       $(if $($(1).all-devel-rpm-paths), $(RPM-INSTALL-DEVEL) $($(1).all-devel-rpm-paths))
        $(if $($(1)-RPMBUILD),\
          $($(1)-RPMBUILD) $($(1)-RPMFLAGS) -bs $($(1)_specpath),
          $(RPMBUILD) $($(1)-RPMFLAGS) -bs $($(1)_specpath))    
@@ -416,6 +429,7 @@ else
 $($(1)-SRPM): $($(1)_specpath) .rpmmacros $($(1)-CODEBASE)
        mkdir -p BUILD SRPMS tmp
        @(echo -n "XXXXXXXXXXXXXXX -- BEG SRPM $(1) (using make srpm) " ; date)
+       $(if $($(1).all-devel-rpm-paths), $(RPM-INSTALL-DEVEL) $($(1).all-devel-rpm-paths))
        make -C $($(1)-CODEBASE) srpm && \
            rm -f SRPMS/$(notdir $($(1)-SRPM)) && \
            ln $($(1)-CODEBASE)/$(notdir $($(1)-SRPM)) SRPMS/$(notdir $($(1)-SRPM)) 
@@ -425,60 +439,85 @@ endef
 
 $(foreach package,$(ALL),$(eval $(call target_source_rpm,$(package))))
 
-### RPMS/yumgroups.xml
-ifndef YUMGROUPS
-YUMGROUPS := groups/$(PLDISTRO).xml
-endif
-RPMS/yumgroups.xml: $(YUMGROUPS)
-       install -D -m 644 $(YUMGROUPS) $@
+### rpmbuild invokation
+ALLRPMS:=$(foreach package,$(ALL),$($(package)-RPMS))
+# same as above, mention $(ALL) and not $(ALLRPMS)
+rpms: $(ALLRPMS)
+       @echo $(words $(ALLRPMS)) binary rpms OK
+.PHONY: rpms
+
+# use tmp dirs when building binary rpm so make remains idempotent 
+# otherwise SOURCES/ or SPEC gets touched again - which leads to rebuilding
+rpm_use_tmp_dirs = --define "_sourcedir $(HOME)/tmp" --define "_specdir $(HOME)/tmp"
+
+# usage: build_binary_rpm package
+# xxx hacky - invoke createrepo if DEPENDFILES mentions RPMS/yumgroups.xml
+define target_binary_rpm 
+$($(1)-RPMS): $($(1)-SRPM)
+       mkdir -p BUILD RPMS tmp
+       @(echo -n "XXXXXXXXXXXXXXX -- BEG RPM $(1) " ; date)
+       $(if $(findstring RPMS/yumgroups.xml,$($(1)-DEPENDFILES)), $(createrepo) , )
+       $(if $($(1)-RPMBUILD),\
+         $($(1)-RPMBUILD) $($(1)-RPMFLAGS) --rebuild $(rpm_use_tmp_dirs) $($(1)-SRPM), \
+         $(RPMBUILD)  $($(1)-RPMFLAGS) --rebuild $(rpm_use_tmp_dirs) $($(1)-SRPM))
+       @(echo -n "XXXXXXXXXXXXXXX -- END RPM $(1) " ; date)
+endef
+
+$(foreach package,$(ALL),$(eval $(call target_binary_rpm,$(package))))
 
 ### shorthand target
 # e.g. make proper -> does propers rpms
 # usage shorthand_target package
 define target_shorthand 
-$(1): $($(package)-RPM)
+$(1): $($(package)-RPMS)
 .PHONY: $(1)
 $(1)-spec: $($(package)-SPEC)
 .PHONY: $(1)-spec
 $(1)-mk: $($(package)-MK)
 .PHONY: $(1)-mk
-$(1)-tarball: $($(package)-TARBALL)
+$(1)-tarball: $($(package)-TARBALLS)
 .PHONY: $(1)-tarball
 $(1)-codebase: $($(package)-CODEBASE)
 .PHONY: $(1)-source
 $(1)-source: $($(package)-SOURCE)
 .PHONY: $(1)-codebase
-$(1)-rpm: $($(package)-RPM)
-.PHONY: $(1)-rpm
+$(1)-rpms: $($(package)-RPMS)
+.PHONY: $(1)-rpms
 $(1)-srpm: $($(package)-SRPM)
 .PHONY: $(1)-srpm
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_shorthand,$(package))))
 
-### dependencies
+### file dependencies
 define package_depends_on_file
 $(1):$(2)
-$($(1)-RPM):$(2)
+$($(1)-SRPM):$(2)
 endef
 
 define target_dependfiles
 $(foreach file,$($(1)-DEPENDFILES),$(eval $(call package_depends_on_file,$(1),$(file))))
 endef
 
+$(foreach package,$(ALL),$(eval $(call target_dependfiles,$(package))))
+
+### package dependencies
+define compute_devel_depends
+$(1).depend-devel-packages := $(foreach rpm,$($(1)-DEPENDDEVELRPMS),$($(rpm).package))
+endef
+$(foreach package,$(ALL),$(eval $(call compute_devel_depends,$(package))))
+
 define package_depends_on_package
 $(1):$(2)
-$(1):$($(2)-RPM)
-$($(1)-RPM):$($(2)-RPM)
+$(1):$($(2)-RPMS)
+$($(1)-SRPM):$($(2)-RPMS)
 endef
 
 define target_depends
-$(foreach package,$($(1)-DEPENDS),$(eval $(call package_depends_on_package,$(1),$(package))))
+$(foreach package,$($(1)-DEPENDS) $($(1).depend-devel-packages),$(eval $(call package_depends_on_package,$(1),$(package))))
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_depends,$(package))))
-$(foreach package,$(ALL),$(eval $(call target_dependfiles,$(package))))
-
 
 ### clean target
 # usage: target_clean package
@@ -492,22 +531,33 @@ $(1)-clean-source:
 .PHONY: $(1)-clean-source
 CLEANS += $(1)-clean-source
 $(1)-clean-tarball:
-       rm -rf $($(1)-TARBALL)
+       rm -rf $($(1)-TARBALLS)
 .PHONY: $(1)-clean-tarball
 CLEANS += $(1)-clean-tarball
 $(1)-clean-build:
        rm -rf BUILD/$(notdir $($(1)-SOURCE))
 CLEANS += $(1)-clean-build
-$(1)-clean-rpm:
-       rm -rf $($(1)-RPM)
-.PHONY: $(1)-clean-rpm
-CLEANS += $(1)-clean-rpm
+$(1)-clean-rpms:
+       rm -rf $($(1)-RPMS)
+.PHONY: $(1)-clean-rpms
+CLEANS += $(1)-clean-rpms
 $(1)-clean-srpm:
        rm -rf $($(1)-SRPM)
 .PHONY: $(1)-clean-srpm
 CLEANS += $(1)-clean-srpm
-$(1)-clean: $(1)-clean-codebase $(1)-clean-source $(1)-clean-tarball $(1)-clean-build $(1)-clean-rpm $(1)-clean-srpm
-.PHONY: $(1)-clean
+$(1)-codeclean: $(1)-clean-source $(1)-clean-tarball $(1)-clean-build $(1)-clean-rpms $(1)-clean-srpm
+$(1)-clean: $(1)-clean-codebase $(1)-codeclean
+.PHONY: $(1)-codeclean $(1)-clean 
+$(1)-clean-spec:
+       rm -rf $($(1)_specpath)
+.PHONY: $(1)-clean-spec
+$(1)-clean-make:
+       rm -rf MAKE/$(1).mk
+.PHONY: $(1)-clean-make
+$(1)-distclean: $(1)-distclean1 $(1)-distclean2
+$(1)-distclean1: $(1)-clean-spec $(1)-clean-make
+$(1)-distclean2: $(1)-clean
+.PHONY: $(1)-distclean $(1)-distclean1 $(1)-distclean2
 endef
 
 $(foreach package,$(ALL),$(eval $(call target_clean,$(package))))
@@ -579,7 +629,7 @@ help:
        @echo "  rebuilds everything"
        @echo '$ make util-vserver'
        @echo "  makes the RPMS related to util-vserver"
-       @echo "  equivalent to 'make util-vserver-rpm'"
+       @echo "  equivalent to 'make util-vserver-rpms'"
        @echo ""
        @echo "Or, vertically - step-by-step for a given package"
        @echo '$ make util-vserver-codebase'
@@ -588,7 +638,7 @@ help:
        @echo "  creates source link in SOURCES/util-vserver-<version>"
        @echo '$ make util-vserver-tarball'
        @echo "  creates source tarball in SOURCES/util-vserver-<version>.<tarextension>"
-       @echo '$ make util-vserver-rpm'
+       @echo '$ make util-vserver-rpms'
        @echo "  build rpm(s) in RPMS/"
        @echo '$ make util-vserver-srpm'
        @echo "  build source rpm in SRPMS/"
@@ -605,6 +655,11 @@ help:
        @echo "  removes the files made by make"
        @echo "$ make distclean"
        @echo "  brute-force cleaning, removes entire directories - requires a new stage1"
+       @echo ""
+       @echo "$ make iptables-distclean"
+       @echo "$ make iptables-codeclean"
+       @echo "  run this if you've made a change in the CODEBASES area for iptables"
+       @echo ""
        @echo "$ make util-vserver-clean"
        @echo "  removes codebase, source, tarball, build, rpm and srpm for util-vserver"
        @echo "$ make util-vserver-clean-codebase"