multi-fcdistro yum config

remove install deadlock

oops

scaffolding multi-fcdistro yum config

minor change in case noderepo gets installed before myplc is started

Setting tag BootstrapFS-2.0-2
new slicerepo package for exposing stuff to slivers

cosmetic

oops

first draft of the slicerepo

Setting tag BootstrapFS-2.0-1
first working version of 5.0:
pld.c/, db-config.d/ and nodeconfig/ scripts should now sit in the module they belong to
nodefamily is 3-fold with pldistro-fcdistro-arch
new module nodeyum; first draft has the php scripts and conf_files for tweaking nodes yum config

fix broken yum repo generation

oops, had been moved to the wrong place

plc.d/packages part of nodeyum

fix

conf_files belong to the same module

fix

fixed and moved the server-side yum scripts, from nodeconfig/yum to BootstrapFS/nodeconfig/yum
  now known as the nodeyum package
  (might need some moer work for properly handling kexcludes in multi-fc plcs)
cleaned up all uses of /etc/planetlab/{node,slice}family
nodeconfig now does not need the build/ module anymore at build time

more fixes

kwd

fix bootstrapfs names, and add fcdistro to extension tarballs

Branch 2.0 for module BootstrapFS created (as new trunk) from tag BootstrapFS-1.0-11

Branch 2.0 for module BootstrapFS created (as new trunk) from tag BootstrapFS-1.0-11

3-fold nodefamily now has fcdistro as well

Setting tag BootstrapFS-1.0-11
for building on fedora12

Setting tag BootstrapFS-1.0-11
for building on fedora12

for f12

Setting tag BootstrapFS-1.0-10
cosmetic change in message at build-time

cosmetic

Setting tag BootstrapFS-1.0-9
can use groups in the pkgs file with +++ for space

can yum install groups (use +++ for space) in bootstrapfs and vserver-reference

Tagging module BootstrapFS - BootstrapFS-1.0-8
bugfix for when a .post script is not needed

sometimes there is no post script

Tagging module BootstrapFS - BootstrapFS-1.0-7
search post-install scripts (.post) in path (distro, then planetlab)
mostly useful for externally-defined pldistros

svn:keywords

locate .post scripts as for .pkgs files, i.e. first in pldistro-dep config dir, then in default config.planetlab

warns before running post install script

Tagging module BootstrapFS - BootstrapFS-1.0-6
fix build bug when dealing with extensions

fix svn.planet-lab.org/changeset/11139 : extensions were not building

Tagging module BootstrapFS - BootstrapFS-1.0-5
optional package bootstrapfs-<pldiftr>-<arch>-plain comes with uncompressed images for faster tests

the new bootstrapfs-*-plain rpm has uncompressed bootstrapfs images (for tests)

Tagging module BootstrapFS - BootstrapFS-1.0-4
cosmetic changes in build: displays duration, and shows up in summary

less loud, and build-summary compatible output

Tagging module BootstrapFS - BootstrapFS-1.0-3
Do not overwrite yumgroups.xml upon updates of noderepo

when dealing with multiple architectures/pldistros/vrefs, it is sometimes necessary to manually tune yumgroups.xml
the purpose of this change is that yumgroups.xml does not get overwritten by an update of noderepo
on the longer run we might wish to merge yumgroups.xml from (a) rpm and (b) local changes

Tagging module BootstrapFS - BootstrapFS-1.0-2
uses the right yum.conf when building images

also need to use mkfedora-yum.conf

Tagging module BootstrapFS - BootstrapFS-1.0-1
rpm release tag does not need pldistro as it is already part of the rpm name

check consistency of specfiles:
* set pldistro in release when needed (Monitor)
* remove it when already part of the rpm name (bootcd, noderepo)

Tagging module BootstrapFS - BootstrapFS-1.0-0
naming scheme changed, tarball name now contains ''nodefamily'' as <pldistro>-<arch>
new package named 'noderepo' allows to ship the full set of node rpms to another (arch) myplc

support for multiple slice reference images

* vserver-reference rpm names have changed and become
    vserver-@pldistro@-@fcdistro@-@arch@
    vserver-systemslices-@pldistro@-@fcdistro@-@arch@

* this contains the images located as
   /vservers/.vref/@pldistro@-@fcdistro@-@arch@
and
  /vservers/.vstub/@pldistro@-@fcdistro@-@arch@/planetflow
respectively

* a stamp gets created on the nodes as /etc/planetlab/defaultvref
  that contains the name for the default slicefamily to use

* nodemanager tries to be smart when chosing the right argument to pass to vuseradd
  for this purpose, the argument in 'vref' is taken as a dash-separated list of 'wishes'
  so e.g. is defaultvref is planetlab-f8-x86_64, then we should find for the image name:
vref=i386           -> vuseradd -t planetlab-f8-i386
vref=centos5        -> vuseradd -t planetlab-centos5-x86_64
vref=planetflow     -> vuseradd -t planetflow
vref=centos5-onelab -> vuseradd -t onelab-centos5-x86_64

for legacy reasons, if the stamp is not found, 'default' is taken instead

=== status
* this is only partly tested
* a given node can install several variants of vserver-*
  this would require a manual upload of the rpms into the right install-rpms
  and manual changes in yumgroups.
* next improvement would be to have the system (planetflow) slices have a smarter naming scheme as well
  this way a 'planetflow' vref would rather be rewritten as planetflow-f8-x86_64
  for the time being it is not supported to install several variants of vserver-systemslices
  on the node - although it should be harmless

fix for fc4: use explicit destination for yumgroups.xml or else 'install' program fails

clean up the verbosity and messages used while building the bootstrap packages

yet another fix

Second step towards multiarch myplc https://svn.planet-lab.org/ticket/214
-- design
* new notion of a 'nodefamily' - that for now is <pldistro>-<arch>
* standard rpm repository is now named /var/www/html/install-rpms/<nodefamily>
  a legacy symlink install-rpms/planetlab is created my myplc packaging
* bootstrafs rpm name is now bootstrapfs-<nodefamily> so that several instances
 from various builds can be installed in the same myplc
* noderepo rpm (named noderepo-<nodefamily>) built as part of the planetlab distro
  this is for installing /var/www/html/intall-rpms/<nodefamily> from another build

-- other changes
* extensive cleanup of mkfedora:
** obsolete  options -p -g -x removed
** option -p removed, pkgsfile is a mandatory argument
** option -k removed, use kexclude: in the pkgs file instead
* also cleaned up pl_root_* functions - no wrapper to pl_root_mkfedora anymore

-- status
* not tested at all - likely to break
* next step planned for storing nodefamily and pass it to yum.php.conf
  (impacted would be bootmanager, nodemanager and nodeconfig)
* a final cleanup in mkfedora would be to define mirrors in a separate .pkgs-like file
* kupdate.sh, as well as possibly other convenience scripts, might be impacted

cross-module change for multi-arch myplc

* name of the bootstrap tarball changed into
  bootstrapfs-<id>-<arch>.tar.bz2
    with id=<planetlab-distro> for the main tarball
    and  id=<extension> for the extensions tarballs

* bootmanager to use node's nodegroups to figure the tarball to use

* the noderepo rpm allows to install /var/www/html/install-rpms/<repo>
==
status
* checkpoint version to verify that mono-arch mono-distro still works
* build phase tested
* but some parts are still missing for complete multi-arch behaviour:
* bootstrapfs's rpm name should sontain pldistro and arch (as it is a noarch rpm)
* yum.php.conf also needs tunings

let plc.d/packages redo createrepo

fix

postinstall for signing pkgs - noderepo requires myplc - using Provides: on the myplc* side

missing quotes

no need to check out build

cross-module name change for more consistency

first draft of a noderepo package
(probably doesn't work but commit is needed for testing)

purpose is to package all the node-oriented rpms on cross-platform myplc

fix: yum clean all installroot was pointing at the wrong directory

minor clean up of code that invokes an optional .post processing script after packages from the specified .pkgs file have been installed

get rid of the nullglob

I meant for that to be vdir at this point in the script

Modified to run config.planetlab/*.post scripts for the various bootstrap pkgs
files available in cofig.*/bootstrap*.post

Tagging module BootstrapFS  -- from bootstrapfs-0.1-1 to bootstrapfs-0.1-2
search more carefully for alternate pkgs files
handling of sysconfig/crontab and creation of site_admin reviewed
(this tag is set with module-tag.py)

Im not sure what I'm doing but mef says this is how to make these changes.

for got $

With more care check if there are any pkgs to build.

for onelab

obscure naming confused me.  comments inline.

ready for tagging
reviewed URLs and %{plrelease}

fix typo & repair broken build

production image was not installed

syntax error.

create site_admin account and disable cron delay.

Doesn't belong here.

commenting off site_admin as it breaks the build

expand tabs.

moved site admin down so as not to get in the vref.  Also disabled 000-delay.cron.

SSH doesn't accept passwords.  This looks ok.  No password for console access.

Bad idea.  Have to figure out how to make that a console only account.

add site_admin account

missed changes needed after pldistro files have moved in build/config.<pldistro>

Remove unneeded services.

fix wrong argument passing to pl_root_mkfedora & more strict checking

cleaning up the root creation functions and build.common - untested

(*) groups distro-dependent files in build/config.<distro>
(*) renamed .lst files into .pkgs (lst suffix commonly used for other/tmp purposes)
(*) distro-dependent files are (mostly) optional, defaults to planetlab
(*) mkfedora accepts new -f argument : to pass a pkgs file rather than -p .. -g ..
(*) mkfedora supports junk: and precious: in pkgs file
    this is from the former bootcd/prep.sh - to reduce footprint

Notes.
(*) this is untested
(*) mkfedora still supports -x (exclude) on the command line and in pkgs file
    however I suspect this feature is never used
(*) mkfedora is still a separate command - could/should be merged into buld.common
(*) myplc/build.functions could/should be merged into build.common as well

previous change trashed the -k option to mkfedora

oops - uses new lst parsing in subdir too

naming .lst files after pldistro - including the <pldistro>-filesystems directory

adds group PlanetLab in things to install
at least rpm is required at runtime
the initial purpose of this bootstrap tarball is to speed up installs

minor cleanup

eliminate file entry for BootstrapFS in %{_datadir}

move timing comment to the tar operation

It appears that some rpm is mounting /proc, which is not what we want.

fix using the wrong variable names, update comments, and put in some debugging echo statements

* call pl_mkfedora directly rather than pl_setup_chroot

* use the build.common pl_get{Packages,Groups} functions