(*) full support for database caching, including SliceAttributes
(*) looks OK but further tests are required
(*) system slices to be checked with latest implementation from Mark
    (I haven't got anything realting to pl_conf and such in GetSlivers
     since Mark made that change)
(*) TestPeers to dump both status verbatim

- remove invalid (i.e. expired) slice_ids from from node['slice_ids']

ooops

(*) slice atttribute types get cached
(*) TestPeers to create custom slice attribute types and slice attributes
(*) new method GetPeerData to allow RefreshPeer to perform
    a single xmlrpc request (overall improvement : x 3 on small deployments)
(*) Cache created with a peer_id rather than with a peer,
    so as to remove a useless dependency (arg check done by RefreshPeer)
(*) caching slice attributes will require another method,
    equality cannot be based on a single column as for other types
    of cached data; ongoing

removes time-dependent data before diffing out and ref

more precise timing

more detailed info passed when raising an exception

cleanup

caching sites, connected to persons, and nodes
Cache had a bug in handling simple (belongs_to-like) xrefs (e.g. site_id in persons)

new targets

more consistent slice-naming scheme

new ref output for TestPeers.py

create multiple sites, attached to persons and slices

persons get connected to slices. GetSlivers reports the right keys
the test framework provides timing information for evaluating performance
also the number of xmlrpc requests is kept to 4, for keys, persons, nodes and slices

Persons gets cached and connected to Keys (not tested until GetSlivers yet)
reference output of TestPeers under cvs

yet todo:
check GetSlivers

Optimize the set of calls each peer sends other peers, the current
scheme tends to be slow because of too many small requests being issued
consider writing a dedicated Method at some point

frun to run fast (1x1x1x1) test

add system slices on local hosts only -
though I'm not sure I understand what sense it makes for a plc
to answer GetSlivers for a non-local node

testing keys

cached Keys
the class_id field in cached classes is deprecated, it was redundant with primary_key,

accessories objects (transcoder and xreftable) instantiated once per xref_class

this version uses the first release of Cache.py

Generic cache management algorithm
(*) Transcoder class implements translation between alien ids (ids referring to another peer's DB) into the local DB
(*) XrefTable class implements DB access to bilateral n-to-n relationsships like slice_node
(*) Cache basically gets object lists from the peer, and calls update_table sequentially

A lot of stuff was removed from Peer and RefreshPeer, as well as Slices and was rewritten here

The classes subject to this now need to define extra attributes:
(*) class_id : e.g. 'node_id'
(*) class_key : e.g. 'hostname'
(*) foreign_fields : the list of stuff we copy verbatim from foreign objects
(*) foreign_xrefs : specify what cross-references should be solved and how, see Slices for an example

yet to do:
(*) improve intermediate objects allocation (transcoders and xreftables are created on the fly)
(*) use for importing keys, persons and slice attributes.

miscell

- fix print statements

- comments

- fix db archive

- cast default values correctly

- fix db encoding check

- support joins and wheres in config file

regenerate

iteration 4 & last:

- ForeignNode(s) and ForeignSlice(s) deprecated

- Node and Slice both have a peer_id field that can be used
  for testing locality (peer_is is None)

- associations peer x node and peer x slice not managed in
  a separate table anymore (were peer_node and peer_slice)
  peer_id is defined as a native column instead

- local nodes can be retrieved with
  GetNodes (auth, {'peer_id':None})
  GetNodes (auth, {'hostname':[name1,name2], 'peer_id':None})
or
  GetNodes (auth, None, None, 'local')
  GetNodes (auth, ['name1','name2'] , None, 'local')
- foreign nodes can be retrieved similarly with
  GetNodes (auth, {'hostname':[name1,name2], '~peer_id':None})
or
  GetNodes (auth, ['name1','name2'] , None, 'foreign')

- the 4th argument to GetNodes is named 'scope'.
  It is only experimental by now,  Slices do not have it as of now,
  will decide later whether we provide it for all cached entities

- WARNING :
  Having Nodes and Slices return ALL entities might have impacts on
  other methods; most of which making sense on LOCAL entities only.
  Might need a review.

support for negation with fields starting with ~

updated

- changes to addresses, site_address, address_address_type table config (person_addresses with type 10001 now considered site_addresses)

reverting deleted->is_deleted

- update sequences values after repopulating tables

- updated to reflect recent db schema changes

- change all occurrences of slices.deleted to slices.is_deleted

adapted to cope with a myplc that doesnt know about 'system' slices

updated

added in view site_slices
WHERE deleted is false
so that deleted slices dont get reported in Site,
and more importantly dont get counted when checking for max_slices at slice creation

provides tests for slice deletion
scales to n nodes and s slices (currently 5 and 3)
kind of sslloooowww due to numerous xmlrpc requests
could use a generic mapper function in the API for optimizing that

oops, probably broke the build - my mistake
this change was need togother with another one I made yesterday on
AddSliceToNodes.py DeleteSliceFromNodes.py
remove ugly hack - just assert node isinstance of Node OR ForeignNode

- consider slices with slice attribute system=1 to be system slices
- don't add the same sliver twice

add subject field to messages table

reviewed for (more) idempotence - parts are more independant

remove ugly hack - just assert node isinstance of Node OR ForeignNode

checks for node removal in slices

DeleteSliceFromNodes needs the same cooking as AddSliceToNodes
this is not the right way to do it but it works for now

- don't quit if no message template exists

- define/modify logging variables

- add SliceInstantiation as an object_type in object_types table

- add message as an object_type in object_types table

- dump the db as postgres instead of pgsqluser

too numerous changes to detail
can run in shell mode from empty databases
still need to check for slice deletions

- remove object_ids as class variable declaration

still works in unfederated context, with a bug fix:
  slice_ids needs to be initialized from a copy of default_slice_ids

also starts working on a federating peer. in this case
- and right now the keys/attributes that come from another peer
  - i.e. through ForiegnSlices - are filled with dummy data
- we expect GetSlivers to be called mainly from a node to its canonical(MA) plc

- remove some print statements

now returns a dict rather than a tuple

- keep up to date with recent changes in planetlab4.sql schema

- fix peer_slice_slice_id_idx

- fix random bugs

- fix bug in archive_db()

- provides ability to cache foreign slices
  only LOCAL nodes are known to foreign slices, with their local id as expected

- RefreshPeer logic currently is
  *) invoke GetNodes and cache into ForeignNodes
  *) invoke ForeignNodes, not cached for now, used in next step
  *) invoke GetSlices, then caches into ForeignSlices,
     only local nodes are considered, with their alien node_ids transcoded
     to local node_ids

- gets rid of the foreign_id columns in peer_node and peer_slice,
  that turned out useless

=== a few pending issues

- GetSlivers not yet updated accordingly
  it still works on non-federated plcs

- site_id and creator_person_id in the slices table
  are not declared 'NOT NULL' anymore.
  as far as GetSlices is concerned these entries are still non null,
  as per the WHERE stuff added on view_slices

- refreshing the db to update the slice x node association is done
  in a clear-all/add-all fashion that clearly sucks.

- the caching logic is currently in Peers.py which is clearly wrong
  there's a need for refactoring these 2 types of cached objects
  to provide more genericity

old commented stuff for indexing (now that we use Table.dict) really deleted

- reconnect to db after utf8 encoding

- initial checking of db upgrade scripts

rename column is_deleted in slices as deleted for consistency with all other tables

pkills instances of Shell.py prior to dropping database

rename column is_deleted in slices as deleted for consistency with all other tables

take advantage of the new Table::dict method

- add default system slices (those beginning with PLC_SLICE_PREFIX) to
  each local node
- use Table.dict()

- allow login_base to be updated

- rename Table.row to Table.classobj for clarity
- add Table.dict() for returning table as a dict keyed on
  Row.primary_key

- add unique constraint on peer_node.node_id

updated

regenerated

everything ready to receive foreign slices
the actual part in RefreshPeer still needs to be written
based on what's done with nodes
also, peer_node and peer_slice now hold foreign_id,
i.e. the id as known on the peer side, for being able to
perform the right mapping at the time GetSlivers gets called

- allow max_slices and max_slivers to be set when adding a new site

nodenetworks cannot be referred to by ip (may be NULL)

works reasonably well, still requires manual tweak in the DB for (*& plain passwd

- fix quoting of message_id

convenience for test: scratch db, push api, this kind of stuff

- RefreshPeer & AddSliceToNodes had bugs
- foreign nodes have timestamps

- use php module directory given by php-config

peer x foreign_node relationship in a separate peer_node table -- uses new db interface

build and install our own custom xmlrpc.so extension

NULL is no longer a special value and can be marshalled; set optional parameters to their appropriate defaults

support marshalling NULL as <nil/>

build xmlrpc.so PHP extension

This commit was generated by cvs2svn to compensate for changes in r467,
which included commits to RCS files with non-trunk default branches.

add pldistro and date to release tag

regenerate

- re-enable return_fields specification
- since the primary key of each table may not be specified in
  return_fields, Table is now a list instead of a dict, which
  mirrors the actual return type of the Get() functions anyway

- selectall: key_field implies hashref

- Filters can be null

allow tuples and sets as sequence filters

oops, allow nodes to be specified by node_id for now

- fix clean rule

regenerate