returns ellapsed time

defines persons_per_slice to avoid quadratic complexity - can run with DB dumps

- populate sites.max_slices correctly

foreign_xrefs should be a list and not a dict anymore

GetPeerData returns separate items for local and peer data

new naming scheme for outputs and reference outputs

new limit on nodes_per_slice to avoid quadratic total time on big tests

(*) implements validate_ methods for all timestamp objects
(*) now allows multiple sync() calls on the same object by
    reverting human-readable form to unix timestamp if needed
(*) removes extra reload formerly needed in Cache

- order queried events by event_id

- added support for wildcards in dictionary filters

- only add optional arguments if specified

- log affected object_ids

- - removed anything having to do with event_type/event_object

- removed anything having to with event_type/event_object

- fix probable checkin of debug code

- added logging vars

- insert Sliver into object_types table

- insert peers to object_types table

- fix check for foreign node
- fix case when multiple slice attributes of the same type have been set
  (e.g. proper_op)

creates a fixed number of keys, huge test would issue 200x200 keys through xmlrpc otherwise

updated with dump

(*) direct cross refs redefined as NOT NULL in the database
    (e.g. Node:site_id, Person:site_id, Slice:creator_person_id)
    NOTE. I screwed up, this was already in former commit of planetlab4.sql,

(*) cross-ref mechanism reviewed
    could not handle several xrefs with the same type in the same table

(*) undid ad-hoc trick for selecting local/foreign nodes (was named scope)
    had no added-value and was only used in TestPeers anyway

adopted as reference

- fixed how node['slice_ids'] are filterd

- use all_slice_ids when checking slice_ids in node['slice_ids']

(*) full support for database caching, including SliceAttributes
(*) looks OK but further tests are required
(*) system slices to be checked with latest implementation from Mark
    (I haven't got anything realting to pl_conf and such in GetSlivers
     since Mark made that change)
(*) TestPeers to dump both status verbatim

- remove invalid (i.e. expired) slice_ids from from node['slice_ids']

ooops

(*) slice atttribute types get cached
(*) TestPeers to create custom slice attribute types and slice attributes
(*) new method GetPeerData to allow RefreshPeer to perform
    a single xmlrpc request (overall improvement : x 3 on small deployments)
(*) Cache created with a peer_id rather than with a peer,
    so as to remove a useless dependency (arg check done by RefreshPeer)
(*) caching slice attributes will require another method,
    equality cannot be based on a single column as for other types
    of cached data; ongoing

removes time-dependent data before diffing out and ref

more precise timing

more detailed info passed when raising an exception

cleanup

caching sites, connected to persons, and nodes
Cache had a bug in handling simple (belongs_to-like) xrefs (e.g. site_id in persons)

new targets

more consistent slice-naming scheme

new ref output for TestPeers.py

create multiple sites, attached to persons and slices

persons get connected to slices. GetSlivers reports the right keys
the test framework provides timing information for evaluating performance
also the number of xmlrpc requests is kept to 4, for keys, persons, nodes and slices

Persons gets cached and connected to Keys (not tested until GetSlivers yet)
reference output of TestPeers under cvs

yet todo:
check GetSlivers

Optimize the set of calls each peer sends other peers, the current
scheme tends to be slow because of too many small requests being issued
consider writing a dedicated Method at some point

frun to run fast (1x1x1x1) test

add system slices on local hosts only -
though I'm not sure I understand what sense it makes for a plc
to answer GetSlivers for a non-local node

testing keys

cached Keys
the class_id field in cached classes is deprecated, it was redundant with primary_key,

accessories objects (transcoder and xreftable) instantiated once per xref_class

this version uses the first release of Cache.py

Generic cache management algorithm
(*) Transcoder class implements translation between alien ids (ids referring to another peer's DB) into the local DB
(*) XrefTable class implements DB access to bilateral n-to-n relationsships like slice_node
(*) Cache basically gets object lists from the peer, and calls update_table sequentially

A lot of stuff was removed from Peer and RefreshPeer, as well as Slices and was rewritten here

The classes subject to this now need to define extra attributes:
(*) class_id : e.g. 'node_id'
(*) class_key : e.g. 'hostname'
(*) foreign_fields : the list of stuff we copy verbatim from foreign objects
(*) foreign_xrefs : specify what cross-references should be solved and how, see Slices for an example

yet to do:
(*) improve intermediate objects allocation (transcoders and xreftables are created on the fly)
(*) use for importing keys, persons and slice attributes.

miscell

- fix print statements

- comments

- fix db archive

- cast default values correctly

- fix db encoding check

- support joins and wheres in config file

regenerate

iteration 4 & last:

- ForeignNode(s) and ForeignSlice(s) deprecated

- Node and Slice both have a peer_id field that can be used
  for testing locality (peer_is is None)

- associations peer x node and peer x slice not managed in
  a separate table anymore (were peer_node and peer_slice)
  peer_id is defined as a native column instead

- local nodes can be retrieved with
  GetNodes (auth, {'peer_id':None})
  GetNodes (auth, {'hostname':[name1,name2], 'peer_id':None})
or
  GetNodes (auth, None, None, 'local')
  GetNodes (auth, ['name1','name2'] , None, 'local')
- foreign nodes can be retrieved similarly with
  GetNodes (auth, {'hostname':[name1,name2], '~peer_id':None})
or
  GetNodes (auth, ['name1','name2'] , None, 'foreign')

- the 4th argument to GetNodes is named 'scope'.
  It is only experimental by now,  Slices do not have it as of now,
  will decide later whether we provide it for all cached entities

- WARNING :
  Having Nodes and Slices return ALL entities might have impacts on
  other methods; most of which making sense on LOCAL entities only.
  Might need a review.

support for negation with fields starting with ~

updated

- changes to addresses, site_address, address_address_type table config (person_addresses with type 10001 now considered site_addresses)

reverting deleted->is_deleted

- update sequences values after repopulating tables

- updated to reflect recent db schema changes

- change all occurrences of slices.deleted to slices.is_deleted

adapted to cope with a myplc that doesnt know about 'system' slices

updated

added in view site_slices
WHERE deleted is false
so that deleted slices dont get reported in Site,
and more importantly dont get counted when checking for max_slices at slice creation

provides tests for slice deletion
scales to n nodes and s slices (currently 5 and 3)
kind of sslloooowww due to numerous xmlrpc requests
could use a generic mapper function in the API for optimizing that

oops, probably broke the build - my mistake
this change was need togother with another one I made yesterday on
AddSliceToNodes.py DeleteSliceFromNodes.py
remove ugly hack - just assert node isinstance of Node OR ForeignNode

- consider slices with slice attribute system=1 to be system slices
- don't add the same sliver twice

add subject field to messages table

reviewed for (more) idempotence - parts are more independant

remove ugly hack - just assert node isinstance of Node OR ForeignNode

checks for node removal in slices

DeleteSliceFromNodes needs the same cooking as AddSliceToNodes
this is not the right way to do it but it works for now

- don't quit if no message template exists

- define/modify logging variables

- add SliceInstantiation as an object_type in object_types table

- add message as an object_type in object_types table

- dump the db as postgres instead of pgsqluser

too numerous changes to detail
can run in shell mode from empty databases
still need to check for slice deletions

- remove object_ids as class variable declaration

still works in unfederated context, with a bug fix:
  slice_ids needs to be initialized from a copy of default_slice_ids

also starts working on a federating peer. in this case
- and right now the keys/attributes that come from another peer
  - i.e. through ForiegnSlices - are filled with dummy data
- we expect GetSlivers to be called mainly from a node to its canonical(MA) plc

- remove some print statements

now returns a dict rather than a tuple

- keep up to date with recent changes in planetlab4.sql schema

- fix peer_slice_slice_id_idx

- fix random bugs

- fix bug in archive_db()

- provides ability to cache foreign slices
  only LOCAL nodes are known to foreign slices, with their local id as expected

- RefreshPeer logic currently is
  *) invoke GetNodes and cache into ForeignNodes
  *) invoke ForeignNodes, not cached for now, used in next step
  *) invoke GetSlices, then caches into ForeignSlices,
     only local nodes are considered, with their alien node_ids transcoded
     to local node_ids

- gets rid of the foreign_id columns in peer_node and peer_slice,
  that turned out useless

=== a few pending issues

- GetSlivers not yet updated accordingly
  it still works on non-federated plcs

- site_id and creator_person_id in the slices table
  are not declared 'NOT NULL' anymore.
  as far as GetSlices is concerned these entries are still non null,
  as per the WHERE stuff added on view_slices

- refreshing the db to update the slice x node association is done
  in a clear-all/add-all fashion that clearly sucks.

- the caching logic is currently in Peers.py which is clearly wrong
  there's a need for refactoring these 2 types of cached objects
  to provide more genericity

old commented stuff for indexing (now that we use Table.dict) really deleted

- reconnect to db after utf8 encoding

- initial checking of db upgrade scripts

rename column is_deleted in slices as deleted for consistency with all other tables

pkills instances of Shell.py prior to dropping database

rename column is_deleted in slices as deleted for consistency with all other tables

take advantage of the new Table::dict method

- add default system slices (those beginning with PLC_SLICE_PREFIX) to
  each local node
- use Table.dict()

- allow login_base to be updated

- rename Table.row to Table.classobj for clarity
- add Table.dict() for returning table as a dict keyed on
  Row.primary_key

- add unique constraint on peer_node.node_id