regenerate

- lowercase subdirs

move docclean into clean

- be a little more verbose in the returns doc
- use peer.connect()

- add peer to roles
- fix returns

- add peer to roles
- fix accepts
- be a little more verbose in the returns doc

- add DeletePeer method

- add UpdatePeer method

- style nits, fix docs

- add peer_keys, peer_slice_attribute_types, and peer_slice_attributes
- use urlparse to validate peer URL scheme
- delete all peer entities when deleting peer

- add peer_keys, peer_slice_attribute_types, and peer_slice_attributes

- no need to pass auth struct, Peer now signs calls automatically

- make Peer a wrapper around xmlrpclib.ServerProxy, that also magically
  signs each call and checks the SSL certificate

- use PyCurlTransport and add --cacert to optionally check certificates
  if going over XML-RPC

- add GPGAuth signature authentication, primarily for peers
- require AuthMethod for consistency in SessionAuth

- peers: replace persons authentication with GPG/SSL authentication

Python "binding" for GPG. I'll write GPGME bindings eventually. The
intent is to use GPG to sign method calls, as a way of identifying
and authenticating peers. Calls should still go over an encrypted
transport such as HTTPS, with certificate checking.

Replacement for xmlrpclib.SafeTransport, which does not validate
SSL certificates. Requires PyCurl.

- must build modules before subdirs

- build psycopg2, pycurl generically
- build subdirs after metafiles

This commit was generated by cvs2svn to compensate for changes in r600,
which included commits to RCS files with non-trunk default branches.

- fix bugs

Provides test results references for

- run-m : start from 2 empty dbs, performs all tests, in mini mode
          (1 instance of each object)

- run-en : the dbs are suposed to have been populated by running -p -n
           that is with normal size, like a handful of each object
- run-eb : idem in big mode, a few hundreds of each type -
           like the public PL
- run-eh : idem in huge mode, a few thousands of each type -

1st mode is rather complete and convenient, just wipe off both dbs,
  everything is done remotely from the test node

other modes are more tedious to run,
  I usually run the populate phase locally, save the db dumps, and reinstall later on
  otherwise it's not workable
  they provide good indications of performance for
  (*) RefreshPeer from scratch
  (*) RefreshPeer in usual mode (no change done)
  (*) GetSlivers()

a rough indication in huge mode:
each plc gets populated with
1000 sites, 2000 persons, 3000 nodes & 2000 slices
1 keys/person, 3 nodes/slice & 3 persons/slice

- 1st refresh peer
   all : 407 s
   xmit:  25 s
   proc: 383 s

- 2nd refresh peer
   all :  42 s
   xmit:  25 s
   proc:  17 s
note that updating slice attributes is still not optimized wrt sync operations,
reasonably processing time could be improved to less than 10s.

- GetSlivers ()
   536 s just for getting the result from the peer, no processing

(*) Peer has new fields person_ids and site_ids
    also the former person_id field gets renamed as auth_person_id
(*) new method GetPeerName to access remote plc's name as configured in PLC_NAME
(*) System slices are cached - assuming PLC_SLICE_PREFIX are different, this is no problem
    so GetSlivers filters out remote system slices
(*) RefreshPeer returns *remote* peer name as 'peername'
    formerly 'plcname' returned *local* plc name
(*) Caching mechanism now should be operational in 3+ peers federations,
       that is to say GetPeerData returns only local and caller's objects, not third-peer's
       this requires various plc names to be correctly up to date
(*) RefreshPeer attempts to ensure this is true after a few hiccups,
       this might get improved once we have peer authentication
(*) various docs updated

removes requirement that /etc/planetlab/plc_config should exist, for use on non-myplc boxes

oops - usage was broken, still referred to global

prevents side-effect on foreign objects when appropriate

various changes in the test suite

Cache:
(*) sync only when needed - drastic improvements on peering refresh
    when up2date
(*) reverted Tony's change in Cache
(*) returns a lot of timing info in the 'timers' key

Other classes:
(*) removes refreshing of timestamps - were read-only and broke sync optim.

same function but in a class
backward-compatible
and also provides the ability to create several instances
  for testing federation scripts

- Fix casting of unicode strings in arrays

From federico on psycopg mailing list:

Il giorno mar, 28/11/2006 alle 15.33 -0500, Mark Huang ha scritto:
>> I've noticed that Unicode strings in PostgreSQL arrays are not cast to
>> Python unicode objects:

You need to register UNICODEARRAY just as you registered UNICODE but,
ouch!, it is not exported! I'll make it exported in next release, right
now you can use one of the internals:

psycopg2.extensions.register_type(psycopg2._psycopg.UNICODEARRAY)

- spacing nits
- fix wildcard check

before we switch to using new Shell.py

- modified insert_new_item to support multiple value insert in single sql statement

oops-need to revert last move

cosmetic

returns ellapsed time

defines persons_per_slice to avoid quadratic complexity - can run with DB dumps

- populate sites.max_slices correctly

foreign_xrefs should be a list and not a dict anymore

GetPeerData returns separate items for local and peer data

new naming scheme for outputs and reference outputs

new limit on nodes_per_slice to avoid quadratic total time on big tests

(*) implements validate_ methods for all timestamp objects
(*) now allows multiple sync() calls on the same object by
    reverting human-readable form to unix timestamp if needed
(*) removes extra reload formerly needed in Cache

- order queried events by event_id

- added support for wildcards in dictionary filters

- only add optional arguments if specified

- log affected object_ids

- - removed anything having to do with event_type/event_object

- removed anything having to with event_type/event_object

- fix probable checkin of debug code

- added logging vars

- insert Sliver into object_types table

- insert peers to object_types table

- fix check for foreign node
- fix case when multiple slice attributes of the same type have been set
  (e.g. proper_op)

creates a fixed number of keys, huge test would issue 200x200 keys through xmlrpc otherwise

updated with dump

(*) direct cross refs redefined as NOT NULL in the database
    (e.g. Node:site_id, Person:site_id, Slice:creator_person_id)
    NOTE. I screwed up, this was already in former commit of planetlab4.sql,

(*) cross-ref mechanism reviewed
    could not handle several xrefs with the same type in the same table

(*) undid ad-hoc trick for selecting local/foreign nodes (was named scope)
    had no added-value and was only used in TestPeers anyway

adopted as reference

- fixed how node['slice_ids'] are filterd

- use all_slice_ids when checking slice_ids in node['slice_ids']

(*) full support for database caching, including SliceAttributes
(*) looks OK but further tests are required
(*) system slices to be checked with latest implementation from Mark
    (I haven't got anything realting to pl_conf and such in GetSlivers
     since Mark made that change)
(*) TestPeers to dump both status verbatim

- remove invalid (i.e. expired) slice_ids from from node['slice_ids']

ooops

(*) slice atttribute types get cached
(*) TestPeers to create custom slice attribute types and slice attributes
(*) new method GetPeerData to allow RefreshPeer to perform
    a single xmlrpc request (overall improvement : x 3 on small deployments)
(*) Cache created with a peer_id rather than with a peer,
    so as to remove a useless dependency (arg check done by RefreshPeer)
(*) caching slice attributes will require another method,
    equality cannot be based on a single column as for other types
    of cached data; ongoing

removes time-dependent data before diffing out and ref

more precise timing

more detailed info passed when raising an exception

cleanup

caching sites, connected to persons, and nodes
Cache had a bug in handling simple (belongs_to-like) xrefs (e.g. site_id in persons)

new targets

more consistent slice-naming scheme

new ref output for TestPeers.py

create multiple sites, attached to persons and slices

persons get connected to slices. GetSlivers reports the right keys
the test framework provides timing information for evaluating performance
also the number of xmlrpc requests is kept to 4, for keys, persons, nodes and slices

Persons gets cached and connected to Keys (not tested until GetSlivers yet)
reference output of TestPeers under cvs

yet todo:
check GetSlivers

Optimize the set of calls each peer sends other peers, the current
scheme tends to be slow because of too many small requests being issued
consider writing a dedicated Method at some point

frun to run fast (1x1x1x1) test

add system slices on local hosts only -
though I'm not sure I understand what sense it makes for a plc
to answer GetSlivers for a non-local node

testing keys

cached Keys
the class_id field in cached classes is deprecated, it was redundant with primary_key,

accessories objects (transcoder and xreftable) instantiated once per xref_class

this version uses the first release of Cache.py

Generic cache management algorithm
(*) Transcoder class implements translation between alien ids (ids referring to another peer's DB) into the local DB
(*) XrefTable class implements DB access to bilateral n-to-n relationsships like slice_node
(*) Cache basically gets object lists from the peer, and calls update_table sequentially

A lot of stuff was removed from Peer and RefreshPeer, as well as Slices and was rewritten here

The classes subject to this now need to define extra attributes:
(*) class_id : e.g. 'node_id'
(*) class_key : e.g. 'hostname'
(*) foreign_fields : the list of stuff we copy verbatim from foreign objects
(*) foreign_xrefs : specify what cross-references should be solved and how, see Slices for an example

yet to do:
(*) improve intermediate objects allocation (transcoders and xreftables are created on the fly)
(*) use for importing keys, persons and slice attributes.

miscell

- fix print statements

- comments

- fix db archive

- cast default values correctly

- fix db encoding check

- support joins and wheres in config file

regenerate

iteration 4 & last:

- ForeignNode(s) and ForeignSlice(s) deprecated

- Node and Slice both have a peer_id field that can be used
  for testing locality (peer_is is None)

- associations peer x node and peer x slice not managed in
  a separate table anymore (were peer_node and peer_slice)
  peer_id is defined as a native column instead

- local nodes can be retrieved with
  GetNodes (auth, {'peer_id':None})
  GetNodes (auth, {'hostname':[name1,name2], 'peer_id':None})
or
  GetNodes (auth, None, None, 'local')
  GetNodes (auth, ['name1','name2'] , None, 'local')
- foreign nodes can be retrieved similarly with
  GetNodes (auth, {'hostname':[name1,name2], '~peer_id':None})
or
  GetNodes (auth, ['name1','name2'] , None, 'foreign')

- the 4th argument to GetNodes is named 'scope'.
  It is only experimental by now,  Slices do not have it as of now,
  will decide later whether we provide it for all cached entities

- WARNING :
  Having Nodes and Slices return ALL entities might have impacts on
  other methods; most of which making sense on LOCAL entities only.
  Might need a review.

support for negation with fields starting with ~

updated

- changes to addresses, site_address, address_address_type table config (person_addresses with type 10001 now considered site_addresses)

reverting deleted->is_deleted

- update sequences values after repopulating tables

- updated to reflect recent db schema changes

- change all occurrences of slices.deleted to slices.is_deleted

adapted to cope with a myplc that doesnt know about 'system' slices