Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

Conflicts:
sfa/rspecs/rspec.py

RSpec: added a ttl parameter, this duration will set the expires tag in request rspec, default=60 minutes

Setting tag sfa-3.1-9
Register can change the user keys using 'reg-keys' as well as 'keys'
also accept a single string rather than a list of keys
remove 'geni_api' from the registry GetVersion (which is not based on geni anymore)
bump the 'sfa' tag in the same registry GetVersion to 3
remove all mutable used as default arguments

accept a 'reg-keys' argument as a simple string insted of a list of strings in Register

previous change was not correct

dealing with reg-keys vs just keys
because of the high number of occurrences of 'keys' in the code, I do a quick and dirty thing but it could probably use more care

remove 'geni_api' from the registry GetVersion (which is not based on geni anymore)
and bump the 'sfa' tag in the same registry GetVersion to 3

huge cleanup for removing mutables used as default
http://stackoverflow.com/questions/1132941/least-astonishment-in-python-the-mutable-default-argument

Setting tag sfa-3.1-8
bugfix, sfi remove was broken

bugfix - sfi remove was broken

Setting tag sfa-3.1-7
sfi return code should be more meaningful - not yet for all commands though
DEFAULT_CREDENTIAL_LIFETIME now 28 days (was 31)
dropped support for legacy credentials
bugfix: short-lived credentials triggered a bug with UTC translated into localtime
further minor cleanup of timestamp formats

cleanup

restore default credential validity period to 28 days
had been inadvertantly committed as 2 hours for a while when debugging the short-lived credential issue
used to be 31 days prior to that

cosmetic, rename variable expected to be a datetime as 'dt' as opposed to 'input' that can be a string or number or datetime

bugfix for the issue reported by Brecht when using short-lived credentials
there was one conversion that mixed UTC and localtime in datetime_to_epoch

more cleanup on timestamps - issue with short-lived credentials still present though

debug msgs

a little more robust against odd conditions

sfi retcod should now be a bit more meaningful - maybe not for all commands though
not quite sure how a returnvalue should be analyzed - see method 'success' here

more accurate comment

this goes with previous commit

drop support for legacy credentials

Setting tag sfa-3.1-6
iotlab driver: Allocate uses OAR
iotlab driver: using actual_caller_hrn

iotlab driver: using actual_caller_hrn form options on Allocate call, allow the testbed to know which of the users of the slice launched the call, works even with delegated creds

Merge branch 'geni-v3' of git.onelab.eu/sfa into geni-v3

iotlab driver: updated the Allocate function to work with the iotlab testbed using OAR

Setting tag sfa-3.1-5
Slice Manager is down by default
sfi renew -l/--as-long-as-possible and e.g. sfi renew <> +2[d|w|m]
also renew tries to find a max date for renewal instead of bailing out
sfaclientlib file names scheme keeps track of user as well as object for credentials
none fields get removed before sending over xmlrpc - partially for now
cleanup on time formats and - hopefully timezones
cleanup on speaking_for
Allocate passes actual_caller_hrn as part of options to driver
iotlab driver and leases
new modules abac_credential, credential_factory and speaksfor_util

dos2unix'ed abac_credential

oops this was meant in the previous commit

always using utcnow on datetime objects

substantial cleanup of the renew method and client
* sfi -l aka --as-long-as-possible is supported in sfi
* sfi renew <> +2d / +3w / +4m is now working as well as the other time formats (int, rfc3339...)
* most importantly the final expiration time is trimmed to the min of credential expiration and max_slice_renewal, but goes on with these values instead of whining

provide an example to sfi renew help

more helpful log line for Renew

remove duplicate log line

describe now returns something so we can properly fetch the rspec in there

review and clean up the speaks_for mess
some methods seem to need this addition too but for now I'd rather not mix both issues

turn off slice manager by default

cosmetic again

cosmetic, create a single Credential instance named the_credential

Credential.actual_caller_hrn tries to find out who is really calling, for delegated credentials
Allocate takes advantage of this to pass options['actual_caller_hrn'] to its driver

remove references to speaking_for_hrn

another attempts at working arouns the options issue

undo woraround before we try something else

it is wrong and dangerous to define defaut arguments as a mutable like []

woraround for undefined 'options' in checkCredentials

remove debug logging

declare speaks_for_gid

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

add get_leases method with filter slice_hrn for listing leases in allocate method

bugfix when you submit many leases on same resources

dos2unix'ed

cosmetic

pass options to auth.check

fix speaks for auth

fix speaks for auth

fix speaks for auth

bugfix when user has no key

review uses of strftime to use a common central date format sfatime.SFATIME_FORMAT

on Lucia's behalf : cleanup xmlrpc args that might have None values as this is not accepted on the emulab-based iminds server-side

change naming scheme for credentials held by clientbootstrap (and thus sfi)
so that we can store credentials for different users, so that sfi -u works as expected

cosmetic

Setting tag sfa-3.1-4
for register and update, client is expected to set
reg-researchers rather than researcher
reg-pis rather than pi
although the old forms are still supported
renamed sfi add into sfi register (add still works)
sfaadmin to return a meaningful exit code when fails
fix for sfadump
plimporter to report and ignore person or slice without a hrn
add support for stuff like sfi update -t slice -x the.slice.hrn -r none

typo in comment

just repair indentations after renaming @args into @add_options

align internal name 'pis' -> 'reg_pis' in sfi.py

deal with 'pi' vs 'reg-pis'

make the normalize function reusable

simplify normalize_input_researcher
nobody ever complained aobut this 'researchers' thing os let's keep things simple here

review the comment about normalizing input records in register/update

cleaning up

it is dangerous to set defaults to mutable objects like [] or {}
plus, we don't actually use this

description was not passed to register
email was not passed to update
use consistent ordering

throw 1 as an exit retcod when things go wrong

sfaadmin to use reg-researchers as well

use more consistent names @args -> @add_options - internal 'options'->'add_options' as well

reordered imports

fix sfi aliases - sfi add would not work

sfi exit code non-0 if unknown command

dealing with reg-researchers vs researcher
register and update now expect 'reg-researchers' to be set
for legacy if instead we find 'researcher' (sic: singular) then we pretend it was 'reg-researchers'
not terribly nice but should work for that one relation, others to follow

no change, reviews comments

add_option based on command canonical name, so sfi add can recognize e.g. -t user

more room for args

support for --researchers none so one can clean the set of users in a slice - mostly a convenience for tests

rename register_command into declare_command that is less confusing now that we have a register command

add a -n/--no-details option to sfi show;
when provided Resolve is called with details=False, so we really get only the registry's view

create the ability to defein aliases within afi commands
so fomw now on 'register' is the official name for calling registry's Register
sfi add can still be used as an alias

fix make sync in test infra based on lxc containers

somehow we happen to have persons and slices without an hrn
until we get this more properly fixed these currently get skipped so the process can get through

cosmetic change for more readable logs

fix so that sfadump can be used to inspect gids and creds

Quick patch as the registry on PLE was returning
'urn': 'urn:publicid:IDN++ple'
which broke manifold down the road
With this patch in place we now get
'urn': 'urn:publicid:IDN+ple+authority+sa’
instead which is already better

Setting tag sfa-3.1-3
fix for user hrn's that have a dash in their leaf
fix for names of GENI federates
fix for SFA_MAX_SLICE_RENEW

magic for debugging in make

when GetCredential is called with an explicit type, do not 'guess' that we might be dealing with a sliver based on hrn leaf

cosmetic, access dbsession object only when needed

test boxes don't have the /rootfs/ path anymore

pl: we need to distinguish between local pl sites/slices and foreign ones coming from the federation

Describe(): no need to send None value in api_options

v2_to_v3_adapter : record.sync() takes dbsession as an arg

dummyaggregate: fix get_slivers()