Setting tag sfa-3.1-11
various tweaks for the openlab demo
first stab at uploading onto a pypi (for pip install sfa)

a first step towards publishing on pypi (so that one can install this using pip install sfa)

provide a more decent default to SCMURL for version.py when not run from within a build box
hopefully useful for when pushing onto pypi - if we can get that to work

use markdown for the README - updated that one with more deatils and links

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

# Please enter a commit message to explain why this merge is necessary,
# especially if it merges an updated upstream into a topic branch.
#
# Lines starting with '#' will be ignored, and an empty message aborts
# the commit.

updated licence

RSpecs optional parameter expires to manage reservation of resources in WiLab.t

SFA RSpec ttl param set expires tag to 60 min as default

MyPLC fix: slice expires set with UpdateSlice, not possbile with AddSlice

Reset GIDs in SFA DB - allows to use email in SubjectAltName of the GIDs

GID using email in SubjectAltName

AddPerson ignores 'enabled':True, need to issue an UpdatePerson specifically

Setting tag sfa-3.1-10
rewrote an optimized version of verify_persons in the PL driver:
Allocate and Provision should now perform much faster
in the bargain, changed the way dummy persons are created by SFA:
the sfa email is used when free, otherwise a fake email is made up from hrn
e.g. hrn=onelab.inria.thierry_parmentelat -> email=thierry_parmentelat@onelab.inria.stub
verify_chain debug flow does not up any more by default
various fixes in the iotlab driver

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

iotlab driver fixed for OneLab in Production

allow allocate to receive an empty rspec, which is the only way a user can release her resources

debug statements about verify_chain are very verbose, so they are now disabled by default

Hopefully this version of plslices.py should be usable
Slightly changed the strategy for creating dummy person instances
It is first attempted with the email provided by the caller, but that might fail because of email duplication
In this case we use an email that is derived from the hrn, like e.g.
hrn=onelab.inria.thierry_parmentelat -> email=thierry_parmentelat@onelab.inria.stub

further refinements to plslices
avoid retrieving all sites
set all attributes at creation time instead of creating and then updating multiple times

avoiding an API call if possible

various bug fixes on the new release of verify_persons

rewrote verify_persons
this takes advantage of (and requires) plcapi-5.3.5, so we don't need to query the whole set of Persons and Slices and all
result is much more efficient than the previous release
also it is expected to fix the issue with onelab users coming with the same email as their ple counterpart

cleanup

ofelia rspecs: default parameter for filter is None

iotlab driver: wip fixing Timur's bug when a user already has an account in LDAP, the system doesn't know how to choose between 2 accounts, we maybe should add a user_hrn or user_urn in iotlab LDAP

Merge branch 'iotlab_fixes' into geni-v3

Conflicts:
sfa/iotlab/OARrestapi.py
sfa/iotlab/iotlabaggregate.py
sfa/iotlab/iotlabdriver.py
sfa/iotlab/iotlabshell.py
sfa/iotlab/iotlabslices.py

iotlab driver: OAR rest API sends back error messages, Applying Jordan's changes

iotlab driver: Applying Jordan's changes in iotlabslices.py

iotlab driver: Removed the 4 minutes, which were added by default to the leases in order to have aligned timeslots in MySlice

iotlab driver: applying Jordan's fixes to the driver

iotlab driver: Merge allowing to validate delegated credentials, Fix of Allocate and Provision

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

Conflicts:
sfa/iotlab/iotlabaggregate.py
sfa/iotlab/iotlabslices.py

Trying to fix iotlab driver, need to be tested

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

Conflicts:
sfa/rspecs/rspec.py

RSpec: added a ttl parameter, this duration will set the expires tag in request rspec, default=60 minutes

Setting tag sfa-3.1-9
Register can change the user keys using 'reg-keys' as well as 'keys'
also accept a single string rather than a list of keys
remove 'geni_api' from the registry GetVersion (which is not based on geni anymore)
bump the 'sfa' tag in the same registry GetVersion to 3
remove all mutable used as default arguments

accept a 'reg-keys' argument as a simple string insted of a list of strings in Register

previous change was not correct

dealing with reg-keys vs just keys
because of the high number of occurrences of 'keys' in the code, I do a quick and dirty thing but it could probably use more care

remove 'geni_api' from the registry GetVersion (which is not based on geni anymore)
and bump the 'sfa' tag in the same registry GetVersion to 3

huge cleanup for removing mutables used as default
http://stackoverflow.com/questions/1132941/least-astonishment-in-python-the-mutable-default-argument

Setting tag sfa-3.1-8
bugfix, sfi remove was broken

bugfix - sfi remove was broken

Setting tag sfa-3.1-7
sfi return code should be more meaningful - not yet for all commands though
DEFAULT_CREDENTIAL_LIFETIME now 28 days (was 31)
dropped support for legacy credentials
bugfix: short-lived credentials triggered a bug with UTC translated into localtime
further minor cleanup of timestamp formats

cleanup

restore default credential validity period to 28 days
had been inadvertantly committed as 2 hours for a while when debugging the short-lived credential issue
used to be 31 days prior to that

cosmetic, rename variable expected to be a datetime as 'dt' as opposed to 'input' that can be a string or number or datetime

bugfix for the issue reported by Brecht when using short-lived credentials
there was one conversion that mixed UTC and localtime in datetime_to_epoch

more cleanup on timestamps - issue with short-lived credentials still present though

debug msgs

a little more robust against odd conditions

sfi retcod should now be a bit more meaningful - maybe not for all commands though
not quite sure how a returnvalue should be analyzed - see method 'success' here

more accurate comment

this goes with previous commit

drop support for legacy credentials

Setting tag sfa-3.1-6
iotlab driver: Allocate uses OAR
iotlab driver: using actual_caller_hrn

iotlab driver: using actual_caller_hrn form options on Allocate call, allow the testbed to know which of the users of the slice launched the call, works even with delegated creds

Merge branch 'geni-v3' of git.onelab.eu/sfa into geni-v3

iotlab driver: updated the Allocate function to work with the iotlab testbed using OAR

Setting tag sfa-3.1-5
Slice Manager is down by default
sfi renew -l/--as-long-as-possible and e.g. sfi renew <> +2[d|w|m]
also renew tries to find a max date for renewal instead of bailing out
sfaclientlib file names scheme keeps track of user as well as object for credentials
none fields get removed before sending over xmlrpc - partially for now
cleanup on time formats and - hopefully timezones
cleanup on speaking_for
Allocate passes actual_caller_hrn as part of options to driver
iotlab driver and leases
new modules abac_credential, credential_factory and speaksfor_util

dos2unix'ed abac_credential

oops this was meant in the previous commit

always using utcnow on datetime objects

substantial cleanup of the renew method and client
* sfi -l aka --as-long-as-possible is supported in sfi
* sfi renew <> +2d / +3w / +4m is now working as well as the other time formats (int, rfc3339...)
* most importantly the final expiration time is trimmed to the min of credential expiration and max_slice_renewal, but goes on with these values instead of whining

provide an example to sfi renew help

more helpful log line for Renew

remove duplicate log line

describe now returns something so we can properly fetch the rspec in there

review and clean up the speaks_for mess
some methods seem to need this addition too but for now I'd rather not mix both issues

turn off slice manager by default

cosmetic again

cosmetic, create a single Credential instance named the_credential

Credential.actual_caller_hrn tries to find out who is really calling, for delegated credentials
Allocate takes advantage of this to pass options['actual_caller_hrn'] to its driver

remove references to speaking_for_hrn

another attempts at working arouns the options issue

undo woraround before we try something else

it is wrong and dangerous to define defaut arguments as a mutable like []

woraround for undefined 'options' in checkCredentials

remove debug logging

declare speaks_for_gid

Merge branch 'geni-v3' of ssh://git.onelab.eu/git/sfa into geni-v3

add get_leases method with filter slice_hrn for listing leases in allocate method

bugfix when you submit many leases on same resources

dos2unix'ed

cosmetic

pass options to auth.check

fix speaks for auth

fix speaks for auth

fix speaks for auth

bugfix when user has no key

review uses of strftime to use a common central date format sfatime.SFATIME_FORMAT

on Lucia's behalf : cleanup xmlrpc args that might have None values as this is not accepted on the emulab-based iminds server-side

change naming scheme for credentials held by clientbootstrap (and thus sfi)
so that we can store credentials for different users, so that sfi -u works as expected

cosmetic

Setting tag sfa-3.1-4
for register and update, client is expected to set
reg-researchers rather than researcher
reg-pis rather than pi
although the old forms are still supported
renamed sfi add into sfi register (add still works)
sfaadmin to return a meaningful exit code when fails
fix for sfadump
plimporter to report and ignore person or slice without a hrn
add support for stuff like sfi update -t slice -x the.slice.hrn -r none

typo in comment

just repair indentations after renaming @args into @add_options

align internal name 'pis' -> 'reg_pis' in sfi.py

deal with 'pi' vs 'reg-pis'

make the normalize function reusable