Merge with HEAD, close aly's branch.

Fix metadata breakage from recent commit

Merge TCP handshake stuff

Merge non-handshake stuff

log "Connected" after succefull handshake in tunchannel_impl.py

added Tun device for netns

WORKING WORKING WOOOHOOO!!!!!!!!!
I'm outa here... must... get... drunk...

tcp_handshake works!

udp and gre are working. tcp_handshake is not working yet.

Multicast fixes

Working (and easy to use) multicast forwarding

Added TCP-handshake for TunChannel and tun_connect.py

Multicast forwarding KINDA working

corrected logging of function name in cross connection

Added CLEAN_ROOT option to DEPLOYMENT_ATTRIBUTES. This option force removal of the server's root_directory if it exists already.

corrected typo.

Oops - copypaste stupidity
 Yep - there's a lot of it

Merge with head

Ignore MetaAttribute flags for local factories

bugfix: in server.Server, inside the message read loop, a break was donde after a read timeout. After that the Server stayed blocked in accept().

The loglevel of logging is now set from the ExperimentController depending on the access_configuration setup.

Enhanced multicast support: generate IGMP messages for join/leave
The kernel seems to miss many of them when they're associated to virtual interfaces

Avoid using PLE for tests

Silence Server in tests

Missing import

Fix copypaste stupidity

UDP TunChannel handshake

Implement UDP handshake in tunchannel, so that other testbeds can use it

Do not require a real PL for tests.
Mostly since it's lagging behind in features

Sanitizing os.reads for EINTR in server.py. The suspicion of pyqt using Twisted grows bigger.

Forwarder must also forward EOF!!
(And server must detect it and re-listen)

Autodetect NEPI's path

disabled sudo integration test for netns testbed.

merge.

Daemonized servers are now always launched with popen, and not directly invoked in the same process.

 - Incomplete multicast support (initial work)
 - Bandwidth limit for TUN/TAP
 - Classful queue improvements, especially on tunchannel when using custom queues

ClassQueueFilter working in PlanetLab. Results need to be verified.

SSH timeout. It tends to... hang. Whatevah...

Merge with head

tun_connect fix: forgot to pass queueclass to tun_fwd (oops)

Added trace netref to lookup for trace[trace_id].[attribute]

+ClassQueueFilter
+TosQueueFilter

And compacted metadata a bit

Automatic expansion in Metadata:
  (TESTBED_ID, (FACTORY_ID1, FACTORY_ID2), CONN)
->
  (TESTBED_ID, FACTORY_ID1, CONN)
  (TESTBED_ID, FACTORY_ID2, CONN)

missing "scripts" dir in planetlab tunfilter classes path.

Make TunFilter find builtin scripts for the user

Class-based queue for tunnels

Finally a Serial Murder Death Killer do_cleanup

Validate testbed attributes early

Merge with aly's

PlanetLab recovery fix: if cleanup is enable, for Pete's sake DON'T CLEAN UP ON RECOVERY

Make sure tests clean up after them, by setting dedicatedSlice=True and by trapping exceptions in shutdown.

More stable conditions for loss tests, make the tests succeed more consistently

Fix threadcache to reset itself upon fork.
Cached threads are no longer alive after a fork

Be a little more verbose about filters

Fix plr50.c:
 - Allow specifying a seed (and seed to a default), for repeatable results
 - Fix PLR formula - was inverted

Replace prints with logging

merge with head

bug fix in GUID/label replacement.

Merge with head

TOS test, and a fix or two to custom queues

Custom queues and a new and shiny TOS queue

merge -r 411

sudo -S that is

Unpacked shipped rpms with sudo

Ticket 87: "[NEPI] Experiment started on..."

removed device_name from tunchan. now attribute is if_name

Re-enable benchs

Tunchannel fixes galore:
 * Fix lockups at shutdown that would keep the tun_connect.py script at 100% forever
 * Make sure UDP tunnels connect (at least at first), by performing a small handshake
 * Fix tunproto.py to effectively raise exceptions on misconnection (was swallowing them)
 * Fix tunproto.py to effectively wait for listening/connected endpoints
 * Filter fixes: ingress filters should be applied after decryption

PL execute test
 * Configurable slice
 * Automatic vsys_vnet
 * Tidy shutdown
 * dedicatedSlice=True for clean operation

Better cleanup - really really kill stuff

Add nice priority to YumDependency's yum commands.
They use up a good amount of CPU, and on nodes with many slices concurrently running yum, it could affect running experiments in other slices.

Apply the PLR only to the incoming direction, thus avoiding double application of the PLR (in egress and ingress)

Thread cache, to re-use threads.
It so happens that the per-user process limit includes DEAD threads, which is nonsense, but it does.
Maybe python doesn't clean up properly, but whatever the reason, there is a limit even in nonconcurrent threads created.
To mitigate that, a thread cache is used in the parallel module to avoid creating thousands of threads and reaching that limit.

TUN/TAP filters, initial version, with tests.
Still not completely right: the acceptance filter seems to be applied twice.
Maybe ingress and egress acceptance filters should be separate.

Allow routing through /vsys/sliceip.
Disable for now, PL nodes do a kernel panic when that script is used!

PLCAPI wrapper for getting slice tags

Kill more efficiently

If the app runs with sudo, kill with sudo

Fix GRE tests to NOT use encryption

Do not stay alive indefinitely, PL cleans up itself, but only IF tun_connect eventually dies.

Configurable cipher for tunnelling

Merge with head

TunChannel improvements:
 - Use python-iovec library for increased performance
 - In PlanetLab, support for GRE tunnels

Test fix: make the trace-checking regex accept exponential notation of numbers

Slice cleanup: dedicated slices can be cleaned up thoroughly.
The user only has to set the appropriate testbed attribute

YumDependency fix: try tar twice, yum seems to be working in the background at times

BUgfix in ns3 testbed, when scheuling an event, the condition was released always after a wait.

BugFix: Tixket #84 - [NEF] netns can't run with daemonized experiment controller.

added integration test fot netns

bugfix: ns3 connection metadata

More encodign fixes, xml does not know how to encode \x00

Merge with head

Encoding fix: make sure to pass unicode objects for xml serialization

Fix shutdown to use the proper stop procedure (schedule the stop event thread-safely) and wait for the simulator thread to stop.

More optimizations: remove packet logging, not needed now that tunnels use tcpdump for that

TUN/TAP optimizations, generizations, and a benchmark

Some apps need more than one kill to die.

Fix the txqueuelen TUN/TAP attribute (typo)

Set TUN/TAP devices to ONE_QUEUE mode, which is more stable.
Otherwise, heavily-loaded tunnels can destabilize PlanetLab kernels.

Allow multiple occurrences (even recursive occurrences) of netrefs