ovs-brcompatd: First cut at integration with new config db

This is an extremely lightly tested attempt at switching ovs-brcompatd
from using the config file to the new config db.  There are a lot of
shortcomings in this cut, but we need to make progress on the XenServer
integration, so it's going in now.  Expect changes in the near future.

ovs-vsctl: Fix minor memory leak in add_port().

Update .gitignore files

xenserver: Modify init scripts to use new configuration database

xenserver: Remove ip_gre kernel module when other modules are removed

ovs-vsctl: New commands for working with external IDs.

This aids XenServer integration and should make it easier to integrate
with other environments in the future as well.

ovs-vsctl: Fix performance problem.

ovs-vsctl: Fix bugs.

The full ovs-vsctl test suite now passes.

vsctl: Start making it work with ovsdb.

This passes at least one test (the one named "add-br a").  It probably
doesn't pass any more than that.

This is *way* not up to my quality standards, but we are in a super hurry
so I'm pushing it anyhow.

ovsdb-idlc: Add "const" to "set" function arguments that should have it.

ovsdb-idl: New function to obtain the current transaction from any row.

ovsdb-idl: Bug fixes.

vswitch: Add "external_ids" and "ofport" columns to Interface table.

ovsdb-idlc: Fix parsing of "ephemeral" member of "column".

ovsdb-idl: Update IDL data when "set" functions are called.

Until now, the "set" functions generated by the IDL updated the data in the
database (during commit) but not the data exposed by the IDL in its data
structures.  This was just an oversight, so this commit causes the data
exposed by IDL to be updated also.

ovsdb-idl: Make it possible to write data through the IDL.

Until now the IDL has been exclusively a read-only interface.  This commit
introduces a general-purpose interface for writing to ovsdb via the IDL.

ovsdb: Implement new "declare" operation.

json: New convenience function json_array_create_1().

bitmap: New function bitmap_scan() and macro BITMAP_FOR_EACH_1.

bitmap_scan() can be optimized significantly for the case of a sparse
bitmap but it doesn't seem worth the additional overhead of writing a test
unless and until we show that it's a useful optimization in practice.

hmap: Add function to mark an hmap_node as "null" and check for the mark.

This is useful in cases where one might want to know whether an hmap_node
is actually part of an hmap, without using a separate variable to indicate
it.

ovsdb-idlc: Add rules to make sure .h files get generated before .c files.

The .c files #include the .h files so the .h files need to be generated
first.

Fix alphabetic ordering in lib/automake.mk

    Files in lib_libopenvswitch_a_SOURCES list in automake.mk were
    incorrectly sorted. Files out of order:
      - lib/uuid.[ch]
      - lib/unixctl.[ch]

ovsdb: Remove obsolete declaration from ovsdb-server.c.

vswitchd: Avoid segfault when local port is required but missing.

Connecting to a controller requires the vswitch to have a local port
(typically named the same as the bridge itself).  Before the introduction
of ovsdb ovs-vswitchd simply added the local port itself if it was missing.
This was not properly implemented with the ovsdb transition, and a segfault
resulted.  This commit avoids the segfault, although it should possibly
be improved to also add the local port, as before.

CC: Jeremy Stribling <strib@nicira.com>

gre: Temporary workarounds for GRE on Xen.

Two issues exist that prevent GRE tunnels from working properly on
Xen: iptables rules and brcompatd.  The first issue is that GRE
traffic is not permitted by the default iptables rules.  The second
is that brcompatd removes ports from the configuration that it
believes do not exist, which causes GRE ports to be deleted before
they are created.

This commit avoids these issues though not in the most optimal way.
Better fixes will be forthcoming in the near future.

gre: Add userspace GRE support.

This implements the userspace portion of GRE on Linux. It communicates
with the kernel module to setup tunnels using either Netlink or ioctls
as appropriate based on the kernel version.

Significant portions of this commit were actually written by
Justin Pettit.

gre: Add kernel GRE support.

This implements the kernel portion of GRE on Linux.  It consists
of a backported module that provides the GRE capabilities of 2.6.32
plus bug fixes to kernels 2.6.18+.

gre: Compatibility with older Linux kernel versions.

The upcoming GRE kernel module compiles on a range (2.6.18+) of
Linux kernel versions.  The module expects the kernel headers to
look like newer versions.  Where older and newer versions of the
kernel differ this commit implements shims to paper over the changes.

netflow: Correctly set active timeout value.

This fixes a bug originally introduced in commit 763435 "vswitchd:
Initial conversion to database-based configuration."  The bug
reversed a less than operator when setting the active timeout field.
Also add a warning if the timeout is set to an invalid value.

CC: Glen Gibb <grg@stanford.edu>

Update ovsdb specifications based on suggestions from Brandon Heller.

ofproto: Fix reversed inequality test.

Thanks to Glen Gibb <grg@stanford.edu> for pointing out the problem.

vswitch: Add description for configuring GRE tunnels

ovsdb-idl: Fix memory leak.

ovsdb-idl: Optimize lookup of struct idl_table from struct idl_table_class.

Before, the idl_table could only be obtained through a hash lookup of a
string.  This way is faster and more straightforward.

Distribute ovsdb-idlc built sources, so Python is not required for build.

The Xen DDK VM does not include Python, so it's best if we don't have to
require it for the build.

The built sources are still regenerated if necessary.

vswitchd: Add "id" column to Interface table for use by NOX.

This might end up being absorbed into a more general-purpose
"foreign-keys" column.

json: Improve error reporting.

vswitchd: Avoid segfault when creating a bridge fails.

bridge_create() can return a null pointer if creating the bridge fails, so
check for that and don't dereference it in that case.

Thank to Jeremy Stribling for reporting the problem.

xenserver: Mention additional ovsdb files that are included.

ovsdb: Fix race conditions in test suite.

ovsdb-client: Add support for --detach to "monitor" command.

ovsdb-server: Open --listen sockets before detaching.

This prevents a race condition in a command sequence that starts
ovsdb-server and then immediately connects to it with ovsdb-client.

xenserver: Remove now-missing files from RPM spec file.

Making XenServer work with ovsdb will take additional changes, but this
should at least make it possible to build the RPM again.

vswitchd: Initial conversion to database-based configuration.

This has seen very little testing, so some features are almost certainly
busted.  Port mirroring is not yet converted, so it will definitely not
work.

vswitchd: Remove vestigial spanning tree protocol (STP) support.

ovs-vswitchd has never supported spanning tree protocol, but there was
nevertheless a considerable amount of code that provided a framework for
supporting it.

This commit deletes this code, since we have no plans to introduce STP
support soon.

ovsdb-idl: Fix resolution of references from one table to another.

Our tests only checked references from a table to itself, so of course
there were bugs in references from one table to another.  This fixes the
obvious one and adds a test.

ovsdb-idl: Make IDL-generated files depend on ovsdb-idlc.

This ensures that IDL-generated files get rebuilt whenever the IDL
compiler itself is updated.

ovsdb-idlc: C code generation improvements.

This eliminates many casts from the IDL's generated C code and reduces the
number of levels of indirection for simple cases of optional string or
pointer columns.

Merge "master" branch into "db".

ovsdb: Implement C bindings for IDL.

jsonrpc: Make it easy to get a new JSON-RPC request's id.

jsonrpc: New type "jsonrpc_session", which automatically reconnects.

ovsdb: Allow a named-uuid to be used within the operation that creates it.

This allows a transaction like this:

[{"op": "insert",
  "table": "mytable",
  "row": {"i": 0, "k": ["named-uuid", "self"]},
  "uuid-name": "self"}]

It was already possible to do this by following up on the "insert" with an
"update", but since this was easy to implement I did it.

vswitchd: Fix build when source and build directory differ.

netdev: Allow explicit creation of netdev objects

This change adds netdev_create() and netdev_destroy() functions to allow
the creation of network devices through the netdev library.  Previously,
network devices had to already exist or be created on demand through
netdev_open().  This caused problems such as not being able to specify
TAP devices as ports in ovs-vswitchd, which this patch fixes.

This also lays the groundwork for adding GRE and VDE support.

dpif: Minor provider comment cleanups.

vswitch.ovsidl: Fix comments.

classifier: Improve comments.

ovsdb: Minor cleanups to the SPECS file

vswitch.ovsidl: Various cleanups

Fix a few minor errors and provide some cleanups in the vswitch IDL
schema.

ovsdb-idlc: Remove "sha" deprecation warning

The "sha" module was deprecated in Python 2.5 and calling ovsd-idlc prints
a warning in Python 2.6.  The module is not actually being used, so this
just removes the offending import.

ovsdb: Add ovsdb IDL compiler to build system.

This first stab at any interface definition language and compiler for OVSDB
will give other developers a chance to look at it and try to integrate it.
The IDL is not actually implemented yet; I am working on that.

ovs-openflowd: Add support for userspace-only switching.

svec: New function svec_split().

This is useful in an upcoming commit.

dpif: New function dpif_create_and_open().

This function combines what dpif_create() and dpif_open() do.  It allows
us to factor a tiny amount of code out of the vswitch, but more importantly
this function is also useful in the following commit.

netflow: Break out code for sending packets into a new "collectors" module.

sFlow uses a similar UDP structure so this will allow use to reuse the
NetFlow code for it.

netflow: Use inet_open_active() to factor out some code.

socket-util: Generalize tcp_open_*() to UDP, as inet_open_*().

The tcp_open_active() and tcp_open_passive() functions don't really have
any strong dependencies on TCP.  With a couple of simple changes they
can be used for UDP also.  Since this is useful for Netflow, this commit
does so.

socket-util: Make TCP open function support no default port.

Until now, tcp_open_active() and tcp_open_passive() have only been used
in situations where there is a reasonable default port, e.g. OFP_TCP_PORT.
But for NetFlow there is no universal default, so enhance these functions
so that they can require the user to specify a port explicitly.

Crossported from the 'db' branch, where this is useful for JSON-RPC, which
also has no widely known port.

netdev: New function netdev_get_ifindex().

sFlow needs the ifindex of an interface, so this commit adds a function
to retrieve it.

Move C compiler warning (-W) flags from CFLAGS to AM_CFLAGS.

C compiler warning options added by the "configure" script have until
now been put into CFLAGS.  However that option is supposed to be reserved
for the user under Automake rules, so move them to AM_CFLAGS.

Besides increased adherence to Automake rules, this is useful because
AM_CFLAGS can be overridden on a per-target (e.g. program or library)
basis, whereas CFLAGS cannot.  In turn, building the sFlow library (which
will be added in an upcoming commit) requires overriding the compiler
flags to avoid some warning messages.  (By modifying the warning flags, we
avoid the need to modify the sFlow library in any way.)

acinclude.m4: Fix inconsistency.

Both ; and : are valid shell commands here, but one branch of the "if"
uses one and the other branch uses the other.  Use the same one, for
consistency's sake.

ovsdb: Rename variable to better describe its purpose.

Apparently a cut-and-paste error gave this variable a deceptive name.

shash: Make it more convenient to store "const" objects in an shash.

ovsdb: Require database, table, column names to be valid identifiers.

Database, table, and column names have always been required by the OVSDB
specification to be identifiers (e.g. valid C identifiers), but this has
never been enforced.

This commit adds enforcement and fixes one instance of an invalid column
name in the vswitch schema.

Correct dameon options in INSTALL.bridge

A while back, we retired the short options for daemons.  The
INSTALL.bridge file was never updated to reflect this.

CC: Jeongkeun Lee <jklee@hp.com>

netdev: Really set output values to 0 on failure in netdev_get_features().

The comment on netdev_get_features() claimed that all of the passed-in
values were set to 0 on failure, but the implementation didn't live up
to the promise.

CC: Paul Ingram <paul@nicira.com>

ovs-controller: Add --wildcard and --normal features.

This adds two command line switches to ovs-controller to:
1) Use wildcards instead of exact matches.
2) Use "normal" action instead of explicit port.

datapath: Use HAVE_PROTO_DATA_VALID when defining vswitch_skb_checksum_setup

The purpose of the non-empty variant of vswitch_skb_checksum_setup is to
synchronise the proto_data_valid and proto_csum_blank fields into the
standard skb csum/ip_summed fields, therefore it is more correct to key
off of HAVE_PROTO_DATA_VALID.

Signed-off-by: Ian Campbell <ian.campbell@citrix.com>

datapath: Fix warning building datapath on pre-2.6.24 kernels.

The Linux 'min' macro checks that its arguments have the same type, and
if not the compiler reports a message about incompatible pointer types.
On pre-2.6.24 kernels skb_headroom() returns int, so this code was
firing a warning:
       unsigned headroom = max(min_headroom, skb_headroom(skb));

This commit makes skb_headroom() return an unsigned int regardless of
kernel version.

datapath: Check for proto_data_valid member instead of kernel version.

Commit 5ef800a69 "datapath: Copy Xen's checksumming fields when doing
skb_copy" should copy proto_data_valid between sk_buffs when that field
is present.  However the check for CONFIG_XEN plus kernel version 2.6.18
isn't sufficient, because SLES 11 kernels are version 2.6.27 but do have
this field.

This commit adds a configure-time check for the presence of the member
instead of attempting to guess based on the kernel version.

Thanks to Ian Campbell for reporting this problem.

CC: <Ian.Campbell@citrix.com>

Merge citrix branch into master.

datapath: Allow minimum headroom to be set when copying buffers.

If we need to copy an sk_buff in order to make it writable, allow
the minimum headroom to be specified.  This ensures that if we
need to add additional data, such as a VLAN tag, we will not have
to make a second copy.

Solves bug #2197 in certain situations.

datapath: Copy Xen's checksumming fields when doing skb_copy.

Two fields that control checksumming were added to sk_buff in
Xen: proto_data_valid and proto_csum_blank.  These fields are copied
when doing a skb_clone but not in other functions such as skb_copy,
which can lead to checksum errors in TCP and UDP when offloading is
enabled in the guest.  To fix this we manually copy these fields,
though ideally this should be fixed upstream in Xen.

Bug #2299

datapath: Fix build with kernel header layout recently adopted by Debian.

Recent Debian kernel-header packages divide kernel headers into two
directories: the "common" headers that are not architecture-specific,
which go in a directory named like
    /usr/src/kernel-headers-2.6.31-1-common,
and architecture-specific headers in a directory named, e.g.
    /usr/src/kernel-headers-2.6.31-1-686.
OVS needs to look at the ones in the "common" directory as part of its
configuration process, but the build directory provided on --with-l26 is
the architecture-specific directory.  We also need the
architecture-specific directory, since it is the one that we use as part
of the "make", so we can't simply make the user specify the common
directory on --with-l26.  Furthermore, there is no easy-to-see link
between the two directories, except as part of the text in a Makefile,
which is not the easiest language to parse.

This commit attempts to kluge around the problem by using the Debian
directory naming.  If the build directory does not contain the headers,
then we replace the last component of its name by "-common" and check
for the headers there.  This is not ideal, but it does solve the actual
problem at hand.

Tested with Debian's linux-headers-2.6.31-1-686 and with a few older
sets of headers that do not use this scheme.

Document userspace switch.

ovsdb: Make ovsdb-server tests pass even when @RUNDIR@ is not writable.

ovsdb: Add more tests for "monitor" feature.

ovsdb-server: Fix crash for invalid parameters to "monitor" request.

Thanks to Jeremy Stribling <strib@nicira.com> for reporting the problem.

Update documentation to mention correct Autoconf version prerequisite.

ovsdb: Monitor support.

jsonrpc: Add logging for messages sent and received, at DBG level.

This made it much easier to see problems while developing some
ovsdb-server features.

ovsdb-server: Add "exit" unixctl command and --unixctl option.

This makes writing predictable test scripts easier.

datapath: Remove unused print_flow() function

datapath: Cleanup tab/space issues in datapath

vconn: Fix endian issue in unknown action type error message

ovs-ofctl: Add support for transport and network modification actions

Add support to ovs-ofctl for modifying the network source and destination
IP address with the "mod_nw_src" and "mod_nw_dst" actions, respectively.
And support modifying the TCP/UDP source and destination ports with the
"mod_tp_src" and "mod_tp_dst" actions, respectively.

ofproto: Support missing set_nw_dst and set_tp_dst translations

The function that translates OpenFlow actions into datapath actions was
missing definitions for OFPAT_SET_NW_DST and OFPAT_SET_TP_DST.  This
meant those actions would not occur in the datapath.

datapath: Calculate proper checksum for set_tp_src/dst action

When the set_tp_src or set_tp_dst action is used, the calculation for
where the checksum is located was wrong.  This caused the checksum to
not be updated and packet corruption in the bad offset.

ovs-appctl: Fix shadow variable that could cause segfault

The variable "socket_name" contains the name of the unix domain socket
to be used for communicating with the OVS process.  If the target does
not begin with a "/", the socket name is determined based on a pidfile.
A shadow copy of "socket_name" was kept in the block that looks at the
pidfile, which would cause the function-level one to not be set.  This
removes that shadow copy.