ofproto: Drop remote command execution feature.

At one point Nicira had deployment plans for which adding a remote command
execution feature to the OpenFlow stack made a lot of sense.  We no longer
have those plans, as far as I know, and leaving the feature in seems like
a huge potential security hole.  So this commit blows away the entire
feature.

ovsdb-server: Make database connections configurable from database itself.

Most importantly this adds a "managers" column to the vswitch database
that specifies where the ovsdb-server should connect.

ovsdb-server: Factor out complication by using jsonrpc_session.

reconnect: Add connection attempt limiting feature.

Sometimes it is useful to limit the number of connection attempts, either
from policy or because it is not possible to reconnect at all (e.g. because
a connection was accepted from a listening socket instead of made with
connect()).  This commit adds that feature.

daemon: Don't ignore failed write to pipe.

If the write to the pipe fails here then the parent will think that the
child failed to start up, so the child should oblige it by bailing out.

xenserver: Use ovs-appctl to reopen log files

During the changes to use the configuration database the "reload"
command was removed from the init script.  In addition to reloading the
configuration file, binaries also reopened their log files, which is the
behavior the logrotate configuration expected.  This change makes the
logrotate configuration no longer user the "reload" command.

Remove cfg library

A few places in bridge.c still reference the old cfg library, but they
were commented out a while back.  This removes the library, since we've
now switched over to a configuration database.

xenserver: Use ovs-vsctl for controller configuration in xsconsole

ovs-vsctl: Support configuring SSL.

ovs-vsctl: Don't allow controller configuration on fake bridges

Fake bridges can't have controller configuration separate from its
parent, so prevent this from happening.

Thanks to Ben Pfaff for pointing out the problem.

ovs-vsctl: Fix minor typo in error message

daemon: Allow daemon child process to report success or failure to parent.

There are conflicting pressures in startup of a daemon process:

    * The parent process should exit with an error code if the daemon
      cannot start up successfully.

    * Some startup actions must be performed in the child process, not in
      the parent.  The most obvious of these are file locking, since
      child processes do not inherit locks, and anything that requires
      knowing the child process's PID (e.g. unixctl sockets).

Until now, this conflict has usually been handled by giving up part of the
first property, i.e. in some cases the parent process would exit
successfully and the child immediately afterward exit with a failure code.

This commit introduces a better approach, by allowing daemons to perform
startup work in the child and only then signal the parent that they have
successfully started.  If the child instead exits without signaling
success, the parent passes this exit code along to its own parent.

This commit also modifies the daemons that can usefully take advantage of
this new feature to do so.

ovs-brcompatd: Simplify logic and make more robust.

The ovs-brcompatd code was trying hard to make sure that an Open_vSwitch
record would exist in the database before it would look for one.  It is
easier to just check for a record and use it if it is there, and it is
also more robust against databases that have not been initialized.

ovs-brcompatd: Handle TXN_UNCHANGED status.

This status was introduced several commits ago but not added to the switch
statement here.

Also, change the "status" variable to type enum ovsdb_idl_txn_status so
that GCC will warn about future additions.

debian: Distribute some files that were forgotten.

This is important for successfully building Debian packages from a tarball
made with "make dist".

debian: Tolerate varying locations of vswitch-idl.ovsschema.

The Debian packaging as well as the testsuite was picky about where
the ovsschema file appeared.  This should fix the problem.

ovs-vsctl: Fix segfault with fake bridges.

A fake bridge has no br_cfg, so we can't dereference it.

There is a similar problem in cmd_set_controller() and
cmd_del_controller() but this commit does not fix it.

testsuite: Look for .ovsschema files in source dir as well as build dir.

When a distribution is built with "make dist", the .ovsschema files are
included as part of it, so that the builder does not have to have Python
installed.  However in that case the distributed .ovsschema files are in
the source dir instead of the build dir.  The testsuite always expected
them in the latter directory.  This commit makes it look for them in both
places.

test-json: Avoid use of /dev/stdin to fix builds in limited chroots.

The chroots in which we often build Open vSwitch don't have /proc and
thus cannot support /dev/stdin, because on Linux that is a symlink to
/proc/self/fd/0.  So avoid using /dev/stdin in the testsuite.

ovsdb-server: Remove write-only struct member.

ovs-vsctl: Add commands for modifying controller settings

Adds the ability to configure the controller and fail-mode.

Make ovs-vswitchd report when it is done configuring; make ovs-vsctl wait.

Until now the ovsdb-based vswitch has provided no way to know when it has
finished applying the configuration from the database.  This commit
introduces a way:

  * The client who wants to wait increments the "next_cfg" column of the
    Open_vSwitch record.

  * When ovs-vswitchd finishes reconfiguring, it sets the value of the
    "cur_cfg" column to that of the "next_cfg" column.

  * The client waits until the "cur_cfg" column is at least as great as
    the value it set into "next_cfg".

This allows us to drop the 5-second sleep in interface-reconfigure.

ovsdb-tool: Add "show-log" command for use in debugging.

debian: Don't unload kernel modules in init script on "stop" or "restart".

Unloading kernel modules will destroy all of the datapaths, which is a
drastic action.  So we are probably better off doing that only if the
user requests it explicitly.

ovsdb: Add "comment" feature to transactions and make ovs-vsctl use them.

The idea here is that transaction comments get copied to the ovsdb-server's
transaction log, which can then make it clear later why a particular change
was made to the database, to ease debugging.

dynamic-string: New function ds_cstr_ro().

Fix typos in ovsdb specification.

ovsdb: Add new "mutation" operation to transactions.

json: Accurately parse very large real numbers.

The test for whether a real number was outside the valid range was
imprecise and failed at the edge of the real range.  This commit changes
the code to use the C library's strtod(), which presumably does better.

debian: Change openvswitch-switch deb to use ovsdb-server and ovs-vswitchd.

This appears to work in that it creates the database on installation,
starts and stops the programs and loads and unloads the kernel modules at
the right times, but it has not been tested beyond that.

debian: Move openvswitch-dbg to "debug" section.

Noticed by lintian.

debian: Update changelog.

debian: Make all binary packages depend on ${misc:Depends}.

According to lintian:

> The source package uses debhelper but it does not use ${misc:Depends} in
> the given binary package's debian/control entry. This is required so the
> dependencies are set correctly in case the result of a call to any of
> the dh_ commands cause the package to depend on another package.

Fixed by adding ${misc:Depends} as a dependency to all binary packages that
didn't already have it.

debian: Make binary NMUs possible.

According to lintian:

> The package is not safely binNMUable because an arch:any package depends
> on another arch:any package with a (= ${source:Version}) relationship.
> Please use (= ${binary:Version}) instead.

Fixed according to lintian's advice (above).

debian: Break rules for datapath module out of debian/rules.

debian/rules included makefiles from /usr/share/modass/include.
Unfortunately these makefiles set some environment variables to values that
we do not want in the general Debian build, e.g. on this machine they set
CC to gcc-4.1.  It appears that it is generally good practice to break
out the kernel module rules from the general-purpose rules anyhow, so this
commit does so.

ovsdb-server: Improve error message when database file argument is missing.

Clean-up compiler warnings about ignoring return values

Some systems complain when certain functions' return values are not
checked.  This commit fixes those warnings.

Creating ignore() function suggested by Ben Pfaff.

netdev-linux: Fix aliasing error.

The latest version of GCC flags a common socket convention as breaking
strict-aliasing rules.  This commit removes the aliasing and gets rid of
the scary warning.

xenserver: Actually destroy VIFs by using ovs-vsctl

When VIFs were destroyed, they were not actually being deleted in the
config database.  This commit makes the appropriate ovs-vsctl commands
in the 'vif' script to accomplish that.

ovs-vsctl: Set timeout to a default value of five seconds

In general, we don't want ovs-vsctl to wait forever to connect to the
database, as ovs-vsctl is used extensively in init scripts and the
system will not boot.  Use a default value of five seconds as a
stop-gap.  Eventually, we'll switch to a model of connection attempts,
since using time-based approach is kind of a hack.

xenserver: Cleanup xs-network-uuids and xs-network-names usage

Switch xs-network-uuids delimiter to a semicolon to match the one used
by xs-network-uuids.  Also, fix pluralization of xs-network-uuids in
vswitch IDL description of the "Bridge" table.

Add description of xs-network-names to vswitch IDL description.

Have git ignore "vswitch-idl.txt"

vswitchd: Do not choose generated MAC address for local port.

ovs-vswitchd needs to choose a sensible MAC address for the local port of
a bridge.  Until now, the algorithm has ignored certain interfaces, in
particular internal interfaces and those with the MAC addresses that
indicate that they are probably Xen VIFs.  The goal is to choose a physical
interface's MAC address because this is more stable and more likely to
be meaningful to the outside world.  Stability, in turn, is important
because the MAC address of the local port is used as the default datapath
ID for OpenFlow connections.

This existing algorithm was too specialized to work well with the new
kinds of ports that we have been introducing in OVS.  In particular,
GRE ports could be chosen as the MAC address.  This commit changes the
algorithm for choosing the local port MAC address.  Now it ignores any
interface that has the "local" bit set in its MAC address, which
catches GRE ports.  The new rule also catches the VIF and internal
port cases, so this commit also deletes those special cases.

This commit deleted the only user of eth_addr_is_vif(), so it deletes
that function also.

Jesse Gross suggested this revised heuristic.

CC: Jeremy Stribling <strib@nicira.com>

ovs-vsctl: Add -t or --timeout option to limit runtime.

xenserver: Add xs-network-names to "external_ids" column in config db

xenserver: Cleanup vswitch-xapi-update init script

Remove unused variables and correct typo in usage string.

xenserver: Suppress output when creating initial config DB

vswitch: Set datapath_id and ofport in ovsdb.

Now ovs-vswitchd fills in the Interface ofport and Bridge datapath_id
fields when it reconfigures.

The existing Bridge datapath_id and hwaddr columns, which had surprising
meanings, have been banished to a new other_config column.

Remove redundant calls to set_nonblocking().

These set_nonblocking() calls are on a fd returned by make_unix_socket(),
which has already set the fd nonblocking.

socket-util: Clarify EAGAIN error code for make_unix_socket().

make_unix_socket() can return EAGAIN in rare circumstances, e.g. when the
server's socket listen queue is full.  A lot of OVS callers interpret
EAGAIN as a "try again" error code, but in this case it means that the
attempt to create the socket failed.  So munge EAGAIN into another error
code to prevent that misinterpretation.

ovsdb-idl: Prevent segfault destroying an incomplete transaction.

ovsdb: Fix segfault when a column set contains an invalid column name.

vswitch: Generate text file documenting the vswitch schema.

Now you can read vswitchd/vswitch-idl.txt for some textual documentation
of the OVS schema.

ovsdb-idl: Fix deletion of modified row.

If the transaction modified a row and then deleted it, the IDL would
instead mistakenly leave the row entirely untouched.

This commit fixes this bug.  It needs a regression test, but this commit
does not add one.

ovsdb: Cleanly abort delete operations.

ovs-vsctl: Add --dry-run option.

ovsdb-client: Add support for pretty-printing JSON in output.

ovsdb-idl: Fix row insertion and deletion behavior.

When the IDL was used to insert a row, but all of the new row's columns
were left at the default values, then the IDL would not insert the row at
all.

When the IDL was used to delete one or more rows, and the transaction did
not include any update or insertion operations, the transaction was dropped
entirely.

This commit fixes these two bugs.  It needs a regression test, but this
commit does not add one.

ovs-vsctl: Initialize the database automatically.

xenserver: Have brctl wrapper use config DB instead of config file

This is a first cut and is likely buggy.  VLANs have not been tested.

xenserver: Fix typo in dump-vif-details

dump-vif-details was calling ovs-vsctl with "bridge-set-external-id",
when it should have been "br-set-external-id".

xenserver: Fixes related to creating config DB in RPM spec file

Some programs require a "Open_vSwitch" table to exist in the
configuration DB.  This change adds that table when a new DB is created.

Also, don't try to create the DB unless it doesn't exist.

ovs-brcompatd: Remove references to locking config file

With the config DB, it is no longer necessary to lock the config file.
This removes references to the need for that.

xenserver: Remove references to "reload" in init script

With ovs-vswitchd using the config DB, it is no longer necessary to tell
it to reload its configuration file.  This removes references to the
need for reloading.

It also cleans up some messages placed on the console during boot up.

ovs-brcompatd: Change man page to reflect new config db changes

xensource: Add kluge to make interface-reconfigure work better.

This change makes xsconsole able to reconfigure the management interface
on some XenServer hosts.  It's not clear why it is needed--apparently
xapi is creating the bridge behind our back.

ovs-vsctl: Log fatal errors as well as printing them on the console.

This makes debugging errors on XenServer much simpler, since many uses of
ovs-vsctl direct stderr to /dev/null.

xenserver: Make basic VM networking work.

Tested by starting and stopping a VM that has a single VIF and verifying
that the VM could get an IP address via DHCP and access the network and
that the VIF's external-ids were set to plausible values.

xenserver: Make basic interface-reconfigure calls work.

Now a XenServer can boot OK with the database at least in simple cases.

interface-reconfigure is slow because there is a 5-second sleep in place of
a proper way to wait for vswitchd reconfiguration to complete.

xenserver: Check ovsdb-server version and status also.

xenserver: Implement clearing database at boot.

ovs-vsctl: Accept documented --no-wait option.

ovs-vsctl: Add --if-exists options to del-br, del-port commands.

These options make it easier to reimplement interface-reconfigure using
ovs-vsctl.

ovs-vsctl: Make functions to find entities more flexible.

This will be used in upcoming commits.

ovs-vsctl: Add options parsing infrastructure.

This paves the way for adding options to commands but should have no
user-visible change.

ovs-vsctl: Add --help output for external-id commands.

ovs-brcompatd: First cut at integration with new config db

This is an extremely lightly tested attempt at switching ovs-brcompatd
from using the config file to the new config db.  There are a lot of
shortcomings in this cut, but we need to make progress on the XenServer
integration, so it's going in now.  Expect changes in the near future.

ovs-vsctl: Fix minor memory leak in add_port().

Update .gitignore files

xenserver: Modify init scripts to use new configuration database

xenserver: Remove ip_gre kernel module when other modules are removed

ovs-vsctl: New commands for working with external IDs.

This aids XenServer integration and should make it easier to integrate
with other environments in the future as well.

ovs-vsctl: Fix performance problem.

ovs-vsctl: Fix bugs.

The full ovs-vsctl test suite now passes.

vsctl: Start making it work with ovsdb.

This passes at least one test (the one named "add-br a").  It probably
doesn't pass any more than that.

This is *way* not up to my quality standards, but we are in a super hurry
so I'm pushing it anyhow.

ovsdb-idlc: Add "const" to "set" function arguments that should have it.

ovsdb-idl: New function to obtain the current transaction from any row.

ovsdb-idl: Bug fixes.

vswitch: Add "external_ids" and "ofport" columns to Interface table.

ovsdb-idlc: Fix parsing of "ephemeral" member of "column".

ovsdb-idl: Update IDL data when "set" functions are called.

Until now, the "set" functions generated by the IDL updated the data in the
database (during commit) but not the data exposed by the IDL in its data
structures.  This was just an oversight, so this commit causes the data
exposed by IDL to be updated also.

ovsdb-idl: Make it possible to write data through the IDL.

Until now the IDL has been exclusively a read-only interface.  This commit
introduces a general-purpose interface for writing to ovsdb via the IDL.

ovsdb: Implement new "declare" operation.

json: New convenience function json_array_create_1().

bitmap: New function bitmap_scan() and macro BITMAP_FOR_EACH_1.

bitmap_scan() can be optimized significantly for the case of a sparse
bitmap but it doesn't seem worth the additional overhead of writing a test
unless and until we show that it's a useful optimization in practice.

hmap: Add function to mark an hmap_node as "null" and check for the mark.

This is useful in cases where one might want to know whether an hmap_node
is actually part of an hmap, without using a separate variable to indicate
it.

ovsdb-idlc: Add rules to make sure .h files get generated before .c files.

The .c files #include the .h files so the .h files need to be generated
first.

Fix alphabetic ordering in lib/automake.mk

    Files in lib_libopenvswitch_a_SOURCES list in automake.mk were
    incorrectly sorted. Files out of order:
      - lib/uuid.[ch]
      - lib/unixctl.[ch]

ovsdb: Remove obsolete declaration from ovsdb-server.c.

vswitchd: Avoid segfault when local port is required but missing.

Connecting to a controller requires the vswitch to have a local port
(typically named the same as the bridge itself).  Before the introduction
of ovsdb ovs-vswitchd simply added the local port itself if it was missing.
This was not properly implemented with the ovsdb transition, and a segfault
resulted.  This commit avoids the segfault, although it should possibly
be improved to also add the local port, as before.

CC: Jeremy Stribling <strib@nicira.com>