Prepare Open vSwitch 1.2.0 release.

Update ChangeLog to reflect changes since 1.1.0.

vlog: Move log level definitions from source code to user documentation.

Users should be able to find out what a log level means without reading
source code comments, so this seems like a better place for it.

Reported-by: David Tsai <dtsai@nicira.com>

vlog: Add a new log level "off".

Until now, "emer" has effectively been "off" because no messages were ever
logged at "emer" level.  Justin points out that it is useful to use "emer"
for messages that indicate a fatal error.  This commit makes that change
and adds a new "off" level to really turn off all logging to a facility.

debian: Fix path for ovsdb-server in init script.

Reported-by: Brad Hall <brad@nicira.com>

datapath: Backport flex_arrays.

flex_arrays didn't exist at all until 2.6.30, weren't exported to modules
until 2.6.38, and performed poorly until 3.0, so this backports the
functionality to older kernels.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

datapath: Don't pass __GFP_ZERO to kmalloc on older kernels.

On new kernels kzalloc() is simply a wrapper around kmalloc with
the addition of the __GFP_ZERO flag.  flex_arrays take advantage
of this by expecting the user to just pass in this flag if they
want the memory to be zeroed.  However, before 2.6.23, kzalloc()
was a function in its own right and kmalloc really didn't like
receiving __GFP_ZERO.  This overrides kmalloc() to intercept the
flags and direct the call to the right function.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

datapath: Backport reciprocal division.

The reciprocal division library did not exist until 2.6.20 and is
not currently exported in any version, so this backports it.

Signed-off-by: Jesse Gross <jesse@nicira.com>
Acked-by: Ben Pfaff <blp@nicira.com>

ovs-ofctl: Print human readable nx_pull_match() errors.

I've found this makes debugging a bit easier.

nx-match: Shorten line length to 79 characters.

ofproto-dpif: Allow setting of flow eviction threshold

Allow setting the number of flows present in the flow hash
at which point eviction of entries from the kernel flow hash
will begin to occur.

The value may be set using a bridge's other-config column.

e.g.

ovs-vsctl set bridge br3 other-config:flow-eviction-threshold=10000

default is 1000, reflecting constant value previously used.

Increasing this value can result in reduced CPU usage and
packet loss in situations where the number of active flows
is significantly larger than 1000.

Datapath action should not refer to controller

ODP_ACTION_ATTR_CONTROLLER in the kernel actually sends packets to
userspace, not the controller. To make it generic rename this action
to ODP_ACTION_ATTR_USERSPACE.

Signed-off-by: Pravin B Shelar <pshelar@nicira.com>

git: Update gitignore in tests and utilities.

ofproto-dpif: Fix mirror configuration and deconfiguration.

Deleting or updating a mirror didn't work: mirror_set() didn't set the
'aux' member so mirror_lookup() couldn't find the mirror on that basis.

Bug #6617.
Reported-by: David Tsai <dtsai@nicira.com>

vlog: Fix typo in VLOG_IS_ERR_ENABLED macro definition.

This does not fix any real bug because VLOG_IS_ERR_ENABLED is not used
anywhere in the tree.

xenserver: Fix typo in spec file.

Remove spurious blank line.

ovs-benchmark: New utility.

socket-util: New function lookup_hostname().

This is equivalent to lookup_ip() except that it accepts DNS names also.

socket-util: Factor inet_parse_passive() out of inet_open_passive().

ovs-ofctl: Fix dump-ports and queue-stats commands.

These ovs-ofctl commands have been sending malformed stats requests since
commit 63f2140a553 "openflow: Make stats replies more like other OpenFlow
messages."  This commit fixes the problem and adds basic unit tests that
should prevent similar regressions.

Reported-by: Hao Zheng <hzheng@nicira.com>

ovs-ofctl: New --readd option for "replace-flows".

This is useful for resetting flows' byte and packet counters to 0.

Suggested-by: Jed Daniels <openvswitch@jeddaniels.com>

netlink-socket: Reduce nl_sock_recv() from 2 (or more) system calls to 1.

Until now, each attempt to receive a message from a Netlink socket has
taken at least two system calls, one to check the size of the message to
be received and a second one to delete the message from the socket buffer.
This commit switches to a new strategy that requires only one system call
per message received.

In my testing this increases the maximum flow setups per second by a little
over 10%.

netlink-socket: Remove unused nl_sock_sendv() function.

This function hasn't been used for ages.

debian: Move OVSDB schema and ovsdb-tool to openvswitch-switch.

ovs-vswitchd in the openvswitch-switch package is tightly coupled to its
database schema.  During development, it's possible to change the schema
without changing the Open vSwitch version number, which makes it possible
for the openvswitch-switch and openvswitch-common packages to get out of
sync: openvswitch-switch requires the same version of openvswitch-common,
but if the version number doesn't get updated that has no effect.

Actually putting the schema and ovs-vswitchd (its primary user) in the
same package prevents them from getting out-of-sync.  This commit also
moves ovsdb-tool because that program often works directly with OVSDB
schemas and so there's not much point having it around without a schema to
work with.

ofproto-dpif: Restore former NORMAL action behavior when revalidating.

Before commit fa066f015 "bridge: Move packet processing functionality into
ofproto," the code that called into what became xlate_normal() prevented
a flow from being installed if it was called at revalidation time and
the MAC learning table lacked an entry for the flow's destination MAC.
That commit instead started dropping packets in that case (because it
incorrectly ignored xlate_normal()'s return value).

This restores the former behavior.  It's not clear that the former behavior
is the best possible, but it is strictly better than starting to drop
packets at revalidation time.

Along with the previously fixed problem where flood_vlans were interpreted
incorrectly, this bug broke controller connectivity when flood_vlans was
set to any nonempty value that did not include the VLAN used for the
controller connection (that is, when flood_vlans was interpreted as
flooding the controller VLAN).

Reported-by: David Tsai <dtsai@nicira.com>

vlan-bitmap: Remove function vlan_bitmap_contains().

I created this function because I thought I had three good use cases.
Unfortunately, one of them was wrong, so drop it.

mac-learning: Fix inverted logic in is_learning_vlan().

When a bit is set in flood_vlans, that VLAN must be flooded, but the logic
here was reversed in the case where there were any flooded VLANs at all.
Thus, if a single VLAN was configured to be flooded, all VLANs except that
one were actually flooded.

The common case where no VLANs were to be flooded was handled correctly.

Reported-by: David Tsai <dtsai@nicira.com>

datapath: Add missing targets to avoid failure on e.g. "make TAGS".

Automake invokes a number of targets recursively, including in
datapath/linux, so we need to define all those targets or get an error
from "make" when those targets are invoked, e.g. when "make TAGS" is run.
This commit adds a no-op target to the main datapath/linux Makefile for
each recursive target listed in the "Third-Party Makefiles" section of
the Automake manual, in the order listed there, fixing the problem.

Signed-off-by: Ben Pfaff <blp@nicira.com>
Acked-by: Jesse Gross <jesse@nicira.com>

ofp-print: Make port "config" and "state" output easier to read.

This changes the output of "ovs-ofctl show" from printing ports like this:
     1(eth1): addr:50:54:00:00:00:02, config: 0x11, state:0x1
to this:
     1(eth1): addr:50:54:00:00:00:02
         config:     PORT_DOWN NO_FLOOD
         state:      LINK_DOWN
which seems much easier to read.

It also eliminates trailing white space from the output.

Reported-by: Ethan Jackson <ethan@nicira.com>

vswitchd: Prevent multiple ovs-vswitchd processes from acting together.

Once in a while someone reports a problem caused by running multiple
ovs-vswitchd processes at the same time.  This fixes the problem by
requiring ovs-vswitchd to obtain a database lock before taking any actions.

ovsdb: Implement a "lock" feature in the database protocol.

This provides clients a way to coordinate their access to the database.
This is a voluntary, not mandatory, locking protocols, that is, clients
are not prevented from modifying the database unless they cooperate with
the locking protocol.  It is also not related to any of the ACID properties
of database transactions.  It is strictly a way for clients to coordinate
among themselves.

The following commit will introduce one user.

ovsdb: Refactor jsonrpc-server to make the concept of a session public.

An upcoming commit will need to expose the concept of a database session
to the execution engine, to allow the execution engine to query the locks
held by the session.  This commit prepares for that by making sessions a
publicly visible data structure.

ovsdb: Report the number of connections for inbound Managers.

Inbound managers (e.g. "ptcp:") can have multiple active connections, but
the database schema doesn't allow us to report the status of more than one
at a time.  This commit adds a status key-value pair that, when there is
more than one active connection, reports the number that are active.  This
at least helps to clarify the issue.

ovsdb-server: Reliably report status of inbound connections.

ovsdb_jsonrpc_server keeps track of its remotes in a shash indexed on the
remote name specified in the database Manager record, but
ovsdb_jsonrpc_server_get_remote_status() added the name returned by
jsonrpc_session_get_name() to the shash returned to the ovsdb-server code.
If that name happened to be different (which is entirely possible because
the latter returns a "canonicalized" name in some cases) then the
ovsdb-server code couldn't find it.  Furthermore, if an inbound (e.g.
"ptcp:") Manager got a connection and then lost it, the status info in
that Manager never got updated to reflect that, because the code considered
that that "couldn't happen" and didn't bother to do any updates.

This commit simplifies the logic.  Now ovsdb-server just asks for a single
status record at a time, using the name that is indexed in the
ovsdb_jsonrpc_server shash, avoiding that whole issue.

ovsdb-client: Make "server" and "database" arguments optional.

In practice these arguments are almost always the defaults, so this change
makes ovsdb-client much more usable interactively.

ovs-vswitchd: Make database socket command-line argument optional.

In practice the default location is the only one used, so we might as well
make it easy.

ovsdb-server: Make database command-line argument optional.

In practice the default location is the only one used, so we might as well
make it easier.

dirs: Make sysconfdir available via ovs_sysconfdir().

This will be used in upcoming patches.

ovsdb-doc: Fix definition of .TQ macro.

.TP's argument is an optional indentation width, not a string.  The string
goes on the next line.

vswitch.xml didn't actually cause .TQ to be used before, so this wasn't a
problem, but an upcoming commit does add a use, so this commit fixes the
problem in advance.

stream-unix: Fix naming of passive Unix streams.

Until now, pstream_get_name() would just return "punix" for passive Unix
streams.  This is uninformative and probably just a mistake, so this
commit switches to using the full name passed in, e.g.
"punix:/path/to/socket".

Update version to reflect this branch is for post-1.1.x development.

When development for a new long-term release is started, we haven't
typically updated the version string.  This means that version numbers
used in binaries generated on this branch tend to lag behind "current"
stable releases.  We considered using a "pre" string in the version
(eg, "1.2.0-pre1") but this causes some pain for RPMs.  Instead, we
will now use "90" as the version's bug-fix number to indicate that this
will form a new release.

For example, the current stable series is "1.1.x" in the "branch-1.1"
branch, so the master branch will be labeled "1.1.90" in anticipation
that it will be the basis for the "1.2.x" series.  Code in "branch-1.1"
will have the expected version numbers (ie, 1.1.0, 1.1.1, 1.1.2, etc)
and versions in-branch will lag slightly before an official release.

Suggested-by: Ben Pfaff <blp@nicira.com>

debian: Fix bug from commit 211b05b5 "debian: Modernize use of dh_install."

Commit 211b05b5 "debian: Modernize use of dh_install" caused build failures
in clean environments because debian/ovsdbmonitor.install now installed
files that were never created in such an environment.  It didn't cause a
build failure in my own testing because I still had old files around.
This fixes the problem.

It seems to be necessary to run "make install" once for each of binary-arch
and binary-indep, because dh_prep always deletes debian/tmp.  It is
logically not necessary but I don't see a clean and robust way to avoid it.

nx-match: Make more fields writable with NXAST_REG_MOVE and other actions.

Until now, fields writable by actions defined in terms of NXM field
numbers were special cases, but commit b3e9b2eda9a "ofproto: Optimize
datapath actions" had the side effect of making it easy to modify
additional fields.  This commit takes advantage of that to make
modifiable all the fields that the kernel datapath supports modifying.
We could make other fields modifiable by adding more support to the kernel
datapath.

debian: Add support for bridge compatibility.

This adds support for bridge compatibility to the generic Open vSwitch
init scripts and to the Debian packaging.

See https://bugs.launchpad.net/ubuntu/+source/openvswitch/+bug/808224.

ovs-vsctl: Log better warnings for duplicate ports and interfaces.

The database prevents multiple ports or interfaces with a single name, but
duplicates can still occur if, for example, two bridges' "ports" columns
both point to a single Port record.  The existing warning just says in this
case that the database contains a duplicate port name.  This prompts users
to dump the Port table to look for the duplicate.  Of course there isn't
one, so then they ask me to point out the problem.

This commit improves the log message to point out the actual problem.

debian: Modernize use of dh_install.

Originally I intended this as just a cleanup, but as a side effect it also
installs some files from the install tree in debian/tmp instead of from
_debian.  This should avoid a reported problem in which ovs-bugtool was
being created in the source directory instead of the build directory (I
still don't see why this happened).

Reported-by: Sébastien RICCIO <sr@swisscenter.com>
Tested-by: Sébastien RICCIO <sr@swisscenter.com>
Acked-by: Simon Horman <horms@verge.net.au>
CC: Simon Horman <horms@verge.net.au>

utilities: Install ovs-parse-leaks utility by default.

We install this in the Debian packaging and I don't see a reason not to
install it everywhere.

(Oddly, we were already installing the manpage everywhere.)

Signed-off-by: Ben Pfaff <blp@nicira.com>

ovs-ctl: Drop back to an empty database if schema conversion fails.

If the "ovsdb-tool convert" call fails, it is likely because the database
has bad contents that this version of OVSDB does not understand.  In that
case, we're better off using a fresh, empty database rather than failing
to come up at all.

Bug #6280.

ovs-ctl: Log messages about database upgrade process.

This should make problems easier to debug.

Bug #6280.

rhel: Fix use of $< in ordinary Make rules.

POSIX only allows $< in inference rules, so avoid it for these target
rules.

Also, add a header to the generated spec files to remind developers that
they are generated.

ovs-parse-leaks: Fix typos in manpage.

mac-learning: Simplify memory management.

The mac-learning implementation used a free list to keep track of
statically allocated table entries.  This made the code slightly
more difficult to understand than the more straightforward heap
based strategy implemented by this patch.

mac-learning: Use random secret in hash function.

The mac-learning 'secret' parameter is intended to prevent an
attacker from turning the mac learning table into a linked list by
using a known hash function to choose perfectly bad mac entries.
However, this parameter was not taken into account in most cases.

Found by inspection.

bundle: New action "bundle_load".

The bundle_load action behaves the same as the bundle action,
except instead of outputting, it writes its result to a register.

bundle: Implement NX_BD_ALG_ACTIVE_BACKUP.

I don't expect this bundling algorithm to be particularly useful in
software switches.  However, hardware switches will probably only
support this bundling algorithm, so it's implemented here as an
example and a reference.

nx-match: New helpers.

This patch creates two new helper functions, nxm_reg_load() and
nxm_dst_check().  The new nxm_dst_check() function may be used to
check the validity of destination fields used by actions.  The new
nxm_reg_load() function may be used by actions which need to write
to NXM fields.

This patch also allows multipath and autopath to write their result
to non-register NXM fields.

util: New function log_2_floor().

Calculates the position of the most significant bit in a 32 bit
word.

bundle: Run bundle_check() in unit tests.

This has been helpful finding bugs in my development environment.
It's good to exercise this code.

utilities: Add ovs-bugtool to gitignore.

nx-match: Whitespace cleanup.

INTERNALS: Describe SLB bonding.

ofproto-dpif: Initialize 'may_enable' at port construction time.

Silences a valgrind warning:

==640== Conditional jump or move depends on uninitialised value(s)
==640==    at 0x808E623: run (ofproto-dpif.c:1444)
==640==    by 0x8086593: ofproto_run (ofproto.c:755)
==640==    by 0x806EB80: bridge_run (bridge.c:1397)
==640==    by 0x806F66C: main (ovs-vswitchd.c:90)

mac-learning: Convert to hmap.

The mac-learning code predates the hmap data structure in OVS.  For
this reason, it rolled it's own hmap-like bucket concept.  This
patch converts it to use an hmap which makes the code slightly
simpler and easier to understand.

mac-learning: Fix serious performance bug in the learning table.

Due to a typo, the mac-learning hash table had dissolved into a
linked list.  This caused a significant reduction in performance.

ovs-ofctl: Use strchr() instead of strstr().

It's the right tool for the job.  Potentially faster, too.

ovs-ofctl: Improve error message for "ovs-ofctl show nonexistent".

Suggested-by: Peter Balland <peter@nicira.com>

bridge: Log a warning when QoS misconfiguration is likely.

Queue 0 is documented as the "default queue" used when a packet is not
directed to any specific queue.  Many qdiscs drop packets not directed to a
queue if the default queue is not configured.  This is therefore likely to
be a misconfiguration, so warn about it.

Bug #5583.

bundle: Avoid GCC 4.5 warning about possibly uninitialized value.

This value is not actually uninitialized but GCC 4.5 cannot tell.

bundle: Treat slave_type properly as 32-bit value.

Found by sparse.

ofproto-dpif: Implement OFPAT_SET_NW_TOS.

This field was overlooked in commit b3e9b2eda9a "ofproto: Optimize datapath
actions."

Found by inspection.

ofproto-dpif: Ignore ECN bits in OFPAT_SET_NW_TOS actions.

OpenFlow 1.0 doesn't say that the ECN bits in OFPAT_SET_NW_TOS actions must
be zero, but Open vSwitch ODP implementations do require that, so mask off
those bits before storing the nw_tos into the flow.

vswitch: Implement bundle action.

This patch creates a new action called "bundle".  Bundles are a way
to implement a simple form of multipath in OpenFlow by grouping
several ports in a single output-like action.

ofputil: Export ofputil_check_output_port().

Future patches will use this function outside of the ofputil
module.

ofproto-dpif: Store bonding enabled flag on ofport.

This simplifies the implementation of future patches.

nicira-ext: Generalize nx_mp_fields into nx_hash_fields.

Future patches will use nx_hash_fields for non-multipath related
actions.  This patch renames nx_mp_fields and creates a new
flow_hash_fields() function.

ofproto: Don't commit modifiers on OFPP_NONE outputs.

This provides a minor optimization.

ofproto-dpif: Do not mirror L2 multicast switch protocols to VLANs.

Mirroring certain protocols interpreted by switches to a VLAN can deceive
the switch that receives it.  Drop such packets instead of mirroring them.

CC: David Tsai <dtsai@nicira.com>
NIC-401.

debian: Remove obsolete comment.

The comment is obsolete because the switch now starts by default, without
prior configuration.

ovs-lib: Allow "status" command to work as non-root.

ovs-ctl: Start ovs-vswitchd with correct niceness.

ovsdb: Log when remote connections are deconfigured.

Recently I helped debug a scenario where ovsdb-server connected to a remote
manager, then ovs-vsctl deleted the remote manager and soon after re-added
it.  The log was difficult to interpret because it showed two successful
connection attempts to the same remote without showing a reason why the
connection was dropped in the first place.  Adding this log message would
make it clear that the configuration changed to remove that remote
connection in the meantime.

PORTING: Document why OVS does not support hybrid ofproto+dpif providers.

CC: Sanjay Sane <ssane@nicira.com>
CC: Justin Pettit <jpettit@nicira.com>
CC: Hao Zheng <hzheng@nicira.com>

rhel: Add ovs-bugtool manpage to list of packaged files.

With this change, the RPM builds for me again on RHEL 6.

Bug #6413.

ovs-bugtool: Include conf.db backups in bugtool output.

When an upgrade or downgrade fails due to OVSDB issues, it is useful to
have the old versions of the database available.

ovs-bugtool: Add an OVSDB snapshot to ovs-bugtool output.

The ovs-bugtool output already includes a copy of the configuration
database file, but this file omits many instantaneous details.  For
example, it does not include any information about controller connection
status or interface statistics.  This commit adds a snapshot of the
database contents that does include these details.

ovs-bugtool: Add plugins previously used only under XenServer.

All of the xen-bugtool plugins that OVS has previously installed only under
XenServer are equally useful with Debian and other distributions, so
this commit installs and uses them everywhere.

configure: Improve error message when pkg-config is missing.

Until now, when pkg-config is missing, Autoconf emitted this error:
    error: possibly undefined macro: PKG_CHECK_MODULES
This commit changes the message to:
    error: Please install pkg-config.
This should be easier for users to interpret.

Suggested-by: Ethan Jackson <ethan@nicira.com>

tests: Fix deprecated use of qw.

This causes tests to fail on my system with the following error.

Use of qw(...) as parentheses is deprecated at
/home/root/ovs/tests/flowgen.pl line 35.

ovs-bugtool: Dump dpkg-related information as well as RPM-related info.

ovs-bugtool: Turn off "group" and "other" permissions for generated files.

ovs-bugtool's output is potentially sensitive, so it seems best not to
allow anyone but the owner to read it.  This commit disables "group" and
"other" bits in the Unix ACL.

ovs-bugtool: Make available outside of Debian packages.

ovs-bugtool is no longer Debian-specific, so install it everywhere.  (On
XenServer, specifically, we do not install it, because there xen-bugtool
already exists.)

ovs-bugtool: Restore RHEL support.

ovs-bugtool was originally xen-bugtool from Citrix XenServer.  We modified
it for OVS by tailoring it to work better on Debian, updating file
locations and removing features that were specific to XenServer or that
work with packages not installed by default on Debian.

This commit reverts many of those changes.  This commit:

  - Adds back code that works with RHEL features not installed by default
    on Debian (but not XenServer-specific features, since xen-bugtool works
    nicely on XenServer).

  - Switches from hard-coded paths for utilities to searching the
    superuser's typical $PATH (because RHEL and Debian disagree on the
    location for some utilities).

  - In a few cases merges lists, e.g. now it looks for logs under the names
    used in both Debian and RHEL.

  - Fixes a few spurious differences between ovs-bugtool and xen-bugtool,
    e.g. in white space.

datapath: An expanded table should be larger than its predecessor

This resolves what appears to be a think-o in tbl_expand()

* Old Logic: Always create tables with TBL_MIN_BUCKETS buckets
* New Logic: Create tables twice as big as their predecessor

When sending 10,000 flows through ovs-vswitchd:
* Old Logic: CPU bound in tbl_lookup(), significant packet loss
* New Logic: ~10% of one core used, negligible packet loss

Tested with an Intel E5520 @ 2.27GHz,
flows from an ethernet device to to a dummy interface with
no address configured.

Signed-off-by: Simon Horman <horms@verge.net.au>
Signed-off-by: Jesse Gross <jesse@nicira.com>

configure: Pass correct -target option to "cgcc" in the common case.

The "cgcc" script included with sparse guesses the target architecture
based on the host architecture instead of based on the GCC architecture.
This means that it often guesses wrong on biarch systems, e.g. my Linux
kernel is x86_64 but userspace is i686 and thus GCC targets i686 by
default.

This fixes the problem by passing an explicit "-target=i86" to cgcc if
GCC targets x86 or "-target=x86_64" if GCC targets x86_64.

Bug #6312.
Reported-by: Ethan Jackson <ethan@nicira.com>

INSTALL.bridge: Fix suggested ovs-brcompatd invocation.

ovs-brcompatd no longer accepts any non-option arguments.  Also,
-vANY:console:EMER is unnecessary, because --detach now implies disabling
logging to the console.

ovsdb: Remove useless "return;" in ovsdb_jsonrpc_session_get_status().

packets: Remove unneeded !! from eth_addr_is_local().

There's no value in using !! on an operand of && or || as done here.

vconn-stream: Always call the stream's run function from vconn_stream_run().

The stream's run function ensures that data buffered in the stream itself
gets pushed to the network.  Only the SSL stream class has such a run
function, which means that SSL stream data failed to be pushed to the
remote peer in a timely manner in some cases.

Many thanks to Alex Yip for narrowing this down.

Reported-by: Alex Yip <alex@nicira.com>
Tested-by: Alex Yip <alex@nicira.com>
Bug #6221.

ovsdb-tool: Put version number in comment when compacting or converting.

Adding the version number can make it clear what version of OVS screwed
something up as part of an upgrade or downgrade.