bridge: Simplify and clean up bond slave enable/disable.
[sliver-openvswitch.git] / vswitchd / bridge.c
index b57860f..5c0b88d 100644 (file)
@@ -61,6 +61,7 @@
 #include "shash.h"
 #include "socket-util.h"
 #include "stream-ssl.h"
+#include "sset.h"
 #include "svec.h"
 #include "system-stats.h"
 #include "timeval.h"
@@ -113,9 +114,6 @@ struct iface {
     bool up;                    /* Is the interface up? */
     const char *type;           /* Usually same as cfg->type. */
     const struct ovsrec_interface *cfg;
-
-    /* LACP information. */
-    uint16_t lacp_priority;     /* LACP port priority. */
 };
 
 #define BOND_MASK 0xff
@@ -142,8 +140,8 @@ struct mirror {
     struct uuid uuid;           /* UUID of this "mirror" record in database. */
 
     /* Selection criteria. */
-    struct shash src_ports;     /* Name is port name; data is always NULL. */
-    struct shash dst_ports;     /* Name is port name; data is always NULL. */
+    struct sset src_ports;      /* Source port names. */
+    struct sset dst_ports;      /* Destination port names. */
     int *vlans;
     size_t n_vlans;
 
@@ -183,9 +181,6 @@ struct port {
 
     /* LACP information. */
     struct lacp *lacp;          /* LACP object. NULL if LACP is disabled. */
-    bool lacp_active;           /* True if LACP is active */
-    bool lacp_fast;             /* True if LACP is in fast mode. */
-    uint16_t lacp_priority;     /* LACP system priority. */
 
     /* SLB specific bonding info. */
     struct bond_entry *bond_hash; /* An array of (BOND_MASK + 1) elements. */
@@ -211,7 +206,7 @@ struct bridge {
 
     /* Kernel datapath information. */
     struct dpif *dpif;          /* Datapath. */
-    struct hmap ifaces;         /* Contains "struct iface"s. */
+    struct hmap ifaces;         /* "struct iface"s indexed by dp_ifidx. */
 
     /* Bridge ports. */
     struct hmap ports;          /* "struct port"s indexed by name. */
@@ -238,6 +233,11 @@ static struct ovsdb_idl *idl;
 #define STATS_INTERVAL (5 * 1000) /* In milliseconds. */
 static long long int stats_timer = LLONG_MIN;
 
+/* Stores the time after which CFM statistics may be written to the database.
+ * Only updated when changes to the database require rate limiting. */
+#define CFM_LIMIT_INTERVAL (1 * 1000) /* In milliseconds. */
+static long long int cfm_limiter = LLONG_MIN;
+
 static struct bridge *bridge_create(const struct ovsrec_bridge *br_cfg);
 static void bridge_destroy(struct bridge *);
 static struct bridge *bridge_lookup(const char *name);
@@ -262,6 +262,7 @@ static uint64_t bridge_pick_datapath_id(struct bridge *,
 static uint64_t dpid_from_hash(const void *, size_t nbytes);
 
 static unixctl_cb_func bridge_unixctl_fdb_show;
+static unixctl_cb_func cfm_unixctl_show;
 static unixctl_cb_func qos_unixctl_show;
 
 static void bond_init(void);
@@ -302,7 +303,7 @@ static void iface_set_mac(struct iface *);
 static void iface_set_ofport(const struct ovsrec_interface *, int64_t ofport);
 static void iface_update_qos(struct iface *, const struct ovsrec_qos *);
 static void iface_update_cfm(struct iface *);
-static void iface_refresh_cfm_stats(struct iface *iface);
+static bool iface_refresh_cfm_stats(struct iface *iface);
 static void iface_update_carrier(struct iface *);
 static bool iface_get_carrier(const struct iface *);
 
@@ -340,6 +341,7 @@ bridge_init(const char *remote)
 
     /* Register unixctl commands. */
     unixctl_command_register("fdb/show", bridge_unixctl_fdb_show, NULL);
+    unixctl_command_register("cfm/show", cfm_unixctl_show, NULL);
     unixctl_command_register("qos/show", qos_unixctl_show, NULL);
     unixctl_command_register("bridge/dump-flows", bridge_unixctl_dump_flows,
                              NULL);
@@ -366,8 +368,9 @@ static void
 bridge_configure_once(const struct ovsrec_open_vswitch *cfg)
 {
     static bool already_configured_once;
-    struct svec bridge_names;
-    struct svec dpif_names, dpif_types;
+    struct sset bridge_names;
+    struct sset dpif_names, dpif_types;
+    const char *type;
     size_t i;
 
     /* Only do this once per ovs-vswitchd run. */
@@ -379,30 +382,28 @@ bridge_configure_once(const struct ovsrec_open_vswitch *cfg)
     stats_timer = time_msec() + STATS_INTERVAL;
 
     /* Get all the configured bridges' names from 'cfg' into 'bridge_names'. */
-    svec_init(&bridge_names);
+    sset_init(&bridge_names);
     for (i = 0; i < cfg->n_bridges; i++) {
-        svec_add(&bridge_names, cfg->bridges[i]->name);
+        sset_add(&bridge_names, cfg->bridges[i]->name);
     }
-    svec_sort(&bridge_names);
 
     /* Iterate over all system dpifs and delete any of them that do not appear
      * in 'cfg'. */
-    svec_init(&dpif_names);
-    svec_init(&dpif_types);
+    sset_init(&dpif_names);
+    sset_init(&dpif_types);
     dp_enumerate_types(&dpif_types);
-    for (i = 0; i < dpif_types.n; i++) {
-        size_t j;
+    SSET_FOR_EACH (type, &dpif_types) {
+        const char *name;
 
-        dp_enumerate_names(dpif_types.names[i], &dpif_names);
+        dp_enumerate_names(type, &dpif_names);
 
         /* Delete each dpif whose name is not in 'bridge_names'. */
-        for (j = 0; j < dpif_names.n; j++) {
-            if (!svec_contains(&bridge_names, dpif_names.names[j])) {
+        SSET_FOR_EACH (name, &dpif_names) {
+            if (!sset_contains(&bridge_names, name)) {
                 struct dpif *dpif;
                 int retval;
 
-                retval = dpif_open(dpif_names.names[j], dpif_types.names[i],
-                                   &dpif);
+                retval = dpif_open(name, type, &dpif);
                 if (!retval) {
                     dpif_delete(dpif);
                     dpif_close(dpif);
@@ -410,9 +411,9 @@ bridge_configure_once(const struct ovsrec_open_vswitch *cfg)
             }
         }
     }
-    svec_destroy(&bridge_names);
-    svec_destroy(&dpif_names);
-    svec_destroy(&dpif_types);
+    sset_destroy(&bridge_names);
+    sset_destroy(&dpif_names);
+    sset_destroy(&dpif_types);
 }
 
 /* Callback for iterate_and_prune_ifaces(). */
@@ -499,30 +500,29 @@ collect_in_band_managers(const struct ovsrec_open_vswitch *ovs_cfg,
 {
     struct sockaddr_in *managers = NULL;
     size_t n_managers = 0;
-    struct shash targets;
+    struct sset targets;
     size_t i;
 
     /* Collect all of the potential targets from the "targets" columns of the
      * rows pointed to by "manager_options", excluding any that are
      * out-of-band. */
-    shash_init(&targets);
+    sset_init(&targets);
     for (i = 0; i < ovs_cfg->n_manager_options; i++) {
         struct ovsrec_manager *m = ovs_cfg->manager_options[i];
 
         if (m->connection_mode && !strcmp(m->connection_mode, "out-of-band")) {
-            shash_find_and_delete(&targets, m->target);
+            sset_find_and_delete(&targets, m->target);
         } else {
-            shash_add_once(&targets, m->target, NULL);
+            sset_add(&targets, m->target);
         }
     }
 
     /* Now extract the targets' IP addresses. */
-    if (!shash_is_empty(&targets)) {
-        struct shash_node *node;
+    if (!sset_is_empty(&targets)) {
+        const char *target;
 
-        managers = xmalloc(shash_count(&targets) * sizeof *managers);
-        SHASH_FOR_EACH (node, &targets) {
-            const char *target = node->name;
+        managers = xmalloc(sset_count(&targets) * sizeof *managers);
+        SSET_FOR_EACH (target, &targets) {
             struct sockaddr_in *sin = &managers[n_managers];
 
             if ((!strncmp(target, "tcp:", 4)
@@ -533,7 +533,7 @@ collect_in_band_managers(const struct ovsrec_open_vswitch *ovs_cfg,
             }
         }
     }
-    shash_destroy(&targets);
+    sset_destroy(&targets);
 
     *managersp = managers;
     *n_managersp = n_managers;
@@ -743,7 +743,7 @@ bridge_reconfigure(const struct ovsrec_open_vswitch *ovs_cfg)
     }
     sflow_bridge_number = 0;
     LIST_FOR_EACH (br, node, &all_bridges) {
-        uint8_t ea[8];
+        uint8_t ea[ETH_ADDR_LEN];
         uint64_t dpid;
         struct iface *local_iface;
         struct iface *hw_addr_iface;
@@ -813,12 +813,14 @@ bridge_reconfigure(const struct ovsrec_open_vswitch *ovs_cfg)
                 }
             }
 
-            opts.collectors.n = nf_cfg->n_targets;
-            opts.collectors.names = nf_cfg->targets;
+            sset_init(&opts.collectors);
+            sset_add_array(&opts.collectors,
+                           nf_cfg->targets, nf_cfg->n_targets);
             if (ofproto_set_netflow(br->ofproto, &opts)) {
                 VLOG_ERR("bridge %s: problem setting netflow collectors",
                          br->name);
             }
+            sset_destroy(&opts.collectors);
         } else {
             ofproto_set_netflow(br->ofproto, NULL);
         }
@@ -832,8 +834,9 @@ bridge_reconfigure(const struct ovsrec_open_vswitch *ovs_cfg)
 
             memset(&oso, 0, sizeof oso);
 
-            oso.targets.n = sflow_cfg->n_targets;
-            oso.targets.names = sflow_cfg->targets;
+            sset_init(&oso.targets);
+            sset_add_array(&oso.targets,
+                           sflow_cfg->targets, sflow_cfg->n_targets);
 
             oso.sampling_rate = SFL_DEFAULT_SAMPLING_RATE;
             if (sflow_cfg->sampling) {
@@ -863,7 +866,7 @@ bridge_reconfigure(const struct ovsrec_open_vswitch *ovs_cfg)
             }
             ofproto_set_sflow(br->ofproto, &oso);
 
-            /* Do not destroy oso.targets because it is owned by sflow_cfg. */
+            sset_destroy(&oso.targets);
         } else {
             ofproto_set_sflow(br->ofproto, NULL);
         }
@@ -1196,18 +1199,21 @@ iface_refresh_status(struct iface *iface)
     }
 }
 
-static void
+/* Writes 'iface''s CFM statistics to the database.  Returns true if anything
+ * changed, false otherwise. */
+static bool
 iface_refresh_cfm_stats(struct iface *iface)
 {
     const struct ovsrec_monitor *mon;
     const struct cfm *cfm;
+    bool changed = false;
     size_t i;
 
     mon = iface->cfg->monitor;
     cfm = ofproto_iface_get_cfm(iface->port->bridge->ofproto, iface->dp_ifidx);
 
     if (!cfm || !mon) {
-        return;
+        return false;
     }
 
     for (i = 0; i < mon->n_remote_mps; i++) {
@@ -1217,59 +1223,18 @@ iface_refresh_cfm_stats(struct iface *iface)
         mp = mon->remote_mps[i];
         rmp = cfm_get_remote_mp(cfm, mp->mpid);
 
-        ovsrec_maintenance_point_set_fault(mp, &rmp->fault, 1);
-    }
-
-    if (hmap_is_empty(&cfm->x_remote_mps)) {
-        ovsrec_monitor_set_unexpected_remote_mpids(mon, NULL, 0);
-    } else {
-        size_t length;
-        struct remote_mp *rmp;
-        int64_t *x_remote_mps;
-
-        length = hmap_count(&cfm->x_remote_mps);
-        x_remote_mps = xzalloc(length * sizeof *x_remote_mps);
-
-        i = 0;
-        HMAP_FOR_EACH (rmp, node, &cfm->x_remote_mps) {
-            x_remote_mps[i++] = rmp->mpid;
+        if (mp->n_fault != 1 || mp->fault[0] != rmp->fault) {
+            ovsrec_maintenance_point_set_fault(mp, &rmp->fault, 1);
+            changed = true;
         }
-
-        ovsrec_monitor_set_unexpected_remote_mpids(mon, x_remote_mps, length);
-        free(x_remote_mps);
     }
 
-    if (hmap_is_empty(&cfm->x_remote_maids)) {
-        ovsrec_monitor_set_unexpected_remote_maids(mon, NULL, 0);
-    } else {
-        size_t length;
-        char **x_remote_maids;
-        struct remote_maid *rmaid;
-
-        length = hmap_count(&cfm->x_remote_maids);
-        x_remote_maids = xzalloc(length * sizeof *x_remote_maids);
-
-        i = 0;
-        HMAP_FOR_EACH (rmaid, node, &cfm->x_remote_maids) {
-            size_t j;
-
-            x_remote_maids[i] = xzalloc(CCM_MAID_LEN * 2 + 1);
-
-            for (j = 0; j < CCM_MAID_LEN; j++) {
-                 snprintf(&x_remote_maids[i][j * 2], 3, "%02hhx",
-                          rmaid->maid[j]);
-            }
-            i++;
-        }
-        ovsrec_monitor_set_unexpected_remote_maids(mon, x_remote_maids, length);
-
-        for (i = 0; i < length; i++) {
-            free(x_remote_maids[i]);
-        }
-        free(x_remote_maids);
+    if (mon->n_fault != 1 || mon->fault[0] != cfm->fault) {
+        ovsrec_monitor_set_fault(mon, &cfm->fault, 1);
+        changed = true;
     }
 
-    ovsrec_monitor_set_fault(mon, &cfm->fault, 1);
+    return changed;
 }
 
 static void
@@ -1447,7 +1412,6 @@ bridge_run(void)
 
                     LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
                         iface_refresh_stats(iface);
-                        iface_refresh_cfm_stats(iface);
                         iface_refresh_status(iface);
                     }
                 }
@@ -1460,6 +1424,31 @@ bridge_run(void)
 
         stats_timer = time_msec() + STATS_INTERVAL;
     }
+
+    if (time_msec() >= cfm_limiter) {
+        struct ovsdb_idl_txn *txn;
+        bool changed = false;
+
+        txn = ovsdb_idl_txn_create(idl);
+        LIST_FOR_EACH (br, node, &all_bridges) {
+            struct port *port;
+
+            HMAP_FOR_EACH (port, hmap_node, &br->ports) {
+                struct iface *iface;
+
+                LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
+                    changed = iface_refresh_cfm_stats(iface) || changed;
+                }
+            }
+        }
+
+        if (changed) {
+            cfm_limiter = time_msec() + CFM_LIMIT_INTERVAL;
+        }
+
+        ovsdb_idl_txn_commit(txn);
+        ovsdb_idl_txn_destroy(txn);
+    }
 }
 
 void
@@ -1471,18 +1460,17 @@ bridge_wait(void)
         struct port *port;
 
         ofproto_wait(br->ofproto);
-        if (ofproto_has_primary_controller(br->ofproto)) {
-            continue;
-        }
-
         mac_learning_wait(br->ml);
-
         HMAP_FOR_EACH (port, hmap_node, &br->ports) {
             port_wait(port);
         }
     }
     ovsdb_idl_wait(idl);
     poll_timer_wait_until(stats_timer);
+
+    if (cfm_limiter > time_msec()) {
+        poll_timer_wait_until(cfm_limiter);
+    }
 }
 
 /* Forces 'br' to revalidate all of its flows.  This is appropriate when 'br''s
@@ -1520,6 +1508,33 @@ bridge_unixctl_fdb_show(struct unixctl_conn *conn,
     ds_destroy(&ds);
 }
 \f
+/* CFM unixctl user interface functions. */
+static void
+cfm_unixctl_show(struct unixctl_conn *conn,
+                 const char *args, void *aux OVS_UNUSED)
+{
+    struct ds ds = DS_EMPTY_INITIALIZER;
+    struct iface *iface;
+    const struct cfm *cfm;
+
+    iface = iface_find(args);
+    if (!iface) {
+        unixctl_command_reply(conn, 501, "no such interface");
+        return;
+    }
+
+    cfm = ofproto_iface_get_cfm(iface->port->bridge->ofproto, iface->dp_ifidx);
+
+    if (!cfm) {
+        unixctl_command_reply(conn, 501, "CFM not enabled");
+        return;
+    }
+
+    cfm_dump_ds(cfm, &ds);
+    unixctl_command_reply(conn, 200, ds_cstr(&ds));
+    ds_destroy(&ds);
+}
+\f
 /* QoS unixctl user interface functions. */
 
 struct qos_unixctl_show_cbdata {
@@ -1629,7 +1644,6 @@ bridge_create(const struct ovsrec_bridge *br_cfg)
         free(br);
         return NULL;
     }
-    dpif_flow_flush(br->dpif);
 
     error = ofproto_create(br_cfg->name, br_cfg->datapath_type, &bridge_ofhooks,
                            br, &br->ofproto);
@@ -1671,13 +1685,13 @@ bridge_destroy(struct bridge *br)
             port_destroy(port);
         }
         list_remove(&br->node);
+        ofproto_destroy(br->ofproto);
         error = dpif_delete(br->dpif);
         if (error && error != ENOENT) {
             VLOG_ERR("failed to delete %s: %s",
                      dpif_name(br->dpif), strerror(error));
         }
         dpif_close(br->dpif);
-        ofproto_destroy(br->ofproto);
         mac_learning_destroy(br->ml);
         hmap_destroy(&br->ifaces);
         hmap_destroy(&br->ports);
@@ -1793,7 +1807,6 @@ static void
 bridge_reconfigure_one(struct bridge *br)
 {
     enum ofproto_fail_mode fail_mode;
-    struct svec snoops, old_snoops;
     struct port *port, *next;
     struct shash_node *node;
     struct shash new_ports;
@@ -1873,16 +1886,15 @@ bridge_reconfigure_one(struct bridge *br)
      * controller to another?) */
 
     /* Configure OpenFlow controller connection snooping. */
-    svec_init(&snoops);
-    svec_add_nocopy(&snoops, xasprintf("punix:%s/%s.snoop",
-                                       ovs_rundir(), br->name));
-    svec_init(&old_snoops);
-    ofproto_get_snoops(br->ofproto, &old_snoops);
-    if (!svec_equal(&snoops, &old_snoops)) {
+    if (!ofproto_has_snoops(br->ofproto)) {
+        struct sset snoops;
+
+        sset_init(&snoops);
+        sset_add_and_free(&snoops, xasprintf("punix:%s/%s.snoop",
+                                             ovs_rundir(), br->name));
         ofproto_set_snoops(br->ofproto, &snoops);
+        sset_destroy(&snoops);
     }
-    svec_destroy(&snoops);
-    svec_destroy(&old_snoops);
 
     mirror_reconfigure(br);
 }
@@ -2160,173 +2172,128 @@ lookup_bond_entry(const struct port *port, const struct flow *flow,
 }
 
 static struct iface *
-bond_choose_iface(const struct port *port)
-{
-    static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 20);
-    struct iface *best_down_slave;
-    struct iface *iface;
-
-    best_down_slave = NULL;
-    LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
-        if (iface->enabled) {
-            return iface;
-        } else if ((!best_down_slave
-                    || iface->delay_expires < best_down_slave->delay_expires)
-                   && lacp_slave_may_enable(port->lacp, iface)) {
-            best_down_slave = iface;
-        }
-    }
-
-    if (best_down_slave) {
-        VLOG_INFO_RL(&rl, "interface %s: skipping remaining %lli ms updelay "
-                     "since no other interface is up",
-                     best_down_slave->name,
-                     best_down_slave->delay_expires - time_msec());
-        bond_enable_slave(best_down_slave, true);
-    }
-
-    return best_down_slave;
-}
-
-static bool
 choose_output_iface(const struct port *port, const struct flow *flow,
-                    uint16_t vlan, uint16_t *dp_ifidx, tag_type *tags)
+                    uint16_t vlan)
 {
-    struct iface *iface;
-
     assert(port->n_ifaces);
     if (port->n_ifaces == 1) {
-        iface = port_get_an_iface(port);
+        return port_get_an_iface(port);
     } else if (port->bond_mode == BM_AB) {
-        iface = port->active_iface;
-        if (!iface) {
-            *tags |= port->no_ifaces_tag;
-            return false;
-        }
+        return port->active_iface;
     } else {
         struct bond_entry *e = lookup_bond_entry(port, flow, vlan);
         if (!e->iface || !e->iface->enabled) {
             /* XXX select interface properly.  The current interface selection
              * is only good for testing the rebalancing code. */
-            e->iface = bond_choose_iface(port);
-            if (!e->iface) {
-                *tags |= port->no_ifaces_tag;
-                return false;
-            }
+            e->iface = port->active_iface;
             e->tag = tag_create_random();
         }
-        *tags |= e->tag;
-        iface = e->iface;
+        return e->iface;
+    }
+}
+
+static void
+bond_enable_slave(struct iface *iface, bool enable)
+{
+    iface->delay_expires = LLONG_MAX;
+    if (enable != iface->enabled) {
+        iface->enabled = enable;
+        if (!iface->enabled) {
+            VLOG_WARN("interface %s: disabled", iface->name);
+            ofproto_revalidate(iface->port->bridge->ofproto, iface->tag);
+        } else {
+            VLOG_WARN("interface %s: enabled", iface->name);
+            iface->tag = tag_create_random();
+        }
     }
-    *dp_ifidx = iface->dp_ifidx;
-    *tags |= iface->tag;        /* Currently only used for bonding. */
-    return true;
 }
 
 static void
 bond_link_status_update(struct iface *iface)
 {
-    static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 20);
     struct port *port = iface->port;
-    bool up = iface->up && lacp_slave_may_enable(port->lacp, iface);
-    int updelay, downdelay;
-
-    updelay = port->updelay;
-    downdelay = port->downdelay;
-
-    if (lacp_negotiated(port->lacp)) {
-        downdelay = 0;
-        updelay = 0;
+    bool up;
+
+    up = iface->up && lacp_slave_may_enable(port->lacp, iface);
+    if ((up == iface->enabled) != (iface->delay_expires == LLONG_MAX)) {
+        static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 20);
+        VLOG_INFO_RL(&rl, "interface %s: link state %s",
+                     iface->name, up ? "up" : "down");
+        if (up == iface->enabled) {
+            iface->delay_expires = LLONG_MAX;
+            VLOG_INFO_RL(&rl, "interface %s: will not be %s",
+                         iface->name, up ? "disabled" : "enabled");
+        } else {
+            int delay = (lacp_negotiated(port->lacp) ? 0
+                         : up ? port->updelay : port->downdelay);
+            iface->delay_expires = time_msec() + delay;
+            if (delay) {
+                VLOG_INFO_RL(&rl, "interface %s: will be %s if it stays %s "
+                             "for %d ms",
+                             iface->name,
+                             up ? "enabled" : "disabled",
+                             up ? "up" : "down",
+                             delay);
+            }
+        }
     }
 
-    if ((up == iface->enabled) == (iface->delay_expires == LLONG_MAX)) {
-        /* Nothing to do. */
-        return;
+    if (time_msec() >= iface->delay_expires) {
+        bond_enable_slave(iface, up);
     }
-    VLOG_INFO_RL(&rl, "interface %s: link state %s",
-                 iface->name, up ? "up" : "down");
-    if (up == iface->enabled) {
-        iface->delay_expires = LLONG_MAX;
-        VLOG_INFO_RL(&rl, "interface %s: will not be %s",
-                     iface->name, up ? "disabled" : "enabled");
-    } else if (up && !port->active_iface) {
-        bond_enable_slave(iface, true);
-        if (updelay) {
-            VLOG_INFO_RL(&rl, "interface %s: skipping %d ms updelay since no "
-                         "other interface is up", iface->name, updelay);
+}
+
+static struct iface *
+bond_choose_iface(const struct port *port)
+{
+    struct iface *iface, *best;
+
+    /* Find an enabled iface. */
+    LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
+        if (iface->enabled) {
+            return iface;
         }
-    } else {
-        int delay = up ? updelay : downdelay;
-        iface->delay_expires = time_msec() + delay;
-        if (delay) {
-            VLOG_INFO_RL(&rl,
-                         "interface %s: will be %s if it stays %s for %d ms",
-                         iface->name,
-                         up ? "enabled" : "disabled",
-                         up ? "up" : "down",
-                         delay);
+    }
+
+    /* All interfaces are disabled.  Find an interface that will be enabled
+     * after its updelay expires.  */
+    best = NULL;
+    LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
+        if (lacp_slave_may_enable(port->lacp, iface)
+            && (!best || iface->delay_expires < best->delay_expires)) {
+            best = iface;
         }
     }
+    return best;
 }
 
 static void
 bond_choose_active_iface(struct port *port)
 {
     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 20);
+    struct iface *old_active_iface = port->active_iface;
 
     port->active_iface = bond_choose_iface(port);
     if (port->active_iface) {
-        VLOG_INFO_RL(&rl, "port %s: active interface is now %s",
-                     port->name, port->active_iface->name);
-    } else {
-        VLOG_WARN_RL(&rl, "port %s: all ports disabled, no active interface",
-                     port->name);
-    }
-}
-
-static void
-bond_enable_slave(struct iface *iface, bool enable)
-{
-    struct port *port = iface->port;
-    struct bridge *br = port->bridge;
-
-    /* This acts as a recursion check.  If the act of disabling a slave
-     * causes a different slave to be enabled, the flag will allow us to
-     * skip redundant work when we reenter this function.  It must be
-     * cleared on exit to keep things safe with multiple bonds. */
-    static bool moving_active_iface = false;
-
-    iface->delay_expires = LLONG_MAX;
-    if (enable == iface->enabled) {
-        return;
-    }
+        if (port->active_iface->enabled) {
+            VLOG_INFO_RL(&rl, "port %s: active interface is now %s",
+                         port->name, port->active_iface->name);
+        } else {
+            VLOG_INFO_RL(&rl, "port %s: active interface is now %s, skipping "
+                         "remaining %lld ms updelay (since no interface was "
+                         "enabled)", port->name, port->active_iface->name,
+                         port->active_iface->delay_expires - time_msec());
+            bond_enable_slave(port->active_iface, true);
+        }
 
-    iface->enabled = enable;
-    if (!iface->enabled) {
-        VLOG_WARN("interface %s: disabled", iface->name);
-        ofproto_revalidate(br->ofproto, iface->tag);
-        if (iface == port->active_iface) {
-            /* Disabling a slave can lead to another slave being immediately
-             * enabled if there will be no active slaves but one is waiting
-             * on an updelay.  In this case we do not need to run most of the
-             * code for the newly enabled slave since there was no period
-             * without an active slave and it is redundant with the disabling
-             * path. */
-            moving_active_iface = true;
-            bond_choose_active_iface(port);
+        if (!old_active_iface) {
+            ofproto_revalidate(port->bridge->ofproto, port->no_ifaces_tag);
         }
         bond_send_learning_packets(port);
     } else {
-        VLOG_WARN("interface %s: enabled", iface->name);
-        if (!port->active_iface && !moving_active_iface) {
-            ofproto_revalidate(br->ofproto, port->no_ifaces_tag);
-            bond_choose_active_iface(port);
-            bond_send_learning_packets(port);
-        }
-        iface->tag = tag_create_random();
+        VLOG_WARN_RL(&rl, "port %s: all ports disabled, no active interface",
+                     port->name);
     }
-
-    moving_active_iface = false;
 }
 
 /* Attempts to make the sum of the bond slaves' statistics appear on the fake
@@ -2378,11 +2345,8 @@ bond_run(struct port *port)
     LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
         bond_link_status_update(iface);
     }
-
-    LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
-        if (time_msec() >= iface->delay_expires) {
-            bond_enable_slave(iface, !iface->enabled);
-        }
+    if (!port->active_iface || !port->active_iface->enabled) {
+        bond_choose_active_iface(port);
     }
 
     if (port->bond_fake_iface
@@ -2417,12 +2381,21 @@ set_dst(struct dst *dst, const struct flow *flow,
         const struct port *in_port, const struct port *out_port,
         tag_type *tags)
 {
+    struct iface *iface;
+
     dst->vlan = (out_port->vlan >= 0 ? OFP_VLAN_NONE
               : in_port->vlan >= 0 ? in_port->vlan
               : flow->vlan_tci == 0 ? OFP_VLAN_NONE
               : vlan_tci_to_vid(flow->vlan_tci));
-    return choose_output_iface(out_port, flow, dst->vlan,
-                               &dst->dp_ifidx, tags);
+
+    iface = choose_output_iface(out_port, flow, dst->vlan);
+    if (iface) {
+        *tags |= iface->tag;
+        dst->dp_ifidx = iface->dp_ifidx;
+    } else {
+        *tags |= out_port->no_ifaces_tag;
+    }
+    return iface != NULL;
 }
 
 static void
@@ -2709,7 +2682,6 @@ static int flow_get_vlan(struct bridge *br, const struct flow *flow,
     int vlan = vlan_tci_to_vid(flow->vlan_tci);
     if (in_port->vlan >= 0) {
         if (vlan) {
-            /* XXX support double tagging? */
             if (have_packet) {
                 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
                 VLOG_WARN_RL(&rl, "bridge %s: dropping VLAN %d tagged "
@@ -3402,8 +3374,7 @@ bond_send_learning_packets(struct port *port)
     ofpbuf_init(&packet, 128);
     error = n_packets = n_errors = 0;
     LIST_FOR_EACH (e, lru_node, &br->ml->lrus) {
-        tag_type tags = 0;
-        uint16_t dp_ifidx;
+        struct iface *iface;
         struct flow flow;
         int retval;
 
@@ -3415,13 +3386,15 @@ bond_send_learning_packets(struct port *port)
                               e->mac);
         flow_extract(&packet, 0, ODPP_NONE, &flow);
 
-        if (!choose_output_iface(port, &flow, e->vlan, &dp_ifidx, &tags)) {
+        iface = choose_output_iface(port, &flow, e->vlan);
+        if (!iface) {
             continue;
         }
 
         /* Send packet. */
         n_packets++;
-        retval = ofproto_send_packet(br->ofproto, dp_ifidx, e->vlan, &packet);
+        retval = ofproto_send_packet(br->ofproto, iface->dp_ifidx, e->vlan,
+                                     &packet);
         if (retval) {
             error = retval;
             n_errors++;
@@ -3510,7 +3483,7 @@ bond_unixctl_show(struct unixctl_conn *conn,
 
     if (port->lacp) {
         ds_put_format(&ds, "lacp: %s\n",
-                      port->lacp_active ? "active" : "passive");
+                      lacp_is_active(port->lacp) ? "active" : "passive");
     } else {
         ds_put_cstr(&ds, "lacp: off\n");
     }
@@ -3576,16 +3549,10 @@ bond_unixctl_show(struct unixctl_conn *conn,
 
             /* MACs. */
             LIST_FOR_EACH (me, lru_node, &port->bridge->ml->lrus) {
-                uint16_t dp_ifidx;
-                tag_type tags = 0;
-
                 memcpy(flow.dl_src, me->mac, ETH_ADDR_LEN);
                 if (bond_hash_src(me->mac, me->vlan) == hash
                     && me->port.p != port
-                    && choose_output_iface(port, &flow, me->vlan,
-                                           &dp_ifidx, &tags)
-                    && dp_ifidx == iface->dp_ifidx)
-                {
+                    && choose_output_iface(port, &flow, me->vlan) == iface) {
                     ds_put_format(&ds, "\t\t"ETH_ADDR_FMT"\n",
                                   ETH_ADDR_ARGS(me->mac));
                 }
@@ -3814,8 +3781,8 @@ lacp_send_pdu_cb(void *aux, const struct lacp_pdu *pdu)
         struct lacp_pdu *packet_pdu;
 
         ofpbuf_init(&packet, 0);
-        packet_pdu = compose_packet(&packet, eth_addr_lacp, ea, ETH_TYPE_LACP,
-                                    sizeof *packet_pdu);
+        packet_pdu = eth_compose(&packet, eth_addr_lacp, ea, ETH_TYPE_LACP,
+                                 sizeof *packet_pdu);
         memcpy(packet_pdu, pdu, sizeof *packet_pdu);
         ofproto_send_packet(iface->port->bridge->ofproto,
                             iface->dp_ifidx, 0, &packet);
@@ -3928,24 +3895,24 @@ static void
 port_del_ifaces(struct port *port, const struct ovsrec_port *cfg)
 {
     struct iface *iface, *next;
-    struct shash new_ifaces;
+    struct sset new_ifaces;
     size_t i;
 
     /* Collect list of new interfaces. */
-    shash_init(&new_ifaces);
+    sset_init(&new_ifaces);
     for (i = 0; i < cfg->n_interfaces; i++) {
         const char *name = cfg->interfaces[i]->name;
-        shash_add_once(&new_ifaces, name, NULL);
+        sset_add(&new_ifaces, name);
     }
 
     /* Get rid of deleted interfaces. */
     LIST_FOR_EACH_SAFE (iface, next, port_elem, &port->ifaces) {
-        if (!shash_find(&new_ifaces, iface->name)) {
+        if (!sset_contains(&new_ifaces, iface->name)) {
             iface_destroy(iface);
         }
     }
 
-    shash_destroy(&new_ifaces);
+    sset_destroy(&new_ifaces);
 }
 
 /* Expires all MAC learning entries associated with 'port' and forces ofproto
@@ -3969,8 +3936,8 @@ static void
 port_reconfigure(struct port *port, const struct ovsrec_port *cfg)
 {
     const char *detect_mode;
-    struct shash new_ifaces;
-    long long int next_rebalance, miimon_next_update, lacp_priority;
+    struct sset new_ifaces;
+    long long int next_rebalance, miimon_next_update;
     bool need_flush = false;
     unsigned long *trunks;
     int vlan;
@@ -4037,12 +4004,12 @@ port_reconfigure(struct port *port, const struct ovsrec_port *cfg)
     }
 
     /* Add new interfaces and update 'cfg' member of existing ones. */
-    shash_init(&new_ifaces);
+    sset_init(&new_ifaces);
     for (i = 0; i < cfg->n_interfaces; i++) {
         const struct ovsrec_interface *if_cfg = cfg->interfaces[i];
         struct iface *iface;
 
-        if (!shash_add_once(&new_ifaces, if_cfg->name, NULL)) {
+        if (!sset_add(&new_ifaces, if_cfg->name)) {
             VLOG_WARN("port %s: %s specified twice as port interface",
                       port->name, if_cfg->name);
             iface_set_ofport(if_cfg, -1);
@@ -4068,56 +4035,8 @@ port_reconfigure(struct port *port, const struct ovsrec_port *cfg)
         iface->type = (!strcmp(if_cfg->name, port->bridge->name) ? "internal"
                        : if_cfg->type[0] ? if_cfg->type
                        : "system");
-
-        lacp_priority =
-            atoi(get_interface_other_config(if_cfg, "lacp-port-priority",
-                                            "0"));
-
-        if (lacp_priority <= 0 || lacp_priority > UINT16_MAX) {
-            iface->lacp_priority = UINT16_MAX;
-        } else {
-            iface->lacp_priority = lacp_priority;
-        }
-    }
-    shash_destroy(&new_ifaces);
-
-    port->lacp_fast = !strcmp(get_port_other_config(cfg, "lacp-time", "slow"),
-                             "fast");
-
-    lacp_priority =
-        atoi(get_port_other_config(cfg, "lacp-system-priority", "0"));
-
-    if (lacp_priority <= 0 || lacp_priority > UINT16_MAX) {
-        /* Prefer bondable links if unspecified. */
-        port->lacp_priority = port->n_ifaces > 1 ? UINT16_MAX - 1 : UINT16_MAX;
-    } else {
-        port->lacp_priority = lacp_priority;
-    }
-
-    if (!port->cfg->lacp) {
-        /* XXX when LACP implementation has been sufficiently tested, enable by
-         * default and make active on bonded ports. */
-        lacp_destroy(port->lacp);
-        port->lacp = NULL;
-    } else if (!strcmp(port->cfg->lacp, "off")) {
-        lacp_destroy(port->lacp);
-        port->lacp = NULL;
-    } else if (!strcmp(port->cfg->lacp, "active")) {
-        if (!port->lacp) {
-            port->lacp = lacp_create();
-        }
-        port->lacp_active = true;
-    } else if (!strcmp(port->cfg->lacp, "passive")) {
-        if (!port->lacp) {
-            port->lacp = lacp_create();
-        }
-        port->lacp_active = false;
-    } else {
-        VLOG_WARN("port %s: unknown LACP mode %s",
-                  port->name, port->cfg->lacp);
-        lacp_destroy(port->lacp);
-        port->lacp = NULL;
     }
+    sset_destroy(&new_ifaces);
 
     /* Get VLAN tag. */
     vlan = -1;
@@ -4245,20 +4164,75 @@ port_lookup_iface(const struct port *port, const char *name)
     return iface && iface->port == port ? iface : NULL;
 }
 
+static bool
+enable_lacp(struct port *port, bool *activep)
+{
+    if (!port->cfg->lacp) {
+        /* XXX when LACP implementation has been sufficiently tested, enable by
+         * default and make active on bonded ports. */
+        return false;
+    } else if (!strcmp(port->cfg->lacp, "off")) {
+        return false;
+    } else if (!strcmp(port->cfg->lacp, "active")) {
+        *activep = true;
+        return true;
+    } else if (!strcmp(port->cfg->lacp, "passive")) {
+        *activep = false;
+        return true;
+    } else {
+        VLOG_WARN("port %s: unknown LACP mode %s",
+                  port->name, port->cfg->lacp);
+        return false;
+    }
+}
+
+static void
+iface_update_lacp(struct iface *iface)
+{
+    struct lacp_slave_settings s;
+    int priority;
+
+    s.name = iface->name;
+    s.id = iface->dp_ifidx;
+    priority = atoi(get_interface_other_config(
+                        iface->cfg, "lacp-port-priority", "0"));
+    s.priority = (priority >= 0 && priority <= UINT16_MAX ? priority
+                  : UINT16_MAX);
+
+    lacp_slave_register(iface->port->lacp, iface, &s);
+}
+
 static void
 port_update_lacp(struct port *port)
 {
-    if (port->lacp) {
-        struct iface *iface;
+    struct lacp_settings s;
+    struct iface *iface;
+
+    if (!enable_lacp(port, &s.active)) {
+        lacp_destroy(port->lacp);
+        port->lacp = NULL;
+        return;
+    }
 
-        lacp_configure(port->lacp, port->name,
-                       port->bridge->ea, port->lacp_priority,
-                       port->lacp_active, port->lacp_fast);
+    if (!port->lacp) {
+        port->lacp = lacp_create();
+    }
 
-        LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
-            lacp_slave_register(port->lacp, iface, iface->name,
-                                iface->dp_ifidx, iface->lacp_priority);
-        }
+    s.name = port->name;
+    memcpy(s.id, port->bridge->ea, ETH_ADDR_LEN);
+    s.priority = atoi(get_port_other_config(port->cfg, "lacp-system-priority",
+                                          "0"));
+    s.fast = !strcmp(get_port_other_config(port->cfg, "lacp-time", "slow"),
+                     "fast");
+
+    if (s.priority <= 0 || s.priority > UINT16_MAX) {
+        /* Prefer bondable links if unspecified. */
+        s.priority = UINT16_MAX - (port->n_ifaces > 1);
+    }
+
+    lacp_configure(port->lacp, &s);
+    LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
+        iface_update_lacp(iface);
     }
 }
 
@@ -4293,10 +4267,6 @@ port_update_bonding(struct port *port)
             port->no_ifaces_tag = tag_create_random();
         }
 
-        if (!port->active_iface) {
-            bond_choose_active_iface(port);
-        }
-
         port->bond_fake_iface = port->cfg->bond_fake_iface;
         if (port->bond_fake_iface) {
             port->bond_next_fake_iface_update = time_msec();
@@ -4345,7 +4315,6 @@ iface_destroy(struct iface *iface)
     if (iface) {
         struct port *port = iface->port;
         struct bridge *br = port->bridge;
-        bool del_active = port->active_iface == iface;
 
         if (port->bond_hash) {
             struct bond_entry *e;
@@ -4375,9 +4344,8 @@ iface_destroy(struct iface *iface)
 
         netdev_close(iface->netdev);
 
-        if (del_active) {
-            bond_choose_active_iface(port);
-            bond_send_learning_packets(port);
+        if (port->active_iface == iface) {
+            port->active_iface = NULL;
         }
 
         free(iface->name);
@@ -4734,8 +4702,8 @@ mirror_create(struct bridge *br, struct ovsrec_mirror *cfg)
     m->bridge = br;
     m->idx = i;
     m->name = xstrdup(cfg->name);
-    shash_init(&m->src_ports);
-    shash_init(&m->dst_ports);
+    sset_init(&m->src_ports);
+    sset_init(&m->dst_ports);
     m->vlans = NULL;
     m->n_vlans = 0;
     m->out_vlan = -1;
@@ -4756,8 +4724,8 @@ mirror_destroy(struct mirror *m)
             port->dst_mirrors &= ~(MIRROR_MASK_C(1) << m->idx);
         }
 
-        shash_destroy(&m->src_ports);
-        shash_destroy(&m->dst_ports);
+        sset_destroy(&m->src_ports);
+        sset_destroy(&m->dst_ports);
         free(m->vlans);
 
         m->bridge->mirrors[m->idx] = NULL;
@@ -4771,14 +4739,14 @@ mirror_destroy(struct mirror *m)
 
 static void
 mirror_collect_ports(struct mirror *m, struct ovsrec_port **ports, int n_ports,
-                     struct shash *names)
+                     struct sset *names)
 {
     size_t i;
 
     for (i = 0; i < n_ports; i++) {
         const char *name = ports[i]->name;
         if (port_lookup(m->bridge, name)) {
-            shash_add_once(names, name, NULL);
+            sset_add(names, name);
         } else {
             VLOG_WARN("bridge %s: mirror %s cannot match on nonexistent "
                       "port %s", m->bridge->name, m->name, name);
@@ -4836,7 +4804,7 @@ port_trunks_any_mirrored_vlan(const struct mirror *m, const struct port *p)
 static void
 mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
 {
-    struct shash src_ports, dst_ports;
+    struct sset src_ports, dst_ports;
     mirror_mask_t mirror_bit;
     struct port *out_port;
     struct port *port;
@@ -4876,12 +4844,12 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
         return;
     }
 
-    shash_init(&src_ports);
-    shash_init(&dst_ports);
+    sset_init(&src_ports);
+    sset_init(&dst_ports);
     if (cfg->select_all) {
         HMAP_FOR_EACH (port, hmap_node, &m->bridge->ports) {
-            shash_add_once(&src_ports, port->name, NULL);
-            shash_add_once(&dst_ports, port->name, NULL);
+            sset_add(&src_ports, port->name);
+            sset_add(&dst_ports, port->name);
         }
         vlans = NULL;
         n_vlans = 0;
@@ -4897,8 +4865,8 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
     }
 
     /* Update mirror data. */
-    if (!shash_equal_keys(&m->src_ports, &src_ports)
-        || !shash_equal_keys(&m->dst_ports, &dst_ports)
+    if (!sset_equals(&m->src_ports, &src_ports)
+        || !sset_equals(&m->dst_ports, &dst_ports)
         || m->n_vlans != n_vlans
         || memcmp(m->vlans, vlans, sizeof *vlans * n_vlans)
         || m->out_port != out_port
@@ -4906,8 +4874,8 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
         bridge_flush(m->bridge);
         mac_learning_flush(m->bridge->ml);
     }
-    shash_swap(&m->src_ports, &src_ports);
-    shash_swap(&m->dst_ports, &dst_ports);
+    sset_swap(&m->src_ports, &src_ports);
+    sset_swap(&m->dst_ports, &dst_ports);
     free(m->vlans);
     m->vlans = vlans;
     m->n_vlans = n_vlans;
@@ -4917,7 +4885,7 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
     /* Update ports. */
     mirror_bit = MIRROR_MASK_C(1) << m->idx;
     HMAP_FOR_EACH (port, hmap_node, &m->bridge->ports) {
-        if (shash_find(&m->src_ports, port->name)
+        if (sset_contains(&m->src_ports, port->name)
             || (m->n_vlans
                 && (!port->vlan
                     ? port_trunks_any_mirrored_vlan(m, port)
@@ -4927,7 +4895,7 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
             port->src_mirrors &= ~mirror_bit;
         }
 
-        if (shash_find(&m->dst_ports, port->name)) {
+        if (sset_contains(&m->dst_ports, port->name)) {
             port->dst_mirrors |= mirror_bit;
         } else {
             port->dst_mirrors &= ~mirror_bit;
@@ -4935,6 +4903,6 @@ mirror_reconfigure_one(struct mirror *m, struct ovsrec_mirror *cfg)
     }
 
     /* Clean up. */
-    shash_destroy(&src_ports);
-    shash_destroy(&dst_ports);
+    sset_destroy(&src_ports);
+    sset_destroy(&dst_ports);
 }