vswitchd/bridge.c

   1 /* Copyright (c) 2008, 2009, 2010, 2011, 2012 Nicira Networks
   2  *
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <config.h>
  17 #include "bridge.h"
  18 #include <assert.h>
  19 #include <errno.h>
  20 #include <inttypes.h>
  21 #include <stdlib.h>
  22 #include "bitmap.h"
  23 #include "bond.h"
  24 #include "cfm.h"
  25 #include "coverage.h"
  26 #include "daemon.h"
  27 #include "dirs.h"
  28 #include "dynamic-string.h"
  29 #include "hash.h"
  30 #include "hmap.h"
  31 #include "hmapx.h"
  32 #include "jsonrpc.h"
  33 #include "lacp.h"
  34 #include "list.h"
  35 #include "mac-learning.h"
  36 #include "meta-flow.h"
  37 #include "netdev.h"
  38 #include "ofp-print.h"
  39 #include "ofpbuf.h"
  40 #include "ofproto/ofproto.h"
  41 #include "poll-loop.h"
  42 #include "sha1.h"
  43 #include "shash.h"
  44 #include "socket-util.h"
  45 #include "stream.h"
  46 #include "stream-ssl.h"
  47 #include "sset.h"
  48 #include "system-stats.h"
  49 #include "timeval.h"
  50 #include "util.h"
  51 #include "unixctl.h"
  52 #include "vlandev.h"
  53 #include "lib/vswitch-idl.h"
  54 #include "xenserver.h"
  55 #include "vlog.h"
  56 #include "sflow_api.h"
  57 #include "vlan-bitmap.h"
  58
  59 VLOG_DEFINE_THIS_MODULE(bridge);
  60
  61 COVERAGE_DEFINE(bridge_reconfigure);
  62
  63 struct iface {
  64     /* These members are always valid. */
  65     struct list port_elem;      /* Element in struct port's "ifaces" list. */
  66     struct hmap_node name_node; /* In struct bridge's "iface_by_name" hmap. */
  67     struct port *port;          /* Containing port. */
  68     char *name;                 /* Host network device name. */
  69     tag_type tag;               /* Tag associated with this interface. */
  70
  71     /* These members are valid only after bridge_reconfigure() causes them to
  72      * be initialized. */
  73     struct hmap_node ofp_port_node; /* In struct bridge's "ifaces" hmap. */
  74     int ofp_port;               /* OpenFlow port number, -1 if unknown. */
  75     struct netdev *netdev;      /* Network device. */
  76     const char *type;           /* Usually same as cfg->type. */
  77     const struct ovsrec_interface *cfg;
  78     bool need_refresh;          /* Refresh iface after create. */
  79 };
  80
  81 struct mirror {
  82     struct uuid uuid;           /* UUID of this "mirror" record in database. */
  83     struct hmap_node hmap_node; /* In struct bridge's "mirrors" hmap. */
  84     struct bridge *bridge;
  85     char *name;
  86     const struct ovsrec_mirror *cfg;
  87 };
  88
  89 struct port {
  90     struct hmap_node hmap_node; /* Element in struct bridge's "ports" hmap. */
  91     struct bridge *bridge;
  92     char *name;
  93
  94     const struct ovsrec_port *cfg;
  95
  96     /* An ordinary bridge port has 1 interface.
  97      * A bridge port for bonding has at least 2 interfaces. */
  98     struct list ifaces;         /* List of "struct iface"s. */
  99 };
 100
 101 struct bridge {
 102     struct hmap_node node;      /* In 'all_bridges'. */
 103     char *name;                 /* User-specified arbitrary name. */
 104     char *type;                 /* Datapath type. */
 105     uint8_t ea[ETH_ADDR_LEN];   /* Bridge Ethernet Address. */
 106     uint8_t default_ea[ETH_ADDR_LEN]; /* Default MAC. */
 107     const struct ovsrec_bridge *cfg;
 108
 109     /* OpenFlow switch processing. */
 110     struct ofproto *ofproto;    /* OpenFlow switch. */
 111
 112     /* Bridge ports. */
 113     struct hmap ports;          /* "struct port"s indexed by name. */
 114     struct hmap ifaces;         /* "struct iface"s indexed by ofp_port. */
 115     struct hmap iface_by_name;  /* "struct iface"s indexed by name. */
 116
 117     /* Port mirroring. */
 118     struct hmap mirrors;        /* "struct mirror" indexed by UUID. */
 119
 120     /* Synthetic local port if necessary. */
 121     struct ovsrec_port synth_local_port;
 122     struct ovsrec_interface synth_local_iface;
 123     struct ovsrec_interface *synth_local_ifacep;
 124 };
 125
 126 /* All bridges, indexed by name. */
 127 static struct hmap all_bridges = HMAP_INITIALIZER(&all_bridges);
 128
 129 /* OVSDB IDL used to obtain configuration. */
 130 static struct ovsdb_idl *idl;
 131
 132 /* Each time this timer expires, the bridge fetches systems and interface
 133  * statistics and pushes them into the database. */
 134 #define STATS_INTERVAL (5 * 1000) /* In milliseconds. */
 135 static long long int stats_timer = LLONG_MIN;
 136
 137 /* Stores the time after which rate limited statistics may be written to the
 138  * database.  Only updated when changes to the database require rate limiting.
 139  */
 140 #define DB_LIMIT_INTERVAL (1 * 1000) /* In milliseconds. */
 141 static long long int db_limiter = LLONG_MIN;
 142
 143 static void add_del_bridges(const struct ovsrec_open_vswitch *);
 144 static void bridge_del_ofprotos(void);
 145 static bool bridge_add_ofprotos(struct bridge *);
 146 static void bridge_create(const struct ovsrec_bridge *);
 147 static void bridge_destroy(struct bridge *);
 148 static struct bridge *bridge_lookup(const char *name);
 149 static unixctl_cb_func bridge_unixctl_dump_flows;
 150 static unixctl_cb_func bridge_unixctl_reconnect;
 151 static size_t bridge_get_controllers(const struct bridge *br,
 152                                      struct ovsrec_controller ***controllersp);
 153 static void bridge_add_del_ports(struct bridge *,
 154                                  const unsigned long int *splinter_vlans);
 155 static void bridge_add_ofproto_ports(struct bridge *);
 156 static void bridge_del_ofproto_ports(struct bridge *);
 157 static void bridge_refresh_ofp_port(struct bridge *);
 158 static void bridge_configure_datapath_id(struct bridge *);
 159 static void bridge_configure_flow_eviction_threshold(struct bridge *);
 160 static void bridge_configure_netflow(struct bridge *);
 161 static void bridge_configure_forward_bpdu(struct bridge *);
 162 static void bridge_configure_mac_idle_time(struct bridge *);
 163 static void bridge_configure_sflow(struct bridge *, int *sflow_bridge_number);
 164 static void bridge_configure_stp(struct bridge *);
 165 static void bridge_configure_tables(struct bridge *);
 166 static void bridge_configure_remotes(struct bridge *,
 167                                      const struct sockaddr_in *managers,
 168                                      size_t n_managers);
 169 static void bridge_pick_local_hw_addr(struct bridge *,
 170                                       uint8_t ea[ETH_ADDR_LEN],
 171                                       struct iface **hw_addr_iface);
 172 static uint64_t bridge_pick_datapath_id(struct bridge *,
 173                                         const uint8_t bridge_ea[ETH_ADDR_LEN],
 174                                         struct iface *hw_addr_iface);
 175 static uint64_t dpid_from_hash(const void *, size_t nbytes);
 176 static bool bridge_has_bond_fake_iface(const struct bridge *,
 177                                        const char *name);
 178 static bool port_is_bond_fake_iface(const struct port *);
 179
 180 static unixctl_cb_func qos_unixctl_show;
 181
 182 static struct port *port_create(struct bridge *, const struct ovsrec_port *);
 183 static void port_add_ifaces(struct port *);
 184 static void port_del_ifaces(struct port *);
 185 static void port_destroy(struct port *);
 186 static struct port *port_lookup(const struct bridge *, const char *name);
 187 static void port_configure(struct port *);
 188 static struct lacp_settings *port_configure_lacp(struct port *,
 189                                                  struct lacp_settings *);
 190 static void port_configure_bond(struct port *, struct bond_settings *,
 191                                 uint32_t *bond_stable_ids);
 192 static bool port_is_synthetic(const struct port *);
 193
 194 static void bridge_configure_mirrors(struct bridge *);
 195 static struct mirror *mirror_create(struct bridge *,
 196                                     const struct ovsrec_mirror *);
 197 static void mirror_destroy(struct mirror *);
 198 static bool mirror_configure(struct mirror *);
 199 static void mirror_refresh_stats(struct mirror *);
 200
 201 static void iface_configure_lacp(struct iface *, struct lacp_slave_settings *);
 202 static struct iface *iface_create(struct port *port,
 203                                   const struct ovsrec_interface *if_cfg);
 204 static void iface_destroy(struct iface *);
 205 static struct iface *iface_lookup(const struct bridge *, const char *name);
 206 static struct iface *iface_find(const char *name);
 207 static struct iface *iface_from_ofp_port(const struct bridge *,
 208                                          uint16_t ofp_port);
 209 static void iface_set_mac(struct iface *);
 210 static void iface_set_ofport(const struct ovsrec_interface *, int64_t ofport);
 211 static void iface_clear_db_record(const struct ovsrec_interface *if_cfg);
 212 static void iface_configure_qos(struct iface *, const struct ovsrec_qos *);
 213 static void iface_configure_cfm(struct iface *);
 214 static void iface_refresh_cfm_stats(struct iface *);
 215 static void iface_refresh_stats(struct iface *);
 216 static void iface_refresh_status(struct iface *);
 217 static bool iface_is_synthetic(const struct iface *);
 218 static void shash_from_ovs_idl_map(char **keys, char **values, size_t n,
 219                                    struct shash *);
 220 static void shash_to_ovs_idl_map(struct shash *,
 221                                  char ***keys, char ***values, size_t *n);
 222
 223 /* Linux VLAN device support (e.g. "eth0.10" for VLAN 10.)
 224  *
 225  * This is deprecated.  It is only for compatibility with broken device drivers
 226  * in old versions of Linux that do not properly support VLANs when VLAN
 227  * devices are not used.  When broken device drivers are no longer in
 228  * widespread use, we will delete these interfaces. */
 229
 230 /* True if VLAN splinters are enabled on any interface, false otherwise.*/
 231 static bool vlan_splinters_enabled_anywhere;
 232
 233 static bool vlan_splinters_is_enabled(const struct ovsrec_interface *);
 234 static unsigned long int *collect_splinter_vlans(
 235     const struct ovsrec_open_vswitch *);
 236 static void configure_splinter_port(struct port *);
 237 static void add_vlan_splinter_ports(struct bridge *,
 238                                     const unsigned long int *splinter_vlans,
 239                                     struct shash *ports);
 240 \f
 241 /* Public functions. */
 242
 243 /* Initializes the bridge module, configuring it to obtain its configuration
 244  * from an OVSDB server accessed over 'remote', which should be a string in a
 245  * form acceptable to ovsdb_idl_create(). */
 246 void
 247 bridge_init(const char *remote)
 248 {
 249     /* Create connection to database. */
 250     idl = ovsdb_idl_create(remote, &ovsrec_idl_class, true);
 251     ovsdb_idl_set_lock(idl, "ovs_vswitchd");
 252
 253     ovsdb_idl_omit_alert(idl, &ovsrec_open_vswitch_col_cur_cfg);
 254     ovsdb_idl_omit_alert(idl, &ovsrec_open_vswitch_col_statistics);
 255     ovsdb_idl_omit(idl, &ovsrec_open_vswitch_col_external_ids);
 256     ovsdb_idl_omit(idl, &ovsrec_open_vswitch_col_ovs_version);
 257     ovsdb_idl_omit(idl, &ovsrec_open_vswitch_col_db_version);
 258     ovsdb_idl_omit(idl, &ovsrec_open_vswitch_col_system_type);
 259     ovsdb_idl_omit(idl, &ovsrec_open_vswitch_col_system_version);
 260
 261     ovsdb_idl_omit_alert(idl, &ovsrec_bridge_col_datapath_id);
 262     ovsdb_idl_omit_alert(idl, &ovsrec_bridge_col_status);
 263     ovsdb_idl_omit(idl, &ovsrec_bridge_col_external_ids);
 264
 265     ovsdb_idl_omit_alert(idl, &ovsrec_port_col_status);
 266     ovsdb_idl_omit_alert(idl, &ovsrec_port_col_statistics);
 267     ovsdb_idl_omit(idl, &ovsrec_port_col_external_ids);
 268     ovsdb_idl_omit(idl, &ovsrec_port_col_fake_bridge);
 269
 270     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_admin_state);
 271     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_duplex);
 272     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_link_speed);
 273     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_link_state);
 274     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_link_resets);
 275     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_mtu);
 276     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_ofport);
 277     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_statistics);
 278     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_status);
 279     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_cfm_fault);
 280     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_cfm_fault_status);
 281     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_cfm_remote_mpids);
 282     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_cfm_health);
 283     ovsdb_idl_omit_alert(idl, &ovsrec_interface_col_lacp_current);
 284     ovsdb_idl_omit(idl, &ovsrec_interface_col_external_ids);
 285
 286     ovsdb_idl_omit_alert(idl, &ovsrec_controller_col_is_connected);
 287     ovsdb_idl_omit_alert(idl, &ovsrec_controller_col_role);
 288     ovsdb_idl_omit_alert(idl, &ovsrec_controller_col_status);
 289     ovsdb_idl_omit(idl, &ovsrec_controller_col_external_ids);
 290
 291     ovsdb_idl_omit(idl, &ovsrec_qos_col_external_ids);
 292
 293     ovsdb_idl_omit(idl, &ovsrec_queue_col_external_ids);
 294
 295     ovsdb_idl_omit(idl, &ovsrec_mirror_col_external_ids);
 296     ovsdb_idl_omit_alert(idl, &ovsrec_mirror_col_statistics);
 297
 298     ovsdb_idl_omit(idl, &ovsrec_netflow_col_external_ids);
 299
 300     ovsdb_idl_omit(idl, &ovsrec_sflow_col_external_ids);
 301
 302     ovsdb_idl_omit(idl, &ovsrec_manager_col_external_ids);
 303     ovsdb_idl_omit(idl, &ovsrec_manager_col_inactivity_probe);
 304     ovsdb_idl_omit(idl, &ovsrec_manager_col_is_connected);
 305     ovsdb_idl_omit(idl, &ovsrec_manager_col_max_backoff);
 306     ovsdb_idl_omit(idl, &ovsrec_manager_col_status);
 307
 308     ovsdb_idl_omit(idl, &ovsrec_ssl_col_external_ids);
 309
 310     /* Register unixctl commands. */
 311     unixctl_command_register("qos/show", "interface", 1, 1,
 312                              qos_unixctl_show, NULL);
 313     unixctl_command_register("bridge/dump-flows", "bridge", 1, 1,
 314                              bridge_unixctl_dump_flows, NULL);
 315     unixctl_command_register("bridge/reconnect", "[bridge]", 0, 1,
 316                              bridge_unixctl_reconnect, NULL);
 317     lacp_init();
 318     bond_init();
 319     cfm_init();
 320     stp_init();
 321 }
 322
 323 void
 324 bridge_exit(void)
 325 {
 326     struct bridge *br, *next_br;
 327
 328     HMAP_FOR_EACH_SAFE (br, next_br, node, &all_bridges) {
 329         bridge_destroy(br);
 330     }
 331     ovsdb_idl_destroy(idl);
 332 }
 333
 334 /* Looks at the list of managers in 'ovs_cfg' and extracts their remote IP
 335  * addresses and ports into '*managersp' and '*n_managersp'.  The caller is
 336  * responsible for freeing '*managersp' (with free()).
 337  *
 338  * You may be asking yourself "why does ovs-vswitchd care?", because
 339  * ovsdb-server is responsible for connecting to the managers, and ovs-vswitchd
 340  * should not be and in fact is not directly involved in that.  But
 341  * ovs-vswitchd needs to make sure that ovsdb-server can reach the managers, so
 342  * it has to tell in-band control where the managers are to enable that.
 343  * (Thus, only managers connected in-band are collected.)
 344  */
 345 static void
 346 collect_in_band_managers(const struct ovsrec_open_vswitch *ovs_cfg,
 347                          struct sockaddr_in **managersp, size_t *n_managersp)
 348 {
 349     struct sockaddr_in *managers = NULL;
 350     size_t n_managers = 0;
 351     struct sset targets;
 352     size_t i;
 353
 354     /* Collect all of the potential targets from the "targets" columns of the
 355      * rows pointed to by "manager_options", excluding any that are
 356      * out-of-band. */
 357     sset_init(&targets);
 358     for (i = 0; i < ovs_cfg->n_manager_options; i++) {
 359         struct ovsrec_manager *m = ovs_cfg->manager_options[i];
 360
 361         if (m->connection_mode && !strcmp(m->connection_mode, "out-of-band")) {
 362             sset_find_and_delete(&targets, m->target);
 363         } else {
 364             sset_add(&targets, m->target);
 365         }
 366     }
 367
 368     /* Now extract the targets' IP addresses. */
 369     if (!sset_is_empty(&targets)) {
 370         const char *target;
 371
 372         managers = xmalloc(sset_count(&targets) * sizeof *managers);
 373         SSET_FOR_EACH (target, &targets) {
 374             struct sockaddr_in *sin = &managers[n_managers];
 375
 376             if (stream_parse_target_with_default_ports(target,
 377                                                        JSONRPC_TCP_PORT,
 378                                                        JSONRPC_SSL_PORT,
 379                                                        sin)) {
 380                 n_managers++;
 381             }
 382         }
 383     }
 384     sset_destroy(&targets);
 385
 386     *managersp = managers;
 387     *n_managersp = n_managers;
 388 }
 389
 390 static void
 391 bridge_reconfigure(const struct ovsrec_open_vswitch *ovs_cfg)
 392 {
 393     unsigned long int *splinter_vlans;
 394     struct sockaddr_in *managers;
 395     struct bridge *br, *next;
 396     int sflow_bridge_number;
 397     size_t n_managers;
 398
 399     COVERAGE_INC(bridge_reconfigure);
 400
 401     /* Create and destroy "struct bridge"s, "struct port"s, and "struct
 402      * iface"s according to 'ovs_cfg', with only very minimal configuration
 403      * otherwise.
 404      *
 405      * This is mostly an update to bridge data structures.  Very little is
 406      * pushed down to ofproto or lower layers. */
 407     add_del_bridges(ovs_cfg);
 408     splinter_vlans = collect_splinter_vlans(ovs_cfg);
 409     HMAP_FOR_EACH (br, node, &all_bridges) {
 410         bridge_add_del_ports(br, splinter_vlans);
 411     }
 412     free(splinter_vlans);
 413
 414     /* Delete all datapaths and datapath ports that are no longer configured.
 415      *
 416      * The kernel will reject any attempt to add a given port to a datapath if
 417      * that port already belongs to a different datapath, so we must do all
 418      * port deletions before any port additions.  A datapath always has a
 419      * "local port" so we must delete not-configured datapaths too. */
 420     bridge_del_ofprotos();
 421     HMAP_FOR_EACH (br, node, &all_bridges) {
 422         if (br->ofproto) {
 423             bridge_del_ofproto_ports(br);
 424         }
 425     }
 426
 427     /* Create datapaths and datapath ports that are missing.
 428      *
 429      * After this is done, we have our final set of bridges, ports, and
 430      * interfaces.  Every "struct bridge" has an ofproto, every "struct port"
 431      * has at least one iface, every "struct iface" has a valid ofp_port and
 432      * netdev. */
 433     HMAP_FOR_EACH_SAFE (br, next, node, &all_bridges) {
 434         if (!br->ofproto) {
 435             if (bridge_add_ofprotos(br)) {
 436                 bridge_del_ofproto_ports(br);
 437             } else {
 438                 bridge_destroy(br);
 439             }
 440         }
 441     }
 442     HMAP_FOR_EACH (br, node, &all_bridges) {
 443         bridge_refresh_ofp_port(br);
 444         bridge_add_ofproto_ports(br);
 445     }
 446
 447     /* Complete the configuration. */
 448     sflow_bridge_number = 0;
 449     collect_in_band_managers(ovs_cfg, &managers, &n_managers);
 450     HMAP_FOR_EACH (br, node, &all_bridges) {
 451         struct port *port;
 452
 453         /* We need the datapath ID early to allow LACP ports to use it as the
 454          * default system ID. */
 455         bridge_configure_datapath_id(br);
 456
 457         HMAP_FOR_EACH (port, hmap_node, &br->ports) {
 458             struct iface *iface;
 459
 460             port_configure(port);
 461
 462             LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
 463                 iface_configure_cfm(iface);
 464                 iface_configure_qos(iface, port->cfg->qos);
 465                 iface_set_mac(iface);
 466             }
 467         }
 468         bridge_configure_mirrors(br);
 469         bridge_configure_flow_eviction_threshold(br);
 470         bridge_configure_forward_bpdu(br);
 471         bridge_configure_mac_idle_time(br);
 472         bridge_configure_remotes(br, managers, n_managers);
 473         bridge_configure_netflow(br);
 474         bridge_configure_sflow(br, &sflow_bridge_number);
 475         bridge_configure_stp(br);
 476         bridge_configure_tables(br);
 477     }
 478     free(managers);
 479
 480     /* ovs-vswitchd has completed initialization, so allow the process that
 481      * forked us to exit successfully. */
 482     daemonize_complete();
 483 }
 484
 485 /* Iterate over all ofprotos and delete any of them that do not have a
 486  * configured bridge or that are the wrong type. */
 487 static void
 488 bridge_del_ofprotos(void)
 489 {
 490     struct sset names;
 491     struct sset types;
 492     const char *type;
 493
 494     sset_init(&names);
 495     sset_init(&types);
 496     ofproto_enumerate_types(&types);
 497     SSET_FOR_EACH (type, &types) {
 498         const char *name;
 499
 500         ofproto_enumerate_names(type, &names);
 501         SSET_FOR_EACH (name, &names) {
 502             struct bridge *br = bridge_lookup(name);
 503             if (!br || strcmp(type, br->type)) {
 504                 ofproto_delete(name, type);
 505             }
 506         }
 507     }
 508     sset_destroy(&names);
 509     sset_destroy(&types);
 510 }
 511
 512 static bool
 513 bridge_add_ofprotos(struct bridge *br)
 514 {
 515     int error = ofproto_create(br->name, br->type, &br->ofproto);
 516     if (error) {
 517         VLOG_ERR("failed to create bridge %s: %s", br->name, strerror(error));
 518         return false;
 519     }
 520     return true;
 521 }
 522
 523 static void
 524 port_configure(struct port *port)
 525 {
 526     const struct ovsrec_port *cfg = port->cfg;
 527     struct bond_settings bond_settings;
 528     struct lacp_settings lacp_settings;
 529     struct ofproto_bundle_settings s;
 530     struct iface *iface;
 531
 532     if (cfg->vlan_mode && !strcmp(cfg->vlan_mode, "splinter")) {
 533         configure_splinter_port(port);
 534         return;
 535     }
 536
 537     /* Get name. */
 538     s.name = port->name;
 539
 540     /* Get slaves. */
 541     s.n_slaves = 0;
 542     s.slaves = xmalloc(list_size(&port->ifaces) * sizeof *s.slaves);
 543     LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
 544         s.slaves[s.n_slaves++] = iface->ofp_port;
 545     }
 546
 547     /* Get VLAN tag. */
 548     s.vlan = -1;
 549     if (cfg->tag && *cfg->tag >= 0 && *cfg->tag <= 4095) {
 550         s.vlan = *cfg->tag;
 551     }
 552
 553     /* Get VLAN trunks. */
 554     s.trunks = NULL;
 555     if (cfg->n_trunks) {
 556         s.trunks = vlan_bitmap_from_array(cfg->trunks, cfg->n_trunks);
 557     }
 558
 559     /* Get VLAN mode. */
 560     if (cfg->vlan_mode) {
 561         if (!strcmp(cfg->vlan_mode, "access")) {
 562             s.vlan_mode = PORT_VLAN_ACCESS;
 563         } else if (!strcmp(cfg->vlan_mode, "trunk")) {
 564             s.vlan_mode = PORT_VLAN_TRUNK;
 565         } else if (!strcmp(cfg->vlan_mode, "native-tagged")) {
 566             s.vlan_mode = PORT_VLAN_NATIVE_TAGGED;
 567         } else if (!strcmp(cfg->vlan_mode, "native-untagged")) {
 568             s.vlan_mode = PORT_VLAN_NATIVE_UNTAGGED;
 569         } else {
 570             /* This "can't happen" because ovsdb-server should prevent it. */
 571             VLOG_ERR("unknown VLAN mode %s", cfg->vlan_mode);
 572             s.vlan_mode = PORT_VLAN_TRUNK;
 573         }
 574     } else {
 575         if (s.vlan >= 0) {
 576             s.vlan_mode = PORT_VLAN_ACCESS;
 577             if (cfg->n_trunks) {
 578                 VLOG_ERR("port %s: ignoring trunks in favor of implicit vlan",
 579                          port->name);
 580             }
 581         } else {
 582             s.vlan_mode = PORT_VLAN_TRUNK;
 583         }
 584     }
 585     s.use_priority_tags = !strcmp("true", ovsrec_port_get_other_config_value(
 586                                       cfg, "priority-tags", ""));
 587
 588     /* Get LACP settings. */
 589     s.lacp = port_configure_lacp(port, &lacp_settings);
 590     if (s.lacp) {
 591         size_t i = 0;
 592
 593         s.lacp_slaves = xmalloc(s.n_slaves * sizeof *s.lacp_slaves);
 594         LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
 595             iface_configure_lacp(iface, &s.lacp_slaves[i++]);
 596         }
 597     } else {
 598         s.lacp_slaves = NULL;
 599     }
 600
 601     /* Get bond settings. */
 602     if (s.n_slaves > 1) {
 603         s.bond = &bond_settings;
 604         s.bond_stable_ids = xmalloc(s.n_slaves * sizeof *s.bond_stable_ids);
 605         port_configure_bond(port, &bond_settings, s.bond_stable_ids);
 606     } else {
 607         s.bond = NULL;
 608         s.bond_stable_ids = NULL;
 609
 610         LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
 611             netdev_set_miimon_interval(iface->netdev, 0);
 612         }
 613     }
 614
 615     /* Register. */
 616     ofproto_bundle_register(port->bridge->ofproto, port, &s);
 617
 618     /* Clean up. */
 619     free(s.slaves);
 620     free(s.trunks);
 621     free(s.lacp_slaves);
 622     free(s.bond_stable_ids);
 623 }
 624
 625 /* Pick local port hardware address and datapath ID for 'br'. */
 626 static void
 627 bridge_configure_datapath_id(struct bridge *br)
 628 {
 629     uint8_t ea[ETH_ADDR_LEN];
 630     uint64_t dpid;
 631     struct iface *local_iface;
 632     struct iface *hw_addr_iface;
 633     char *dpid_string;
 634
 635     bridge_pick_local_hw_addr(br, ea, &hw_addr_iface);
 636     local_iface = iface_from_ofp_port(br, OFPP_LOCAL);
 637     if (local_iface) {
 638         int error = netdev_set_etheraddr(local_iface->netdev, ea);
 639         if (error) {
 640             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
 641             VLOG_ERR_RL(&rl, "bridge %s: failed to set bridge "
 642                         "Ethernet address: %s",
 643                         br->name, strerror(error));
 644         }
 645     }
 646     memcpy(br->ea, ea, ETH_ADDR_LEN);
 647
 648     dpid = bridge_pick_datapath_id(br, ea, hw_addr_iface);
 649     ofproto_set_datapath_id(br->ofproto, dpid);
 650
 651     dpid_string = xasprintf("%016"PRIx64, dpid);
 652     ovsrec_bridge_set_datapath_id(br->cfg, dpid_string);
 653     free(dpid_string);
 654 }
 655
 656 /* Set NetFlow configuration on 'br'. */
 657 static void
 658 bridge_configure_netflow(struct bridge *br)
 659 {
 660     struct ovsrec_netflow *cfg = br->cfg->netflow;
 661     struct netflow_options opts;
 662
 663     if (!cfg) {
 664         ofproto_set_netflow(br->ofproto, NULL);
 665         return;
 666     }
 667
 668     memset(&opts, 0, sizeof opts);
 669
 670     /* Get default NetFlow configuration from datapath.
 671      * Apply overrides from 'cfg'. */
 672     ofproto_get_netflow_ids(br->ofproto, &opts.engine_type, &opts.engine_id);
 673     if (cfg->engine_type) {
 674         opts.engine_type = *cfg->engine_type;
 675     }
 676     if (cfg->engine_id) {
 677         opts.engine_id = *cfg->engine_id;
 678     }
 679
 680     /* Configure active timeout interval. */
 681     opts.active_timeout = cfg->active_timeout;
 682     if (!opts.active_timeout) {
 683         opts.active_timeout = -1;
 684     } else if (opts.active_timeout < 0) {
 685         VLOG_WARN("bridge %s: active timeout interval set to negative "
 686                   "value, using default instead (%d seconds)", br->name,
 687                   NF_ACTIVE_TIMEOUT_DEFAULT);
 688         opts.active_timeout = -1;
 689     }
 690
 691     /* Add engine ID to interface number to disambiguate bridgs? */
 692     opts.add_id_to_iface = cfg->add_id_to_interface;
 693     if (opts.add_id_to_iface) {
 694         if (opts.engine_id > 0x7f) {
 695             VLOG_WARN("bridge %s: NetFlow port mangling may conflict with "
 696                       "another vswitch, choose an engine id less than 128",
 697                       br->name);
 698         }
 699         if (hmap_count(&br->ports) > 508) {
 700             VLOG_WARN("bridge %s: NetFlow port mangling will conflict with "
 701                       "another port when more than 508 ports are used",
 702                       br->name);
 703         }
 704     }
 705
 706     /* Collectors. */
 707     sset_init(&opts.collectors);
 708     sset_add_array(&opts.collectors, cfg->targets, cfg->n_targets);
 709
 710     /* Configure. */
 711     if (ofproto_set_netflow(br->ofproto, &opts)) {
 712         VLOG_ERR("bridge %s: problem setting netflow collectors", br->name);
 713     }
 714     sset_destroy(&opts.collectors);
 715 }
 716
 717 /* Set sFlow configuration on 'br'. */
 718 static void
 719 bridge_configure_sflow(struct bridge *br, int *sflow_bridge_number)
 720 {
 721     const struct ovsrec_sflow *cfg = br->cfg->sflow;
 722     struct ovsrec_controller **controllers;
 723     struct ofproto_sflow_options oso;
 724     size_t n_controllers;
 725     size_t i;
 726
 727     if (!cfg) {
 728         ofproto_set_sflow(br->ofproto, NULL);
 729         return;
 730     }
 731
 732     memset(&oso, 0, sizeof oso);
 733
 734     sset_init(&oso.targets);
 735     sset_add_array(&oso.targets, cfg->targets, cfg->n_targets);
 736
 737     oso.sampling_rate = SFL_DEFAULT_SAMPLING_RATE;
 738     if (cfg->sampling) {
 739         oso.sampling_rate = *cfg->sampling;
 740     }
 741
 742     oso.polling_interval = SFL_DEFAULT_POLLING_INTERVAL;
 743     if (cfg->polling) {
 744         oso.polling_interval = *cfg->polling;
 745     }
 746
 747     oso.header_len = SFL_DEFAULT_HEADER_SIZE;
 748     if (cfg->header) {
 749         oso.header_len = *cfg->header;
 750     }
 751
 752     oso.sub_id = (*sflow_bridge_number)++;
 753     oso.agent_device = cfg->agent;
 754
 755     oso.control_ip = NULL;
 756     n_controllers = bridge_get_controllers(br, &controllers);
 757     for (i = 0; i < n_controllers; i++) {
 758         if (controllers[i]->local_ip) {
 759             oso.control_ip = controllers[i]->local_ip;
 760             break;
 761         }
 762     }
 763     ofproto_set_sflow(br->ofproto, &oso);
 764
 765     sset_destroy(&oso.targets);
 766 }
 767
 768 static void
 769 port_configure_stp(const struct ofproto *ofproto, struct port *port,
 770                    struct ofproto_port_stp_settings *port_s,
 771                    int *port_num_counter, unsigned long *port_num_bitmap)
 772 {
 773     const char *config_str;
 774     struct iface *iface;
 775
 776     config_str = ovsrec_port_get_other_config_value(port->cfg, "stp-enable",
 777                                                     NULL);
 778     if (config_str && !strcmp(config_str, "false")) {
 779         port_s->enable = false;
 780         return;
 781     } else {
 782         port_s->enable = true;
 783     }
 784
 785     /* STP over bonds is not supported. */
 786     if (!list_is_singleton(&port->ifaces)) {
 787         VLOG_ERR("port %s: cannot enable STP on bonds, disabling",
 788                  port->name);
 789         port_s->enable = false;
 790         return;
 791     }
 792
 793     iface = CONTAINER_OF(list_front(&port->ifaces), struct iface, port_elem);
 794
 795     /* Internal ports shouldn't participate in spanning tree, so
 796      * skip them. */
 797     if (!strcmp(iface->type, "internal")) {
 798         VLOG_DBG("port %s: disable STP on internal ports", port->name);
 799         port_s->enable = false;
 800         return;
 801     }
 802
 803     /* STP on mirror output ports is not supported. */
 804     if (ofproto_is_mirror_output_bundle(ofproto, port)) {
 805         VLOG_DBG("port %s: disable STP on mirror ports", port->name);
 806         port_s->enable = false;
 807         return;
 808     }
 809
 810     config_str = ovsrec_port_get_other_config_value(port->cfg, "stp-port-num",
 811                                                     NULL);
 812     if (config_str) {
 813         unsigned long int port_num = strtoul(config_str, NULL, 0);
 814         int port_idx = port_num - 1;
 815
 816         if (port_num < 1 || port_num > STP_MAX_PORTS) {
 817             VLOG_ERR("port %s: invalid stp-port-num", port->name);
 818             port_s->enable = false;
 819             return;
 820         }
 821
 822         if (bitmap_is_set(port_num_bitmap, port_idx)) {
 823             VLOG_ERR("port %s: duplicate stp-port-num %lu, disabling",
 824                     port->name, port_num);
 825             port_s->enable = false;
 826             return;
 827         }
 828         bitmap_set1(port_num_bitmap, port_idx);
 829         port_s->port_num = port_idx;
 830     } else {
 831         if (*port_num_counter > STP_MAX_PORTS) {
 832             VLOG_ERR("port %s: too many STP ports, disabling", port->name);
 833             port_s->enable = false;
 834             return;
 835         }
 836
 837         port_s->port_num = (*port_num_counter)++;
 838     }
 839
 840     config_str = ovsrec_port_get_other_config_value(port->cfg, "stp-path-cost",
 841                                                     NULL);
 842     if (config_str) {
 843         port_s->path_cost = strtoul(config_str, NULL, 10);
 844     } else {
 845         enum netdev_features current;
 846
 847         if (netdev_get_features(iface->netdev, &current, NULL, NULL, NULL)) {
 848             /* Couldn't get speed, so assume 100Mb/s. */
 849             port_s->path_cost = 19;
 850         } else {
 851             unsigned int mbps;
 852
 853             mbps = netdev_features_to_bps(current) / 1000000;
 854             port_s->path_cost = stp_convert_speed_to_cost(mbps);
 855         }
 856     }
 857
 858     config_str = ovsrec_port_get_other_config_value(port->cfg,
 859                                                     "stp-port-priority",
 860                                                     NULL);
 861     if (config_str) {
 862         port_s->priority = strtoul(config_str, NULL, 0);
 863     } else {
 864         port_s->priority = STP_DEFAULT_PORT_PRIORITY;
 865     }
 866 }
 867
 868 /* Set spanning tree configuration on 'br'. */
 869 static void
 870 bridge_configure_stp(struct bridge *br)
 871 {
 872     if (!br->cfg->stp_enable) {
 873         ofproto_set_stp(br->ofproto, NULL);
 874     } else {
 875         struct ofproto_stp_settings br_s;
 876         const char *config_str;
 877         struct port *port;
 878         int port_num_counter;
 879         unsigned long *port_num_bitmap;
 880
 881         config_str = ovsrec_bridge_get_other_config_value(br->cfg,
 882                                                           "stp-system-id",
 883                                                           NULL);
 884         if (config_str) {
 885             uint8_t ea[ETH_ADDR_LEN];
 886
 887             if (eth_addr_from_string(config_str, ea)) {
 888                 br_s.system_id = eth_addr_to_uint64(ea);
 889             } else {
 890                 br_s.system_id = eth_addr_to_uint64(br->ea);
 891                 VLOG_ERR("bridge %s: invalid stp-system-id, defaulting "
 892                          "to "ETH_ADDR_FMT, br->name, ETH_ADDR_ARGS(br->ea));
 893             }
 894         } else {
 895             br_s.system_id = eth_addr_to_uint64(br->ea);
 896         }
 897
 898         config_str = ovsrec_bridge_get_other_config_value(br->cfg,
 899                                                           "stp-priority",
 900                                                           NULL);
 901         if (config_str) {
 902             br_s.priority = strtoul(config_str, NULL, 0);
 903         } else {
 904             br_s.priority = STP_DEFAULT_BRIDGE_PRIORITY;
 905         }
 906
 907         config_str = ovsrec_bridge_get_other_config_value(br->cfg,
 908                                                           "stp-hello-time",
 909                                                           NULL);
 910         if (config_str) {
 911             br_s.hello_time = strtoul(config_str, NULL, 10) * 1000;
 912         } else {
 913             br_s.hello_time = STP_DEFAULT_HELLO_TIME;
 914         }
 915
 916         config_str = ovsrec_bridge_get_other_config_value(br->cfg,
 917                                                           "stp-max-age",
 918                                                           NULL);
 919         if (config_str) {
 920             br_s.max_age = strtoul(config_str, NULL, 10) * 1000;
 921         } else {
 922             br_s.max_age = STP_DEFAULT_MAX_AGE;
 923         }
 924
 925         config_str = ovsrec_bridge_get_other_config_value(br->cfg,
 926                                                           "stp-forward-delay",
 927                                                           NULL);
 928         if (config_str) {
 929             br_s.fwd_delay = strtoul(config_str, NULL, 10) * 1000;
 930         } else {
 931             br_s.fwd_delay = STP_DEFAULT_FWD_DELAY;
 932         }
 933
 934         /* Configure STP on the bridge. */
 935         if (ofproto_set_stp(br->ofproto, &br_s)) {
 936             VLOG_ERR("bridge %s: could not enable STP", br->name);
 937             return;
 938         }
 939
 940         /* Users must either set the port number with the "stp-port-num"
 941          * configuration on all ports or none.  If manual configuration
 942          * is not done, then we allocate them sequentially. */
 943         port_num_counter = 0;
 944         port_num_bitmap = bitmap_allocate(STP_MAX_PORTS);
 945         HMAP_FOR_EACH (port, hmap_node, &br->ports) {
 946             struct ofproto_port_stp_settings port_s;
 947             struct iface *iface;
 948
 949             port_configure_stp(br->ofproto, port, &port_s,
 950                                &port_num_counter, port_num_bitmap);
 951
 952             /* As bonds are not supported, just apply configuration to
 953              * all interfaces. */
 954             LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
 955                 if (ofproto_port_set_stp(br->ofproto, iface->ofp_port,
 956                                          &port_s)) {
 957                     VLOG_ERR("port %s: could not enable STP", port->name);
 958                     continue;
 959                 }
 960             }
 961         }
 962
 963         if (bitmap_scan(port_num_bitmap, 0, STP_MAX_PORTS) != STP_MAX_PORTS
 964                     && port_num_counter) {
 965             VLOG_ERR("bridge %s: must manually configure all STP port "
 966                      "IDs or none, disabling", br->name);
 967             ofproto_set_stp(br->ofproto, NULL);
 968         }
 969         bitmap_free(port_num_bitmap);
 970     }
 971 }
 972
 973 static bool
 974 bridge_has_bond_fake_iface(const struct bridge *br, const char *name)
 975 {
 976     const struct port *port = port_lookup(br, name);
 977     return port && port_is_bond_fake_iface(port);
 978 }
 979
 980 static bool
 981 port_is_bond_fake_iface(const struct port *port)
 982 {
 983     return port->cfg->bond_fake_iface && !list_is_short(&port->ifaces);
 984 }
 985
 986 static void
 987 add_del_bridges(const struct ovsrec_open_vswitch *cfg)
 988 {
 989     struct bridge *br, *next;
 990     struct shash new_br;
 991     size_t i;
 992
 993     /* Collect new bridges' names and types. */
 994     shash_init(&new_br);
 995     for (i = 0; i < cfg->n_bridges; i++) {
 996         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
 997         const struct ovsrec_bridge *br_cfg = cfg->bridges[i];
 998
 999         if (strchr(br_cfg->name, '/')) {
1000             /* Prevent remote ovsdb-server users from accessing arbitrary
1001              * directories, e.g. consider a bridge named "../../../etc/". */
1002             VLOG_WARN_RL(&rl, "ignoring bridge with invalid name \"%s\"",
1003                          br_cfg->name);
1004         } else if (!shash_add_once(&new_br, br_cfg->name, br_cfg)) {
1005             VLOG_WARN_RL(&rl, "bridge %s specified twice", br_cfg->name);
1006         }
1007     }
1008
1009     /* Get rid of deleted bridges or those whose types have changed.
1010      * Update 'cfg' of bridges that still exist. */
1011     HMAP_FOR_EACH_SAFE (br, next, node, &all_bridges) {
1012         br->cfg = shash_find_data(&new_br, br->name);
1013         if (!br->cfg || strcmp(br->type, ofproto_normalize_type(
1014                                    br->cfg->datapath_type))) {
1015             bridge_destroy(br);
1016         }
1017     }
1018
1019     /* Add new bridges. */
1020     for (i = 0; i < cfg->n_bridges; i++) {
1021         const struct ovsrec_bridge *br_cfg = cfg->bridges[i];
1022         struct bridge *br = bridge_lookup(br_cfg->name);
1023         if (!br) {
1024             bridge_create(br_cfg);
1025         }
1026     }
1027
1028     shash_destroy(&new_br);
1029 }
1030
1031 /* Delete each ofproto port on 'br' that doesn't have a corresponding "struct
1032  * iface".
1033  *
1034  * The kernel will reject any attempt to add a given port to a datapath if that
1035  * port already belongs to a different datapath, so we must do all port
1036  * deletions before any port additions. */
1037 static void
1038 bridge_del_ofproto_ports(struct bridge *br)
1039 {
1040     struct ofproto_port_dump dump;
1041     struct ofproto_port ofproto_port;
1042
1043     OFPROTO_PORT_FOR_EACH (&ofproto_port, &dump, br->ofproto) {
1044         const char *name = ofproto_port.name;
1045         struct iface *iface;
1046         const char *type;
1047         int error;
1048
1049         /* Ignore the local port.  We can't change it anyhow. */
1050         if (!strcmp(name, br->name)) {
1051             continue;
1052         }
1053
1054         /* Get the type that 'ofproto_port' should have (ordinarily the
1055          * type of its corresponding iface) or NULL if it should be
1056          * deleted. */
1057         iface = iface_lookup(br, name);
1058         type = (iface ? iface->type
1059                 : bridge_has_bond_fake_iface(br, name) ? "internal"
1060                 : NULL);
1061
1062         /* If it's the wrong type then delete the ofproto port. */
1063         if (type
1064             && !strcmp(ofproto_port.type, type)
1065             && (!iface || !iface->netdev
1066                 || !strcmp(netdev_get_type(iface->netdev), type))) {
1067             continue;
1068         }
1069         error = ofproto_port_del(br->ofproto, ofproto_port.ofp_port);
1070         if (error) {
1071             VLOG_WARN("bridge %s: failed to remove %s interface (%s)",
1072                       br->name, name, strerror(error));
1073         }
1074         if (iface) {
1075             netdev_close(iface->netdev);
1076             iface->netdev = NULL;
1077         }
1078     }
1079 }
1080
1081 static void
1082 iface_set_ofp_port(struct iface *iface, int ofp_port)
1083 {
1084     struct bridge *br = iface->port->bridge;
1085
1086     assert(iface->ofp_port < 0 && ofp_port >= 0);
1087     iface->ofp_port = ofp_port;
1088     hmap_insert(&br->ifaces, &iface->ofp_port_node, hash_int(ofp_port, 0));
1089     iface_set_ofport(iface->cfg, ofp_port);
1090 }
1091
1092 static void
1093 bridge_refresh_ofp_port(struct bridge *br)
1094 {
1095     struct ofproto_port_dump dump;
1096     struct ofproto_port ofproto_port;
1097     struct port *port;
1098
1099     /* Clear all the "ofp_port"es. */
1100     hmap_clear(&br->ifaces);
1101     HMAP_FOR_EACH (port, hmap_node, &br->ports) {
1102         struct iface *iface;
1103
1104         LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
1105             iface->ofp_port = -1;
1106         }
1107     }
1108
1109     /* Obtain the correct "ofp_port"s from ofproto. */
1110     OFPROTO_PORT_FOR_EACH (&ofproto_port, &dump, br->ofproto) {
1111         struct iface *iface = iface_lookup(br, ofproto_port.name);
1112         if (iface) {
1113             if (iface->ofp_port >= 0) {
1114                 VLOG_WARN("bridge %s: interface %s reported twice",
1115                           br->name, ofproto_port.name);
1116             } else if (iface_from_ofp_port(br, ofproto_port.ofp_port)) {
1117                 VLOG_WARN("bridge %s: interface %"PRIu16" reported twice",
1118                           br->name, ofproto_port.ofp_port);
1119             } else {
1120                 iface_set_ofp_port(iface, ofproto_port.ofp_port);
1121             }
1122         }
1123     }
1124 }
1125
1126 /* Add an ofproto port for any "struct iface" that doesn't have one.
1127  * Delete any "struct iface" for which this fails.
1128  * Delete any "struct port" that thereby ends up with no ifaces. */
1129 static void
1130 bridge_add_ofproto_ports(struct bridge *br)
1131 {
1132     struct port *port, *next_port;
1133
1134     HMAP_FOR_EACH_SAFE (port, next_port, hmap_node, &br->ports) {
1135         struct iface *iface, *next_iface;
1136         struct ofproto_port ofproto_port;
1137
1138         LIST_FOR_EACH_SAFE (iface, next_iface, port_elem, &port->ifaces) {
1139             int error;
1140
1141             /* Open the netdev. */
1142             if (!iface->netdev) {
1143                 error = netdev_open(iface->name, iface->type, &iface->netdev);
1144                 if (error) {
1145                     VLOG_WARN("could not open network device %s (%s)",
1146                               iface->name, strerror(error));
1147                 }
1148
1149                 if (iface->netdev
1150                     && port->cfg->vlan_mode
1151                     && !strcmp(port->cfg->vlan_mode, "splinter")) {
1152                     netdev_turn_flags_on(iface->netdev, NETDEV_UP, true);
1153                 }
1154             } else {
1155                 error = 0;
1156             }
1157
1158             /* Configure the netdev. */
1159             if (iface->netdev) {
1160                 struct shash args;
1161
1162                 shash_init(&args);
1163                 shash_from_ovs_idl_map(iface->cfg->key_options,
1164                                        iface->cfg->value_options,
1165                                        iface->cfg->n_options, &args);
1166                 error = netdev_set_config(iface->netdev, &args);
1167                 shash_destroy(&args);
1168
1169                 if (error) {
1170                     VLOG_WARN("could not configure network device %s (%s)",
1171                               iface->name, strerror(error));
1172                     netdev_close(iface->netdev);
1173                     iface->netdev = NULL;
1174                 }
1175             }
1176
1177             /* Add the port, if necessary. */
1178             if (iface->netdev && iface->ofp_port < 0) {
1179                 uint16_t ofp_port;
1180                 int error;
1181
1182                 error = ofproto_port_add(br->ofproto, iface->netdev,
1183                                          &ofp_port);
1184                 if (!error) {
1185                     iface_set_ofp_port(iface, ofp_port);
1186                 } else {
1187                     netdev_close(iface->netdev);
1188                     iface->netdev = NULL;
1189                 }
1190             }
1191
1192             /* Populate stats columns in new Interface rows. */
1193             if (iface->netdev && iface->need_refresh) {
1194                 iface_refresh_stats(iface);
1195                 iface_refresh_status(iface);
1196                 iface->need_refresh = false;
1197             }
1198
1199             /* Delete the iface if we failed. */
1200             if (iface->netdev && iface->ofp_port >= 0) {
1201                 VLOG_DBG("bridge %s: interface %s is on port %d",
1202                          br->name, iface->name, iface->ofp_port);
1203             } else {
1204                 if (iface->netdev) {
1205                     VLOG_ERR("bridge %s: missing %s interface, dropping",
1206                              br->name, iface->name);
1207                 } else {
1208                     /* We already reported a related error, don't bother
1209                      * duplicating it. */
1210                 }
1211                 iface_clear_db_record(iface->cfg);
1212                 iface_destroy(iface);
1213             }
1214         }
1215         if (list_is_empty(&port->ifaces)) {
1216             VLOG_WARN("%s port has no interfaces, dropping", port->name);
1217             port_destroy(port);
1218             continue;
1219         }
1220
1221         /* Add bond fake iface if necessary. */
1222         if (port_is_bond_fake_iface(port)) {
1223             if (ofproto_port_query_by_name(br->ofproto, port->name,
1224                                            &ofproto_port)) {
1225                 struct netdev *netdev;
1226                 int error;
1227
1228                 error = netdev_open(port->name, "internal", &netdev);
1229                 if (!error) {
1230                     ofproto_port_add(br->ofproto, netdev, NULL);
1231                     netdev_close(netdev);
1232                 } else {
1233                     VLOG_WARN("could not open network device %s (%s)",
1234                               port->name, strerror(error));
1235                 }
1236             } else {
1237                 /* Already exists, nothing to do. */
1238                 ofproto_port_destroy(&ofproto_port);
1239             }
1240         }
1241     }
1242 }
1243
1244 /* Set Flow eviction threshold */
1245 static void
1246 bridge_configure_flow_eviction_threshold(struct bridge *br)
1247 {
1248     const char *threshold_str;
1249     unsigned threshold;
1250
1251     threshold_str =
1252         ovsrec_bridge_get_other_config_value(br->cfg,
1253                                              "flow-eviction-threshold",
1254                                              NULL);
1255     if (threshold_str) {
1256         threshold = strtoul(threshold_str, NULL, 10);
1257     } else {
1258         threshold = OFPROTO_FLOW_EVICTON_THRESHOLD_DEFAULT;
1259     }
1260     ofproto_set_flow_eviction_threshold(br->ofproto, threshold);
1261 }
1262
1263 /* Set forward BPDU option. */
1264 static void
1265 bridge_configure_forward_bpdu(struct bridge *br)
1266 {
1267     const char *forward_bpdu_str;
1268     bool forward_bpdu = false;
1269
1270     forward_bpdu_str = ovsrec_bridge_get_other_config_value(br->cfg,
1271                                                             "forward-bpdu",
1272                                                             NULL);
1273     if (forward_bpdu_str && !strcmp(forward_bpdu_str, "true")) {
1274         forward_bpdu = true;
1275     }
1276     ofproto_set_forward_bpdu(br->ofproto, forward_bpdu);
1277 }
1278
1279 /* Set MAC aging time for 'br'. */
1280 static void
1281 bridge_configure_mac_idle_time(struct bridge *br)
1282 {
1283     const char *idle_time_str;
1284     int idle_time;
1285
1286     idle_time_str = ovsrec_bridge_get_other_config_value(br->cfg,
1287                                                          "mac-aging-time",
1288                                                          NULL);
1289     idle_time = (idle_time_str && atoi(idle_time_str)
1290                  ? atoi(idle_time_str)
1291                  : MAC_ENTRY_DEFAULT_IDLE_TIME);
1292     ofproto_set_mac_idle_time(br->ofproto, idle_time);
1293 }
1294
1295 static void
1296 bridge_pick_local_hw_addr(struct bridge *br, uint8_t ea[ETH_ADDR_LEN],
1297                           struct iface **hw_addr_iface)
1298 {
1299     struct hmapx mirror_output_ports;
1300     const char *hwaddr;
1301     struct port *port;
1302     bool found_addr = false;
1303     int error;
1304     int i;
1305
1306     *hw_addr_iface = NULL;
1307
1308     /* Did the user request a particular MAC? */
1309     hwaddr = ovsrec_bridge_get_other_config_value(br->cfg, "hwaddr", NULL);
1310     if (hwaddr && eth_addr_from_string(hwaddr, ea)) {
1311         if (eth_addr_is_multicast(ea)) {
1312             VLOG_ERR("bridge %s: cannot set MAC address to multicast "
1313                      "address "ETH_ADDR_FMT, br->name, ETH_ADDR_ARGS(ea));
1314         } else if (eth_addr_is_zero(ea)) {
1315             VLOG_ERR("bridge %s: cannot set MAC address to zero", br->name);
1316         } else {
1317             return;
1318         }
1319     }
1320
1321     /* Mirror output ports don't participate in picking the local hardware
1322      * address.  ofproto can't help us find out whether a given port is a
1323      * mirror output because we haven't configured mirrors yet, so we need to
1324      * accumulate them ourselves. */
1325     hmapx_init(&mirror_output_ports);
1326     for (i = 0; i < br->cfg->n_mirrors; i++) {
1327         struct ovsrec_mirror *m = br->cfg->mirrors[i];
1328         if (m->output_port) {
1329             hmapx_add(&mirror_output_ports, m->output_port);
1330         }
1331     }
1332
1333     /* Otherwise choose the minimum non-local MAC address among all of the
1334      * interfaces. */
1335     HMAP_FOR_EACH (port, hmap_node, &br->ports) {
1336         uint8_t iface_ea[ETH_ADDR_LEN];
1337         struct iface *candidate;
1338         struct iface *iface;
1339
1340         /* Mirror output ports don't participate. */
1341         if (hmapx_contains(&mirror_output_ports, port->cfg)) {
1342             continue;
1343         }
1344
1345         /* Choose the MAC address to represent the port. */
1346         iface = NULL;
1347         if (port->cfg->mac && eth_addr_from_string(port->cfg->mac, iface_ea)) {
1348             /* Find the interface with this Ethernet address (if any) so that
1349              * we can provide the correct devname to the caller. */
1350             LIST_FOR_EACH (candidate, port_elem, &port->ifaces) {
1351                 uint8_t candidate_ea[ETH_ADDR_LEN];
1352                 if (!netdev_get_etheraddr(candidate->netdev, candidate_ea)
1353                     && eth_addr_equals(iface_ea, candidate_ea)) {
1354                     iface = candidate;
1355                 }
1356             }
1357         } else {
1358             /* Choose the interface whose MAC address will represent the port.
1359              * The Linux kernel bonding code always chooses the MAC address of
1360              * the first slave added to a bond, and the Fedora networking
1361              * scripts always add slaves to a bond in alphabetical order, so
1362              * for compatibility we choose the interface with the name that is
1363              * first in alphabetical order. */
1364             LIST_FOR_EACH (candidate, port_elem, &port->ifaces) {
1365                 if (!iface || strcmp(candidate->name, iface->name) < 0) {
1366                     iface = candidate;
1367                 }
1368             }
1369
1370             /* The local port doesn't count (since we're trying to choose its
1371              * MAC address anyway). */
1372             if (iface->ofp_port == OFPP_LOCAL) {
1373                 continue;
1374             }
1375
1376             /* Grab MAC. */
1377             error = netdev_get_etheraddr(iface->netdev, iface_ea);
1378             if (error) {
1379                 continue;
1380             }
1381         }
1382
1383         /* Compare against our current choice. */
1384         if (!eth_addr_is_multicast(iface_ea) &&
1385             !eth_addr_is_local(iface_ea) &&
1386             !eth_addr_is_reserved(iface_ea) &&
1387             !eth_addr_is_zero(iface_ea) &&
1388             (!found_addr || eth_addr_compare_3way(iface_ea, ea) < 0))
1389         {
1390             memcpy(ea, iface_ea, ETH_ADDR_LEN);
1391             *hw_addr_iface = iface;
1392             found_addr = true;
1393         }
1394     }
1395     if (found_addr) {
1396         VLOG_DBG("bridge %s: using bridge Ethernet address "ETH_ADDR_FMT,
1397                  br->name, ETH_ADDR_ARGS(ea));
1398     } else {
1399         memcpy(ea, br->default_ea, ETH_ADDR_LEN);
1400         *hw_addr_iface = NULL;
1401         VLOG_WARN("bridge %s: using default bridge Ethernet "
1402                   "address "ETH_ADDR_FMT, br->name, ETH_ADDR_ARGS(ea));
1403     }
1404
1405     hmapx_destroy(&mirror_output_ports);
1406 }
1407
1408 /* Choose and returns the datapath ID for bridge 'br' given that the bridge
1409  * Ethernet address is 'bridge_ea'.  If 'bridge_ea' is the Ethernet address of
1410  * an interface on 'br', then that interface must be passed in as
1411  * 'hw_addr_iface'; if 'bridge_ea' was derived some other way, then
1412  * 'hw_addr_iface' must be passed in as a null pointer. */
1413 static uint64_t
1414 bridge_pick_datapath_id(struct bridge *br,
1415                         const uint8_t bridge_ea[ETH_ADDR_LEN],
1416                         struct iface *hw_addr_iface)
1417 {
1418     /*
1419      * The procedure for choosing a bridge MAC address will, in the most
1420      * ordinary case, also choose a unique MAC that we can use as a datapath
1421      * ID.  In some special cases, though, multiple bridges will end up with
1422      * the same MAC address.  This is OK for the bridges, but it will confuse
1423      * the OpenFlow controller, because each datapath needs a unique datapath
1424      * ID.
1425      *
1426      * Datapath IDs must be unique.  It is also very desirable that they be
1427      * stable from one run to the next, so that policy set on a datapath
1428      * "sticks".
1429      */
1430     const char *datapath_id;
1431     uint64_t dpid;
1432
1433     datapath_id = ovsrec_bridge_get_other_config_value(br->cfg, "datapath-id",
1434                                                        NULL);
1435     if (datapath_id && dpid_from_string(datapath_id, &dpid)) {
1436         return dpid;
1437     }
1438
1439     if (!hw_addr_iface) {
1440         /*
1441          * A purely internal bridge, that is, one that has no non-virtual
1442          * network devices on it at all, is difficult because it has no
1443          * natural unique identifier at all.
1444          *
1445          * When the host is a XenServer, we handle this case by hashing the
1446          * host's UUID with the name of the bridge.  Names of bridges are
1447          * persistent across XenServer reboots, although they can be reused if
1448          * an internal network is destroyed and then a new one is later
1449          * created, so this is fairly effective.
1450          *
1451          * When the host is not a XenServer, we punt by using a random MAC
1452          * address on each run.
1453          */
1454         const char *host_uuid = xenserver_get_host_uuid();
1455         if (host_uuid) {
1456             char *combined = xasprintf("%s,%s", host_uuid, br->name);
1457             dpid = dpid_from_hash(combined, strlen(combined));
1458             free(combined);
1459             return dpid;
1460         }
1461     }
1462
1463     return eth_addr_to_uint64(bridge_ea);
1464 }
1465
1466 static uint64_t
1467 dpid_from_hash(const void *data, size_t n)
1468 {
1469     uint8_t hash[SHA1_DIGEST_SIZE];
1470
1471     BUILD_ASSERT_DECL(sizeof hash >= ETH_ADDR_LEN);
1472     sha1_bytes(data, n, hash);
1473     eth_addr_mark_random(hash);
1474     return eth_addr_to_uint64(hash);
1475 }
1476
1477 static void
1478 iface_refresh_status(struct iface *iface)
1479 {
1480     struct shash sh;
1481
1482     enum netdev_features current;
1483     enum netdev_flags flags;
1484     int64_t bps;
1485     int mtu;
1486     int64_t mtu_64;
1487     int error;
1488
1489     if (iface_is_synthetic(iface)) {
1490         return;
1491     }
1492
1493     shash_init(&sh);
1494
1495     if (!netdev_get_drv_info(iface->netdev, &sh)) {
1496         size_t n;
1497         char **keys, **values;
1498
1499         shash_to_ovs_idl_map(&sh, &keys, &values, &n);
1500         ovsrec_interface_set_status(iface->cfg, keys, values, n);
1501
1502         free(keys);
1503         free(values);
1504     } else {
1505         ovsrec_interface_set_status(iface->cfg, NULL, NULL, 0);
1506     }
1507
1508     shash_destroy_free_data(&sh);
1509
1510     error = netdev_get_flags(iface->netdev, &flags);
1511     if (!error) {
1512         ovsrec_interface_set_admin_state(iface->cfg,
1513                                          flags & NETDEV_UP ? "up" : "down");
1514     }
1515     else {
1516         ovsrec_interface_set_admin_state(iface->cfg, NULL);
1517     }
1518
1519     error = netdev_get_features(iface->netdev, &current, NULL, NULL, NULL);
1520     if (!error) {
1521         ovsrec_interface_set_duplex(iface->cfg,
1522                                     netdev_features_is_full_duplex(current)
1523                                     ? "full" : "half");
1524         /* warning: uint64_t -> int64_t conversion */
1525         bps = netdev_features_to_bps(current);
1526         ovsrec_interface_set_link_speed(iface->cfg, &bps, 1);
1527     }
1528     else {
1529         ovsrec_interface_set_duplex(iface->cfg, NULL);
1530         ovsrec_interface_set_link_speed(iface->cfg, NULL, 0);
1531     }
1532
1533     error = netdev_get_mtu(iface->netdev, &mtu);
1534     if (!error) {
1535         mtu_64 = mtu;
1536         ovsrec_interface_set_mtu(iface->cfg, &mtu_64, 1);
1537     }
1538     else {
1539         ovsrec_interface_set_mtu(iface->cfg, NULL, 0);
1540     }
1541 }
1542
1543 /* Writes 'iface''s CFM statistics to the database. */
1544 static void
1545 iface_refresh_cfm_stats(struct iface *iface)
1546 {
1547     const struct ovsrec_interface *cfg = iface->cfg;
1548     int fault, error;
1549     const uint64_t *rmps;
1550     size_t n_rmps;
1551     int health;
1552
1553     if (iface_is_synthetic(iface)) {
1554         return;
1555     }
1556
1557     fault = ofproto_port_get_cfm_fault(iface->port->bridge->ofproto,
1558                                        iface->ofp_port);
1559     if (fault >= 0) {
1560         const char *reasons[CFM_FAULT_N_REASONS];
1561         bool fault_bool = fault;
1562         size_t i, j;
1563
1564         j = 0;
1565         for (i = 0; i < CFM_FAULT_N_REASONS; i++) {
1566             int reason = 1 << i;
1567             if (fault & reason) {
1568                 reasons[j++] = cfm_fault_reason_to_str(reason);
1569             }
1570         }
1571
1572         ovsrec_interface_set_cfm_fault(cfg, &fault_bool, 1);
1573         ovsrec_interface_set_cfm_fault_status(cfg, (char **) reasons, j);
1574     } else {
1575         ovsrec_interface_set_cfm_fault(cfg, NULL, 0);
1576         ovsrec_interface_set_cfm_fault_status(cfg, NULL, 0);
1577     }
1578
1579     error = ofproto_port_get_cfm_remote_mpids(iface->port->bridge->ofproto,
1580                                               iface->ofp_port, &rmps, &n_rmps);
1581     if (error >= 0) {
1582         ovsrec_interface_set_cfm_remote_mpids(cfg, (const int64_t *)rmps,
1583                                               n_rmps);
1584     } else {
1585         ovsrec_interface_set_cfm_remote_mpids(cfg, NULL, 0);
1586     }
1587
1588     health = ofproto_port_get_cfm_health(iface->port->bridge->ofproto,
1589                                         iface->ofp_port);
1590     if (health >= 0) {
1591         int64_t cfm_health = health;
1592         ovsrec_interface_set_cfm_health(cfg, &cfm_health, 1);
1593     } else {
1594         ovsrec_interface_set_cfm_health(cfg, NULL, 0);
1595     }
1596 }
1597
1598 static void
1599 iface_refresh_stats(struct iface *iface)
1600 {
1601 #define IFACE_STATS                             \
1602     IFACE_STAT(rx_packets,      "rx_packets")   \
1603     IFACE_STAT(tx_packets,      "tx_packets")   \
1604     IFACE_STAT(rx_bytes,        "rx_bytes")     \
1605     IFACE_STAT(tx_bytes,        "tx_bytes")     \
1606     IFACE_STAT(rx_dropped,      "rx_dropped")   \
1607     IFACE_STAT(tx_dropped,      "tx_dropped")   \
1608     IFACE_STAT(rx_errors,       "rx_errors")    \
1609     IFACE_STAT(tx_errors,       "tx_errors")    \
1610     IFACE_STAT(rx_frame_errors, "rx_frame_err") \
1611     IFACE_STAT(rx_over_errors,  "rx_over_err")  \
1612     IFACE_STAT(rx_crc_errors,   "rx_crc_err")   \
1613     IFACE_STAT(collisions,      "collisions")
1614
1615 #define IFACE_STAT(MEMBER, NAME) NAME,
1616     static char *keys[] = { IFACE_STATS };
1617 #undef IFACE_STAT
1618     int64_t values[ARRAY_SIZE(keys)];
1619     int i;
1620
1621     struct netdev_stats stats;
1622
1623     if (iface_is_synthetic(iface)) {
1624         return;
1625     }
1626
1627     /* Intentionally ignore return value, since errors will set 'stats' to
1628      * all-1s, and we will deal with that correctly below. */
1629     netdev_get_stats(iface->netdev, &stats);
1630
1631     /* Copy statistics into values[] array. */
1632     i = 0;
1633 #define IFACE_STAT(MEMBER, NAME) values[i++] = stats.MEMBER;
1634     IFACE_STATS;
1635 #undef IFACE_STAT
1636     assert(i == ARRAY_SIZE(keys));
1637
1638     ovsrec_interface_set_statistics(iface->cfg, keys, values,
1639                                     ARRAY_SIZE(keys));
1640 #undef IFACE_STATS
1641 }
1642
1643 static void
1644 br_refresh_stp_status(struct bridge *br)
1645 {
1646     struct ofproto *ofproto = br->ofproto;
1647     struct ofproto_stp_status status;
1648     char *keys[3], *values[3];
1649     size_t i;
1650
1651     if (ofproto_get_stp_status(ofproto, &status)) {
1652         return;
1653     }
1654
1655     if (!status.enabled) {
1656         ovsrec_bridge_set_status(br->cfg, NULL, NULL, 0);
1657         return;
1658     }
1659
1660     keys[0] = "stp_bridge_id",
1661     values[0] = xasprintf(STP_ID_FMT, STP_ID_ARGS(status.bridge_id));
1662     keys[1] = "stp_designated_root",
1663     values[1] = xasprintf(STP_ID_FMT, STP_ID_ARGS(status.designated_root));
1664     keys[2] = "stp_root_path_cost",
1665     values[2] = xasprintf("%d", status.root_path_cost);
1666
1667     ovsrec_bridge_set_status(br->cfg, keys, values, ARRAY_SIZE(values));
1668
1669     for (i = 0; i < ARRAY_SIZE(values); i++) {
1670         free(values[i]);
1671     }
1672 }
1673
1674 static void
1675 port_refresh_stp_status(struct port *port)
1676 {
1677     struct ofproto *ofproto = port->bridge->ofproto;
1678     struct iface *iface;
1679     struct ofproto_port_stp_status status;
1680     char *keys[4];
1681     char *str_values[4];
1682     int64_t int_values[3];
1683     size_t i;
1684
1685     if (port_is_synthetic(port)) {
1686         return;
1687     }
1688
1689     /* STP doesn't currently support bonds. */
1690     if (!list_is_singleton(&port->ifaces)) {
1691         ovsrec_port_set_status(port->cfg, NULL, NULL, 0);
1692         return;
1693     }
1694
1695     iface = CONTAINER_OF(list_front(&port->ifaces), struct iface, port_elem);
1696
1697     if (ofproto_port_get_stp_status(ofproto, iface->ofp_port, &status)) {
1698         return;
1699     }
1700
1701     if (!status.enabled) {
1702         ovsrec_port_set_status(port->cfg, NULL, NULL, 0);
1703         ovsrec_port_set_statistics(port->cfg, NULL, NULL, 0);
1704         return;
1705     }
1706
1707     /* Set Status column. */
1708     keys[0] = "stp_port_id";
1709     str_values[0] = xasprintf(STP_PORT_ID_FMT, status.port_id);
1710     keys[1] = "stp_state";
1711     str_values[1] = xstrdup(stp_state_name(status.state));
1712     keys[2] = "stp_sec_in_state";
1713     str_values[2] = xasprintf("%u", status.sec_in_state);
1714     keys[3] = "stp_role";
1715     str_values[3] = xstrdup(stp_role_name(status.role));
1716
1717     ovsrec_port_set_status(port->cfg, keys, str_values,
1718                            ARRAY_SIZE(str_values));
1719
1720     for (i = 0; i < ARRAY_SIZE(str_values); i++) {
1721         free(str_values[i]);
1722     }
1723
1724     /* Set Statistics column. */
1725     keys[0] = "stp_tx_count";
1726     int_values[0] = status.tx_count;
1727     keys[1] = "stp_rx_count";
1728     int_values[1] = status.rx_count;
1729     keys[2] = "stp_error_count";
1730     int_values[2] = status.error_count;
1731
1732     ovsrec_port_set_statistics(port->cfg, keys, int_values,
1733                                ARRAY_SIZE(int_values));
1734 }
1735
1736 static bool
1737 enable_system_stats(const struct ovsrec_open_vswitch *cfg)
1738 {
1739     const char *enable;
1740
1741     /* Use other-config:enable-system-stats by preference. */
1742     enable = ovsrec_open_vswitch_get_other_config_value(cfg,
1743                                                         "enable-statistics",
1744                                                         NULL);
1745     if (enable) {
1746         return !strcmp(enable, "true");
1747     }
1748
1749     /* Disable by default. */
1750     return false;
1751 }
1752
1753 static void
1754 refresh_system_stats(const struct ovsrec_open_vswitch *cfg)
1755 {
1756     struct ovsdb_datum datum;
1757     struct shash stats;
1758
1759     shash_init(&stats);
1760     if (enable_system_stats(cfg)) {
1761         get_system_stats(&stats);
1762     }
1763
1764     ovsdb_datum_from_shash(&datum, &stats);
1765     ovsdb_idl_txn_write(&cfg->header_, &ovsrec_open_vswitch_col_statistics,
1766                         &datum);
1767 }
1768
1769 static inline const char *
1770 nx_role_to_str(enum nx_role role)
1771 {
1772     switch (role) {
1773     case NX_ROLE_OTHER:
1774         return "other";
1775     case NX_ROLE_MASTER:
1776         return "master";
1777     case NX_ROLE_SLAVE:
1778         return "slave";
1779     default:
1780         return "*** INVALID ROLE ***";
1781     }
1782 }
1783
1784 static void
1785 refresh_controller_status(void)
1786 {
1787     struct bridge *br;
1788     struct shash info;
1789     const struct ovsrec_controller *cfg;
1790
1791     shash_init(&info);
1792
1793     /* Accumulate status for controllers on all bridges. */
1794     HMAP_FOR_EACH (br, node, &all_bridges) {
1795         ofproto_get_ofproto_controller_info(br->ofproto, &info);
1796     }
1797
1798     /* Update each controller in the database with current status. */
1799     OVSREC_CONTROLLER_FOR_EACH(cfg, idl) {
1800         struct ofproto_controller_info *cinfo =
1801             shash_find_data(&info, cfg->target);
1802
1803         if (cinfo) {
1804             ovsrec_controller_set_is_connected(cfg, cinfo->is_connected);
1805             ovsrec_controller_set_role(cfg, nx_role_to_str(cinfo->role));
1806             ovsrec_controller_set_status(cfg, (char **) cinfo->pairs.keys,
1807                                          (char **) cinfo->pairs.values,
1808                                          cinfo->pairs.n);
1809         } else {
1810             ovsrec_controller_set_is_connected(cfg, false);
1811             ovsrec_controller_set_role(cfg, NULL);
1812             ovsrec_controller_set_status(cfg, NULL, NULL, 0);
1813         }
1814     }
1815
1816     ofproto_free_ofproto_controller_info(&info);
1817 }
1818
1819 static void
1820 refresh_cfm_stats(void)
1821 {
1822     static struct ovsdb_idl_txn *txn = NULL;
1823
1824     if (!txn) {
1825         struct bridge *br;
1826
1827         txn = ovsdb_idl_txn_create(idl);
1828
1829         HMAP_FOR_EACH (br, node, &all_bridges) {
1830             struct iface *iface;
1831
1832             HMAP_FOR_EACH (iface, name_node, &br->iface_by_name) {
1833                 iface_refresh_cfm_stats(iface);
1834             }
1835         }
1836     }
1837
1838     if (ovsdb_idl_txn_commit(txn) != TXN_INCOMPLETE) {
1839         ovsdb_idl_txn_destroy(txn);
1840         txn = NULL;
1841     }
1842 }
1843
1844 /* Performs periodic activity required by bridges that needs to be done with
1845  * the least possible latency.
1846  *
1847  * It makes sense to call this function a couple of times per poll loop, to
1848  * provide a significant performance boost on some benchmarks with ofprotos
1849  * that use the ofproto-dpif implementation. */
1850 void
1851 bridge_run_fast(void)
1852 {
1853     struct bridge *br;
1854
1855     HMAP_FOR_EACH (br, node, &all_bridges) {
1856         ofproto_run_fast(br->ofproto);
1857     }
1858 }
1859
1860 void
1861 bridge_run(void)
1862 {
1863     const struct ovsrec_open_vswitch *cfg;
1864
1865     bool vlan_splinters_changed;
1866     bool database_changed;
1867     struct bridge *br;
1868
1869     /* (Re)configure if necessary. */
1870     database_changed = ovsdb_idl_run(idl);
1871     if (ovsdb_idl_is_lock_contended(idl)) {
1872         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
1873         struct bridge *br, *next_br;
1874
1875         VLOG_ERR_RL(&rl, "another ovs-vswitchd process is running, "
1876                     "disabling this process until it goes away");
1877
1878         HMAP_FOR_EACH_SAFE (br, next_br, node, &all_bridges) {
1879             bridge_destroy(br);
1880         }
1881         return;
1882     } else if (!ovsdb_idl_has_lock(idl)) {
1883         return;
1884     }
1885     cfg = ovsrec_open_vswitch_first(idl);
1886
1887     /* Let each bridge do the work that it needs to do. */
1888     HMAP_FOR_EACH (br, node, &all_bridges) {
1889         ofproto_run(br->ofproto);
1890     }
1891
1892     /* Re-configure SSL.  We do this on every trip through the main loop,
1893      * instead of just when the database changes, because the contents of the
1894      * key and certificate files can change without the database changing.
1895      *
1896      * We do this before bridge_reconfigure() because that function might
1897      * initiate SSL connections and thus requires SSL to be configured. */
1898     if (cfg && cfg->ssl) {
1899         const struct ovsrec_ssl *ssl = cfg->ssl;
1900
1901         stream_ssl_set_key_and_cert(ssl->private_key, ssl->certificate);
1902         stream_ssl_set_ca_cert_file(ssl->ca_cert, ssl->bootstrap_ca_cert);
1903     }
1904
1905     /* If VLAN splinters are in use, then we need to reconfigure if VLAN usage
1906      * has changed. */
1907     vlan_splinters_changed = false;
1908     if (vlan_splinters_enabled_anywhere) {
1909         HMAP_FOR_EACH (br, node, &all_bridges) {
1910             if (ofproto_has_vlan_usage_changed(br->ofproto)) {
1911                 vlan_splinters_changed = true;
1912                 break;
1913             }
1914         }
1915     }
1916
1917     if (database_changed || vlan_splinters_changed) {
1918         if (cfg) {
1919             struct ovsdb_idl_txn *txn = ovsdb_idl_txn_create(idl);
1920
1921             bridge_reconfigure(cfg);
1922
1923             ovsrec_open_vswitch_set_cur_cfg(cfg, cfg->next_cfg);
1924             ovsdb_idl_txn_commit(txn);
1925             ovsdb_idl_txn_destroy(txn); /* XXX */
1926         } else {
1927             /* We still need to reconfigure to avoid dangling pointers to
1928              * now-destroyed ovsrec structures inside bridge data. */
1929             static const struct ovsrec_open_vswitch null_cfg;
1930
1931             bridge_reconfigure(&null_cfg);
1932         }
1933     }
1934
1935     /* Refresh system and interface stats if necessary. */
1936     if (time_msec() >= stats_timer) {
1937         if (cfg) {
1938             struct ovsdb_idl_txn *txn;
1939
1940             txn = ovsdb_idl_txn_create(idl);
1941             HMAP_FOR_EACH (br, node, &all_bridges) {
1942                 struct port *port;
1943                 struct mirror *m;
1944
1945                 HMAP_FOR_EACH (port, hmap_node, &br->ports) {
1946                     struct iface *iface;
1947
1948                     LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
1949                         iface_refresh_stats(iface);
1950                         iface_refresh_status(iface);
1951                     }
1952                 }
1953
1954                 HMAP_FOR_EACH (m, hmap_node, &br->mirrors) {
1955                     mirror_refresh_stats(m);
1956                 }
1957
1958             }
1959             refresh_system_stats(cfg);
1960             refresh_controller_status();
1961             ovsdb_idl_txn_commit(txn);
1962             ovsdb_idl_txn_destroy(txn); /* XXX */
1963         }
1964
1965         stats_timer = time_msec() + STATS_INTERVAL;
1966     }
1967
1968     if (time_msec() >= db_limiter) {
1969         struct ovsdb_idl_txn *txn;
1970
1971         txn = ovsdb_idl_txn_create(idl);
1972         HMAP_FOR_EACH (br, node, &all_bridges) {
1973             struct iface *iface;
1974             struct port *port;
1975
1976             br_refresh_stp_status(br);
1977
1978             HMAP_FOR_EACH (port, hmap_node, &br->ports) {
1979                 port_refresh_stp_status(port);
1980             }
1981
1982             HMAP_FOR_EACH (iface, name_node, &br->iface_by_name) {
1983                 const char *link_state;
1984                 int64_t link_resets;
1985                 int current;
1986
1987                 if (iface_is_synthetic(iface)) {
1988                     continue;
1989                 }
1990
1991                 current = ofproto_port_is_lacp_current(br->ofproto,
1992                                                        iface->ofp_port);
1993                 if (current >= 0) {
1994                     bool bl = current;
1995                     ovsrec_interface_set_lacp_current(iface->cfg, &bl, 1);
1996                 } else {
1997                     ovsrec_interface_set_lacp_current(iface->cfg, NULL, 0);
1998                 }
1999
2000                 link_state = netdev_get_carrier(iface->netdev) ? "up" : "down";
2001                 ovsrec_interface_set_link_state(iface->cfg, link_state);
2002
2003                 link_resets = netdev_get_carrier_resets(iface->netdev);
2004                 ovsrec_interface_set_link_resets(iface->cfg, &link_resets, 1);
2005             }
2006         }
2007
2008         if (ovsdb_idl_txn_commit(txn) != TXN_UNCHANGED) {
2009             db_limiter = time_msec() + DB_LIMIT_INTERVAL;
2010         }
2011         ovsdb_idl_txn_destroy(txn);
2012     }
2013
2014     refresh_cfm_stats();
2015 }
2016
2017 void
2018 bridge_wait(void)
2019 {
2020     ovsdb_idl_wait(idl);
2021     if (!hmap_is_empty(&all_bridges)) {
2022         struct bridge *br;
2023
2024         HMAP_FOR_EACH (br, node, &all_bridges) {
2025             ofproto_wait(br->ofproto);
2026         }
2027         poll_timer_wait_until(stats_timer);
2028
2029         if (db_limiter > time_msec()) {
2030             poll_timer_wait_until(db_limiter);
2031         }
2032     }
2033 }
2034 \f
2035 /* QoS unixctl user interface functions. */
2036
2037 struct qos_unixctl_show_cbdata {
2038     struct ds *ds;
2039     struct iface *iface;
2040 };
2041
2042 static void
2043 qos_unixctl_show_cb(unsigned int queue_id,
2044                     const struct shash *details,
2045                     void *aux)
2046 {
2047     struct qos_unixctl_show_cbdata *data = aux;
2048     struct ds *ds = data->ds;
2049     struct iface *iface = data->iface;
2050     struct netdev_queue_stats stats;
2051     struct shash_node *node;
2052     int error;
2053
2054     ds_put_cstr(ds, "\n");
2055     if (queue_id) {
2056         ds_put_format(ds, "Queue %u:\n", queue_id);
2057     } else {
2058         ds_put_cstr(ds, "Default:\n");
2059     }
2060
2061     SHASH_FOR_EACH (node, details) {
2062         ds_put_format(ds, "\t%s: %s\n", node->name, (char *)node->data);
2063     }
2064
2065     error = netdev_get_queue_stats(iface->netdev, queue_id, &stats);
2066     if (!error) {
2067         if (stats.tx_packets != UINT64_MAX) {
2068             ds_put_format(ds, "\ttx_packets: %"PRIu64"\n", stats.tx_packets);
2069         }
2070
2071         if (stats.tx_bytes != UINT64_MAX) {
2072             ds_put_format(ds, "\ttx_bytes: %"PRIu64"\n", stats.tx_bytes);
2073         }
2074
2075         if (stats.tx_errors != UINT64_MAX) {
2076             ds_put_format(ds, "\ttx_errors: %"PRIu64"\n", stats.tx_errors);
2077         }
2078     } else {
2079         ds_put_format(ds, "\tFailed to get statistics for queue %u: %s",
2080                       queue_id, strerror(error));
2081     }
2082 }
2083
2084 static void
2085 qos_unixctl_show(struct unixctl_conn *conn, int argc OVS_UNUSED,
2086                  const char *argv[], void *aux OVS_UNUSED)
2087 {
2088     struct ds ds = DS_EMPTY_INITIALIZER;
2089     struct shash sh = SHASH_INITIALIZER(&sh);
2090     struct iface *iface;
2091     const char *type;
2092     struct shash_node *node;
2093     struct qos_unixctl_show_cbdata data;
2094     int error;
2095
2096     iface = iface_find(argv[1]);
2097     if (!iface) {
2098         unixctl_command_reply_error(conn, "no such interface");
2099         return;
2100     }
2101
2102     netdev_get_qos(iface->netdev, &type, &sh);
2103
2104     if (*type != '\0') {
2105         ds_put_format(&ds, "QoS: %s %s\n", iface->name, type);
2106
2107         SHASH_FOR_EACH (node, &sh) {
2108             ds_put_format(&ds, "%s: %s\n", node->name, (char *)node->data);
2109         }
2110
2111         data.ds = &ds;
2112         data.iface = iface;
2113         error = netdev_dump_queues(iface->netdev, qos_unixctl_show_cb, &data);
2114
2115         if (error) {
2116             ds_put_format(&ds, "failed to dump queues: %s", strerror(error));
2117         }
2118         unixctl_command_reply(conn, ds_cstr(&ds));
2119     } else {
2120         ds_put_format(&ds, "QoS not configured on %s\n", iface->name);
2121         unixctl_command_reply_error(conn, ds_cstr(&ds));
2122     }
2123
2124     shash_destroy_free_data(&sh);
2125     ds_destroy(&ds);
2126 }
2127 \f
2128 /* Bridge reconfiguration functions. */
2129 static void
2130 bridge_create(const struct ovsrec_bridge *br_cfg)
2131 {
2132     struct bridge *br;
2133
2134     assert(!bridge_lookup(br_cfg->name));
2135     br = xzalloc(sizeof *br);
2136
2137     br->name = xstrdup(br_cfg->name);
2138     br->type = xstrdup(ofproto_normalize_type(br_cfg->datapath_type));
2139     br->cfg = br_cfg;
2140
2141     /* Derive the default Ethernet address from the bridge's UUID.  This should
2142      * be unique and it will be stable between ovs-vswitchd runs.  */
2143     memcpy(br->default_ea, &br_cfg->header_.uuid, ETH_ADDR_LEN);
2144     eth_addr_mark_random(br->default_ea);
2145
2146     hmap_init(&br->ports);
2147     hmap_init(&br->ifaces);
2148     hmap_init(&br->iface_by_name);
2149     hmap_init(&br->mirrors);
2150
2151     hmap_insert(&all_bridges, &br->node, hash_string(br->name, 0));
2152 }
2153
2154 static void
2155 bridge_destroy(struct bridge *br)
2156 {
2157     if (br) {
2158         struct mirror *mirror, *next_mirror;
2159         struct port *port, *next_port;
2160
2161         HMAP_FOR_EACH_SAFE (port, next_port, hmap_node, &br->ports) {
2162             port_destroy(port);
2163         }
2164         HMAP_FOR_EACH_SAFE (mirror, next_mirror, hmap_node, &br->mirrors) {
2165             mirror_destroy(mirror);
2166         }
2167         hmap_remove(&all_bridges, &br->node);
2168         ofproto_destroy(br->ofproto);
2169         hmap_destroy(&br->ifaces);
2170         hmap_destroy(&br->ports);
2171         hmap_destroy(&br->iface_by_name);
2172         hmap_destroy(&br->mirrors);
2173         free(br->name);
2174         free(br->type);
2175         free(br);
2176     }
2177 }
2178
2179 static struct bridge *
2180 bridge_lookup(const char *name)
2181 {
2182     struct bridge *br;
2183
2184     HMAP_FOR_EACH_WITH_HASH (br, node, hash_string(name, 0), &all_bridges) {
2185         if (!strcmp(br->name, name)) {
2186             return br;
2187         }
2188     }
2189     return NULL;
2190 }
2191
2192 /* Handle requests for a listing of all flows known by the OpenFlow
2193  * stack, including those normally hidden. */
2194 static void
2195 bridge_unixctl_dump_flows(struct unixctl_conn *conn, int argc OVS_UNUSED,
2196                           const char *argv[], void *aux OVS_UNUSED)
2197 {
2198     struct bridge *br;
2199     struct ds results;
2200
2201     br = bridge_lookup(argv[1]);
2202     if (!br) {
2203         unixctl_command_reply_error(conn, "Unknown bridge");
2204         return;
2205     }
2206
2207     ds_init(&results);
2208     ofproto_get_all_flows(br->ofproto, &results);
2209
2210     unixctl_command_reply(conn, ds_cstr(&results));
2211     ds_destroy(&results);
2212 }
2213
2214 /* "bridge/reconnect [BRIDGE]": makes BRIDGE drop all of its controller
2215  * connections and reconnect.  If BRIDGE is not specified, then all bridges
2216  * drop their controller connections and reconnect. */
2217 static void
2218 bridge_unixctl_reconnect(struct unixctl_conn *conn, int argc,
2219                          const char *argv[], void *aux OVS_UNUSED)
2220 {
2221     struct bridge *br;
2222     if (argc > 1) {
2223         br = bridge_lookup(argv[1]);
2224         if (!br) {
2225             unixctl_command_reply_error(conn,  "Unknown bridge");
2226             return;
2227         }
2228         ofproto_reconnect_controllers(br->ofproto);
2229     } else {
2230         HMAP_FOR_EACH (br, node, &all_bridges) {
2231             ofproto_reconnect_controllers(br->ofproto);
2232         }
2233     }
2234     unixctl_command_reply(conn, NULL);
2235 }
2236
2237 static size_t
2238 bridge_get_controllers(const struct bridge *br,
2239                        struct ovsrec_controller ***controllersp)
2240 {
2241     struct ovsrec_controller **controllers;
2242     size_t n_controllers;
2243
2244     controllers = br->cfg->controller;
2245     n_controllers = br->cfg->n_controller;
2246
2247     if (n_controllers == 1 && !strcmp(controllers[0]->target, "none")) {
2248         controllers = NULL;
2249         n_controllers = 0;
2250     }
2251
2252     if (controllersp) {
2253         *controllersp = controllers;
2254     }
2255     return n_controllers;
2256 }
2257
2258 /* Adds and deletes "struct port"s and "struct iface"s under 'br' to match
2259  * those configured in 'br->cfg'. */
2260 static void
2261 bridge_add_del_ports(struct bridge *br,
2262                      const unsigned long int *splinter_vlans)
2263 {
2264     struct port *port, *next;
2265     struct shash_node *node;
2266     struct shash new_ports;
2267     size_t i;
2268
2269     /* Collect new ports. */
2270     shash_init(&new_ports);
2271     for (i = 0; i < br->cfg->n_ports; i++) {
2272         const char *name = br->cfg->ports[i]->name;
2273         if (!shash_add_once(&new_ports, name, br->cfg->ports[i])) {
2274             VLOG_WARN("bridge %s: %s specified twice as bridge port",
2275                       br->name, name);
2276         }
2277     }
2278     if (bridge_get_controllers(br, NULL)
2279         && !shash_find(&new_ports, br->name)) {
2280         VLOG_WARN("bridge %s: no port named %s, synthesizing one",
2281                   br->name, br->name);
2282
2283         br->synth_local_port.interfaces = &br->synth_local_ifacep;
2284         br->synth_local_port.n_interfaces = 1;
2285         br->synth_local_port.name = br->name;
2286
2287         br->synth_local_iface.name = br->name;
2288         br->synth_local_iface.type = "internal";
2289
2290         br->synth_local_ifacep = &br->synth_local_iface;
2291
2292         shash_add(&new_ports, br->name, &br->synth_local_port);
2293     }
2294
2295     if (splinter_vlans) {
2296         add_vlan_splinter_ports(br, splinter_vlans, &new_ports);
2297     }
2298
2299     /* Get rid of deleted ports.
2300      * Get rid of deleted interfaces on ports that still exist. */
2301     HMAP_FOR_EACH_SAFE (port, next, hmap_node, &br->ports) {
2302         port->cfg = shash_find_data(&new_ports, port->name);
2303         if (!port->cfg) {
2304             port_destroy(port);
2305         } else {
2306             port_del_ifaces(port);
2307         }
2308     }
2309
2310     /* Create new ports.
2311      * Add new interfaces to existing ports. */
2312     SHASH_FOR_EACH (node, &new_ports) {
2313         struct port *port = port_lookup(br, node->name);
2314         if (!port) {
2315             struct ovsrec_port *cfg = node->data;
2316             port = port_create(br, cfg);
2317         }
2318         port_add_ifaces(port);
2319         if (list_is_empty(&port->ifaces)) {
2320             VLOG_WARN("bridge %s: port %s has no interfaces, dropping",
2321                       br->name, port->name);
2322             port_destroy(port);
2323         }
2324     }
2325     shash_destroy(&new_ports);
2326 }
2327
2328 /* Initializes 'oc' appropriately as a management service controller for
2329  * 'br'.
2330  *
2331  * The caller must free oc->target when it is no longer needed. */
2332 static void
2333 bridge_ofproto_controller_for_mgmt(const struct bridge *br,
2334                                    struct ofproto_controller *oc)
2335 {
2336     oc->target = xasprintf("punix:%s/%s.mgmt", ovs_rundir(), br->name);
2337     oc->max_backoff = 0;
2338     oc->probe_interval = 60;
2339     oc->band = OFPROTO_OUT_OF_BAND;
2340     oc->rate_limit = 0;
2341     oc->burst_limit = 0;
2342     oc->enable_async_msgs = true;
2343 }
2344
2345 /* Converts ovsrec_controller 'c' into an ofproto_controller in 'oc'.  */
2346 static void
2347 bridge_ofproto_controller_from_ovsrec(const struct ovsrec_controller *c,
2348                                       struct ofproto_controller *oc)
2349 {
2350     const char *config_str;
2351
2352     oc->target = c->target;
2353     oc->max_backoff = c->max_backoff ? *c->max_backoff / 1000 : 8;
2354     oc->probe_interval = c->inactivity_probe ? *c->inactivity_probe / 1000 : 5;
2355     oc->band = (!c->connection_mode || !strcmp(c->connection_mode, "in-band")
2356                 ? OFPROTO_IN_BAND : OFPROTO_OUT_OF_BAND);
2357     oc->rate_limit = c->controller_rate_limit ? *c->controller_rate_limit : 0;
2358     oc->burst_limit = (c->controller_burst_limit
2359                        ? *c->controller_burst_limit : 0);
2360     oc->enable_async_msgs = (!c->enable_async_messages
2361                              || *c->enable_async_messages);
2362     config_str = ovsrec_controller_get_other_config_value(c, "dscp", NULL);
2363     if (config_str) {
2364         oc->dscp = atoi(config_str);
2365     } else {
2366         oc->dscp = DSCP_DEFAULT;
2367     }
2368 }
2369
2370 /* Configures the IP stack for 'br''s local interface properly according to the
2371  * configuration in 'c'.  */
2372 static void
2373 bridge_configure_local_iface_netdev(struct bridge *br,
2374                                     struct ovsrec_controller *c)
2375 {
2376     struct netdev *netdev;
2377     struct in_addr mask, gateway;
2378
2379     struct iface *local_iface;
2380     struct in_addr ip;
2381
2382     /* If there's no local interface or no IP address, give up. */
2383     local_iface = iface_from_ofp_port(br, OFPP_LOCAL);
2384     if (!local_iface || !c->local_ip || !inet_aton(c->local_ip, &ip)) {
2385         return;
2386     }
2387
2388     /* Bring up the local interface. */
2389     netdev = local_iface->netdev;
2390     netdev_turn_flags_on(netdev, NETDEV_UP, true);
2391
2392     /* Configure the IP address and netmask. */
2393     if (!c->local_netmask
2394         || !inet_aton(c->local_netmask, &mask)
2395         || !mask.s_addr) {
2396         mask.s_addr = guess_netmask(ip.s_addr);
2397     }
2398     if (!netdev_set_in4(netdev, ip, mask)) {
2399         VLOG_INFO("bridge %s: configured IP address "IP_FMT", netmask "IP_FMT,
2400                   br->name, IP_ARGS(&ip.s_addr), IP_ARGS(&mask.s_addr));
2401     }
2402
2403     /* Configure the default gateway. */
2404     if (c->local_gateway
2405         && inet_aton(c->local_gateway, &gateway)
2406         && gateway.s_addr) {
2407         if (!netdev_add_router(netdev, gateway)) {
2408             VLOG_INFO("bridge %s: configured gateway "IP_FMT,
2409                       br->name, IP_ARGS(&gateway.s_addr));
2410         }
2411     }
2412 }
2413
2414 /* Returns true if 'a' and 'b' are the same except that any number of slashes
2415  * in either string are treated as equal to any number of slashes in the other,
2416  * e.g. "x///y" is equal to "x/y". */
2417 static bool
2418 equal_pathnames(const char *a, const char *b)
2419 {
2420     while (*a == *b) {
2421         if (*a == '/') {
2422             a += strspn(a, "/");
2423             b += strspn(b, "/");
2424         } else if (*a == '\0') {
2425             return true;
2426         } else {
2427             a++;
2428             b++;
2429         }
2430     }
2431     return false;
2432 }
2433
2434 static void
2435 bridge_configure_remotes(struct bridge *br,
2436                          const struct sockaddr_in *managers, size_t n_managers)
2437 {
2438     const char *disable_ib_str, *queue_id_str;
2439     bool disable_in_band = false;
2440     int queue_id;
2441
2442     struct ovsrec_controller **controllers;
2443     size_t n_controllers;
2444
2445     enum ofproto_fail_mode fail_mode;
2446
2447     struct ofproto_controller *ocs;
2448     size_t n_ocs;
2449     size_t i;
2450
2451     /* Check if we should disable in-band control on this bridge. */
2452     disable_ib_str = ovsrec_bridge_get_other_config_value(br->cfg,
2453                                                           "disable-in-band",
2454                                                           NULL);
2455     if (disable_ib_str && !strcmp(disable_ib_str, "true")) {
2456         disable_in_band = true;
2457     }
2458
2459     /* Set OpenFlow queue ID for in-band control. */
2460     queue_id_str = ovsrec_bridge_get_other_config_value(br->cfg,
2461                                                         "in-band-queue",
2462                                                         NULL);
2463     queue_id = queue_id_str ? strtol(queue_id_str, NULL, 10) : -1;
2464     ofproto_set_in_band_queue(br->ofproto, queue_id);
2465
2466     if (disable_in_band) {
2467         ofproto_set_extra_in_band_remotes(br->ofproto, NULL, 0);
2468     } else {
2469         ofproto_set_extra_in_band_remotes(br->ofproto, managers, n_managers);
2470     }
2471
2472     n_controllers = bridge_get_controllers(br, &controllers);
2473
2474     ocs = xmalloc((n_controllers + 1) * sizeof *ocs);
2475     n_ocs = 0;
2476
2477     bridge_ofproto_controller_for_mgmt(br, &ocs[n_ocs++]);
2478     for (i = 0; i < n_controllers; i++) {
2479         struct ovsrec_controller *c = controllers[i];
2480
2481         if (!strncmp(c->target, "punix:", 6)
2482             || !strncmp(c->target, "unix:", 5)) {
2483             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2484             char *whitelist;
2485
2486             whitelist = xasprintf("unix:%s/%s.controller",
2487                                   ovs_rundir(), br->name);
2488             if (!equal_pathnames(c->target, whitelist)) {
2489                 /* Prevent remote ovsdb-server users from accessing arbitrary
2490                  * Unix domain sockets and overwriting arbitrary local
2491                  * files. */
2492                 VLOG_ERR_RL(&rl, "bridge %s: Not adding Unix domain socket "
2493                             "controller \"%s\" due to possibility for remote "
2494                             "exploit.  Instead, specify whitelisted \"%s\" or "
2495                             "connect to \"unix:%s/%s.mgmt\" (which is always "
2496                             "available without special configuration).",
2497                             br->name, c->target, whitelist,
2498                             ovs_rundir(), br->name);
2499                 free(whitelist);
2500                 continue;
2501             }
2502
2503             free(whitelist);
2504         }
2505
2506         bridge_configure_local_iface_netdev(br, c);
2507         bridge_ofproto_controller_from_ovsrec(c, &ocs[n_ocs]);
2508         if (disable_in_band) {
2509             ocs[n_ocs].band = OFPROTO_OUT_OF_BAND;
2510         }
2511         n_ocs++;
2512     }
2513
2514     ofproto_set_controllers(br->ofproto, ocs, n_ocs);
2515     free(ocs[0].target); /* From bridge_ofproto_controller_for_mgmt(). */
2516     free(ocs);
2517
2518     /* Set the fail-mode. */
2519     fail_mode = !br->cfg->fail_mode
2520                 || !strcmp(br->cfg->fail_mode, "standalone")
2521                     ? OFPROTO_FAIL_STANDALONE
2522                     : OFPROTO_FAIL_SECURE;
2523     ofproto_set_fail_mode(br->ofproto, fail_mode);
2524
2525     /* Configure OpenFlow controller connection snooping. */
2526     if (!ofproto_has_snoops(br->ofproto)) {
2527         struct sset snoops;
2528
2529         sset_init(&snoops);
2530         sset_add_and_free(&snoops, xasprintf("punix:%s/%s.snoop",
2531                                              ovs_rundir(), br->name));
2532         ofproto_set_snoops(br->ofproto, &snoops);
2533         sset_destroy(&snoops);
2534     }
2535 }
2536
2537 static void
2538 bridge_configure_tables(struct bridge *br)
2539 {
2540     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
2541     int n_tables;
2542     int i, j;
2543
2544     n_tables = ofproto_get_n_tables(br->ofproto);
2545     j = 0;
2546     for (i = 0; i < n_tables; i++) {
2547         struct ofproto_table_settings s;
2548
2549         s.name = NULL;
2550         s.max_flows = UINT_MAX;
2551         s.groups = NULL;
2552         s.n_groups = 0;
2553
2554         if (j < br->cfg->n_flow_tables && i == br->cfg->key_flow_tables[j]) {
2555             struct ovsrec_flow_table *cfg = br->cfg->value_flow_tables[j++];
2556
2557             s.name = cfg->name;
2558             if (cfg->n_flow_limit && *cfg->flow_limit < UINT_MAX) {
2559                 s.max_flows = *cfg->flow_limit;
2560             }
2561             if (cfg->overflow_policy
2562                 && !strcmp(cfg->overflow_policy, "evict")) {
2563                 size_t k;
2564
2565                 s.groups = xmalloc(cfg->n_groups * sizeof *s.groups);
2566                 for (k = 0; k < cfg->n_groups; k++) {
2567                     const char *string = cfg->groups[k];
2568                     char *msg;
2569
2570                     msg = mf_parse_subfield__(&s.groups[k], &string);
2571                     if (msg) {
2572                         VLOG_WARN_RL(&rl, "bridge %s table %d: error parsing "
2573                                      "'groups' (%s)", br->name, i, msg);
2574                         free(msg);
2575                     } else if (*string) {
2576                         VLOG_WARN_RL(&rl, "bridge %s table %d: 'groups' "
2577                                      "element '%s' contains trailing garbage",
2578                                      br->name, i, cfg->groups[k]);
2579                     } else {
2580                         s.n_groups++;
2581                     }
2582                 }
2583             }
2584         }
2585
2586         ofproto_configure_table(br->ofproto, i, &s);
2587
2588         free(s.groups);
2589     }
2590     for (; j < br->cfg->n_flow_tables; j++) {
2591         VLOG_WARN_RL(&rl, "bridge %s: ignoring configuration for flow table "
2592                      "%"PRId64" not supported by this datapath", br->name,
2593                      br->cfg->key_flow_tables[j]);
2594     }
2595 }
2596 \f
2597 /* Port functions. */
2598
2599 static struct port *
2600 port_create(struct bridge *br, const struct ovsrec_port *cfg)
2601 {
2602     struct port *port;
2603
2604     port = xzalloc(sizeof *port);
2605     port->bridge = br;
2606     port->name = xstrdup(cfg->name);
2607     port->cfg = cfg;
2608     list_init(&port->ifaces);
2609
2610     hmap_insert(&br->ports, &port->hmap_node, hash_string(port->name, 0));
2611
2612     VLOG_INFO("created port %s on bridge %s", port->name, br->name);
2613
2614     return port;
2615 }
2616
2617 /* Deletes interfaces from 'port' that are no longer configured for it. */
2618 static void
2619 port_del_ifaces(struct port *port)
2620 {
2621     struct iface *iface, *next;
2622     struct sset new_ifaces;
2623     size_t i;
2624
2625     /* Collect list of new interfaces. */
2626     sset_init(&new_ifaces);
2627     for (i = 0; i < port->cfg->n_interfaces; i++) {
2628         const char *name = port->cfg->interfaces[i]->name;
2629         const char *type = port->cfg->interfaces[i]->name;
2630         if (strcmp(type, "null")) {
2631             sset_add(&new_ifaces, name);
2632         }
2633     }
2634
2635     /* Get rid of deleted interfaces. */
2636     LIST_FOR_EACH_SAFE (iface, next, port_elem, &port->ifaces) {
2637         if (!sset_contains(&new_ifaces, iface->name)) {
2638             iface_destroy(iface);
2639         }
2640     }
2641
2642     sset_destroy(&new_ifaces);
2643 }
2644
2645 /* Adds new interfaces to 'port' and updates 'type' and 'cfg' members of
2646  * existing ones. */
2647 static void
2648 port_add_ifaces(struct port *port)
2649 {
2650     struct shash new_ifaces;
2651     struct shash_node *node;
2652     size_t i;
2653
2654     /* Collect new ifaces. */
2655     shash_init(&new_ifaces);
2656     for (i = 0; i < port->cfg->n_interfaces; i++) {
2657         const struct ovsrec_interface *cfg = port->cfg->interfaces[i];
2658         if (strcmp(cfg->type, "null")
2659             && !shash_add_once(&new_ifaces, cfg->name, cfg)) {
2660             VLOG_WARN("port %s: %s specified twice as port interface",
2661                       port->name, cfg->name);
2662             iface_clear_db_record(cfg);
2663         }
2664     }
2665
2666     /* Create new interfaces.
2667      * Update interface types and 'cfg' members. */
2668     SHASH_FOR_EACH (node, &new_ifaces) {
2669         const struct ovsrec_interface *cfg = node->data;
2670         const char *iface_name = node->name;
2671         struct iface *iface;
2672
2673         iface = iface_lookup(port->bridge, iface_name);
2674         if (!iface) {
2675             iface = iface_create(port, cfg);
2676         } else {
2677             iface->cfg = cfg;
2678         }
2679
2680         /* Determine interface type.  The local port always has type
2681          * "internal".  Other ports take their type from the database and
2682          * default to "system" if none is specified. */
2683         iface->type = (!strcmp(iface_name, port->bridge->name) ? "internal"
2684                        : cfg->type[0] ? cfg->type
2685                        : "system");
2686     }
2687     shash_destroy(&new_ifaces);
2688 }
2689
2690 static void
2691 port_destroy(struct port *port)
2692 {
2693     if (port) {
2694         struct bridge *br = port->bridge;
2695         struct iface *iface, *next;
2696
2697         if (br->ofproto) {
2698             ofproto_bundle_unregister(br->ofproto, port);
2699         }
2700
2701         LIST_FOR_EACH_SAFE (iface, next, port_elem, &port->ifaces) {
2702             iface_destroy(iface);
2703         }
2704
2705         hmap_remove(&br->ports, &port->hmap_node);
2706
2707         VLOG_INFO("destroyed port %s on bridge %s", port->name, br->name);
2708
2709         free(port->name);
2710         free(port);
2711     }
2712 }
2713
2714 static struct port *
2715 port_lookup(const struct bridge *br, const char *name)
2716 {
2717     struct port *port;
2718
2719     HMAP_FOR_EACH_WITH_HASH (port, hmap_node, hash_string(name, 0),
2720                              &br->ports) {
2721         if (!strcmp(port->name, name)) {
2722             return port;
2723         }
2724     }
2725     return NULL;
2726 }
2727
2728 static bool
2729 enable_lacp(struct port *port, bool *activep)
2730 {
2731     if (!port->cfg->lacp) {
2732         /* XXX when LACP implementation has been sufficiently tested, enable by
2733          * default and make active on bonded ports. */
2734         return false;
2735     } else if (!strcmp(port->cfg->lacp, "off")) {
2736         return false;
2737     } else if (!strcmp(port->cfg->lacp, "active")) {
2738         *activep = true;
2739         return true;
2740     } else if (!strcmp(port->cfg->lacp, "passive")) {
2741         *activep = false;
2742         return true;
2743     } else {
2744         VLOG_WARN("port %s: unknown LACP mode %s",
2745                   port->name, port->cfg->lacp);
2746         return false;
2747     }
2748 }
2749
2750 static struct lacp_settings *
2751 port_configure_lacp(struct port *port, struct lacp_settings *s)
2752 {
2753     const char *lacp_time, *system_id;
2754     long long int custom_time;
2755     int priority;
2756
2757     if (!enable_lacp(port, &s->active)) {
2758         return NULL;
2759     }
2760
2761     s->name = port->name;
2762
2763     system_id = ovsrec_port_get_other_config_value(port->cfg, "lacp-system-id",
2764                                                    NULL);
2765     if (system_id) {
2766         if (sscanf(system_id, ETH_ADDR_SCAN_FMT,
2767                    ETH_ADDR_SCAN_ARGS(s->id)) != ETH_ADDR_SCAN_COUNT) {
2768             VLOG_WARN("port %s: LACP system ID (%s) must be an Ethernet"
2769                       " address.", port->name, system_id);
2770             return NULL;
2771         }
2772     } else {
2773         memcpy(s->id, port->bridge->ea, ETH_ADDR_LEN);
2774     }
2775
2776     if (eth_addr_is_zero(s->id)) {
2777         VLOG_WARN("port %s: Invalid zero LACP system ID.", port->name);
2778         return NULL;
2779     }
2780
2781     /* Prefer bondable links if unspecified. */
2782     priority = atoi(ovsrec_port_get_other_config_value(port->cfg,
2783                                                        "lacp-system-priority",
2784                                                        "0"));
2785     s->priority = (priority > 0 && priority <= UINT16_MAX
2786                    ? priority
2787                    : UINT16_MAX - !list_is_short(&port->ifaces));
2788
2789     s->heartbeat = !strcmp(ovsrec_port_get_other_config_value(port->cfg,
2790                                                               "lacp-heartbeat",
2791                                                               "false"),
2792                            "true");
2793
2794     lacp_time = ovsrec_port_get_other_config_value(port->cfg, "lacp-time",
2795                                                    "slow");
2796     custom_time = atoi(lacp_time);
2797     if (!strcmp(lacp_time, "fast")) {
2798         s->lacp_time = LACP_TIME_FAST;
2799     } else if (!strcmp(lacp_time, "slow")) {
2800         s->lacp_time = LACP_TIME_SLOW;
2801     } else if (custom_time > 0) {
2802         s->lacp_time = LACP_TIME_CUSTOM;
2803         s->custom_time = custom_time;
2804     } else {
2805         s->lacp_time = LACP_TIME_SLOW;
2806     }
2807
2808     return s;
2809 }
2810
2811 static void
2812 iface_configure_lacp(struct iface *iface, struct lacp_slave_settings *s)
2813 {
2814     int priority, portid, key;
2815
2816     portid = atoi(ovsrec_interface_get_other_config_value(iface->cfg,
2817                                                           "lacp-port-id",
2818                                                           "0"));
2819     priority =
2820         atoi(ovsrec_interface_get_other_config_value(iface->cfg,
2821                                                      "lacp-port-priority",
2822                                                      "0"));
2823     key = atoi(ovsrec_interface_get_other_config_value(iface->cfg,
2824                                                        "lacp-aggregation-key",
2825                                                        "0"));
2826
2827     if (portid <= 0 || portid > UINT16_MAX) {
2828         portid = iface->ofp_port;
2829     }
2830
2831     if (priority <= 0 || priority > UINT16_MAX) {
2832         priority = UINT16_MAX;
2833     }
2834
2835     if (key < 0 || key > UINT16_MAX) {
2836         key = 0;
2837     }
2838
2839     s->name = iface->name;
2840     s->id = portid;
2841     s->priority = priority;
2842     s->key = key;
2843 }
2844
2845 static void
2846 port_configure_bond(struct port *port, struct bond_settings *s,
2847                     uint32_t *bond_stable_ids)
2848 {
2849     const char *detect_s;
2850     struct iface *iface;
2851     int miimon_interval;
2852     size_t i;
2853
2854     s->name = port->name;
2855     s->balance = BM_AB;
2856     if (port->cfg->bond_mode) {
2857         if (!bond_mode_from_string(&s->balance, port->cfg->bond_mode)) {
2858             VLOG_WARN("port %s: unknown bond_mode %s, defaulting to %s",
2859                       port->name, port->cfg->bond_mode,
2860                       bond_mode_to_string(s->balance));
2861         }
2862     } else {
2863         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 1);
2864
2865         /* XXX: Post version 1.5.*, the default bond_mode changed from SLB to
2866          * active-backup. At some point we should remove this warning. */
2867         VLOG_WARN_RL(&rl, "port %s: Using the default bond_mode %s. Note that"
2868                      " in previous versions, the default bond_mode was"
2869                      " balance-slb", port->name,
2870                      bond_mode_to_string(s->balance));
2871     }
2872     if (s->balance == BM_SLB && port->bridge->cfg->n_flood_vlans) {
2873         VLOG_WARN("port %s: SLB bonds are incompatible with flood_vlans, "
2874                   "please use another bond type or disable flood_vlans",
2875                   port->name);
2876     }
2877
2878     miimon_interval =
2879         atoi(ovsrec_port_get_other_config_value(port->cfg,
2880                                                 "bond-miimon-interval", "0"));
2881     if (miimon_interval <= 0) {
2882         miimon_interval = 200;
2883     }
2884
2885     detect_s = ovsrec_port_get_other_config_value(port->cfg,
2886                                                   "bond-detect-mode",
2887                                                   "carrier");
2888     if (!strcmp(detect_s, "carrier")) {
2889         miimon_interval = 0;
2890     } else if (strcmp(detect_s, "miimon")) {
2891         VLOG_WARN("port %s: unsupported bond-detect-mode %s, "
2892                   "defaulting to carrier", port->name, detect_s);
2893         miimon_interval = 0;
2894     }
2895
2896     s->up_delay = MAX(0, port->cfg->bond_updelay);
2897     s->down_delay = MAX(0, port->cfg->bond_downdelay);
2898     s->basis = atoi(ovsrec_port_get_other_config_value(port->cfg,
2899                                                        "bond-hash-basis",
2900                                                        "0"));
2901     s->rebalance_interval = atoi(
2902         ovsrec_port_get_other_config_value(port->cfg,
2903                                            "bond-rebalance-interval",
2904                                            "10000"));
2905     if (s->rebalance_interval && s->rebalance_interval < 1000) {
2906         s->rebalance_interval = 1000;
2907     }
2908
2909     s->fake_iface = port->cfg->bond_fake_iface;
2910
2911     i = 0;
2912     LIST_FOR_EACH (iface, port_elem, &port->ifaces) {
2913         long long stable_id;
2914
2915         stable_id =
2916             atoll(ovsrec_interface_get_other_config_value(iface->cfg,
2917                                                           "bond-stable-id",
2918                                                           "0"));
2919         if (stable_id <= 0 || stable_id >= UINT32_MAX) {
2920             stable_id = iface->ofp_port;
2921         }
2922         bond_stable_ids[i++] = stable_id;
2923
2924         netdev_set_miimon_interval(iface->netdev, miimon_interval);
2925     }
2926 }
2927
2928 /* Returns true if 'port' is synthetic, that is, if we constructed it locally
2929  * instead of obtaining it from the database. */
2930 static bool
2931 port_is_synthetic(const struct port *port)
2932 {
2933     return ovsdb_idl_row_is_synthetic(&port->cfg->header_);
2934 }
2935 \f
2936 /* Interface functions. */
2937
2938 static struct iface *
2939 iface_create(struct port *port, const struct ovsrec_interface *if_cfg)
2940 {
2941     struct bridge *br = port->bridge;
2942     struct iface *iface;
2943     char *name = if_cfg->name;
2944
2945     iface = xzalloc(sizeof *iface);
2946     iface->port = port;
2947     iface->name = xstrdup(name);
2948     iface->ofp_port = -1;
2949     iface->tag = tag_create_random();
2950     iface->netdev = NULL;
2951     iface->cfg = if_cfg;
2952     iface->need_refresh = true;
2953
2954     hmap_insert(&br->iface_by_name, &iface->name_node, hash_string(name, 0));
2955
2956     list_push_back(&port->ifaces, &iface->port_elem);
2957
2958     VLOG_DBG("attached network device %s to port %s", iface->name, port->name);
2959
2960     return iface;
2961 }
2962
2963 static void
2964 iface_destroy(struct iface *iface)
2965 {
2966     if (iface) {
2967         struct port *port = iface->port;
2968         struct bridge *br = port->bridge;
2969
2970         if (br->ofproto && iface->ofp_port >= 0) {
2971             ofproto_port_unregister(br->ofproto, iface->ofp_port);
2972         }
2973
2974         if (iface->ofp_port >= 0) {
2975             hmap_remove(&br->ifaces, &iface->ofp_port_node);
2976         }
2977
2978         list_remove(&iface->port_elem);
2979         hmap_remove(&br->iface_by_name, &iface->name_node);
2980
2981         netdev_close(iface->netdev);
2982
2983         free(iface->name);
2984         free(iface);
2985     }
2986 }
2987
2988 static struct iface *
2989 iface_lookup(const struct bridge *br, const char *name)
2990 {
2991     struct iface *iface;
2992
2993     HMAP_FOR_EACH_WITH_HASH (iface, name_node, hash_string(name, 0),
2994                              &br->iface_by_name) {
2995         if (!strcmp(iface->name, name)) {
2996             return iface;
2997         }
2998     }
2999
3000     return NULL;
3001 }
3002
3003 static struct iface *
3004 iface_find(const char *name)
3005 {
3006     const struct bridge *br;
3007
3008     HMAP_FOR_EACH (br, node, &all_bridges) {
3009         struct iface *iface = iface_lookup(br, name);
3010
3011         if (iface) {
3012             return iface;
3013         }
3014     }
3015     return NULL;
3016 }
3017
3018 static struct iface *
3019 iface_from_ofp_port(const struct bridge *br, uint16_t ofp_port)
3020 {
3021     struct iface *iface;
3022
3023     HMAP_FOR_EACH_IN_BUCKET (iface, ofp_port_node,
3024                              hash_int(ofp_port, 0), &br->ifaces) {
3025         if (iface->ofp_port == ofp_port) {
3026             return iface;
3027         }
3028     }
3029     return NULL;
3030 }
3031
3032 /* Set Ethernet address of 'iface', if one is specified in the configuration
3033  * file. */
3034 static void
3035 iface_set_mac(struct iface *iface)
3036 {
3037     uint8_t ea[ETH_ADDR_LEN];
3038
3039     if (!strcmp(iface->type, "internal")
3040         && iface->cfg->mac && eth_addr_from_string(iface->cfg->mac, ea)) {
3041         if (iface->ofp_port == OFPP_LOCAL) {
3042             VLOG_ERR("interface %s: ignoring mac in Interface record "
3043                      "(use Bridge record to set local port's mac)",
3044                      iface->name);
3045         } else if (eth_addr_is_multicast(ea)) {
3046             VLOG_ERR("interface %s: cannot set MAC to multicast address",
3047                      iface->name);
3048         } else {
3049             int error = netdev_set_etheraddr(iface->netdev, ea);
3050             if (error) {
3051                 VLOG_ERR("interface %s: setting MAC failed (%s)",
3052                          iface->name, strerror(error));
3053             }
3054         }
3055     }
3056 }
3057
3058 /* Sets the ofport column of 'if_cfg' to 'ofport'. */
3059 static void
3060 iface_set_ofport(const struct ovsrec_interface *if_cfg, int64_t ofport)
3061 {
3062     if (if_cfg && !ovsdb_idl_row_is_synthetic(&if_cfg->header_)) {
3063         ovsrec_interface_set_ofport(if_cfg, &ofport, 1);
3064     }
3065 }
3066
3067 /* Clears all of the fields in 'if_cfg' that indicate interface status, and
3068  * sets the "ofport" field to -1.
3069  *
3070  * This is appropriate when 'if_cfg''s interface cannot be created or is
3071  * otherwise invalid. */
3072 static void
3073 iface_clear_db_record(const struct ovsrec_interface *if_cfg)
3074 {
3075     if (!ovsdb_idl_row_is_synthetic(&if_cfg->header_)) {
3076         iface_set_ofport(if_cfg, -1);
3077         ovsrec_interface_set_status(if_cfg, NULL, NULL, 0);
3078         ovsrec_interface_set_admin_state(if_cfg, NULL);
3079         ovsrec_interface_set_duplex(if_cfg, NULL);
3080         ovsrec_interface_set_link_speed(if_cfg, NULL, 0);
3081         ovsrec_interface_set_link_state(if_cfg, NULL);
3082         ovsrec_interface_set_mtu(if_cfg, NULL, 0);
3083         ovsrec_interface_set_cfm_fault(if_cfg, NULL, 0);
3084         ovsrec_interface_set_cfm_fault_status(if_cfg, NULL, 0);
3085         ovsrec_interface_set_cfm_remote_mpids(if_cfg, NULL, 0);
3086         ovsrec_interface_set_lacp_current(if_cfg, NULL, 0);
3087         ovsrec_interface_set_statistics(if_cfg, NULL, NULL, 0);
3088     }
3089 }
3090
3091 /* Adds the 'n' key-value pairs in 'keys' in 'values' to 'shash'.
3092  *
3093  * The value strings in '*shash' are taken directly from values[], not copied,
3094  * so the caller should not modify or free them. */
3095 static void
3096 shash_from_ovs_idl_map(char **keys, char **values, size_t n,
3097                        struct shash *shash)
3098 {
3099     size_t i;
3100
3101     shash_init(shash);
3102     for (i = 0; i < n; i++) {
3103         shash_add(shash, keys[i], values[i]);
3104     }
3105 }
3106
3107 /* Creates 'keys' and 'values' arrays from 'shash'.
3108  *
3109  * Sets 'keys' and 'values' to heap allocated arrays representing the key-value
3110  * pairs in 'shash'.  The caller takes ownership of 'keys' and 'values'.  They
3111  * are populated with with strings taken directly from 'shash' and thus have
3112  * the same ownership of the key-value pairs in shash.
3113  */
3114 static void
3115 shash_to_ovs_idl_map(struct shash *shash,
3116                      char ***keys, char ***values, size_t *n)
3117 {
3118     size_t i, count;
3119     char **k, **v;
3120     struct shash_node *sn;
3121
3122     count = shash_count(shash);
3123
3124     k = xmalloc(count * sizeof *k);
3125     v = xmalloc(count * sizeof *v);
3126
3127     i = 0;
3128     SHASH_FOR_EACH(sn, shash) {
3129         k[i] = sn->name;
3130         v[i] = sn->data;
3131         i++;
3132     }
3133
3134     *n      = count;
3135     *keys   = k;
3136     *values = v;
3137 }
3138
3139 struct iface_delete_queues_cbdata {
3140     struct netdev *netdev;
3141     const struct ovsdb_datum *queues;
3142 };
3143
3144 static bool
3145 queue_ids_include(const struct ovsdb_datum *queues, int64_t target)
3146 {
3147     union ovsdb_atom atom;
3148
3149     atom.integer = target;
3150     return ovsdb_datum_find_key(queues, &atom, OVSDB_TYPE_INTEGER) != UINT_MAX;
3151 }
3152
3153 static void
3154 iface_delete_queues(unsigned int queue_id,
3155                     const struct shash *details OVS_UNUSED, void *cbdata_)
3156 {
3157     struct iface_delete_queues_cbdata *cbdata = cbdata_;
3158
3159     if (!queue_ids_include(cbdata->queues, queue_id)) {
3160         netdev_delete_queue(cbdata->netdev, queue_id);
3161     }
3162 }
3163
3164 static void
3165 iface_configure_qos(struct iface *iface, const struct ovsrec_qos *qos)
3166 {
3167     struct ofpbuf queues_buf;
3168
3169     ofpbuf_init(&queues_buf, 0);
3170
3171     if (!qos || qos->type[0] == '\0' || qos->n_queues < 1) {
3172         netdev_set_qos(iface->netdev, NULL, NULL);
3173     } else {
3174         struct iface_delete_queues_cbdata cbdata;
3175         struct shash details;
3176         bool queue_zero;
3177         size_t i;
3178
3179         /* Configure top-level Qos for 'iface'. */
3180         shash_from_ovs_idl_map(qos->key_other_config, qos->value_other_config,
3181                                qos->n_other_config, &details);
3182         netdev_set_qos(iface->netdev, qos->type, &details);
3183         shash_destroy(&details);
3184
3185         /* Deconfigure queues that were deleted. */
3186         cbdata.netdev = iface->netdev;
3187         cbdata.queues = ovsrec_qos_get_queues(qos, OVSDB_TYPE_INTEGER,
3188                                               OVSDB_TYPE_UUID);
3189         netdev_dump_queues(iface->netdev, iface_delete_queues, &cbdata);
3190
3191         /* Configure queues for 'iface'. */
3192         queue_zero = false;
3193         for (i = 0; i < qos->n_queues; i++) {
3194             const struct ovsrec_queue *queue = qos->value_queues[i];
3195             unsigned int queue_id = qos->key_queues[i];
3196
3197             if (queue_id == 0) {
3198                 queue_zero = true;
3199             }
3200
3201             if (queue->n_dscp == 1) {
3202                 struct ofproto_port_queue *port_queue;
3203
3204                 port_queue = ofpbuf_put_uninit(&queues_buf,
3205                                                sizeof *port_queue);
3206                 port_queue->queue = queue_id;
3207                 port_queue->dscp = queue->dscp[0];
3208             }
3209
3210             shash_from_ovs_idl_map(queue->key_other_config,
3211                                    queue->value_other_config,
3212                                    queue->n_other_config, &details);
3213             netdev_set_queue(iface->netdev, queue_id, &details);
3214             shash_destroy(&details);
3215         }
3216         if (!queue_zero) {
3217             shash_init(&details);
3218             netdev_set_queue(iface->netdev, 0, &details);
3219             shash_destroy(&details);
3220         }
3221     }
3222
3223     if (iface->ofp_port >= 0) {
3224         const struct ofproto_port_queue *port_queues = queues_buf.data;
3225         size_t n_queues = queues_buf.size / sizeof *port_queues;
3226
3227         ofproto_port_set_queues(iface->port->bridge->ofproto, iface->ofp_port,
3228                                 port_queues, n_queues);
3229     }
3230
3231     netdev_set_policing(iface->netdev,
3232                         iface->cfg->ingress_policing_rate,
3233                         iface->cfg->ingress_policing_burst);
3234
3235     ofpbuf_uninit(&queues_buf);
3236 }
3237
3238 static void
3239 iface_configure_cfm(struct iface *iface)
3240 {
3241     const struct ovsrec_interface *cfg = iface->cfg;
3242     const char *extended_str, *opstate_str;
3243     const char *cfm_ccm_vlan;
3244     struct cfm_settings s;
3245
3246     if (!cfg->n_cfm_mpid) {
3247         ofproto_port_clear_cfm(iface->port->bridge->ofproto, iface->ofp_port);
3248         return;
3249     }
3250
3251     s.mpid = *cfg->cfm_mpid;
3252     s.interval = atoi(ovsrec_interface_get_other_config_value(iface->cfg,
3253                                                               "cfm_interval",
3254                                                               "0"));
3255     cfm_ccm_vlan = ovsrec_interface_get_other_config_value(iface->cfg,
3256                                                            "cfm_ccm_vlan",
3257                                                            "0");
3258     s.ccm_pcp = atoi(ovsrec_interface_get_other_config_value(iface->cfg,
3259                                                              "cfm_ccm_pcp",
3260                                                              "0"));
3261     if (s.interval <= 0) {
3262         s.interval = 1000;
3263     }
3264
3265     if (!strcasecmp("random", cfm_ccm_vlan)) {
3266         s.ccm_vlan = CFM_RANDOM_VLAN;
3267     } else {
3268         s.ccm_vlan = atoi(cfm_ccm_vlan);
3269         if (s.ccm_vlan == CFM_RANDOM_VLAN) {
3270             s.ccm_vlan = 0;
3271         }
3272     }
3273
3274     extended_str = ovsrec_interface_get_other_config_value(iface->cfg,
3275                                                            "cfm_extended",
3276                                                            "false");
3277     s.extended = !strcasecmp("true", extended_str);
3278
3279     opstate_str = ovsrec_interface_get_other_config_value(iface->cfg,
3280                                                           "cfm_opstate",
3281                                                           "up");
3282     s.opup = !strcasecmp("up", opstate_str);
3283
3284     ofproto_port_set_cfm(iface->port->bridge->ofproto, iface->ofp_port, &s);
3285 }
3286
3287 /* Returns true if 'iface' is synthetic, that is, if we constructed it locally
3288  * instead of obtaining it from the database. */
3289 static bool
3290 iface_is_synthetic(const struct iface *iface)
3291 {
3292     return ovsdb_idl_row_is_synthetic(&iface->cfg->header_);
3293 }
3294
3295 \f
3296 /* Port mirroring. */
3297
3298 static struct mirror *
3299 mirror_find_by_uuid(struct bridge *br, const struct uuid *uuid)
3300 {
3301     struct mirror *m;
3302
3303     HMAP_FOR_EACH_IN_BUCKET (m, hmap_node, uuid_hash(uuid), &br->mirrors) {
3304         if (uuid_equals(uuid, &m->uuid)) {
3305             return m;
3306         }
3307     }
3308     return NULL;
3309 }
3310
3311 static void
3312 bridge_configure_mirrors(struct bridge *br)
3313 {
3314     const struct ovsdb_datum *mc;
3315     unsigned long *flood_vlans;
3316     struct mirror *m, *next;
3317     size_t i;
3318
3319     /* Get rid of deleted mirrors. */
3320     mc = ovsrec_bridge_get_mirrors(br->cfg, OVSDB_TYPE_UUID);
3321     HMAP_FOR_EACH_SAFE (m, next, hmap_node, &br->mirrors) {
3322         union ovsdb_atom atom;
3323
3324         atom.uuid = m->uuid;
3325         if (ovsdb_datum_find_key(mc, &atom, OVSDB_TYPE_UUID) == UINT_MAX) {
3326             mirror_destroy(m);
3327         }
3328     }
3329
3330     /* Add new mirrors and reconfigure existing ones. */
3331     for (i = 0; i < br->cfg->n_mirrors; i++) {
3332         const struct ovsrec_mirror *cfg = br->cfg->mirrors[i];
3333         struct mirror *m = mirror_find_by_uuid(br, &cfg->header_.uuid);
3334         if (!m) {
3335             m = mirror_create(br, cfg);
3336         }
3337         m->cfg = cfg;
3338         if (!mirror_configure(m)) {
3339             mirror_destroy(m);
3340         }
3341     }
3342
3343     /* Update flooded vlans (for RSPAN). */
3344     flood_vlans = vlan_bitmap_from_array(br->cfg->flood_vlans,
3345                                          br->cfg->n_flood_vlans);
3346     ofproto_set_flood_vlans(br->ofproto, flood_vlans);
3347     bitmap_free(flood_vlans);
3348 }
3349
3350 static struct mirror *
3351 mirror_create(struct bridge *br, const struct ovsrec_mirror *cfg)
3352 {
3353     struct mirror *m;
3354
3355     m = xzalloc(sizeof *m);
3356     m->uuid = cfg->header_.uuid;
3357     hmap_insert(&br->mirrors, &m->hmap_node, uuid_hash(&m->uuid));
3358     m->bridge = br;
3359     m->name = xstrdup(cfg->name);
3360
3361     return m;
3362 }
3363
3364 static void
3365 mirror_destroy(struct mirror *m)
3366 {
3367     if (m) {
3368         struct bridge *br = m->bridge;
3369
3370         if (br->ofproto) {
3371             ofproto_mirror_unregister(br->ofproto, m);
3372         }
3373
3374         hmap_remove(&br->mirrors, &m->hmap_node);
3375         free(m->name);
3376         free(m);
3377     }
3378 }
3379
3380 static void
3381 mirror_collect_ports(struct mirror *m,
3382                      struct ovsrec_port **in_ports, int n_in_ports,
3383                      void ***out_portsp, size_t *n_out_portsp)
3384 {
3385     void **out_ports = xmalloc(n_in_ports * sizeof *out_ports);
3386     size_t n_out_ports = 0;
3387     size_t i;
3388
3389     for (i = 0; i < n_in_ports; i++) {
3390         const char *name = in_ports[i]->name;
3391         struct port *port = port_lookup(m->bridge, name);
3392         if (port) {
3393             out_ports[n_out_ports++] = port;
3394         } else {
3395             VLOG_WARN("bridge %s: mirror %s cannot match on nonexistent "
3396                       "port %s", m->bridge->name, m->name, name);
3397         }
3398     }
3399     *out_portsp = out_ports;
3400     *n_out_portsp = n_out_ports;
3401 }
3402
3403 static bool
3404 mirror_configure(struct mirror *m)
3405 {
3406     const struct ovsrec_mirror *cfg = m->cfg;
3407     struct ofproto_mirror_settings s;
3408
3409     /* Set name. */
3410     if (strcmp(cfg->name, m->name)) {
3411         free(m->name);
3412         m->name = xstrdup(cfg->name);
3413     }
3414     s.name = m->name;
3415
3416     /* Get output port or VLAN. */
3417     if (cfg->output_port) {
3418         s.out_bundle = port_lookup(m->bridge, cfg->output_port->name);
3419         if (!s.out_bundle) {
3420             VLOG_ERR("bridge %s: mirror %s outputs to port not on bridge",
3421                      m->bridge->name, m->name);
3422             return false;
3423         }
3424         s.out_vlan = UINT16_MAX;
3425
3426         if (cfg->output_vlan) {
3427             VLOG_ERR("bridge %s: mirror %s specifies both output port and "
3428                      "output vlan; ignoring output vlan",
3429                      m->bridge->name, m->name);
3430         }
3431     } else if (cfg->output_vlan) {
3432         /* The database should prevent invalid VLAN values. */
3433         s.out_bundle = NULL;
3434         s.out_vlan = *cfg->output_vlan;
3435     } else {
3436         VLOG_ERR("bridge %s: mirror %s does not specify output; ignoring",
3437                  m->bridge->name, m->name);
3438         return false;
3439     }
3440
3441     /* Get port selection. */
3442     if (cfg->select_all) {
3443         size_t n_ports = hmap_count(&m->bridge->ports);
3444         void **ports = xmalloc(n_ports * sizeof *ports);
3445         struct port *port;
3446         size_t i;
3447
3448         i = 0;
3449         HMAP_FOR_EACH (port, hmap_node, &m->bridge->ports) {
3450             ports[i++] = port;
3451         }
3452
3453         s.srcs = ports;
3454         s.n_srcs = n_ports;
3455
3456         s.dsts = ports;
3457         s.n_dsts = n_ports;
3458     } else {
3459         /* Get ports, dropping ports that don't exist.
3460          * The IDL ensures that there are no duplicates. */
3461         mirror_collect_ports(m, cfg->select_src_port, cfg->n_select_src_port,
3462                              &s.srcs, &s.n_srcs);
3463         mirror_collect_ports(m, cfg->select_dst_port, cfg->n_select_dst_port,
3464                              &s.dsts, &s.n_dsts);
3465     }
3466
3467     /* Get VLAN selection. */
3468     s.src_vlans = vlan_bitmap_from_array(cfg->select_vlan, cfg->n_select_vlan);
3469
3470     /* Configure. */
3471     ofproto_mirror_register(m->bridge->ofproto, m, &s);
3472
3473     /* Clean up. */
3474     if (s.srcs != s.dsts) {
3475         free(s.dsts);
3476     }
3477     free(s.srcs);
3478     free(s.src_vlans);
3479
3480     return true;
3481 }
3482 \f
3483 /* Linux VLAN device support (e.g. "eth0.10" for VLAN 10.)
3484  *
3485  * This is deprecated.  It is only for compatibility with broken device drivers
3486  * in old versions of Linux that do not properly support VLANs when VLAN
3487  * devices are not used.  When broken device drivers are no longer in
3488  * widespread use, we will delete these interfaces. */
3489
3490 static void **blocks;
3491 static size_t n_blocks, allocated_blocks;
3492
3493 /* Adds 'block' to a list of blocks that have to be freed with free() when the
3494  * VLAN splinters are reconfigured. */
3495 static void
3496 register_block(void *block)
3497 {
3498     if (n_blocks >= allocated_blocks) {
3499         blocks = x2nrealloc(blocks, &allocated_blocks, sizeof *blocks);
3500     }
3501     blocks[n_blocks++] = block;
3502 }
3503
3504 /* Frees all of the blocks registered with register_block(). */
3505 static void
3506 free_registered_blocks(void)
3507 {
3508     size_t i;
3509
3510     for (i = 0; i < n_blocks; i++) {
3511         free(blocks[i]);
3512     }
3513     n_blocks = 0;
3514 }
3515
3516 /* Returns true if VLAN splinters are enabled on 'iface_cfg', false
3517  * otherwise. */
3518 static bool
3519 vlan_splinters_is_enabled(const struct ovsrec_interface *iface_cfg)
3520 {
3521     const char *value;
3522
3523     value = ovsrec_interface_get_other_config_value(iface_cfg,
3524                                                     "enable-vlan-splinters",
3525                                                     "");
3526     return !strcmp(value, "true");
3527 }
3528
3529 /* Figures out the set of VLANs that are in use for the purpose of VLAN
3530  * splinters.
3531  *
3532  * If VLAN splinters are enabled on at least one interface and any VLANs are in
3533  * use, returns a 4096-bit bitmap with a 1-bit for each in-use VLAN (bits 0 and
3534  * 4095 will not be set).  The caller is responsible for freeing the bitmap,
3535  * with free().
3536  *
3537  * If VLANs splinters are not enabled on any interface or if no VLANs are in
3538  * use, returns NULL.
3539  *
3540  * Updates 'vlan_splinters_enabled_anywhere'. */
3541 static unsigned long int *
3542 collect_splinter_vlans(const struct ovsrec_open_vswitch *ovs_cfg)
3543 {
3544     unsigned long int *splinter_vlans;
3545     struct sset splinter_ifaces;
3546     const char *real_dev_name;
3547     struct shash *real_devs;
3548     struct shash_node *node;
3549     struct bridge *br;
3550     size_t i;
3551
3552     /* Free space allocated for synthesized ports and interfaces, since we're
3553      * in the process of reconstructing all of them. */
3554     free_registered_blocks();
3555
3556     splinter_vlans = bitmap_allocate(4096);
3557     sset_init(&splinter_ifaces);
3558     vlan_splinters_enabled_anywhere = false;
3559     for (i = 0; i < ovs_cfg->n_bridges; i++) {
3560         struct ovsrec_bridge *br_cfg = ovs_cfg->bridges[i];
3561         size_t j;
3562
3563         for (j = 0; j < br_cfg->n_ports; j++) {
3564             struct ovsrec_port *port_cfg = br_cfg->ports[j];
3565             int k;
3566
3567             for (k = 0; k < port_cfg->n_interfaces; k++) {
3568                 struct ovsrec_interface *iface_cfg = port_cfg->interfaces[k];
3569
3570                 if (vlan_splinters_is_enabled(iface_cfg)) {
3571                     vlan_splinters_enabled_anywhere = true;
3572                     sset_add(&splinter_ifaces, iface_cfg->name);
3573                     vlan_bitmap_from_array__(port_cfg->trunks,
3574                                              port_cfg->n_trunks,
3575                                              splinter_vlans);
3576                 }
3577             }
3578
3579             if (port_cfg->tag && *port_cfg->tag > 0 && *port_cfg->tag < 4095) {
3580                 bitmap_set1(splinter_vlans, *port_cfg->tag);
3581             }
3582         }
3583     }
3584
3585     if (!vlan_splinters_enabled_anywhere) {
3586         free(splinter_vlans);
3587         sset_destroy(&splinter_ifaces);
3588         return NULL;
3589     }
3590
3591     HMAP_FOR_EACH (br, node, &all_bridges) {
3592         if (br->ofproto) {
3593             ofproto_get_vlan_usage(br->ofproto, splinter_vlans);
3594         }
3595     }
3596
3597     /* Don't allow VLANs 0 or 4095 to be splintered.  VLAN 0 should appear on
3598      * the real device.  VLAN 4095 is reserved and Linux doesn't allow a VLAN
3599      * device to be created for it. */
3600     bitmap_set0(splinter_vlans, 0);
3601     bitmap_set0(splinter_vlans, 4095);
3602
3603     /* Delete all VLAN devices that we don't need. */
3604     vlandev_refresh();
3605     real_devs = vlandev_get_real_devs();
3606     SHASH_FOR_EACH (node, real_devs) {
3607         const struct vlan_real_dev *real_dev = node->data;
3608         const struct vlan_dev *vlan_dev;
3609         bool real_dev_has_splinters;
3610
3611         real_dev_has_splinters = sset_contains(&splinter_ifaces,
3612                                                real_dev->name);
3613         HMAP_FOR_EACH (vlan_dev, hmap_node, &real_dev->vlan_devs) {
3614             if (!real_dev_has_splinters
3615                 || !bitmap_is_set(splinter_vlans, vlan_dev->vid)) {
3616                 struct netdev *netdev;
3617
3618                 if (!netdev_open(vlan_dev->name, "system", &netdev)) {
3619                     if (!netdev_get_in4(netdev, NULL, NULL) ||
3620                         !netdev_get_in6(netdev, NULL)) {
3621                         vlandev_del(vlan_dev->name);
3622                     } else {
3623                         /* It has an IP address configured, so we don't own
3624                          * it.  Don't delete it. */
3625                     }
3626                     netdev_close(netdev);
3627                 }
3628             }
3629
3630         }
3631     }
3632
3633     /* Add all VLAN devices that we need. */
3634     SSET_FOR_EACH (real_dev_name, &splinter_ifaces) {
3635         int vid;
3636
3637         BITMAP_FOR_EACH_1 (vid, 4096, splinter_vlans) {
3638             if (!vlandev_get_name(real_dev_name, vid)) {
3639                 vlandev_add(real_dev_name, vid);
3640             }
3641         }
3642     }
3643
3644     vlandev_refresh();
3645
3646     sset_destroy(&splinter_ifaces);
3647
3648     if (bitmap_scan(splinter_vlans, 0, 4096) >= 4096) {
3649         free(splinter_vlans);
3650         return NULL;
3651     }
3652     return splinter_vlans;
3653 }
3654
3655 /* Pushes the configure of VLAN splinter port 'port' (e.g. eth0.9) down to
3656  * ofproto.  */
3657 static void
3658 configure_splinter_port(struct port *port)
3659 {
3660     struct ofproto *ofproto = port->bridge->ofproto;
3661     uint16_t realdev_ofp_port;
3662     const char *realdev_name;
3663     struct iface *vlandev, *realdev;
3664
3665     ofproto_bundle_unregister(port->bridge->ofproto, port);
3666
3667     vlandev = CONTAINER_OF(list_front(&port->ifaces), struct iface,
3668                            port_elem);
3669
3670     realdev_name = ovsrec_port_get_other_config_value(port->cfg,
3671                                                       "realdev", NULL);
3672     realdev = iface_lookup(port->bridge, realdev_name);
3673     realdev_ofp_port = realdev ? realdev->ofp_port : 0;
3674
3675     ofproto_port_set_realdev(ofproto, vlandev->ofp_port, realdev_ofp_port,
3676                              *port->cfg->tag);
3677 }
3678
3679 static struct ovsrec_port *
3680 synthesize_splinter_port(const char *real_dev_name,
3681                          const char *vlan_dev_name, int vid)
3682 {
3683     struct ovsrec_interface *iface;
3684     struct ovsrec_port *port;
3685
3686     iface = xzalloc(sizeof *iface);
3687     iface->name = xstrdup(vlan_dev_name);
3688     iface->type = "system";
3689
3690     port = xzalloc(sizeof *port);
3691     port->interfaces = xmemdup(&iface, sizeof iface);
3692     port->n_interfaces = 1;
3693     port->name = xstrdup(vlan_dev_name);
3694     port->vlan_mode = "splinter";
3695     port->tag = xmalloc(sizeof *port->tag);
3696     *port->tag = vid;
3697     port->key_other_config = xmalloc(sizeof *port->key_other_config);
3698     port->key_other_config[0] = "realdev";
3699     port->value_other_config = xmalloc(sizeof *port->value_other_config);
3700     port->value_other_config[0] = xstrdup(real_dev_name);
3701     port->n_other_config = 1;
3702
3703     register_block(iface);
3704     register_block(iface->name);
3705     register_block(port);
3706     register_block(port->interfaces);
3707     register_block(port->name);
3708     register_block(port->tag);
3709     register_block(port->key_other_config);
3710     register_block(port->value_other_config);
3711     register_block(port->value_other_config[0]);
3712
3713     return port;
3714 }
3715
3716 /* For each interface with 'br' that has VLAN splinters enabled, adds a
3717  * corresponding ovsrec_port to 'ports' for each splinter VLAN marked with a
3718  * 1-bit in the 'splinter_vlans' bitmap. */
3719 static void
3720 add_vlan_splinter_ports(struct bridge *br,
3721                         const unsigned long int *splinter_vlans,
3722                         struct shash *ports)
3723 {
3724     size_t i;
3725
3726     /* We iterate through 'br->cfg->ports' instead of 'ports' here because
3727      * we're modifying 'ports'. */
3728     for (i = 0; i < br->cfg->n_ports; i++) {
3729         const char *name = br->cfg->ports[i]->name;
3730         struct ovsrec_port *port_cfg = shash_find_data(ports, name);
3731         size_t j;
3732
3733         for (j = 0; j < port_cfg->n_interfaces; j++) {
3734             struct ovsrec_interface *iface_cfg = port_cfg->interfaces[j];
3735
3736             if (vlan_splinters_is_enabled(iface_cfg)) {
3737                 const char *real_dev_name;
3738                 uint16_t vid;
3739
3740                 real_dev_name = iface_cfg->name;
3741                 BITMAP_FOR_EACH_1 (vid, 4096, splinter_vlans) {
3742                     const char *vlan_dev_name;
3743
3744                     vlan_dev_name = vlandev_get_name(real_dev_name, vid);
3745                     if (vlan_dev_name
3746                         && !shash_find(ports, vlan_dev_name)) {
3747                         shash_add(ports, vlan_dev_name,
3748                                   synthesize_splinter_port(
3749                                       real_dev_name, vlan_dev_name, vid));
3750                     }
3751                 }
3752             }
3753         }
3754     }
3755 }
3756
3757 static void
3758 mirror_refresh_stats(struct mirror *m)
3759 {
3760     struct ofproto *ofproto = m->bridge->ofproto;
3761     uint64_t tx_packets, tx_bytes;
3762     char *keys[2];
3763     int64_t values[2];
3764     size_t stat_cnt = 0;
3765
3766     if (ofproto_mirror_get_stats(ofproto, m, &tx_packets, &tx_bytes)) {
3767         ovsrec_mirror_set_statistics(m->cfg, NULL, NULL, 0);
3768         return;
3769     }
3770
3771     if (tx_packets != UINT64_MAX) {
3772         keys[stat_cnt] = "tx_packets";
3773         values[stat_cnt] = tx_packets;
3774         stat_cnt++;
3775     }
3776     if (tx_bytes != UINT64_MAX) {
3777         keys[stat_cnt] = "tx_bytes";
3778         values[stat_cnt] = tx_bytes;
3779         stat_cnt++;
3780     }
3781
3782     ovsrec_mirror_set_statistics(m->cfg, keys, values, stat_cnt);
3783 }