lib/lacp.c

   1 /* Copyright (c) 2011 Nicira Networks
   2  *
   3  * Licensed under the Apache License, Version 2.0 (the "License");
   4  * you may not use this file except in compliance with the License.
   5  * You may obtain a copy of the License at:
   6  *
   7  *     http://www.apache.org/licenses/LICENSE-2.0
   8  *
   9  * Unless required by applicable law or agreed to in writing, software
  10  * distributed under the License is distributed on an "AS IS" BASIS,
  11  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12  * See the License for the specific language governing permissions and
  13  * limitations under the License.
  14  */
  15
  16 #include <config.h>
  17 #include "lacp.h"
  18
  19 #include <assert.h>
  20 #include <stdlib.h>
  21
  22 #include "dynamic-string.h"
  23 #include "hash.h"
  24 #include "hmap.h"
  25 #include "ofpbuf.h"
  26 #include "packets.h"
  27 #include "poll-loop.h"
  28 #include "timer.h"
  29 #include "timeval.h"
  30 #include "unixctl.h"
  31 #include "vlog.h"
  32
  33 VLOG_DEFINE_THIS_MODULE(lacp);
  34
  35 enum slave_status {
  36     LACP_CURRENT,   /* Current State.  Partner up to date. */
  37     LACP_EXPIRED,   /* Expired State.  Partner out of date. */
  38     LACP_DEFAULTED, /* Defaulted State.  No partner. */
  39 };
  40
  41 struct lacp {
  42     struct list node;             /* Node in all_lacps list. */
  43     char *name;                   /* Name of this lacp object. */
  44     uint8_t sys_id[ETH_ADDR_LEN]; /* System ID. */
  45     uint16_t sys_priority;        /* System Priority. */
  46     bool active;                  /* Active or Passive. */
  47
  48     struct hmap slaves;      /* Slaves this LACP object controls. */
  49     struct slave *key_slave; /* Slave whose ID will be the aggregation key. */
  50
  51     bool fast;                /* Fast or Slow LACP time. */
  52     bool negotiated;         /* True if LACP negotiations were successful. */
  53     bool update;             /* True if lacp_update() needs to be called. */
  54 };
  55
  56 struct slave {
  57     void *aux;                    /* Handle used to identify this slave. */
  58     struct hmap_node node;        /* Node in master's slaves map. */
  59
  60     struct lacp *lacp;            /* LACP object containing this slave. */
  61     uint16_t port_id;             /* Port ID. */
  62     uint16_t port_priority;       /* Port Priority. */
  63     char *name;                   /* Name of this slave. */
  64
  65     enum slave_status status;     /* Slave status. */
  66     bool attached;                /* Attached. Traffic may flow. */
  67     bool enabled;                 /* Enabled. Traffic is flowing. */
  68     struct lacp_info partner;     /* Partner information. */
  69     struct lacp_info ntt_actor;   /* Used to decide if we Need To Transmit. */
  70     struct timer tx;              /* Next message transmission timer. */
  71     struct timer rx;              /* Expected message receive timer. */
  72 };
  73
  74 static struct list all_lacps = LIST_INITIALIZER(&all_lacps);
  75
  76 static void lacp_update_attached(struct lacp *);
  77
  78 static void slave_destroy(struct slave *);
  79 static void slave_set_defaulted(struct slave *);
  80 static void slave_set_expired(struct slave *);
  81 static void slave_get_actor(struct slave *, struct lacp_info *actor);
  82 static void slave_get_priority(struct slave *, struct lacp_info *priority);
  83 static bool slave_may_tx(const struct slave *);
  84 static struct slave *slave_lookup(const struct lacp *, const void *slave);
  85 static bool info_tx_equal(struct lacp_info *, struct lacp_info *);
  86
  87 static void lacp_unixctl_show(struct unixctl_conn *, const char *args,
  88                               void *aux);
  89
  90 /* Initializes the lacp module. */
  91 void
  92 lacp_init(void)
  93 {
  94     unixctl_command_register("lacp/show", lacp_unixctl_show, NULL);
  95 }
  96
  97 /* Creates a LACP object. */
  98 struct lacp *
  99 lacp_create(void)
 100 {
 101     struct lacp *lacp;
 102
 103     lacp = xzalloc(sizeof *lacp);
 104     hmap_init(&lacp->slaves);
 105     list_push_back(&all_lacps, &lacp->node);
 106     return lacp;
 107 }
 108
 109 /* Destroys 'lacp' and its slaves. Does nothing if 'lacp' is NULL. */
 110 void
 111 lacp_destroy(struct lacp *lacp)
 112 {
 113     if (lacp) {
 114         struct slave *slave, *next;
 115
 116         HMAP_FOR_EACH_SAFE (slave, next, node, &lacp->slaves) {
 117             slave_destroy(slave);
 118         }
 119
 120         hmap_destroy(&lacp->slaves);
 121         list_remove(&lacp->node);
 122         free(lacp->name);
 123         free(lacp);
 124     }
 125 }
 126
 127 /* Configures 'lacp' with settings from 's'. */
 128 void
 129 lacp_configure(struct lacp *lacp, const struct lacp_settings *s)
 130 {
 131     if (!lacp->name || strcmp(s->name, lacp->name)) {
 132         free(lacp->name);
 133         lacp->name = xstrdup(s->name);
 134     }
 135
 136     memcpy(lacp->sys_id, s->id, ETH_ADDR_LEN);
 137     lacp->sys_priority = s->priority;
 138     lacp->active = s->active;
 139     lacp->fast = s->fast;
 140 }
 141
 142 /* Returns true if 'lacp' is configured in active mode, false if 'lacp' is
 143  * configured for passive mode. */
 144 bool
 145 lacp_is_active(const struct lacp *lacp)
 146 {
 147     return lacp->active;
 148 }
 149
 150 /* Processes 'pdu', a parsed LACP packet received on 'slave_'.  This function
 151  * should be called on all packets received on 'slave_' with Ethernet Type
 152  * ETH_TYPE_LACP and parsable by parse_lacp_packet(). */
 153 void
 154 lacp_process_pdu(struct lacp *lacp, const void *slave_,
 155                  const struct lacp_pdu *pdu)
 156 {
 157     struct slave *slave = slave_lookup(lacp, slave_);
 158
 159     slave->status = LACP_CURRENT;
 160     timer_set_duration(&slave->rx, (lacp->fast
 161                                     ? LACP_FAST_TIME_RX
 162                                     : LACP_SLOW_TIME_RX));
 163
 164     slave->ntt_actor = pdu->partner;
 165
 166     /* Update our information about our partner if it's out of date.  This may
 167      * cause priorities to change so re-calculate attached status of all
 168      * slaves.  */
 169     if (memcmp(&slave->partner, &pdu->actor, sizeof pdu->actor)) {
 170         lacp->update = true;
 171         slave->partner = pdu->actor;
 172     }
 173 }
 174
 175 /* Returns true if 'lacp' has successfully negotiated with its partner.  False
 176  * if 'lacp' is NULL. */
 177 bool
 178 lacp_negotiated(const struct lacp *lacp)
 179 {
 180     return lacp ? lacp->negotiated : false;
 181 }
 182
 183 /* Registers 'slave_' as subordinate to 'lacp'.  This should be called at least
 184  * once per slave in a LACP managed bond.  Should also be called whenever a
 185  * slave's settings change. */
 186 void
 187 lacp_slave_register(struct lacp *lacp, void *slave_,
 188                     const struct lacp_slave_settings *s)
 189 {
 190     struct slave *slave = slave_lookup(lacp, slave_);
 191
 192     if (!slave) {
 193         slave = xzalloc(sizeof *slave);
 194         slave->lacp = lacp;
 195         slave->aux = slave_;
 196         hmap_insert(&lacp->slaves, &slave->node, hash_pointer(slave_, 0));
 197         slave_set_defaulted(slave);
 198
 199         if (!lacp->key_slave) {
 200             lacp->key_slave = slave;
 201         }
 202     }
 203
 204     if (!slave->name || strcmp(s->name, slave->name)) {
 205         free(slave->name);
 206         slave->name = xstrdup(s->name);
 207     }
 208
 209     if (slave->port_id != s->id || slave->port_priority != s->priority) {
 210         slave->port_id = s->id;
 211         slave->port_priority = s->priority;
 212
 213         lacp->update = true;
 214
 215         if (lacp->active || lacp->negotiated) {
 216             slave_set_expired(slave);
 217         }
 218     }
 219 }
 220
 221 /* Unregisters 'slave_' with 'lacp'.  */
 222 void
 223 lacp_slave_unregister(struct lacp *lacp, const void *slave_)
 224 {
 225     struct slave *slave = slave_lookup(lacp, slave_);
 226
 227     if (slave) {
 228         slave_destroy(slave);
 229     }
 230 }
 231
 232 /* Should be called regularly to indicate whether 'slave_' is enabled.  An
 233  * enabled slave is allowed to send and receive traffic.  Generally a slave
 234  * should not be enabled if its carrier is down, or lacp_slave_may_enable()
 235  * indicates it should not be enabled. */
 236 void
 237 lacp_slave_enable(struct lacp *lacp, void *slave_, bool enabled)
 238 {
 239    slave_lookup(lacp, slave_)->enabled = enabled;
 240 }
 241
 242 /* This function should be called whenever the carrier status of 'slave_' has
 243  * changed. */
 244 void
 245 lacp_slave_carrier_changed(const struct lacp *lacp, const void *slave_)
 246 {
 247     struct slave *slave = slave_lookup(lacp, slave_);
 248
 249     if (slave->status == LACP_CURRENT || slave->lacp->active) {
 250         slave_set_expired(slave);
 251     }
 252 }
 253
 254 /* This function should be called before enabling 'slave_' to send or receive
 255  * traffic.  If it returns false, 'slave_' should not enabled.  As a
 256  * convenience, returns true if 'lacp' is NULL. */
 257 bool
 258 lacp_slave_may_enable(const struct lacp *lacp, const void *slave_)
 259 {
 260     if (lacp) {
 261         struct slave *slave = slave_lookup(lacp, slave_);
 262
 263         /* The slave may be enabled if it's attached to an aggregator and its
 264          * partner is synchronized.  The only exception is defaulted slaves.
 265          * They are not required to have synchronized partners because they
 266          * have no partners at all.  They will only be attached if negotiations
 267          * failed on all slaves in the bond. */
 268         return slave->attached && (slave->partner.state & LACP_STATE_SYNC
 269                                    || slave->status == LACP_DEFAULTED);
 270     } else {
 271         return true;
 272     }
 273 }
 274
 275 /* This function should be called periodically to update 'lacp'. */
 276 void
 277 lacp_run(struct lacp *lacp, lacp_send_pdu *send_pdu)
 278 {
 279     struct slave *slave;
 280
 281     HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 282         if (timer_expired(&slave->rx)) {
 283             if (slave->status == LACP_CURRENT) {
 284                 slave_set_expired(slave);
 285             } else if (slave->status == LACP_EXPIRED) {
 286                 slave_set_defaulted(slave);
 287             }
 288         }
 289     }
 290
 291     if (lacp->update) {
 292         lacp_update_attached(lacp);
 293     }
 294
 295     HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 296         struct lacp_pdu pdu;
 297         struct lacp_info actor;
 298
 299         if (!slave_may_tx(slave)) {
 300             continue;
 301         }
 302
 303         slave_get_actor(slave, &actor);
 304
 305         if (timer_expired(&slave->tx)
 306             || !info_tx_equal(&actor, &slave->ntt_actor)) {
 307
 308             slave->ntt_actor = actor;
 309             compose_lacp_pdu(&actor, &slave->partner, &pdu);
 310             send_pdu(slave->aux, &pdu);
 311
 312             timer_set_duration(&slave->tx,
 313                                (slave->partner.state & LACP_STATE_TIME
 314                                 ? LACP_FAST_TIME_TX
 315                                 : LACP_SLOW_TIME_TX));
 316         }
 317     }
 318 }
 319
 320 /* Causes poll_block() to wake up when lacp_run() needs to be called again. */
 321 void
 322 lacp_wait(struct lacp *lacp)
 323 {
 324     struct slave *slave;
 325
 326     HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 327         if (slave_may_tx(slave)) {
 328             timer_wait(&slave->tx);
 329         }
 330
 331         if (slave->status != LACP_DEFAULTED) {
 332             timer_wait(&slave->rx);
 333         }
 334     }
 335 }
 336 \f
 337 /* Static Helpers. */
 338
 339 /* Updates the attached status of all slaves controlled b 'lacp' and sets its
 340  * negotiated parameter to true if any slaves are attachable. */
 341 static void
 342 lacp_update_attached(struct lacp *lacp)
 343 {
 344     struct slave *lead, *slave;
 345     struct lacp_info lead_pri;
 346     static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 10);
 347
 348     lacp->update = false;
 349
 350     lead = NULL;
 351     HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 352         struct lacp_info pri;
 353
 354         slave->attached = true;
 355
 356         /* XXX: In the future allow users to configure the expected system ID.
 357          * For now just special case loopback. */
 358         if (eth_addr_equals(slave->partner.sys_id, slave->lacp->sys_id)) {
 359             VLOG_WARN_RL(&rl, "slave %s: Loopback detected. Slave is "
 360                          "connected to its own bond", slave->name);
 361             slave->attached = false;
 362             continue;
 363         }
 364
 365         if (slave->status == LACP_DEFAULTED) {
 366             continue;
 367         }
 368
 369         slave_get_priority(slave, &pri);
 370
 371         if (!lead || memcmp(&pri, &lead_pri, sizeof pri) < 0) {
 372             lead = slave;
 373             lead_pri = pri;
 374         }
 375     }
 376
 377     lacp->negotiated = lead != NULL;
 378
 379     if (lead) {
 380         HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 381             if (slave->status == LACP_DEFAULTED
 382                 || lead->partner.key != slave->partner.key
 383                 || !eth_addr_equals(lead->partner.sys_id,
 384                                     slave->partner.sys_id)) {
 385                 slave->attached = false;
 386             }
 387         }
 388     }
 389 }
 390
 391 static void
 392 slave_destroy(struct slave *slave)
 393 {
 394     if (slave) {
 395         struct lacp *lacp = slave->lacp;
 396
 397         lacp->update = true;
 398         hmap_remove(&lacp->slaves, &slave->node);
 399
 400         if (lacp->key_slave == slave) {
 401             struct hmap_node *slave_node = hmap_first(&lacp->slaves);
 402
 403             if (slave_node) {
 404                 lacp->key_slave = CONTAINER_OF(slave_node, struct slave, node);
 405             } else {
 406                 lacp->key_slave = NULL;
 407             }
 408         }
 409
 410         free(slave->name);
 411         free(slave);
 412     }
 413 }
 414
 415 static void
 416 slave_set_defaulted(struct slave *slave)
 417 {
 418     memset(&slave->partner, 0, sizeof slave->partner);
 419
 420     slave->lacp->update = true;
 421     slave->status = LACP_DEFAULTED;
 422 }
 423
 424 static void
 425 slave_set_expired(struct slave *slave)
 426 {
 427     slave->status = LACP_EXPIRED;
 428     slave->partner.state |= LACP_STATE_TIME;
 429     slave->partner.state &= ~LACP_STATE_SYNC;
 430     timer_set_duration(&slave->rx, LACP_FAST_TIME_RX);
 431 }
 432
 433 static void
 434 slave_get_actor(struct slave *slave, struct lacp_info *actor)
 435 {
 436     uint8_t state = 0;
 437
 438     if (slave->lacp->active) {
 439         state |= LACP_STATE_ACT;
 440     }
 441
 442     if (slave->lacp->fast) {
 443         state |= LACP_STATE_TIME;
 444     }
 445
 446     if (slave->attached) {
 447         state |= LACP_STATE_SYNC;
 448     }
 449
 450     if (slave->status == LACP_DEFAULTED) {
 451         state |= LACP_STATE_DEF;
 452     }
 453
 454     if (slave->status == LACP_EXPIRED) {
 455         state |= LACP_STATE_EXP;
 456     }
 457
 458     if (hmap_count(&slave->lacp->slaves) > 1) {
 459         state |= LACP_STATE_AGG;
 460     }
 461
 462     if (slave->enabled) {
 463         state |= LACP_STATE_COL | LACP_STATE_DIST;
 464     }
 465
 466     actor->state = state;
 467     actor->key = htons(slave->lacp->key_slave->port_id);
 468     actor->port_priority = htons(slave->port_priority);
 469     actor->port_id = htons(slave->port_id);
 470     actor->sys_priority = htons(slave->lacp->sys_priority);
 471     memcpy(&actor->sys_id, slave->lacp->sys_id, ETH_ADDR_LEN);
 472 }
 473
 474 /* Given 'slave', populates 'priority' with data representing its LACP link
 475  * priority.  If two priority objects populated by this function are compared
 476  * using memcmp, the higher priority link will be less than the lower priority
 477  * link. */
 478 static void
 479 slave_get_priority(struct slave *slave, struct lacp_info *priority)
 480 {
 481     uint16_t partner_priority, actor_priority;
 482
 483     /* Choose the lacp_info of the higher priority system by comparing their
 484      * system priorities and mac addresses. */
 485     actor_priority = slave->lacp->sys_priority;
 486     partner_priority = ntohs(slave->partner.sys_priority);
 487     if (actor_priority < partner_priority) {
 488         slave_get_actor(slave, priority);
 489     } else if (partner_priority < actor_priority) {
 490         *priority = slave->partner;
 491     } else if (eth_addr_compare_3way(slave->lacp->sys_id,
 492                                      slave->partner.sys_id) < 0) {
 493         slave_get_actor(slave, priority);
 494     } else {
 495         *priority = slave->partner;
 496     }
 497
 498     /* Key and state are not used in priority comparisons. */
 499     priority->key = 0;
 500     priority->state = 0;
 501 }
 502
 503 static bool
 504 slave_may_tx(const struct slave *slave)
 505 {
 506     return slave->lacp->active || slave->status != LACP_DEFAULTED;
 507 }
 508
 509 static struct slave *
 510 slave_lookup(const struct lacp *lacp, const void *slave_)
 511 {
 512     struct slave *slave;
 513
 514     HMAP_FOR_EACH_IN_BUCKET (slave, node, hash_pointer(slave_, 0),
 515                              &lacp->slaves) {
 516         if (slave->aux == slave_) {
 517             return slave;
 518         }
 519     }
 520
 521     return NULL;
 522 }
 523
 524 /* Two lacp_info structures are tx_equal if and only if they do not differ in
 525  * ways which would require a lacp_pdu transmission. */
 526 static bool
 527 info_tx_equal(struct lacp_info *a, struct lacp_info *b)
 528 {
 529
 530     /* LACP specification dictates that we transmit whenever the actor and
 531      * remote_actor differ in the following fields: Port, Port Priority,
 532      * System, System Priority, Aggregation Key, Activity State, Timeout State,
 533      * Sync State, and Aggregation State. The state flags are most likely to
 534      * change so are checked first. */
 535     return !((a->state ^ b->state) & (LACP_STATE_ACT
 536                                       | LACP_STATE_TIME
 537                                       | LACP_STATE_SYNC
 538                                       | LACP_STATE_AGG))
 539         && a->port_id == b->port_id
 540         && a->port_priority == b->port_priority
 541         && a->key == b->key
 542         && a->sys_priority == b->sys_priority
 543         && eth_addr_equals(a->sys_id, b->sys_id);
 544 }
 545 \f
 546 static struct lacp *
 547 lacp_find(const char *name)
 548 {
 549     struct lacp *lacp;
 550
 551     LIST_FOR_EACH (lacp, node, &all_lacps) {
 552         if (!strcmp(lacp->name, name)) {
 553             return lacp;
 554         }
 555     }
 556
 557     return NULL;
 558 }
 559
 560 static void
 561 ds_put_lacp_state(struct ds *ds, uint8_t state)
 562 {
 563     if (state & LACP_STATE_ACT) {
 564         ds_put_cstr(ds, "activity ");
 565     }
 566
 567     if (state & LACP_STATE_TIME) {
 568         ds_put_cstr(ds, "timeout ");
 569     }
 570
 571     if (state & LACP_STATE_AGG) {
 572         ds_put_cstr(ds, "aggregation ");
 573     }
 574
 575     if (state & LACP_STATE_SYNC) {
 576         ds_put_cstr(ds, "synchronized ");
 577     }
 578
 579     if (state & LACP_STATE_COL) {
 580         ds_put_cstr(ds, "collecting ");
 581     }
 582
 583     if (state & LACP_STATE_DIST) {
 584         ds_put_cstr(ds, "distributing ");
 585     }
 586
 587     if (state & LACP_STATE_DEF) {
 588         ds_put_cstr(ds, "defaulted ");
 589     }
 590
 591     if (state & LACP_STATE_EXP) {
 592         ds_put_cstr(ds, "expired ");
 593     }
 594 }
 595
 596 static void
 597 lacp_unixctl_show(struct unixctl_conn *conn,
 598                   const char *args, void *aux OVS_UNUSED)
 599 {
 600     struct ds ds = DS_EMPTY_INITIALIZER;
 601     struct lacp *lacp;
 602     struct slave *slave;
 603
 604     lacp = lacp_find(args);
 605     if (!lacp) {
 606         unixctl_command_reply(conn, 501, "no such lacp object");
 607         return;
 608     }
 609
 610     ds_put_format(&ds, "lacp: %s\n", lacp->name);
 611     ds_put_format(&ds, "\tstatus: %s %s\n",
 612                   lacp->active ? "active" : "passive",
 613                   lacp->negotiated ? "negotiated" : "");
 614     ds_put_format(&ds, "\tsys_id: " ETH_ADDR_FMT "\n", ETH_ADDR_ARGS(lacp->sys_id));
 615     ds_put_format(&ds, "\tsys_priority: %u\n", lacp->sys_priority);
 616     ds_put_cstr(&ds, "\taggregation key: ");
 617     if (lacp->key_slave) {
 618         ds_put_format(&ds, "%u", lacp->key_slave->port_id);
 619     } else {
 620         ds_put_cstr(&ds, "none");
 621     }
 622     ds_put_cstr(&ds, "\n");
 623
 624     HMAP_FOR_EACH (slave, node, &lacp->slaves) {
 625         char *status;
 626         struct lacp_info actor;
 627
 628         slave_get_actor(slave, &actor);
 629         switch (slave->status) {
 630         case LACP_CURRENT:
 631             status = "current";
 632             break;
 633         case LACP_EXPIRED:
 634             status = "expired";
 635             break;
 636         case LACP_DEFAULTED:
 637             status = "defaulted";
 638             break;
 639         default:
 640             NOT_REACHED();
 641         }
 642
 643         ds_put_format(&ds, "\nslave: %s: %s %s %s\n", slave->name, status,
 644                       slave->attached ? "attached" : "detached",
 645                       slave->enabled ? "enabled" : "disabled");
 646         ds_put_format(&ds, "\tport_id: %u\n", slave->port_id);
 647         ds_put_format(&ds, "\tport_priority: %u\n", slave->port_priority);
 648
 649         ds_put_format(&ds, "\n\tactor sys_id: " ETH_ADDR_FMT "\n",
 650                       ETH_ADDR_ARGS(actor.sys_id));
 651         ds_put_format(&ds, "\tactor sys_priority: %u\n",
 652                       ntohs(actor.sys_priority));
 653         ds_put_format(&ds, "\tactor port_id: %u\n",
 654                       ntohs(actor.port_id));
 655         ds_put_format(&ds, "\tactor port_priority: %u\n",
 656                       ntohs(actor.port_priority));
 657         ds_put_format(&ds, "\tactor key: %u\n",
 658                       ntohs(actor.key));
 659         ds_put_cstr(&ds, "\tactor state: ");
 660         ds_put_lacp_state(&ds, actor.state);
 661         ds_put_cstr(&ds, "\n\n");
 662
 663         ds_put_format(&ds, "\tpartner sys_id: " ETH_ADDR_FMT "\n",
 664                       ETH_ADDR_ARGS(slave->partner.sys_id));
 665         ds_put_format(&ds, "\tpartner sys_priority: %u\n",
 666                       ntohs(slave->partner.sys_priority));
 667         ds_put_format(&ds, "\tpartner port_id: %u\n",
 668                       ntohs(slave->partner.port_id));
 669         ds_put_format(&ds, "\tpartner port_priority: %u\n",
 670                       ntohs(slave->partner.port_priority));
 671         ds_put_format(&ds, "\tpartner key: %u\n",
 672                       ntohs(slave->partner.key));
 673         ds_put_cstr(&ds, "\tpartner state: ");
 674         ds_put_lacp_state(&ds, slave->partner.state);
 675         ds_put_cstr(&ds, "\n");
 676     }
 677
 678     unixctl_command_reply(conn, 200, ds_cstr(&ds));
 679     ds_destroy(&ds);
 680 }