Merge branch 'mainstream'
[sliver-openvswitch.git] / lib / dpif-netdev.c
1 /*
2  * Copyright (c) 2009, 2010, 2011, 2012, 2013 Nicira, Inc.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at:
7  *
8  *     http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  */
16
17 #include <config.h>
18 #include "dpif.h"
19
20 #include <ctype.h>
21 #include <errno.h>
22 #include <fcntl.h>
23 #include <inttypes.h>
24 #include <netinet/in.h>
25 #include <sys/socket.h>
26 #include <net/if.h>
27 #include <stdint.h>
28 #include <stdlib.h>
29 #include <string.h>
30 #include <sys/ioctl.h>
31 #include <sys/stat.h>
32 #include <unistd.h>
33
34 #include "csum.h"
35 #include "dpif.h"
36 #include "dpif-provider.h"
37 #include "dummy.h"
38 #include "dynamic-string.h"
39 #include "flow.h"
40 #include "hmap.h"
41 #include "list.h"
42 #include "netdev.h"
43 #include "netdev-vport.h"
44 #include "netlink.h"
45 #include "odp-execute.h"
46 #include "odp-util.h"
47 #include "ofp-print.h"
48 #include "ofpbuf.h"
49 #include "packets.h"
50 #include "poll-loop.h"
51 #include "random.h"
52 #include "seq.h"
53 #include "shash.h"
54 #include "sset.h"
55 #include "timeval.h"
56 #include "unixctl.h"
57 #include "util.h"
58 #include "vlog.h"
59
60 VLOG_DEFINE_THIS_MODULE(dpif_netdev);
61
62 /* Configuration parameters. */
63 enum { MAX_PORTS = 256 };       /* Maximum number of ports. */
64 enum { MAX_FLOWS = 65536 };     /* Maximum number of flows in flow table. */
65
66 /* Enough headroom to add a vlan tag, plus an extra 2 bytes to allow IP
67  * headers to be aligned on a 4-byte boundary.  */
68 enum { DP_NETDEV_HEADROOM = 2 + VLAN_HEADER_LEN };
69
70 /* Queues. */
71 enum { N_QUEUES = 2 };          /* Number of queues for dpif_recv(). */
72 enum { MAX_QUEUE_LEN = 128 };   /* Maximum number of packets per queue. */
73 enum { QUEUE_MASK = MAX_QUEUE_LEN - 1 };
74 BUILD_ASSERT_DECL(IS_POW2(MAX_QUEUE_LEN));
75
76 struct dp_netdev_upcall {
77     struct dpif_upcall upcall;  /* Queued upcall information. */
78     struct ofpbuf buf;          /* ofpbuf instance for upcall.packet. */
79 };
80
81 struct dp_netdev_queue {
82     struct dp_netdev_upcall upcalls[MAX_QUEUE_LEN];
83     unsigned int head, tail;
84 };
85
86 /* Datapath based on the network device interface from netdev.h. */
87 struct dp_netdev {
88     const struct dpif_class *class;
89     char *name;
90     int open_cnt;
91     bool destroyed;
92     int max_mtu;                /* Maximum MTU of any port added so far. */
93
94     struct dp_netdev_queue queues[N_QUEUES];
95     struct hmap flow_table;     /* Flow table. */
96     struct seq *queue_seq;      /* Incremented whenever a packet is queued. */
97
98     /* Statistics. */
99     long long int n_hit;        /* Number of flow table matches. */
100     long long int n_missed;     /* Number of flow table misses. */
101     long long int n_lost;       /* Number of misses not passed to client. */
102
103     /* Ports. */
104     struct dp_netdev_port *ports[MAX_PORTS];
105     struct list port_list;
106     struct seq *port_seq;       /* Incremented whenever a port changes. */
107 };
108
109 /* A port in a netdev-based datapath. */
110 struct dp_netdev_port {
111     odp_port_t port_no;         /* Index into dp_netdev's 'ports'. */
112     struct list node;           /* Element in dp_netdev's 'port_list'. */
113     struct netdev *netdev;
114     struct netdev_saved_flags *sf;
115     struct netdev_rx *rx;
116     char *type;                 /* Port type as requested by user. */
117 };
118
119 /* A flow in dp_netdev's 'flow_table'. */
120 struct dp_netdev_flow {
121     struct hmap_node node;      /* Element in dp_netdev's 'flow_table'. */
122     struct flow key;
123
124     /* Statistics. */
125     long long int used;         /* Last used time, in monotonic msecs. */
126     long long int packet_count; /* Number of packets matched. */
127     long long int byte_count;   /* Number of bytes matched. */
128     uint8_t tcp_flags;          /* Bitwise-OR of seen tcp_flags values. */
129
130     /* Actions. */
131     struct nlattr *actions;
132     size_t actions_len;
133 };
134
135 /* Interface to netdev-based datapath. */
136 struct dpif_netdev {
137     struct dpif dpif;
138     struct dp_netdev *dp;
139     uint64_t last_port_seq;
140 };
141
142 /* All netdev-based datapaths. */
143 static struct shash dp_netdevs = SHASH_INITIALIZER(&dp_netdevs);
144
145 /* Global lock for all data. */
146 static struct ovs_mutex dp_netdev_mutex = OVS_MUTEX_INITIALIZER;
147
148 static int get_port_by_number(struct dp_netdev *, odp_port_t port_no,
149                               struct dp_netdev_port **portp);
150 static int get_port_by_name(struct dp_netdev *, const char *devname,
151                             struct dp_netdev_port **portp);
152 static void dp_netdev_free(struct dp_netdev *);
153 static void dp_netdev_flow_flush(struct dp_netdev *);
154 static int do_add_port(struct dp_netdev *, const char *devname,
155                        const char *type, odp_port_t port_no);
156 static int do_del_port(struct dp_netdev *, odp_port_t port_no);
157 static int dpif_netdev_open(const struct dpif_class *, const char *name,
158                             bool create, struct dpif **);
159 static int dp_netdev_output_userspace(struct dp_netdev *, const struct ofpbuf *,
160                                     int queue_no, const struct flow *,
161                                     const struct nlattr *userdata);
162 static void dp_netdev_execute_actions(struct dp_netdev *,
163                                       struct ofpbuf *, struct flow *,
164                                       const struct nlattr *actions,
165                                       size_t actions_len);
166 static void dp_netdev_port_input(struct dp_netdev *dp,
167                                  struct dp_netdev_port *port,
168                                  struct ofpbuf *packet, uint32_t skb_priority,
169                                  uint32_t pkt_mark, const struct flow_tnl *tnl);
170
171 static struct dpif_netdev *
172 dpif_netdev_cast(const struct dpif *dpif)
173 {
174     ovs_assert(dpif->dpif_class->open == dpif_netdev_open);
175     return CONTAINER_OF(dpif, struct dpif_netdev, dpif);
176 }
177
178 static struct dp_netdev *
179 get_dp_netdev(const struct dpif *dpif)
180 {
181     return dpif_netdev_cast(dpif)->dp;
182 }
183
184 static int
185 dpif_netdev_enumerate(struct sset *all_dps)
186 {
187     struct shash_node *node;
188
189     ovs_mutex_lock(&dp_netdev_mutex);
190     SHASH_FOR_EACH(node, &dp_netdevs) {
191         sset_add(all_dps, node->name);
192     }
193     ovs_mutex_unlock(&dp_netdev_mutex);
194
195     return 0;
196 }
197
198 static bool
199 dpif_netdev_class_is_dummy(const struct dpif_class *class)
200 {
201     return class != &dpif_netdev_class;
202 }
203
204 static bool
205 dpif_netdev_class_is_planetlab(const struct dpif_class *class)
206 {
207     return class == &dpif_planetlab_class;
208 }
209
210 static const char *
211 dpif_netdev_port_open_type(const struct dpif_class *class, const char *type)
212 {
213     return strcmp(type, "internal") ? type
214                   : dpif_netdev_class_is_planetlab(class) ? "pltap"
215                   : dpif_netdev_class_is_dummy(class) ? "dummy"
216                   : "tap";
217 }
218
219 static struct dpif *
220 create_dpif_netdev(struct dp_netdev *dp)
221 {
222     uint16_t netflow_id = hash_string(dp->name, 0);
223     struct dpif_netdev *dpif;
224
225     dp->open_cnt++;
226
227     dpif = xmalloc(sizeof *dpif);
228     dpif_init(&dpif->dpif, dp->class, dp->name, netflow_id >> 8, netflow_id);
229     dpif->dp = dp;
230     dpif->last_port_seq = seq_read(dp->port_seq);
231
232     return &dpif->dpif;
233 }
234
235 /* Choose an unused, non-zero port number and return it on success.
236  * Return ODPP_NONE on failure. */
237 static odp_port_t
238 choose_port(struct dp_netdev *dp, const char *name)
239 {
240     uint32_t port_no;
241
242     if (dp->class != &dpif_netdev_class && 
243         dp->class != &dpif_planetlab_class) {
244         const char *p;
245         int start_no = 0;
246
247         /* If the port name begins with "br", start the number search at
248          * 100 to make writing tests easier. */
249         if (!strncmp(name, "br", 2)) {
250             start_no = 100;
251         }
252
253         /* If the port name contains a number, try to assign that port number.
254          * This can make writing unit tests easier because port numbers are
255          * predictable. */
256         for (p = name; *p != '\0'; p++) {
257             if (isdigit((unsigned char) *p)) {
258                 port_no = start_no + strtol(p, NULL, 10);
259                 if (port_no > 0 && port_no < MAX_PORTS
260                     && !dp->ports[port_no]) {
261                     return u32_to_odp(port_no);
262                 }
263                 break;
264             }
265         }
266     }
267
268     for (port_no = 1; port_no < MAX_PORTS; port_no++) {
269         if (!dp->ports[port_no]) {
270             return u32_to_odp(port_no);
271         }
272     }
273
274     return ODPP_NONE;
275 }
276
277 static int
278 create_dp_netdev(const char *name, const struct dpif_class *class,
279                  struct dp_netdev **dpp)
280 {
281     struct dp_netdev *dp;
282     int error;
283     int i;
284
285     dp = xzalloc(sizeof *dp);
286     dp->class = class;
287     dp->name = xstrdup(name);
288     dp->open_cnt = 0;
289     dp->max_mtu = ETH_PAYLOAD_MAX;
290     for (i = 0; i < N_QUEUES; i++) {
291         dp->queues[i].head = dp->queues[i].tail = 0;
292     }
293     dp->queue_seq = seq_create();
294     hmap_init(&dp->flow_table);
295     list_init(&dp->port_list);
296     dp->port_seq = seq_create();
297
298     error = do_add_port(dp, name, "internal", ODPP_LOCAL);
299     if (error) {
300         dp_netdev_free(dp);
301         return error;
302     }
303
304     shash_add(&dp_netdevs, name, dp);
305
306     *dpp = dp;
307     return 0;
308 }
309
310 static int
311 dpif_netdev_open(const struct dpif_class *class, const char *name,
312                  bool create, struct dpif **dpifp)
313 {
314     struct dp_netdev *dp;
315     int error;
316
317     ovs_mutex_lock(&dp_netdev_mutex);
318     dp = shash_find_data(&dp_netdevs, name);
319     if (!dp) {
320         error = create ? create_dp_netdev(name, class, &dp) : ENODEV;
321     } else {
322         error = (dp->class != class ? EINVAL
323                  : create ? EEXIST
324                  : 0);
325     }
326     if (!error) {
327         *dpifp = create_dpif_netdev(dp);
328     }
329     ovs_mutex_unlock(&dp_netdev_mutex);
330
331     return error;
332 }
333
334 static void
335 dp_netdev_purge_queues(struct dp_netdev *dp)
336 {
337     int i;
338
339     for (i = 0; i < N_QUEUES; i++) {
340         struct dp_netdev_queue *q = &dp->queues[i];
341
342         while (q->tail != q->head) {
343             struct dp_netdev_upcall *u = &q->upcalls[q->tail++ & QUEUE_MASK];
344             ofpbuf_uninit(&u->buf);
345         }
346     }
347 }
348
349 static void
350 dp_netdev_free(struct dp_netdev *dp)
351 {
352     struct dp_netdev_port *port, *next;
353
354     dp_netdev_flow_flush(dp);
355     LIST_FOR_EACH_SAFE (port, next, node, &dp->port_list) {
356         do_del_port(dp, port->port_no);
357     }
358     dp_netdev_purge_queues(dp);
359     seq_destroy(dp->queue_seq);
360     hmap_destroy(&dp->flow_table);
361     seq_destroy(dp->port_seq);
362     free(dp->name);
363     free(dp);
364 }
365
366 static void
367 dpif_netdev_close(struct dpif *dpif)
368 {
369     struct dp_netdev *dp = get_dp_netdev(dpif);
370
371     ovs_mutex_lock(&dp_netdev_mutex);
372
373     ovs_assert(dp->open_cnt > 0);
374     if (--dp->open_cnt == 0 && dp->destroyed) {
375         shash_find_and_delete(&dp_netdevs, dp->name);
376         dp_netdev_free(dp);
377     }
378     free(dpif);
379
380     ovs_mutex_unlock(&dp_netdev_mutex);
381 }
382
383 static int
384 dpif_netdev_destroy(struct dpif *dpif)
385 {
386     struct dp_netdev *dp = get_dp_netdev(dpif);
387
388     ovs_mutex_lock(&dp_netdev_mutex);
389     dp->destroyed = true;
390     ovs_mutex_unlock(&dp_netdev_mutex);
391
392     return 0;
393 }
394
395 static int
396 dpif_netdev_get_stats(const struct dpif *dpif, struct dpif_dp_stats *stats)
397 {
398     struct dp_netdev *dp = get_dp_netdev(dpif);
399
400     ovs_mutex_lock(&dp_netdev_mutex);
401     stats->n_flows = hmap_count(&dp->flow_table);
402     stats->n_hit = dp->n_hit;
403     stats->n_missed = dp->n_missed;
404     stats->n_lost = dp->n_lost;
405     ovs_mutex_unlock(&dp_netdev_mutex);
406
407     return 0;
408 }
409
410 static int
411 do_add_port(struct dp_netdev *dp, const char *devname, const char *type,
412             odp_port_t port_no)
413 {
414     struct netdev_saved_flags *sf;
415     struct dp_netdev_port *port;
416     struct netdev *netdev;
417     struct netdev_rx *rx;
418     const char *open_type;
419     int mtu;
420     int error;
421
422     /* XXX reject devices already in some dp_netdev. */
423
424     /* Open and validate network device. */
425     open_type = dpif_netdev_port_open_type(dp->class, type);
426     error = netdev_open(devname, open_type, &netdev);
427     if (error) {
428         return error;
429     }
430     /* XXX reject loopback devices */
431     /* XXX reject non-Ethernet devices */
432
433     error = netdev_rx_open(netdev, &rx);
434     if (error
435         && !(error == EOPNOTSUPP && dpif_netdev_class_is_dummy(dp->class))) {
436         VLOG_ERR("%s: cannot receive packets on this network device (%s)",
437                  devname, ovs_strerror(errno));
438         netdev_close(netdev);
439         return error;
440     }
441
442     error = netdev_turn_flags_on(netdev, NETDEV_PROMISC, &sf);
443     if (error) {
444         netdev_rx_close(rx);
445         netdev_close(netdev);
446         return error;
447     }
448
449     port = xmalloc(sizeof *port);
450     port->port_no = port_no;
451     port->netdev = netdev;
452     port->sf = sf;
453     port->rx = rx;
454     port->type = xstrdup(type);
455
456     error = netdev_get_mtu(netdev, &mtu);
457     if (!error && mtu > dp->max_mtu) {
458         dp->max_mtu = mtu;
459     }
460
461     list_push_back(&dp->port_list, &port->node);
462     dp->ports[odp_to_u32(port_no)] = port;
463     seq_change(dp->port_seq);
464
465     return 0;
466 }
467
468 static int
469 dpif_netdev_port_add(struct dpif *dpif, struct netdev *netdev,
470                      odp_port_t *port_nop)
471 {
472     struct dp_netdev *dp = get_dp_netdev(dpif);
473     char namebuf[NETDEV_VPORT_NAME_BUFSIZE];
474     const char *dpif_port;
475     odp_port_t port_no;
476     int error;
477
478     ovs_mutex_lock(&dp_netdev_mutex);
479     dpif_port = netdev_vport_get_dpif_port(netdev, namebuf, sizeof namebuf);
480     if (*port_nop != ODPP_NONE) {
481         uint32_t port_idx = odp_to_u32(*port_nop);
482         if (port_idx >= MAX_PORTS) {
483             error = EFBIG;
484         } else if (dp->ports[port_idx]) {
485             error = EBUSY;
486         } else {
487             error = 0;
488             port_no = *port_nop;
489         }
490     } else {
491         port_no = choose_port(dp, dpif_port);
492         error = port_no == ODPP_NONE ? EFBIG : 0;
493     }
494     if (!error) {
495         *port_nop = port_no;
496         error = do_add_port(dp, dpif_port, netdev_get_type(netdev), port_no);
497     }
498     ovs_mutex_unlock(&dp_netdev_mutex);
499
500     return error;
501 }
502
503 static int
504 dpif_netdev_port_del(struct dpif *dpif, odp_port_t port_no)
505 {
506     struct dp_netdev *dp = get_dp_netdev(dpif);
507     int error;
508
509     ovs_mutex_lock(&dp_netdev_mutex);
510     error = port_no == ODPP_LOCAL ? EINVAL : do_del_port(dp, port_no);
511     ovs_mutex_unlock(&dp_netdev_mutex);
512
513     return error;
514 }
515
516 static bool
517 is_valid_port_number(odp_port_t port_no)
518 {
519     return odp_to_u32(port_no) < MAX_PORTS;
520 }
521
522 static int
523 get_port_by_number(struct dp_netdev *dp,
524                    odp_port_t port_no, struct dp_netdev_port **portp)
525 {
526     if (!is_valid_port_number(port_no)) {
527         *portp = NULL;
528         return EINVAL;
529     } else {
530         *portp = dp->ports[odp_to_u32(port_no)];
531         return *portp ? 0 : ENOENT;
532     }
533 }
534
535 static int
536 get_port_by_name(struct dp_netdev *dp,
537                  const char *devname, struct dp_netdev_port **portp)
538 {
539     struct dp_netdev_port *port;
540
541     LIST_FOR_EACH (port, node, &dp->port_list) {
542         if (!strcmp(netdev_get_name(port->netdev), devname)) {
543             *portp = port;
544             return 0;
545         }
546     }
547     return ENOENT;
548 }
549
550 static int
551 do_del_port(struct dp_netdev *dp, odp_port_t port_no)
552 {
553     struct dp_netdev_port *port;
554     int error;
555
556     error = get_port_by_number(dp, port_no, &port);
557     if (error) {
558         return error;
559     }
560
561     list_remove(&port->node);
562     dp->ports[odp_to_u32(port_no)] = NULL;
563     seq_change(dp->port_seq);
564
565     netdev_close(port->netdev);
566     netdev_restore_flags(port->sf);
567     netdev_rx_close(port->rx);
568     free(port->type);
569     free(port);
570
571     return 0;
572 }
573
574 static void
575 answer_port_query(const struct dp_netdev_port *port,
576                   struct dpif_port *dpif_port)
577 {
578     dpif_port->name = xstrdup(netdev_get_name(port->netdev));
579     dpif_port->type = xstrdup(port->type);
580     dpif_port->port_no = port->port_no;
581 }
582
583 static int
584 dpif_netdev_port_query_by_number(const struct dpif *dpif, odp_port_t port_no,
585                                  struct dpif_port *dpif_port)
586 {
587     struct dp_netdev *dp = get_dp_netdev(dpif);
588     struct dp_netdev_port *port;
589     int error;
590
591     ovs_mutex_lock(&dp_netdev_mutex);
592     error = get_port_by_number(dp, port_no, &port);
593     if (!error && dpif_port) {
594         answer_port_query(port, dpif_port);
595     }
596     ovs_mutex_unlock(&dp_netdev_mutex);
597
598     return error;
599 }
600
601 static int
602 dpif_netdev_port_query_by_name(const struct dpif *dpif, const char *devname,
603                                struct dpif_port *dpif_port)
604 {
605     struct dp_netdev *dp = get_dp_netdev(dpif);
606     struct dp_netdev_port *port;
607     int error;
608
609     ovs_mutex_lock(&dp_netdev_mutex);
610     error = get_port_by_name(dp, devname, &port);
611     if (!error && dpif_port) {
612         answer_port_query(port, dpif_port);
613     }
614     ovs_mutex_unlock(&dp_netdev_mutex);
615
616     return error;
617 }
618
619 static uint32_t
620 dpif_netdev_get_max_ports(const struct dpif *dpif OVS_UNUSED)
621 {
622     return MAX_PORTS;
623 }
624
625 static void
626 dp_netdev_free_flow(struct dp_netdev *dp, struct dp_netdev_flow *flow)
627 {
628     hmap_remove(&dp->flow_table, &flow->node);
629     free(flow->actions);
630     free(flow);
631 }
632
633 static void
634 dp_netdev_flow_flush(struct dp_netdev *dp)
635 {
636     struct dp_netdev_flow *flow, *next;
637
638     HMAP_FOR_EACH_SAFE (flow, next, node, &dp->flow_table) {
639         dp_netdev_free_flow(dp, flow);
640     }
641 }
642
643 static int
644 dpif_netdev_flow_flush(struct dpif *dpif)
645 {
646     struct dp_netdev *dp = get_dp_netdev(dpif);
647
648     ovs_mutex_lock(&dp_netdev_mutex);
649     dp_netdev_flow_flush(dp);
650     ovs_mutex_unlock(&dp_netdev_mutex);
651
652     return 0;
653 }
654
655 struct dp_netdev_port_state {
656     odp_port_t port_no;
657     char *name;
658 };
659
660 static int
661 dpif_netdev_port_dump_start(const struct dpif *dpif OVS_UNUSED, void **statep)
662 {
663     *statep = xzalloc(sizeof(struct dp_netdev_port_state));
664     return 0;
665 }
666
667 static int
668 dpif_netdev_port_dump_next(const struct dpif *dpif, void *state_,
669                            struct dpif_port *dpif_port)
670 {
671     struct dp_netdev_port_state *state = state_;
672     struct dp_netdev *dp = get_dp_netdev(dpif);
673     uint32_t port_idx;
674
675     ovs_mutex_lock(&dp_netdev_mutex);
676     for (port_idx = odp_to_u32(state->port_no);
677          port_idx < MAX_PORTS; port_idx++) {
678         struct dp_netdev_port *port = dp->ports[port_idx];
679         if (port) {
680             free(state->name);
681             state->name = xstrdup(netdev_get_name(port->netdev));
682             dpif_port->name = state->name;
683             dpif_port->type = port->type;
684             dpif_port->port_no = port->port_no;
685             state->port_no = u32_to_odp(port_idx + 1);
686             ovs_mutex_unlock(&dp_netdev_mutex);
687
688             return 0;
689         }
690     }
691     ovs_mutex_unlock(&dp_netdev_mutex);
692
693     return EOF;
694 }
695
696 static int
697 dpif_netdev_port_dump_done(const struct dpif *dpif OVS_UNUSED, void *state_)
698 {
699     struct dp_netdev_port_state *state = state_;
700     free(state->name);
701     free(state);
702     return 0;
703 }
704
705 static int
706 dpif_netdev_port_poll(const struct dpif *dpif_, char **devnamep OVS_UNUSED)
707 {
708     struct dpif_netdev *dpif = dpif_netdev_cast(dpif_);
709     uint64_t new_port_seq;
710     int error;
711
712     ovs_mutex_lock(&dp_netdev_mutex);
713     new_port_seq = seq_read(dpif->dp->port_seq);
714     if (dpif->last_port_seq != new_port_seq) {
715         dpif->last_port_seq = new_port_seq;
716         error = ENOBUFS;
717     } else {
718         error = EAGAIN;
719     }
720     ovs_mutex_unlock(&dp_netdev_mutex);
721
722     return error;
723 }
724
725 static void
726 dpif_netdev_port_poll_wait(const struct dpif *dpif_)
727 {
728     struct dpif_netdev *dpif = dpif_netdev_cast(dpif_);
729
730     ovs_mutex_lock(&dp_netdev_mutex);
731     seq_wait(dpif->dp->port_seq, dpif->last_port_seq);
732     ovs_mutex_unlock(&dp_netdev_mutex);
733 }
734
735 static struct dp_netdev_flow *
736 dp_netdev_lookup_flow(const struct dp_netdev *dp, const struct flow *key)
737 {
738     struct dp_netdev_flow *flow;
739
740     HMAP_FOR_EACH_WITH_HASH (flow, node, flow_hash(key, 0), &dp->flow_table) {
741         if (flow_equal(&flow->key, key)) {
742             return flow;
743         }
744     }
745     return NULL;
746 }
747
748 static void
749 get_dpif_flow_stats(struct dp_netdev_flow *flow, struct dpif_flow_stats *stats)
750 {
751     stats->n_packets = flow->packet_count;
752     stats->n_bytes = flow->byte_count;
753     stats->used = flow->used;
754     stats->tcp_flags = flow->tcp_flags;
755 }
756
757 static int
758 dpif_netdev_flow_from_nlattrs(const struct nlattr *key, uint32_t key_len,
759                               struct flow *flow)
760 {
761     odp_port_t in_port;
762
763     if (odp_flow_key_to_flow(key, key_len, flow) != ODP_FIT_PERFECT) {
764         /* This should not happen: it indicates that odp_flow_key_from_flow()
765          * and odp_flow_key_to_flow() disagree on the acceptable form of a
766          * flow.  Log the problem as an error, with enough details to enable
767          * debugging. */
768         static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
769
770         if (!VLOG_DROP_ERR(&rl)) {
771             struct ds s;
772
773             ds_init(&s);
774             odp_flow_key_format(key, key_len, &s);
775             VLOG_ERR("internal error parsing flow key %s", ds_cstr(&s));
776             ds_destroy(&s);
777         }
778
779         return EINVAL;
780     }
781
782     in_port = flow->in_port.odp_port;
783     if (!is_valid_port_number(in_port) && in_port != ODPP_NONE) {
784         return EINVAL;
785     }
786
787     return 0;
788 }
789
790 static int
791 dpif_netdev_flow_get(const struct dpif *dpif,
792                      const struct nlattr *nl_key, size_t nl_key_len,
793                      struct ofpbuf **actionsp, struct dpif_flow_stats *stats)
794 {
795     struct dp_netdev *dp = get_dp_netdev(dpif);
796     struct dp_netdev_flow *flow;
797     struct flow key;
798     int error;
799
800     error = dpif_netdev_flow_from_nlattrs(nl_key, nl_key_len, &key);
801     if (error) {
802         return error;
803     }
804
805     ovs_mutex_lock(&dp_netdev_mutex);
806     flow = dp_netdev_lookup_flow(dp, &key);
807     if (flow) {
808         if (stats) {
809             get_dpif_flow_stats(flow, stats);
810         }
811         if (actionsp) {
812             *actionsp = ofpbuf_clone_data(flow->actions, flow->actions_len);
813         }
814     } else {
815         error = ENOENT;
816     }
817     ovs_mutex_unlock(&dp_netdev_mutex);
818
819     return error;
820 }
821
822 static int
823 set_flow_actions(struct dp_netdev_flow *flow,
824                  const struct nlattr *actions, size_t actions_len)
825 {
826     flow->actions = xrealloc(flow->actions, actions_len);
827     flow->actions_len = actions_len;
828     memcpy(flow->actions, actions, actions_len);
829     return 0;
830 }
831
832 static int
833 dp_netdev_flow_add(struct dp_netdev *dp, const struct flow *key,
834                    const struct nlattr *actions, size_t actions_len)
835 {
836     struct dp_netdev_flow *flow;
837     int error;
838
839     flow = xzalloc(sizeof *flow);
840     flow->key = *key;
841
842     error = set_flow_actions(flow, actions, actions_len);
843     if (error) {
844         free(flow);
845         return error;
846     }
847
848     hmap_insert(&dp->flow_table, &flow->node, flow_hash(&flow->key, 0));
849     return 0;
850 }
851
852 static void
853 clear_stats(struct dp_netdev_flow *flow)
854 {
855     flow->used = 0;
856     flow->packet_count = 0;
857     flow->byte_count = 0;
858     flow->tcp_flags = 0;
859 }
860
861 static int
862 dpif_netdev_flow_put(struct dpif *dpif, const struct dpif_flow_put *put)
863 {
864     struct dp_netdev *dp = get_dp_netdev(dpif);
865     struct dp_netdev_flow *flow;
866     struct flow key;
867     int error;
868
869     error = dpif_netdev_flow_from_nlattrs(put->key, put->key_len, &key);
870     if (error) {
871         return error;
872     }
873
874     ovs_mutex_lock(&dp_netdev_mutex);
875     flow = dp_netdev_lookup_flow(dp, &key);
876     if (!flow) {
877         if (put->flags & DPIF_FP_CREATE) {
878             if (hmap_count(&dp->flow_table) < MAX_FLOWS) {
879                 if (put->stats) {
880                     memset(put->stats, 0, sizeof *put->stats);
881                 }
882                 error = dp_netdev_flow_add(dp, &key, put->actions,
883                                            put->actions_len);
884             } else {
885                 error = EFBIG;
886             }
887         } else {
888             error = ENOENT;
889         }
890     } else {
891         if (put->flags & DPIF_FP_MODIFY) {
892             error = set_flow_actions(flow, put->actions, put->actions_len);
893             if (!error) {
894                 if (put->stats) {
895                     get_dpif_flow_stats(flow, put->stats);
896                 }
897                 if (put->flags & DPIF_FP_ZERO_STATS) {
898                     clear_stats(flow);
899                 }
900             }
901         } else {
902             error = EEXIST;
903         }
904     }
905     ovs_mutex_unlock(&dp_netdev_mutex);
906
907     return error;
908 }
909
910 static int
911 dpif_netdev_flow_del(struct dpif *dpif, const struct dpif_flow_del *del)
912 {
913     struct dp_netdev *dp = get_dp_netdev(dpif);
914     struct dp_netdev_flow *flow;
915     struct flow key;
916     int error;
917
918     error = dpif_netdev_flow_from_nlattrs(del->key, del->key_len, &key);
919     if (error) {
920         return error;
921     }
922
923     ovs_mutex_lock(&dp_netdev_mutex);
924     flow = dp_netdev_lookup_flow(dp, &key);
925     if (flow) {
926         if (del->stats) {
927             get_dpif_flow_stats(flow, del->stats);
928         }
929         dp_netdev_free_flow(dp, flow);
930     } else {
931         error = ENOENT;
932     }
933     ovs_mutex_unlock(&dp_netdev_mutex);
934
935     return error;
936 }
937
938 struct dp_netdev_flow_state {
939     uint32_t bucket;
940     uint32_t offset;
941     struct nlattr *actions;
942     struct odputil_keybuf keybuf;
943     struct dpif_flow_stats stats;
944 };
945
946 static int
947 dpif_netdev_flow_dump_start(const struct dpif *dpif OVS_UNUSED, void **statep)
948 {
949     struct dp_netdev_flow_state *state;
950
951     *statep = state = xmalloc(sizeof *state);
952     state->bucket = 0;
953     state->offset = 0;
954     state->actions = NULL;
955     return 0;
956 }
957
958 static int
959 dpif_netdev_flow_dump_next(const struct dpif *dpif, void *state_,
960                            const struct nlattr **key, size_t *key_len,
961                            const struct nlattr **mask, size_t *mask_len,
962                            const struct nlattr **actions, size_t *actions_len,
963                            const struct dpif_flow_stats **stats)
964 {
965     struct dp_netdev_flow_state *state = state_;
966     struct dp_netdev *dp = get_dp_netdev(dpif);
967     struct dp_netdev_flow *flow;
968     struct hmap_node *node;
969
970     ovs_mutex_lock(&dp_netdev_mutex);
971     node = hmap_at_position(&dp->flow_table, &state->bucket, &state->offset);
972     if (!node) {
973         ovs_mutex_unlock(&dp_netdev_mutex);
974         return EOF;
975     }
976
977     flow = CONTAINER_OF(node, struct dp_netdev_flow, node);
978
979     if (key) {
980         struct ofpbuf buf;
981
982         ofpbuf_use_stack(&buf, &state->keybuf, sizeof state->keybuf);
983         odp_flow_key_from_flow(&buf, &flow->key, flow->key.in_port.odp_port);
984
985         *key = buf.data;
986         *key_len = buf.size;
987     }
988
989     if (mask) {
990         *mask = NULL;
991         *mask_len = 0;
992     }
993
994     if (actions) {
995         free(state->actions);
996         state->actions = xmemdup(flow->actions, flow->actions_len);
997
998         *actions = state->actions;
999         *actions_len = flow->actions_len;
1000     }
1001
1002     if (stats) {
1003         get_dpif_flow_stats(flow, &state->stats);
1004         *stats = &state->stats;
1005     }
1006
1007     ovs_mutex_unlock(&dp_netdev_mutex);
1008     return 0;
1009 }
1010
1011 static int
1012 dpif_netdev_flow_dump_done(const struct dpif *dpif OVS_UNUSED, void *state_)
1013 {
1014     struct dp_netdev_flow_state *state = state_;
1015
1016     free(state->actions);
1017     free(state);
1018     return 0;
1019 }
1020
1021 static int
1022 dpif_netdev_execute(struct dpif *dpif, const struct dpif_execute *execute)
1023 {
1024     struct dp_netdev *dp = get_dp_netdev(dpif);
1025     struct ofpbuf copy;
1026     struct flow key;
1027     int error;
1028
1029     if (execute->packet->size < ETH_HEADER_LEN ||
1030         execute->packet->size > UINT16_MAX) {
1031         return EINVAL;
1032     }
1033
1034     /* Make a deep copy of 'packet', because we might modify its data. */
1035     ofpbuf_init(&copy, DP_NETDEV_HEADROOM + execute->packet->size);
1036     ofpbuf_reserve(&copy, DP_NETDEV_HEADROOM);
1037     ofpbuf_put(&copy, execute->packet->data, execute->packet->size);
1038
1039     flow_extract(&copy, 0, 0, NULL, NULL, &key);
1040     error = dpif_netdev_flow_from_nlattrs(execute->key, execute->key_len,
1041                                           &key);
1042     if (!error) {
1043         ovs_mutex_lock(&dp_netdev_mutex);
1044         dp_netdev_execute_actions(dp, &copy, &key,
1045                                   execute->actions, execute->actions_len);
1046         ovs_mutex_unlock(&dp_netdev_mutex);
1047     }
1048
1049     ofpbuf_uninit(&copy);
1050     return error;
1051 }
1052
1053 static int
1054 dpif_netdev_recv_set(struct dpif *dpif OVS_UNUSED, bool enable OVS_UNUSED)
1055 {
1056     return 0;
1057 }
1058
1059 static int
1060 dpif_netdev_queue_to_priority(const struct dpif *dpif OVS_UNUSED,
1061                               uint32_t queue_id, uint32_t *priority)
1062 {
1063     *priority = queue_id;
1064     return 0;
1065 }
1066
1067 static struct dp_netdev_queue *
1068 find_nonempty_queue(struct dpif *dpif)
1069 {
1070     struct dp_netdev *dp = get_dp_netdev(dpif);
1071     int i;
1072
1073     for (i = 0; i < N_QUEUES; i++) {
1074         struct dp_netdev_queue *q = &dp->queues[i];
1075         if (q->head != q->tail) {
1076             return q;
1077         }
1078     }
1079     return NULL;
1080 }
1081
1082 static int
1083 dpif_netdev_recv(struct dpif *dpif, struct dpif_upcall *upcall,
1084                  struct ofpbuf *buf)
1085 {
1086     struct dp_netdev_queue *q;
1087     int error;
1088
1089     ovs_mutex_lock(&dp_netdev_mutex);
1090     q = find_nonempty_queue(dpif);
1091     if (q) {
1092         struct dp_netdev_upcall *u = &q->upcalls[q->tail++ & QUEUE_MASK];
1093
1094         *upcall = u->upcall;
1095         upcall->packet = buf;
1096
1097         ofpbuf_uninit(buf);
1098         *buf = u->buf;
1099
1100         error = 0;
1101     } else {
1102         error = EAGAIN;
1103     }
1104     ovs_mutex_unlock(&dp_netdev_mutex);
1105
1106     return error;
1107 }
1108
1109 static void
1110 dpif_netdev_recv_wait(struct dpif *dpif)
1111 {
1112     struct dp_netdev *dp = get_dp_netdev(dpif);
1113     uint64_t seq;
1114
1115     ovs_mutex_lock(&dp_netdev_mutex);
1116     seq = seq_read(dp->queue_seq);
1117     if (find_nonempty_queue(dpif)) {
1118         poll_immediate_wake();
1119     } else {
1120         seq_wait(dp->queue_seq, seq);
1121     }
1122     ovs_mutex_unlock(&dp_netdev_mutex);
1123 }
1124
1125 static void
1126 dpif_netdev_recv_purge(struct dpif *dpif)
1127 {
1128     struct dpif_netdev *dpif_netdev = dpif_netdev_cast(dpif);
1129     ovs_mutex_lock(&dp_netdev_mutex);
1130     dp_netdev_purge_queues(dpif_netdev->dp);
1131     ovs_mutex_unlock(&dp_netdev_mutex);
1132 }
1133 \f
1134 static void
1135 dp_netdev_flow_used(struct dp_netdev_flow *flow, const struct ofpbuf *packet)
1136 {
1137     flow->used = time_msec();
1138     flow->packet_count++;
1139     flow->byte_count += packet->size;
1140     flow->tcp_flags |= packet_get_tcp_flags(packet, &flow->key);
1141 }
1142
1143 static void
1144 dp_netdev_port_input(struct dp_netdev *dp, struct dp_netdev_port *port,
1145                      struct ofpbuf *packet, uint32_t skb_priority,
1146                      uint32_t pkt_mark, const struct flow_tnl *tnl)
1147 {
1148     struct dp_netdev_flow *flow;
1149     struct flow key;
1150     union flow_in_port in_port_;
1151
1152     if (packet->size < ETH_HEADER_LEN) {
1153         return;
1154     }
1155     in_port_.odp_port = port->port_no;
1156     flow_extract(packet, skb_priority, pkt_mark, tnl, &in_port_, &key);
1157     flow = dp_netdev_lookup_flow(dp, &key);
1158     if (flow) {
1159         dp_netdev_flow_used(flow, packet);
1160         dp_netdev_execute_actions(dp, packet, &key,
1161                                   flow->actions, flow->actions_len);
1162         dp->n_hit++;
1163     } else {
1164         dp->n_missed++;
1165         dp_netdev_output_userspace(dp, packet, DPIF_UC_MISS, &key, NULL);
1166     }
1167 }
1168
1169 static void
1170 dpif_netdev_run(struct dpif *dpif)
1171 {
1172     struct dp_netdev_port *port;
1173     struct dp_netdev *dp;
1174     struct ofpbuf packet;
1175
1176     ovs_mutex_lock(&dp_netdev_mutex);
1177     dp = get_dp_netdev(dpif);
1178     ofpbuf_init(&packet,
1179                 DP_NETDEV_HEADROOM + VLAN_ETH_HEADER_LEN + dp->max_mtu);
1180
1181     LIST_FOR_EACH (port, node, &dp->port_list) {
1182         int error;
1183
1184         /* Reset packet contents. */
1185         ofpbuf_clear(&packet);
1186         ofpbuf_reserve(&packet, DP_NETDEV_HEADROOM);
1187
1188         error = port->rx ? netdev_rx_recv(port->rx, &packet) : EOPNOTSUPP;
1189         if (!error) {
1190             dp_netdev_port_input(dp, port, &packet, 0, 0, NULL);
1191         } else if (error != EAGAIN && error != EOPNOTSUPP) {
1192             static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(1, 5);
1193
1194             VLOG_ERR_RL(&rl, "error receiving data from %s: %s",
1195                         netdev_get_name(port->netdev), ovs_strerror(error));
1196         }
1197     }
1198     ofpbuf_uninit(&packet);
1199     ovs_mutex_unlock(&dp_netdev_mutex);
1200 }
1201
1202 static void
1203 dpif_netdev_wait(struct dpif *dpif)
1204 {
1205     struct dp_netdev_port *port;
1206
1207     /* There is a race here, if thread A calls dpif_netdev_wait(dpif) and
1208      * thread B calls dpif_port_add(dpif) or dpif_port_remove(dpif) before
1209      * A makes it to poll_block().
1210      *
1211      * But I think it doesn't matter:
1212      *
1213      *     - In the dpif_port_add() case, A will not wake up when a packet
1214      *       arrives on the new port, but this would also happen if the
1215      *       ordering were reversed.
1216      *
1217      *     - In the dpif_port_remove() case, A might wake up spuriously, but
1218      *       that is harmless. */
1219
1220     ovs_mutex_lock(&dp_netdev_mutex);
1221     LIST_FOR_EACH (port, node, &get_dp_netdev(dpif)->port_list) {
1222         if (port->rx) {
1223             netdev_rx_wait(port->rx);
1224         }
1225     }
1226     ovs_mutex_unlock(&dp_netdev_mutex);
1227 }
1228
1229 static void
1230 dp_netdev_output_port(void *dp_, struct ofpbuf *packet, uint32_t out_port)
1231 {
1232     struct dp_netdev *dp = dp_;
1233     struct dp_netdev_port *p = dp->ports[out_port];
1234     if (p) {
1235         netdev_send(p->netdev, packet);
1236     }
1237 }
1238
1239 static int
1240 dp_netdev_output_userspace(struct dp_netdev *dp, const struct ofpbuf *packet,
1241                            int queue_no, const struct flow *flow,
1242                            const struct nlattr *userdata)
1243 {
1244     struct dp_netdev_queue *q = &dp->queues[queue_no];
1245     if (q->head - q->tail < MAX_QUEUE_LEN) {
1246         struct dp_netdev_upcall *u = &q->upcalls[q->head++ & QUEUE_MASK];
1247         struct dpif_upcall *upcall = &u->upcall;
1248         struct ofpbuf *buf = &u->buf;
1249         size_t buf_size;
1250
1251         upcall->type = queue_no;
1252
1253         /* Allocate buffer big enough for everything. */
1254         buf_size = ODPUTIL_FLOW_KEY_BYTES + 2 + packet->size;
1255         if (userdata) {
1256             buf_size += NLA_ALIGN(userdata->nla_len);
1257         }
1258         ofpbuf_init(buf, buf_size);
1259
1260         /* Put ODP flow. */
1261         odp_flow_key_from_flow(buf, flow, flow->in_port.odp_port);
1262         upcall->key = buf->data;
1263         upcall->key_len = buf->size;
1264
1265         /* Put userdata. */
1266         if (userdata) {
1267             upcall->userdata = ofpbuf_put(buf, userdata,
1268                                           NLA_ALIGN(userdata->nla_len));
1269         }
1270
1271         /* Put packet.
1272          *
1273          * We adjust 'data' and 'size' in 'buf' so that only the packet itself
1274          * is visible in 'upcall->packet'.  The ODP flow and (if present)
1275          * userdata become part of the headroom. */
1276         ofpbuf_put_zeros(buf, 2);
1277         buf->data = ofpbuf_put(buf, packet->data, packet->size);
1278         buf->size = packet->size;
1279         upcall->packet = buf;
1280
1281         seq_change(dp->queue_seq);
1282
1283         return 0;
1284     } else {
1285         dp->n_lost++;
1286         return ENOBUFS;
1287     }
1288 }
1289
1290 static void
1291 dp_netdev_action_userspace(void *dp, struct ofpbuf *packet,
1292                            const struct flow *key,
1293                            const struct nlattr *userdata)
1294 {
1295     dp_netdev_output_userspace(dp, packet, DPIF_UC_ACTION, key, userdata);
1296 }
1297
1298 static void
1299 dp_netdev_execute_actions(struct dp_netdev *dp,
1300                           struct ofpbuf *packet, struct flow *key,
1301                           const struct nlattr *actions,
1302                           size_t actions_len)
1303 {
1304     odp_execute_actions(dp, packet, key, actions, actions_len,
1305                         dp_netdev_output_port, dp_netdev_action_userspace);
1306 }
1307
1308 #define DPIF_NETDEV_CLASS_FUNCTIONS                     \
1309     dpif_netdev_enumerate,                              \
1310     dpif_netdev_port_open_type,                         \
1311     dpif_netdev_open,                                   \
1312     dpif_netdev_close,                                  \
1313     dpif_netdev_destroy,                                \
1314     dpif_netdev_run,                                    \
1315     dpif_netdev_wait,                                   \
1316     dpif_netdev_get_stats,                              \
1317     dpif_netdev_port_add,                               \
1318     dpif_netdev_port_del,                               \
1319     dpif_netdev_port_query_by_number,                   \
1320     dpif_netdev_port_query_by_name,                     \
1321     dpif_netdev_get_max_ports,                          \
1322     NULL,                       /* port_get_pid */      \
1323     dpif_netdev_port_dump_start,                        \
1324     dpif_netdev_port_dump_next,                         \
1325     dpif_netdev_port_dump_done,                         \
1326     dpif_netdev_port_poll,                              \
1327     dpif_netdev_port_poll_wait,                         \
1328     dpif_netdev_flow_get,                               \
1329     dpif_netdev_flow_put,                               \
1330     dpif_netdev_flow_del,                               \
1331     dpif_netdev_flow_flush,                             \
1332     dpif_netdev_flow_dump_start,                        \
1333     dpif_netdev_flow_dump_next,                         \
1334     dpif_netdev_flow_dump_done,                         \
1335     dpif_netdev_execute,                                \
1336     NULL,                       /* operate */           \
1337     dpif_netdev_recv_set,                               \
1338     dpif_netdev_queue_to_priority,                      \
1339     dpif_netdev_recv,                                   \
1340     dpif_netdev_recv_wait,                              \
1341     dpif_netdev_recv_purge,                             \
1342
1343 const struct dpif_class dpif_netdev_class = {
1344     "netdev",
1345     DPIF_NETDEV_CLASS_FUNCTIONS
1346 };
1347
1348 const struct dpif_class dpif_planetlab_class = {
1349     "planetlab",
1350     DPIF_NETDEV_CLASS_FUNCTIONS
1351 };
1352
1353 static void
1354 dpif_dummy_change_port_number(struct unixctl_conn *conn, int argc OVS_UNUSED,
1355                               const char *argv[], void *aux OVS_UNUSED)
1356 {
1357     struct dp_netdev_port *port;
1358     struct dp_netdev *dp;
1359     int port_no;
1360
1361     dp = shash_find_data(&dp_netdevs, argv[1]);
1362     if (!dp || !dpif_netdev_class_is_dummy(dp->class)) {
1363         unixctl_command_reply_error(conn, "unknown datapath or not a dummy");
1364         return;
1365     }
1366
1367     if (get_port_by_name(dp, argv[2], &port)) {
1368         unixctl_command_reply_error(conn, "unknown port");
1369         return;
1370     }
1371
1372     port_no = atoi(argv[3]);
1373     if (port_no <= 0 || port_no >= MAX_PORTS) {
1374         unixctl_command_reply_error(conn, "bad port number");
1375         return;
1376     }
1377     if (dp->ports[port_no]) {
1378         unixctl_command_reply_error(conn, "port number already in use");
1379         return;
1380     }
1381     dp->ports[odp_to_u32(port->port_no)] = NULL;
1382     dp->ports[port_no] = port;
1383     port->port_no = u32_to_odp(port_no);
1384     seq_change(dp->port_seq);
1385     unixctl_command_reply(conn, NULL);
1386 }
1387
1388 static void
1389 dpif_dummy_register__(const char *type)
1390 {
1391     struct dpif_class *class;
1392
1393     class = xmalloc(sizeof *class);
1394     *class = dpif_netdev_class;
1395     class->type = xstrdup(type);
1396     dp_register_provider(class);
1397 }
1398
1399 void
1400 dpif_dummy_register(bool override)
1401 {
1402     if (override) {
1403         struct sset types;
1404         const char *type;
1405
1406         sset_init(&types);
1407         dp_enumerate_types(&types);
1408         SSET_FOR_EACH (type, &types) {
1409             if (!dp_unregister_provider(type)) {
1410                 dpif_dummy_register__(type);
1411             }
1412         }
1413         sset_destroy(&types);
1414     }
1415
1416     dpif_dummy_register__("dummy");
1417
1418     unixctl_command_register("dpif-dummy/change-port-number",
1419                              "DP PORT NEW-NUMBER",
1420                              3, 3, dpif_dummy_change_port_number, NULL);
1421 }
1422