datapath: Mega flow implementation
[sliver-openvswitch.git] / datapath / flow.h
1 /*
2  * Copyright (c) 2007-2013 Nicira, Inc.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of version 2 of the GNU General Public
6  * License as published by the Free Software Foundation.
7  *
8  * This program is distributed in the hope that it will be useful, but
9  * WITHOUT ANY WARRANTY; without even the implied warranty of
10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
11  * General Public License for more details.
12  *
13  * You should have received a copy of the GNU General Public License
14  * along with this program; if not, write to the Free Software
15  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
16  * 02110-1301, USA
17  */
18
19 #ifndef FLOW_H
20 #define FLOW_H 1
21
22 #include <linux/kernel.h>
23 #include <linux/netlink.h>
24 #include <linux/openvswitch.h>
25 #include <linux/spinlock.h>
26 #include <linux/types.h>
27 #include <linux/rcupdate.h>
28 #include <linux/if_ether.h>
29 #include <linux/in6.h>
30 #include <linux/jiffies.h>
31 #include <linux/time.h>
32 #include <linux/flex_array.h>
33 #include <net/inet_ecn.h>
34
35 struct sk_buff;
36 struct sw_flow_mask;
37 struct flow_table;
38
39 struct sw_flow_actions {
40         struct rcu_head rcu;
41         u32 actions_len;
42         struct nlattr actions[];
43 };
44
45 /* Tunnel flow flags. */
46 #define OVS_TNL_F_DONT_FRAGMENT         (1 << 0)
47 #define OVS_TNL_F_CSUM                  (1 << 1)
48 #define OVS_TNL_F_KEY                   (1 << 2)
49
50 /* Used to memset ovs_key_ipv4_tunnel padding. */
51 #define OVS_TUNNEL_KEY_SIZE                                     \
52         (offsetof(struct ovs_key_ipv4_tunnel, ipv4_ttl) +       \
53          FIELD_SIZEOF(struct ovs_key_ipv4_tunnel, ipv4_ttl))
54
55 struct ovs_key_ipv4_tunnel {
56         __be64 tun_id;
57         __be32 ipv4_src;
58         __be32 ipv4_dst;
59         u16  tun_flags;
60         u8   ipv4_tos;
61         u8   ipv4_ttl;
62 };
63
64 struct sw_flow_key {
65         struct ovs_key_ipv4_tunnel tun_key;  /* Encapsulating tunnel key. */
66         struct {
67                 u32     priority;       /* Packet QoS priority. */
68                 u32     skb_mark;       /* SKB mark. */
69                 u16     in_port;        /* Input switch port (or DP_MAX_PORTS). */
70         } phy;
71         struct {
72                 u8     src[ETH_ALEN];   /* Ethernet source address. */
73                 u8     dst[ETH_ALEN];   /* Ethernet destination address. */
74                 __be16 tci;             /* 0 if no VLAN, VLAN_TAG_PRESENT set otherwise. */
75                 __be16 type;            /* Ethernet frame type. */
76         } eth;
77         struct {
78                 u8     proto;           /* IP protocol or lower 8 bits of ARP opcode. */
79                 u8     tos;             /* IP ToS. */
80                 u8     ttl;             /* IP TTL/hop limit. */
81                 u8     frag;            /* One of OVS_FRAG_TYPE_*. */
82         } ip;
83         union {
84                 struct {
85                         struct {
86                                 __be32 src;     /* IP source address. */
87                                 __be32 dst;     /* IP destination address. */
88                         } addr;
89                         union {
90                                 struct {
91                                         __be16 src;             /* TCP/UDP source port. */
92                                         __be16 dst;             /* TCP/UDP destination port. */
93                                 } tp;
94                                 struct {
95                                         u8 sha[ETH_ALEN];       /* ARP source hardware address. */
96                                         u8 tha[ETH_ALEN];       /* ARP target hardware address. */
97                                 } arp;
98                         };
99                 } ipv4;
100                 struct {
101                         struct {
102                                 struct in6_addr src;    /* IPv6 source address. */
103                                 struct in6_addr dst;    /* IPv6 destination address. */
104                         } addr;
105                         __be32 label;                   /* IPv6 flow label. */
106                         struct {
107                                 __be16 src;             /* TCP/UDP source port. */
108                                 __be16 dst;             /* TCP/UDP destination port. */
109                         } tp;
110                         struct {
111                                 struct in6_addr target; /* ND target address. */
112                                 u8 sll[ETH_ALEN];       /* ND source link layer address. */
113                                 u8 tll[ETH_ALEN];       /* ND target link layer address. */
114                         } nd;
115                 } ipv6;
116         };
117 };
118
119 struct sw_flow {
120         struct rcu_head rcu;
121         struct hlist_node hash_node[2];
122         u32 hash;
123
124         struct sw_flow_key key;
125         struct sw_flow_key unmasked_key;
126         struct sw_flow_mask __rcu *mask;
127         struct sw_flow_actions __rcu *sf_acts;
128
129         spinlock_t lock;        /* Lock for values below. */
130         unsigned long used;     /* Last used time (in jiffies). */
131         u64 packet_count;       /* Number of packets matched. */
132         u64 byte_count;         /* Number of bytes matched. */
133         u8 tcp_flags;           /* Union of seen TCP flags. */
134 };
135
136 struct sw_flow_key_range {
137         size_t start;
138         size_t end;
139 };
140
141 static inline u16 ovs_sw_flow_key_range_actual_size(const struct sw_flow_key_range *range)
142 {
143         return range->end - range->start;
144 }
145
146 struct sw_flow_match {
147         struct sw_flow_key *key;
148         struct sw_flow_key_range range;
149         struct sw_flow_mask *mask;
150 };
151
152 void ovs_match_init(struct sw_flow_match *match,
153                 struct sw_flow_key *key, struct sw_flow_mask *mask);
154
155 struct arp_eth_header {
156         __be16      ar_hrd;     /* format of hardware address   */
157         __be16      ar_pro;     /* format of protocol address   */
158         unsigned char   ar_hln; /* length of hardware address   */
159         unsigned char   ar_pln; /* length of protocol address   */
160         __be16      ar_op;      /* ARP opcode (command)     */
161
162         /* Ethernet+IPv4 specific members. */
163         unsigned char       ar_sha[ETH_ALEN];   /* sender hardware address  */
164         unsigned char       ar_sip[4];          /* sender IP address        */
165         unsigned char       ar_tha[ETH_ALEN];   /* target hardware address  */
166         unsigned char       ar_tip[4];          /* target IP address        */
167 } __packed;
168
169 int ovs_flow_init(void);
170 void ovs_flow_exit(void);
171
172 struct sw_flow *ovs_flow_alloc(void);
173 void ovs_flow_deferred_free(struct sw_flow *);
174 void ovs_flow_free(struct sw_flow *, bool deferred);
175
176 struct sw_flow_actions *ovs_flow_actions_alloc(int actions_len);
177 void ovs_flow_deferred_free_acts(struct sw_flow_actions *);
178
179 int ovs_flow_extract(struct sk_buff *, u16 in_port, struct sw_flow_key *);
180 void ovs_flow_used(struct sw_flow *, struct sk_buff *);
181 u64 ovs_flow_used_time(unsigned long flow_jiffies);
182 int ovs_flow_to_nlattrs(const struct sw_flow_key *,
183                 const struct sw_flow_key *, struct sk_buff *);
184 int ovs_match_from_nlattrs(struct sw_flow_match *match,
185                       const struct nlattr *,
186                       const struct nlattr *);
187 int ovs_flow_metadata_from_nlattrs(struct sw_flow *flow,
188                 const struct nlattr *attr);
189
190 #define MAX_ACTIONS_BUFSIZE     (32 * 1024)
191 #define TBL_MIN_BUCKETS         1024
192
193 struct flow_table {
194         struct flex_array *buckets;
195         unsigned int count, n_buckets;
196         struct rcu_head rcu;
197         struct list_head mask_list;
198         int node_ver;
199         u32 hash_seed;
200         bool keep_flows;
201 };
202
203 static inline int ovs_flow_tbl_count(struct flow_table *table)
204 {
205         return table->count;
206 }
207
208 static inline int ovs_flow_tbl_need_to_expand(struct flow_table *table)
209 {
210         return (table->count > table->n_buckets);
211 }
212
213 struct sw_flow *ovs_flow_lookup(struct flow_table *,
214                                 const struct sw_flow_key *);
215 struct sw_flow *ovs_flow_lookup_unmasked_key(struct flow_table *table,
216                                     struct sw_flow_match *match);
217
218 void ovs_flow_tbl_destroy(struct flow_table *table, bool deferred);
219 struct flow_table *ovs_flow_tbl_alloc(int new_size);
220 struct flow_table *ovs_flow_tbl_expand(struct flow_table *table);
221 struct flow_table *ovs_flow_tbl_rehash(struct flow_table *table);
222 void ovs_flow_insert(struct flow_table *table, struct sw_flow *flow,
223                 const struct sw_flow_key *key, int key_len);
224
225 void ovs_flow_remove(struct flow_table *table, struct sw_flow *flow);
226
227 struct sw_flow *ovs_flow_dump_next(struct flow_table *table, u32 *bucket, u32 *idx);
228 extern const int ovs_key_lens[OVS_KEY_ATTR_MAX + 1];
229 int ipv4_tun_from_nlattr(const struct nlattr *attr,
230                          struct sw_flow_match *match, bool is_mask);
231 int ipv4_tun_to_nlattr(struct sk_buff *skb,
232                         const struct ovs_key_ipv4_tunnel *tun_key,
233                         const struct ovs_key_ipv4_tunnel *output);
234
235 bool ovs_flow_cmp_unmasked_key(const struct sw_flow *flow,
236                 const struct sw_flow_key *key, int key_len);
237
238 struct sw_flow_mask {
239         int ref_count;
240         struct rcu_head rcu;
241         struct list_head list;
242         struct sw_flow_key_range range;
243         struct sw_flow_key key;
244 };
245
246 static inline u16
247 ovs_sw_flow_mask_actual_size(const struct sw_flow_mask *mask)
248 {
249         return ovs_sw_flow_key_range_actual_size(&mask->range);
250 }
251
252 static inline u16
253 ovs_sw_flow_mask_size_roundup(const struct sw_flow_mask *mask)
254 {
255         return roundup(ovs_sw_flow_mask_actual_size(mask), sizeof(u32));
256 }
257
258 struct sw_flow_mask *ovs_sw_flow_mask_alloc(void);
259 void ovs_sw_flow_mask_add_ref(struct sw_flow_mask *);
260 void ovs_sw_flow_mask_del_ref(struct sw_flow_mask *, bool deferred);
261 void ovs_sw_flow_mask_insert(struct flow_table *, struct sw_flow_mask *);
262 struct sw_flow_mask *ovs_sw_flow_mask_find(const struct flow_table *,
263                 const struct sw_flow_mask *);
264 #endif /* flow.h */