datapath: Convert mask list in mask array.
[sliver-openvswitch.git] / datapath / flow.h
index 1d75a01..2018691 100644 (file)
@@ -1,16 +1,28 @@
 /*
- * Copyright (c) 2009, 2010, 2011 Nicira Networks.
- * Distributed under the terms of the GNU GPL version 2.
+ * Copyright (c) 2007-2014 Nicira, Inc.
  *
- * Significant portions of this file may be copied from parts of the Linux
- * kernel, by Linus Torvalds and others.
+ * This program is free software; you can redistribute it and/or
+ * modify it under the terms of version 2 of the GNU General Public
+ * License as published by the Free Software Foundation.
+ *
+ * This program is distributed in the hope that it will be useful, but
+ * WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
+ * General Public License for more details.
+ *
+ * You should have received a copy of the GNU General Public License
+ * along with this program; if not, write to the Free Software
+ * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
+ * 02110-1301, USA
  */
 
 #ifndef FLOW_H
 #define FLOW_H 1
 
+#include <linux/cache.h>
 #include <linux/kernel.h>
 #include <linux/netlink.h>
+#include <linux/openvswitch.h>
 #include <linux/spinlock.h>
 #include <linux/types.h>
 #include <linux/rcupdate.h>
 #include <linux/in6.h>
 #include <linux/jiffies.h>
 #include <linux/time.h>
+#include <linux/flex_array.h>
 
-#include "openvswitch/datapath-protocol.h"
-#include "table.h"
+#include <net/inet_ecn.h>
+#include <net/ip_tunnels.h>
 
 struct sk_buff;
 
-struct sw_flow_actions {
-       struct rcu_head rcu;
-       u32 actions_len;
-       struct nlattr actions[];
-};
+/* Used to memset ovs_key_ipv4_tunnel padding. */
+#define OVS_TUNNEL_KEY_SIZE                                    \
+        (offsetof(struct ovs_key_ipv4_tunnel, ipv4_ttl) +      \
+         FIELD_SIZEOF(struct ovs_key_ipv4_tunnel, ipv4_ttl))
+
+struct ovs_key_ipv4_tunnel {
+       __be64 tun_id;
+       __be32 ipv4_src;
+       __be32 ipv4_dst;
+       __be16 tun_flags;
+       u8   ipv4_tos;
+       u8   ipv4_ttl;
+} __packed __aligned(4); /* Minimize padding. */
+
+static inline void ovs_flow_tun_key_init(struct ovs_key_ipv4_tunnel *tun_key,
+                                        const struct iphdr *iph, __be64 tun_id,
+                                        __be16 tun_flags)
+{
+       tun_key->tun_id = tun_id;
+       tun_key->ipv4_src = iph->saddr;
+       tun_key->ipv4_dst = iph->daddr;
+       tun_key->ipv4_tos = iph->tos;
+       tun_key->ipv4_ttl = iph->ttl;
+       tun_key->tun_flags = tun_flags;
+
+       /* clear struct padding. */
+       memset((unsigned char *) tun_key + OVS_TUNNEL_KEY_SIZE, 0,
+              sizeof(*tun_key) - OVS_TUNNEL_KEY_SIZE);
+}
 
 struct sw_flow_key {
+       struct ovs_key_ipv4_tunnel tun_key;  /* Encapsulating tunnel key. */
+       struct {
+               u32     priority;       /* Packet QoS priority. */
+               u32     skb_mark;       /* SKB mark. */
+               u16     in_port;        /* Input switch port (or DP_MAX_PORTS). */
+       } __packed phy; /* Safe when right after 'tun_key'. */
+       u32 ovs_flow_hash;              /* Datapath computed hash value.  */
+       u32 recirc_id;                  /* Recirculation ID.  */
        struct {
-               __be64 tun_id;          /* Encapsulating tunnel ID. */
-               u16    in_port;         /* Input switch port. */
                u8     src[ETH_ALEN];   /* Ethernet source address. */
                u8     dst[ETH_ALEN];   /* Ethernet destination address. */
                __be16 tci;             /* 0 if no VLAN, VLAN_TAG_PRESENT set otherwise. */
                __be16 type;            /* Ethernet frame type. */
        } eth;
        struct {
-               u8     nw_proto;        /* IP protocol or lower 8 bits of ARP opcode. */
-               u8     nw_tos;          /* IP ToS (DSCP field, 6 bits). */
+               u8     proto;           /* IP protocol or lower 8 bits of ARP opcode. */
+               u8     tos;             /* IP ToS. */
+               u8     ttl;             /* IP TTL/hop limit. */
+               u8     frag;            /* One of OVS_FRAG_TYPE_*. */
        } ip;
+       struct {
+               __be16 src;             /* TCP/UDP/SCTP source port. */
+               __be16 dst;             /* TCP/UDP/SCTP destination port. */
+               __be16 flags;           /* TCP flags. */
+       } tp;
        union {
                struct {
                        struct {
                                __be32 src;     /* IP source address. */
                                __be32 dst;     /* IP destination address. */
                        } addr;
-                       union {
-                               struct {
-                                       __be16 src;             /* TCP/UDP source port. */
-                                       __be16 dst;             /* TCP/UDP destination port. */
-                               } tp;
-                               struct {
-                                       u8 sha[ETH_ALEN];       /* ARP source hardware address. */
-                                       u8 tha[ETH_ALEN];       /* ARP target hardware address. */
-                               } arp;
-                       };
+                       struct {
+                               u8 sha[ETH_ALEN];       /* ARP source hardware address. */
+                               u8 tha[ETH_ALEN];       /* ARP target hardware address. */
+                       } arp;
                } ipv4;
                struct {
                        struct {
                                struct in6_addr src;    /* IPv6 source address. */
                                struct in6_addr dst;    /* IPv6 destination address. */
                        } addr;
-                       struct {
-                               __be16 src;             /* TCP/UDP source port. */
-                               __be16 dst;             /* TCP/UDP destination port. */
-                       } tp;
+                       __be32 label;                   /* IPv6 flow label. */
                        struct {
                                struct in6_addr target; /* ND target address. */
                                u8 sll[ETH_ALEN];       /* ND source link layer address. */
@@ -76,27 +117,59 @@ struct sw_flow_key {
                        } nd;
                } ipv6;
        };
+} __aligned(BITS_PER_LONG/8); /* Ensure that we can do comparisons as longs. */
+
+struct sw_flow_key_range {
+       unsigned short int start;
+       unsigned short int end;
 };
 
-struct sw_flow {
+struct sw_flow_mask {
+       int ref_count;
        struct rcu_head rcu;
-       struct tbl_node tbl_node;
-
+       struct sw_flow_key_range range;
        struct sw_flow_key key;
-       struct sw_flow_actions __rcu *sf_acts;
+};
 
-       atomic_t refcnt;
-       bool dead;
+struct sw_flow_match {
+       struct sw_flow_key *key;
+       struct sw_flow_key_range range;
+       struct sw_flow_mask *mask;
+};
 
-       spinlock_t lock;        /* Lock for values below. */
-       unsigned long used;     /* Last used time (in jiffies). */
-       u64 packet_count;       /* Number of packets matched. */
-       u64 byte_count;         /* Number of bytes matched. */
-       u8 tcp_flags;           /* Union of seen TCP flags. */
+struct sw_flow_actions {
+       struct rcu_head rcu;
+       u32 actions_len;
+       struct nlattr actions[];
 };
 
-struct arp_eth_header
-{
+struct flow_stats {
+       u64 packet_count;               /* Number of packets matched. */
+       u64 byte_count;                 /* Number of bytes matched. */
+       unsigned long used;             /* Last used time (in jiffies). */
+       spinlock_t lock;                /* Lock for atomic stats update. */
+       __be16 tcp_flags;               /* Union of seen TCP flags. */
+};
+
+struct sw_flow {
+       struct rcu_head rcu;
+       struct hlist_node hash_node[2];
+       u32 hash;
+       int stats_last_writer;          /* NUMA-node id of the last writer on
+                                        * 'stats[0]'.
+                                        */
+       struct sw_flow_key key;
+       struct sw_flow_key unmasked_key;
+       struct sw_flow_mask *mask;
+       struct sw_flow_actions __rcu *sf_acts;
+       struct flow_stats __rcu *stats[]; /* One for each NUMA node.  First one
+                                          * is allocated at flow creation time,
+                                          * the rest are allocated on demand
+                                          * while holding the 'stats[0].lock'.
+                                          */
+};
+
+struct arp_eth_header {
        __be16      ar_hrd;     /* format of hardware address   */
        __be16      ar_pro;     /* format of protocol address   */
        unsigned char   ar_hln; /* length of hardware address   */
@@ -110,52 +183,13 @@ struct arp_eth_header
        unsigned char       ar_tip[4];          /* target IP address        */
 } __packed;
 
-int flow_init(void);
-void flow_exit(void);
-
-struct sw_flow *flow_alloc(void);
-void flow_deferred_free(struct sw_flow *);
-void flow_free_tbl(struct tbl_node *);
+void ovs_flow_stats_update(struct sw_flow *, __be16 tcp_flags,
+                          struct sk_buff *);
+void ovs_flow_stats_get(const struct sw_flow *, struct ovs_flow_stats *,
+                       unsigned long *used, __be16 *tcp_flags);
+void ovs_flow_stats_clear(struct sw_flow *);
+u64 ovs_flow_used_time(unsigned long flow_jiffies);
 
-struct sw_flow_actions *flow_actions_alloc(const struct nlattr *);
-void flow_deferred_free_acts(struct sw_flow_actions *);
-
-void flow_hold(struct sw_flow *);
-void flow_put(struct sw_flow *);
-
-int flow_extract(struct sk_buff *, u16 in_port, struct sw_flow_key *,
-                int *key_lenp, bool *is_frag);
-void flow_used(struct sw_flow *, struct sk_buff *);
-u64 flow_used_time(unsigned long flow_jiffies);
-
-u32 flow_hash(const struct sw_flow_key *, int key_lenp);
-int flow_cmp(const struct tbl_node *, void *target, int len);
-
-/* Upper bound on the length of a nlattr-formatted flow key.  The longest
- * nlattr-formatted flow key would be:
- *
- *                         struct  pad  nl hdr  total
- *                         ------  ---  ------  -----
- *  ODP_KEY_ATTR_TUN_ID        8    --     4     12
- *  ODP_KEY_ATTR_IN_PORT       4    --     4      8
- *  ODP_KEY_ATTR_ETHERNET     12    --     4     16
- *  ODP_KEY_ATTR_8021Q         4    --     4      8
- *  ODP_KEY_ATTR_ETHERTYPE     2     2     4      8
- *  ODP_KEY_ATTR_IPV6         34     2     4     40
- *  ODP_KEY_ATTR_ICMPV6        2     2     4      8
- *  ODP_KEY_ATTR_ND           28    --     4     32
- *  -------------------------------------------------
- *  total                                       132
- */
-#define FLOW_BUFSIZE 132
-
-int flow_to_nlattrs(const struct sw_flow_key *, struct sk_buff *);
-int flow_from_nlattrs(struct sw_flow_key *swkey, int *key_lenp,
-                     const struct nlattr *);
-
-static inline struct sw_flow *flow_cast(const struct tbl_node *node)
-{
-       return container_of(node, struct sw_flow, tbl_node);
-}
+int ovs_flow_extract(struct sk_buff *, u16 in_port, struct sw_flow_key *);
 
 #endif /* flow.h */