datapath: Add support for kernel 3.14.
[sliver-openvswitch.git] / datapath / vport-lisp.c
index ad37c54..a1e2b2b 100644 (file)
@@ -20,7 +20,6 @@
 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
 
 #include <linux/version.h>
-#if LINUX_VERSION_CODE >= KERNEL_VERSION(2,6,26)
 
 #include <linux/in.h>
 #include <linux/ip.h>
 
 #include <net/icmp.h>
 #include <net/ip.h>
+#include <net/route.h>
 #include <net/udp.h>
+#include <net/xfrm.h>
 
 #include "datapath.h"
-#include "tunnel.h"
+#include "gso.h"
 #include "vport.h"
 
-
 /*
  *  LISP encapsulation header:
  *
@@ -94,34 +94,33 @@ struct lisphdr {
 
 #define LISP_HLEN (sizeof(struct udphdr) + sizeof(struct lisphdr))
 
-static inline int lisp_hdr_len(const struct ovs_key_ipv4_tunnel *tun_key)
-{
-       return LISP_HLEN;
-}
-
 /**
  * struct lisp_port - Keeps track of open UDP ports
- * @list: list element.
- * @vport: vport for the tunnel.
- * @socket: The socket created for this port number.
+ * @dst_port: lisp UDP port no.
+ * @list: list element in @lisp_ports.
+ * @lisp_rcv_socket: The socket created for this port number.
+ * @name: vport name.
  */
 struct lisp_port {
+       __be16 dst_port;
        struct list_head list;
-       struct vport *vport;
        struct socket *lisp_rcv_socket;
-       struct rcu_head rcu;
+       char name[IFNAMSIZ];
 };
 
 static LIST_HEAD(lisp_ports);
 
+static inline struct lisp_port *lisp_vport(const struct vport *vport)
+{
+       return vport_priv(vport);
+}
+
 static struct lisp_port *lisp_find_port(struct net *net, __be16 port)
 {
        struct lisp_port *lisp_port;
 
        list_for_each_entry_rcu(lisp_port, &lisp_ports, list) {
-               struct tnl_vport *tnl_vport = tnl_vport_priv(lisp_port->vport);
-
-               if (tnl_vport->dst_port == port &&
+               if (lisp_port->dst_port == port &&
                        net_eq(sock_net(lisp_port->lisp_rcv_socket->sk), net))
                        return lisp_port;
        }
@@ -134,25 +133,6 @@ static inline struct lisphdr *lisp_hdr(const struct sk_buff *skb)
        return (struct lisphdr *)(udp_hdr(skb) + 1);
 }
 
-static int lisp_tnl_send(struct vport *vport, struct sk_buff *skb)
-{
-       int tnl_len;
-       int network_offset = skb_network_offset(skb);
-
-       /* We only encapsulate IPv4 and IPv6 packets */
-       switch (skb->protocol) {
-       case htons(ETH_P_IP):
-       case htons(ETH_P_IPV6):
-               /* Pop off "inner" Ethernet header */
-               skb_pull(skb, network_offset);
-               tnl_len = ovs_tnl_send(vport, skb);
-               return tnl_len > 0 ? tnl_len + network_offset : tnl_len;
-       default:
-               kfree_skb(skb);
-               return 0;
-       }
-}
-
 /* Convert 64 bit tunnel ID to 24 bit Instance ID. */
 static void tunnel_id_to_instance_id(__be64 tun_id, __u8 *iid)
 {
@@ -180,17 +160,39 @@ static __be64 instance_id_to_tunnel_id(__u8 *iid)
 #endif
 }
 
+/* Compute source UDP port for outgoing packet.
+ * Currently we use the flow hash.
+ */
+static u16 get_src_port(struct net *net, struct sk_buff *skb)
+{
+       u32 hash = skb_get_hash(skb);
+       unsigned int range;
+       int high;
+       int low;
+
+       if (!hash) {
+               struct sw_flow_key *pkt_key = OVS_CB(skb)->pkt_key;
+
+               hash = jhash2((const u32 *)pkt_key,
+                           sizeof(*pkt_key) / sizeof(u32), 0);
+       }
+
+       inet_get_local_port_range(net, &low, &high);
+       range = (high - low) + 1;
+       return (((u64) hash * range) >> 32) + low;
+}
+
 static void lisp_build_header(const struct vport *vport,
-                             struct sk_buff *skb,
-                             int tunnel_hlen)
+                             struct sk_buff *skb)
 {
-       struct tnl_vport *tnl_vport = tnl_vport_priv(vport);
+       struct net *net = ovs_dp_get_net(vport->dp);
+       struct lisp_port *lisp_port = lisp_vport(vport);
        struct udphdr *udph = udp_hdr(skb);
        struct lisphdr *lisph = (struct lisphdr *)(udph + 1);
        const struct ovs_key_ipv4_tunnel *tun_key = OVS_CB(skb)->tun_key;
 
-       udph->dest = tnl_vport->dst_port;
-       udph->source = htons(ovs_tnl_get_src_port(skb));
+       udph->dest = lisp_port->dst_port;
+       udph->source = htons(get_src_port(net, skb));
        udph->check = 0;
        udph->len = htons(skb->len - skb_transport_offset(skb));
 
@@ -207,15 +209,6 @@ static void lisp_build_header(const struct vport *vport,
 
        tunnel_id_to_instance_id(tun_key->tun_id, &lisph->u2.word2.instance_id[0]);
        lisph->u2.word2.locator_status_bits = 1;
-
-       /*
-        * Allow our local IP stack to fragment the outer packet even if the
-        * DF bit is set as a last resort.  We also need to force selection of
-        * an IP ID here because Linux will otherwise leave it at 0 if the
-        * packet originally had DF set.
-        */
-       skb->local_df = 1;
-       __ip_select_ident(ip_hdr(skb), skb_dst(skb), 0);
 }
 
 /* Called with rcu_read_lock and BH disabled. */
@@ -233,13 +226,11 @@ static int lisp_rcv(struct sock *sk, struct sk_buff *skb)
        if (unlikely(!lisp_port))
                goto error;
 
-       if (unlikely(!pskb_may_pull(skb, LISP_HLEN)))
+       if (iptunnel_pull_header(skb, LISP_HLEN, 0))
                goto error;
 
        lisph = lisp_hdr(skb);
 
-       skb_pull_rcsum(skb, LISP_HLEN);
-
        if (lisph->instance_id_present != 1)
                key = 0;
        else
@@ -247,8 +238,7 @@ static int lisp_rcv(struct sock *sk, struct sk_buff *skb)
 
        /* Save outer tunnel values */
        iph = ip_hdr(skb);
-       tnl_tun_key_init(&tun_key, iph, key, OVS_TNL_F_KEY);
-       OVS_CB(skb)->tun_key = &tun_key;
+       ovs_flow_tun_key_init(&tun_key, iph, key, TUNNEL_KEY);
 
        /* Drop non-IP inner packets */
        inner_iph = (struct iphdr *)(lisph + 1);
@@ -262,6 +252,7 @@ static int lisp_rcv(struct sock *sk, struct sk_buff *skb)
        default:
                goto error;
        }
+       skb->protocol = protocol;
 
        /* Add Ethernet header */
        ethh = (struct ethhdr *)skb_push(skb, ETH_HLEN);
@@ -270,7 +261,9 @@ static int lisp_rcv(struct sock *sk, struct sk_buff *skb)
        ethh->h_source[0] = 0x02;
        ethh->h_proto = protocol;
 
-       ovs_tnl_rcv(lisp_port->vport, skb);
+       ovs_skb_postpush_rcsum(skb, skb->data, ETH_HLEN);
+
+       ovs_vport_receive(vport_from_priv(lisp_port), skb, &tun_key);
        goto out;
 
 error:
@@ -283,9 +276,8 @@ out:
 #define UDP_ENCAP_LISP 1
 static int lisp_socket_init(struct lisp_port *lisp_port, struct net *net)
 {
-       int err;
        struct sockaddr_in sin;
-       struct tnl_vport *tnl_vport = tnl_vport_priv(lisp_port->vport);
+       int err;
 
        err = sock_create_kern(AF_INET, SOCK_DGRAM, 0,
                               &lisp_port->lisp_rcv_socket);
@@ -297,7 +289,7 @@ static int lisp_socket_init(struct lisp_port *lisp_port, struct net *net)
 
        sin.sin_family = AF_INET;
        sin.sin_addr.s_addr = htonl(INADDR_ANY);
-       sin.sin_port = tnl_vport->dst_port;
+       sin.sin_port = lisp_port->dst_port;
 
        err = kernel_bind(lisp_port->lisp_rcv_socket, (struct sockaddr *)&sin,
                          sizeof(struct sockaddr_in));
@@ -318,37 +310,39 @@ error:
        return err;
 }
 
-
-static void free_port_rcu(struct rcu_head *rcu)
+static int lisp_get_options(const struct vport *vport, struct sk_buff *skb)
 {
-       struct lisp_port *lisp_port = container_of(rcu,
-                       struct lisp_port, rcu);
+       struct lisp_port *lisp_port = lisp_vport(vport);
 
-       kfree(lisp_port);
+       if (nla_put_u16(skb, OVS_TUNNEL_ATTR_DST_PORT, ntohs(lisp_port->dst_port)))
+               return -EMSGSIZE;
+       return 0;
 }
 
-static void lisp_tunnel_release(struct lisp_port *lisp_port)
+static void lisp_tnl_destroy(struct vport *vport)
 {
-       if (!lisp_port)
-               return;
+       struct lisp_port *lisp_port = lisp_vport(vport);
+
        list_del_rcu(&lisp_port->list);
        /* Release socket */
        sk_release_kernel(lisp_port->lisp_rcv_socket->sk);
-       call_rcu(&lisp_port->rcu, free_port_rcu);
+
+       ovs_vport_deferred_free(vport);
 }
 
-static int lisp_tunnel_setup(struct net *net, struct vport *vport,
-                            struct nlattr *options)
+static struct vport *lisp_tnl_create(const struct vport_parms *parms)
 {
-       struct tnl_vport *tnl_vport = tnl_vport_priv(vport);
+       struct net *net = ovs_dp_get_net(parms->dp);
+       struct nlattr *options = parms->options;
        struct lisp_port *lisp_port;
+       struct vport *vport;
        struct nlattr *a;
        int err;
        u16 dst_port;
 
        if (!options) {
                err = -EINVAL;
-               goto out;
+               goto error;
        }
 
        a = nla_find_nested(options, OVS_TUNNEL_ATTR_DST_PORT);
@@ -357,95 +351,162 @@ static int lisp_tunnel_setup(struct net *net, struct vport *vport,
        } else {
                /* Require destination port from userspace. */
                err = -EINVAL;
-               goto out;
+               goto error;
        }
 
        /* Verify if we already have a socket created for this port */
-       lisp_port = lisp_find_port(net, htons(dst_port));
-       if (lisp_port) {
+       if (lisp_find_port(net, htons(dst_port))) {
                err = -EEXIST;
-               goto out;
+               goto error;
        }
 
-       /* Add a new socket for this port */
-       lisp_port = kzalloc(sizeof(struct lisp_port), GFP_KERNEL);
-       if (!lisp_port) {
-               err = -ENOMEM;
-               goto out;
-       }
+       vport = ovs_vport_alloc(sizeof(struct lisp_port),
+                               &ovs_lisp_vport_ops, parms);
+       if (IS_ERR(vport))
+               return vport;
 
-       tnl_vport->dst_port = htons(dst_port);
-       lisp_port->vport = vport;
-       list_add_tail_rcu(&lisp_port->list, &lisp_ports);
+       lisp_port = lisp_vport(vport);
+       lisp_port->dst_port = htons(dst_port);
+       strncpy(lisp_port->name, parms->name, IFNAMSIZ);
 
        err = lisp_socket_init(lisp_port, net);
        if (err)
-               goto error;
+               goto error_free;
 
-       return 0;
+       list_add_tail_rcu(&lisp_port->list, &lisp_ports);
+       return vport;
 
+error_free:
+       ovs_vport_free(vport);
 error:
-       list_del_rcu(&lisp_port->list);
-       kfree(lisp_port);
-out:
-       return err;
+       return ERR_PTR(err);
 }
 
-static int lisp_get_options(const struct vport *vport, struct sk_buff *skb)
+#if LINUX_VERSION_CODE < KERNEL_VERSION(3,12,0)
+
+static void lisp_fix_segment(struct sk_buff *skb)
 {
-       const struct tnl_vport *tnl_vport = tnl_vport_priv(vport);
+       struct udphdr *udph = udp_hdr(skb);
 
-       if (nla_put_u16(skb, OVS_TUNNEL_ATTR_DST_PORT, ntohs(tnl_vport->dst_port)))
-               return -EMSGSIZE;
-       return 0;
+       udph->len = htons(skb->len - skb_transport_offset(skb));
 }
 
-static const struct tnl_ops ovs_lisp_tnl_ops = {
-       .ipproto        = IPPROTO_UDP,
-       .hdr_len        = lisp_hdr_len,
-       .build_header   = lisp_build_header,
-};
-
-static void lisp_tnl_destroy(struct vport *vport)
+static int handle_offloads(struct sk_buff *skb)
 {
-       struct lisp_port *lisp_port;
-       struct tnl_vport *tnl_vport = tnl_vport_priv(vport);
+       if (skb_is_gso(skb))
+               OVS_GSO_CB(skb)->fix_segment = lisp_fix_segment;
+       else if (skb->ip_summed != CHECKSUM_PARTIAL)
+               skb->ip_summed = CHECKSUM_NONE;
+       return 0;
+}
+#else
+static int handle_offloads(struct sk_buff *skb)
+{
+       if (skb_is_gso(skb)) {
+               int err = skb_unclone(skb, GFP_ATOMIC);
+               if (unlikely(err))
+                       return err;
 
-       lisp_port = lisp_find_port(ovs_dp_get_net(vport->dp),
-                                  tnl_vport->dst_port);
+               skb_shinfo(skb)->gso_type |= SKB_GSO_UDP_TUNNEL;
+       } else if (skb->ip_summed != CHECKSUM_PARTIAL)
+               skb->ip_summed = CHECKSUM_NONE;
 
-       lisp_tunnel_release(lisp_port);
-       ovs_tnl_destroy(vport);
+       skb->encapsulation = 1;
+       return 0;
 }
+#endif
 
-static struct vport *lisp_tnl_create(const struct vport_parms *parms)
+static int lisp_send(struct vport *vport, struct sk_buff *skb)
 {
-       struct vport *vport;
+       int network_offset = skb_network_offset(skb);
+       struct rtable *rt;
+       int min_headroom;
+       __be32 saddr;
+       __be16 df;
+       int sent_len;
        int err;
 
-       vport = ovs_tnl_create(parms, &ovs_lisp_vport_ops, &ovs_lisp_tnl_ops);
-       if (IS_ERR(vport))
-               return vport;
+       if (unlikely(!OVS_CB(skb)->tun_key))
+               return -EINVAL;
 
-       err = lisp_tunnel_setup(ovs_dp_get_net(parms->dp), vport,
-                               parms->options);
-       if (err) {
-               ovs_tnl_destroy(vport);
-               return ERR_PTR(err);
+       if (skb->protocol != htons(ETH_P_IP) &&
+           skb->protocol != htons(ETH_P_IPV6)) {
+               kfree_skb(skb);
+               return 0;
        }
 
-       return vport;
+       /* Route lookup */
+       saddr = OVS_CB(skb)->tun_key->ipv4_src;
+       rt = find_route(ovs_dp_get_net(vport->dp),
+                       &saddr,
+                       OVS_CB(skb)->tun_key->ipv4_dst,
+                       IPPROTO_UDP,
+                       OVS_CB(skb)->tun_key->ipv4_tos,
+                       skb->mark);
+       if (IS_ERR(rt)) {
+               err = PTR_ERR(rt);
+               goto error;
+       }
+
+       min_headroom = LL_RESERVED_SPACE(rt_dst(rt).dev) + rt_dst(rt).header_len
+                       + sizeof(struct iphdr) + LISP_HLEN;
+
+       if (skb_headroom(skb) < min_headroom || skb_header_cloned(skb)) {
+               int head_delta = SKB_DATA_ALIGN(min_headroom -
+                                               skb_headroom(skb) +
+                                               16);
+
+               err = pskb_expand_head(skb, max_t(int, head_delta, 0),
+                                       0, GFP_ATOMIC);
+               if (unlikely(err))
+                       goto err_free_rt;
+       }
+
+       /* Reset l2 headers. */
+       skb_pull(skb, network_offset);
+       skb_reset_mac_header(skb);
+       vlan_set_tci(skb, 0);
+
+       skb_reset_inner_headers(skb);
+
+       __skb_push(skb, LISP_HLEN);
+       skb_reset_transport_header(skb);
+
+       lisp_build_header(vport, skb);
+
+       /* Offloading */
+       err = handle_offloads(skb);
+       if (err)
+               goto err_free_rt;
+
+       skb->local_df = 1;
+
+       df = OVS_CB(skb)->tun_key->tun_flags &
+                                 TUNNEL_DONT_FRAGMENT ?  htons(IP_DF) : 0;
+       sent_len = iptunnel_xmit(rt, skb,
+                            saddr, OVS_CB(skb)->tun_key->ipv4_dst,
+                            IPPROTO_UDP, OVS_CB(skb)->tun_key->ipv4_tos,
+                            OVS_CB(skb)->tun_key->ipv4_ttl, df, false);
+
+       return sent_len > 0 ? sent_len + network_offset : sent_len;
+
+err_free_rt:
+       ip_rt_put(rt);
+error:
+       return err;
+}
+
+static const char *lisp_get_name(const struct vport *vport)
+{
+       struct lisp_port *lisp_port = lisp_vport(vport);
+       return lisp_port->name;
 }
 
 const struct vport_ops ovs_lisp_vport_ops = {
        .type           = OVS_VPORT_TYPE_LISP,
-       .flags          = VPORT_F_TUN_ID,
        .create         = lisp_tnl_create,
        .destroy        = lisp_tnl_destroy,
-       .get_name       = ovs_tnl_get_name,
+       .get_name       = lisp_get_name,
        .get_options    = lisp_get_options,
-       .send           = lisp_tnl_send,
+       .send           = lisp_send,
 };
-#else
-#warning LISP tunneling will not be available on kernels before 2.6.26
-#endif /* Linux kernel < 2.6.26 */