datapath/linux/compat/vxlan.c

   1 /*
   2  * Copyright (c) 2007-2013 Nicira, Inc.
   3  *
   4  * This program is free software; you can redistribute it and/or
   5  * modify it under the terms of version 2 of the GNU General Public
   6  * License as published by the Free Software Foundation.
   7  *
   8  * This program is distributed in the hope that it will be useful, but
   9  * WITHOUT ANY WARRANTY; without even the implied warranty of
  10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
  11  * General Public License for more details.
  12  *
  13  * You should have received a copy of the GNU General Public License
  14  * along with this program; if not, write to the Free Software
  15  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA
  16  * 02110-1301, USA
  17  *
  18  * This code is derived from kernel vxlan module.
  19  */
  20
  21 #define pr_fmt(fmt) KBUILD_MODNAME ": " fmt
  22
  23 #include <linux/kernel.h>
  24 #include <linux/types.h>
  25 #include <linux/module.h>
  26 #include <linux/errno.h>
  27 #include <linux/slab.h>
  28 #include <linux/skbuff.h>
  29 #include <linux/rculist.h>
  30 #include <linux/netdevice.h>
  31 #include <linux/in.h>
  32 #include <linux/ip.h>
  33 #include <linux/udp.h>
  34 #include <linux/igmp.h>
  35 #include <linux/etherdevice.h>
  36 #include <linux/if_ether.h>
  37 #include <linux/if_vlan.h>
  38 #include <linux/hash.h>
  39 #include <linux/ethtool.h>
  40 #include <net/arp.h>
  41 #include <net/ndisc.h>
  42 #include <net/ip.h>
  43 #include <net/ip_tunnels.h>
  44 #include <net/icmp.h>
  45 #include <net/udp.h>
  46 #include <net/rtnetlink.h>
  47 #include <net/route.h>
  48 #include <net/dsfield.h>
  49 #include <net/inet_ecn.h>
  50 #include <net/net_namespace.h>
  51 #include <net/netns/generic.h>
  52 #include <net/vxlan.h>
  53
  54 #include "checksum.h"
  55 #include "compat.h"
  56 #include "gso.h"
  57 #include "vlan.h"
  58
  59 #define PORT_HASH_BITS  8
  60 #define PORT_HASH_SIZE  (1<<PORT_HASH_BITS)
  61
  62 /* IP header + UDP + VXLAN + Ethernet header */
  63 #define VXLAN_HEADROOM (20 + 8 + 8 + 14)
  64 #define VXLAN_HLEN (sizeof(struct udphdr) + sizeof(struct vxlanhdr))
  65
  66 #define VXLAN_FLAGS 0x08000000  /* struct vxlanhdr.vx_flags required value. */
  67
  68 /* VXLAN protocol header */
  69 struct vxlanhdr {
  70         __be32 vx_flags;
  71         __be32 vx_vni;
  72 };
  73
  74 static int vxlan_net_id;
  75
  76 static int vxlan_init_module(void);
  77 static void vxlan_cleanup_module(void);
  78
  79 /* per-network namespace private data for this module */
  80 struct vxlan_net {
  81         struct hlist_head sock_list[PORT_HASH_SIZE];
  82         spinlock_t  sock_lock;
  83 };
  84
  85 /* Socket hash table head */
  86 static inline struct hlist_head *vs_head(struct net *net, __be16 port)
  87 {
  88         struct vxlan_net *vn = net_generic(net, vxlan_net_id);
  89
  90         return &vn->sock_list[hash_32(ntohs(port), PORT_HASH_BITS)];
  91 }
  92
  93 /* Find VXLAN socket based on network namespace and UDP port */
  94
  95 static struct vxlan_sock *vxlan_find_sock(struct net *net, __be16 port)
  96 {
  97         struct vxlan_sock *vs;
  98
  99         hlist_for_each_entry_rcu(vs, vs_head(net, port), hlist) {
 100                 if (inet_sport(vs->sock->sk) == port)
 101                         return vs;
 102         }
 103         return NULL;
 104 }
 105
 106 /* Callback from net/ipv4/udp.c to receive packets */
 107 static int vxlan_udp_encap_recv(struct sock *sk, struct sk_buff *skb)
 108 {
 109         struct vxlan_sock *vs;
 110         struct vxlanhdr *vxh;
 111
 112         /* Need Vxlan and inner Ethernet header to be present */
 113         if (!pskb_may_pull(skb, VXLAN_HLEN))
 114                 goto error;
 115
 116         /* Return packets with reserved bits set */
 117         vxh = (struct vxlanhdr *)(udp_hdr(skb) + 1);
 118         if (vxh->vx_flags != htonl(VXLAN_FLAGS) ||
 119             (vxh->vx_vni & htonl(0xff))) {
 120                 pr_warn("invalid vxlan flags=%#x vni=%#x\n",
 121                         ntohl(vxh->vx_flags), ntohl(vxh->vx_vni));
 122                 goto error;
 123         }
 124
 125         if (iptunnel_pull_header(skb, VXLAN_HLEN, htons(ETH_P_TEB)))
 126                 goto drop;
 127
 128         vs = vxlan_find_sock(sock_net(sk), inet_sport(sk));
 129         if (!vs)
 130                 goto drop;
 131
 132         vs->rcv(vs, skb, vxh->vx_vni);
 133         return 0;
 134
 135 drop:
 136         /* Consume bad packet */
 137         kfree_skb(skb);
 138         return 0;
 139
 140 error:
 141         /* Return non vxlan pkt */
 142         return 1;
 143 }
 144
 145 static void vxlan_sock_put(struct sk_buff *skb)
 146 {
 147         sock_put(skb->sk);
 148 }
 149
 150 /* On transmit, associate with the tunnel socket */
 151 static void vxlan_set_owner(struct sock *sk, struct sk_buff *skb)
 152 {
 153         skb_orphan(skb);
 154         sock_hold(sk);
 155         skb->sk = sk;
 156         skb->destructor = vxlan_sock_put;
 157 }
 158
 159 /* Compute source port for outgoing packet
 160  *   first choice to use L4 flow hash since it will spread
 161  *     better and maybe available from hardware
 162  *   secondary choice is to use jhash on the Ethernet header
 163  */
 164 __be16 vxlan_src_port(__u16 port_min, __u16 port_max, struct sk_buff *skb)
 165 {
 166         unsigned int range = (port_max - port_min) + 1;
 167         u32 hash;
 168
 169         hash = skb_get_rxhash(skb);
 170         if (!hash)
 171                 hash = jhash(skb->data, 2 * ETH_ALEN,
 172                              (__force u32) skb->protocol);
 173
 174         return htons((((u64) hash * range) >> 32) + port_min);
 175 }
 176
 177 static void vxlan_gso(struct sk_buff *skb)
 178 {
 179         int udp_offset = skb_transport_offset(skb);
 180         struct udphdr *uh;
 181
 182         uh = udp_hdr(skb);
 183         uh->len = htons(skb->len - udp_offset);
 184
 185         /* csum segment if tunnel sets skb with csum. */
 186         if (unlikely(uh->check)) {
 187                 struct iphdr *iph = ip_hdr(skb);
 188
 189                 uh->check = ~csum_tcpudp_magic(iph->saddr, iph->daddr,
 190                                                skb->len - udp_offset,
 191                                                IPPROTO_UDP, 0);
 192                 uh->check = csum_fold(skb_checksum(skb, udp_offset,
 193                                       skb->len - udp_offset, 0));
 194
 195                 if (uh->check == 0)
 196                         uh->check = CSUM_MANGLED_0;
 197
 198         }
 199         skb->ip_summed = CHECKSUM_NONE;
 200 }
 201
 202 static int handle_offloads(struct sk_buff *skb)
 203 {
 204         if (skb_is_gso(skb)) {
 205                 OVS_GSO_CB(skb)->fix_segment = vxlan_gso;
 206         } else {
 207                 if (skb->ip_summed != CHECKSUM_PARTIAL)
 208                         skb->ip_summed = CHECKSUM_NONE;
 209         }
 210         return 0;
 211 }
 212
 213 int vxlan_xmit_skb(struct net *net, struct vxlan_sock *vs,
 214                    struct rtable *rt, struct sk_buff *skb,
 215                    __be32 src, __be32 dst, __u8 tos, __u8 ttl, __be16 df,
 216                    __be16 src_port, __be16 dst_port, __be32 vni)
 217 {
 218         struct vxlanhdr *vxh;
 219         struct udphdr *uh;
 220         int min_headroom;
 221         int err;
 222
 223         skb_reset_inner_headers(skb);
 224
 225         min_headroom = LL_RESERVED_SPACE(rt_dst(rt).dev) + rt_dst(rt).header_len
 226                         + VXLAN_HLEN + sizeof(struct iphdr)
 227                         + (vlan_tx_tag_present(skb) ? VLAN_HLEN : 0);
 228
 229         /* Need space for new headers (invalidates iph ptr) */
 230         err = skb_cow_head(skb, min_headroom);
 231         if (unlikely(err))
 232                 return err;
 233
 234         if (unlikely(vlan_deaccel_tag(skb)))
 235                 return -ENOMEM;
 236
 237         vxh = (struct vxlanhdr *) __skb_push(skb, sizeof(*vxh));
 238         vxh->vx_flags = htonl(VXLAN_FLAGS);
 239         vxh->vx_vni = vni;
 240
 241         __skb_push(skb, sizeof(*uh));
 242         skb_reset_transport_header(skb);
 243         uh = udp_hdr(skb);
 244
 245         uh->dest = dst_port;
 246         uh->source = src_port;
 247
 248         uh->len = htons(skb->len);
 249         uh->check = 0;
 250
 251         vxlan_set_owner(vs->sock->sk, skb);
 252
 253         err = handle_offloads(skb);
 254         if (err)
 255                 return err;
 256
 257         return iptunnel_xmit(net, rt, skb, src, dst,
 258                         IPPROTO_UDP, tos, ttl, df);
 259 }
 260
 261 static void rcu_free_vs(struct rcu_head *rcu)
 262 {
 263         struct vxlan_sock *vs = container_of(rcu, struct vxlan_sock, rcu);
 264
 265         kfree(vs);
 266 }
 267
 268 static void vxlan_del_work(struct work_struct *work)
 269 {
 270         struct vxlan_sock *vs = container_of(work, struct vxlan_sock, del_work);
 271
 272         sk_release_kernel(vs->sock->sk);
 273         call_rcu(&vs->rcu, rcu_free_vs);
 274         vxlan_cleanup_module();
 275 }
 276
 277 static struct vxlan_sock *vxlan_socket_create(struct net *net, __be16 port,
 278                                               vxlan_rcv_t *rcv, void *data)
 279 {
 280         struct vxlan_net *vn = net_generic(net, vxlan_net_id);
 281         struct vxlan_sock *vs;
 282         struct sock *sk;
 283         struct sockaddr_in vxlan_addr = {
 284                 .sin_family = AF_INET,
 285                 .sin_addr.s_addr = htonl(INADDR_ANY),
 286                 .sin_port = port,
 287         };
 288         int rc;
 289
 290         vs = kmalloc(sizeof(*vs), GFP_KERNEL);
 291         if (!vs) {
 292                 pr_debug("memory alocation failure\n");
 293                 return ERR_PTR(-ENOMEM);
 294         }
 295
 296         INIT_WORK(&vs->del_work, vxlan_del_work);
 297
 298         /* Create UDP socket for encapsulation receive. */
 299         rc = sock_create_kern(AF_INET, SOCK_DGRAM, IPPROTO_UDP, &vs->sock);
 300         if (rc < 0) {
 301                 pr_debug("UDP socket create failed\n");
 302                 kfree(vs);
 303                 return ERR_PTR(rc);
 304         }
 305
 306         /* Put in proper namespace */
 307         sk = vs->sock->sk;
 308         sk_change_net(sk, net);
 309
 310         rc = kernel_bind(vs->sock, (struct sockaddr *) &vxlan_addr,
 311                         sizeof(vxlan_addr));
 312         if (rc < 0) {
 313                 pr_debug("bind for UDP socket %pI4:%u (%d)\n",
 314                                 &vxlan_addr.sin_addr, ntohs(vxlan_addr.sin_port), rc);
 315                 sk_release_kernel(sk);
 316                 kfree(vs);
 317                 return ERR_PTR(rc);
 318         }
 319         vs->rcv = rcv;
 320         vs->data = data;
 321
 322         /* Disable multicast loopback */
 323         inet_sk(sk)->mc_loop = 0;
 324         spin_lock(&vn->sock_lock);
 325         hlist_add_head_rcu(&vs->hlist, vs_head(net, port));
 326         spin_unlock(&vn->sock_lock);
 327
 328         /* Mark socket as an encapsulation socket. */
 329         udp_sk(sk)->encap_type = 1;
 330         udp_sk(sk)->encap_rcv = vxlan_udp_encap_recv;
 331         udp_encap_enable();
 332         return vs;
 333 }
 334
 335 struct vxlan_sock *vxlan_sock_add(struct net *net, __be16 port,
 336                                   vxlan_rcv_t *rcv, void *data,
 337                                   bool no_share)
 338 {
 339         struct vxlan_net *vn;
 340         struct vxlan_sock *vs;
 341         int err;
 342
 343         err = vxlan_init_module();
 344         if (err)
 345                 return ERR_PTR(err);
 346
 347         vn = net_generic(net, vxlan_net_id);
 348         vs = vxlan_socket_create(net, port, rcv, data);
 349         return vs;
 350 }
 351
 352 void vxlan_sock_release(struct vxlan_sock *vs)
 353 {
 354         struct vxlan_net *vn = net_generic(sock_net(vs->sock->sk), vxlan_net_id);
 355
 356         spin_lock(&vn->sock_lock);
 357         hlist_del_rcu(&vs->hlist);
 358         spin_unlock(&vn->sock_lock);
 359
 360         queue_work(&vs->del_work);
 361 }
 362
 363 static int vxlan_init_net(struct net *net)
 364 {
 365         struct vxlan_net *vn = net_generic(net, vxlan_net_id);
 366         unsigned int h;
 367
 368         spin_lock_init(&vn->sock_lock);
 369
 370         for (h = 0; h < PORT_HASH_SIZE; ++h)
 371                 INIT_HLIST_HEAD(&vn->sock_list[h]);
 372
 373         return 0;
 374 }
 375
 376 static struct pernet_operations vxlan_net_ops = {
 377         .init = vxlan_init_net,
 378         .id   = &vxlan_net_id,
 379         .size = sizeof(struct vxlan_net),
 380 };
 381
 382 static int refcnt;
 383 static DEFINE_MUTEX(init_lock);
 384 DEFINE_COMPAT_PNET_REG_FUNC(device);
 385
 386 static int vxlan_init_module(void)
 387 {
 388         int err = 0;
 389
 390         mutex_lock(&init_lock);
 391         if (refcnt)
 392                 goto out;
 393         err = register_pernet_device(&vxlan_net_ops);
 394 out:
 395         if (!err)
 396                 refcnt++;
 397         mutex_unlock(&init_lock);
 398         return err;
 399 }
 400
 401 static void vxlan_cleanup_module(void)
 402 {
 403         mutex_lock(&init_lock);
 404         refcnt--;
 405         if (refcnt)
 406                 goto out;
 407         unregister_pernet_device(&vxlan_net_ops);
 408 out:
 409         mutex_unlock(&init_lock);
 410 }