thread safety for netdev_pltap and netdev_tunnel
[sliver-openvswitch.git] / lib / netdev-pltap.c
index 26a8a05..c8c7989 100644 (file)
 
 VLOG_DEFINE_THIS_MODULE(netdev_pltap);
 
+/* Protects 'sync_list'. */
+static struct ovs_mutex sync_list_mutex = OVS_MUTEX_INITIALIZER;
+
+static struct list sync_list OVS_GUARDED_BY(sync_list_mutex)
+    = LIST_INITIALIZER(&sync_list);
+
 struct netdev_pltap {
     struct netdev up;
+
+    /* In sync_list. */
+    struct list sync_list OVS_GUARDED_BY(sync_list_mutex);
+
+    /* Protects all members below. */
+    struct ovs_mutex mutex OVS_ACQ_AFTER(sync_list_mutex);
+
     char *real_name;
     struct netdev_stats stats;
     enum netdev_flags new_flags;
@@ -57,33 +70,32 @@ struct netdev_pltap {
     bool valid_local_ip;
     bool valid_local_netmask;
     bool sync_flags_needed;
-    struct list sync_list;
     unsigned int change_seq;
 };
 
-static const struct netdev_rx_class netdev_rx_pltap_class;
-
-static struct list sync_list;
 
 struct netdev_rx_pltap {
     struct netdev_rx up;    
     int fd;
 };
 
-static int af_inet_sock = -1;
-
 static struct vlog_rate_limit rl = VLOG_RATE_LIMIT_INIT(5, 20);
 
-static struct shash pltap_netdevs = SHASH_INITIALIZER(&pltap_netdevs);
+/* Protects 'pltap_netdevs' */
+static struct ovs_mutex pltap_netdevs_mutex = OVS_MUTEX_INITIALIZER;
+static struct shash pltap_netdevs OVS_GUARDED_BY(pltap_netdevs_mutex)
+    = SHASH_INITIALIZER(&pltap_netdevs);
 
-static int netdev_pltap_create(const struct netdev_class *, const char *,
-                               struct netdev **);
+static int netdev_pltap_construct(struct netdev *netdev_);
 
-static void netdev_pltap_update_seq(struct netdev_pltap *);
-static int get_flags(struct netdev_pltap *dev, enum netdev_flags *flags);
+static void netdev_pltap_update_seq(struct netdev_pltap *) 
+    OVS_REQUIRES(dev->mutex);
+static int get_flags(struct netdev_pltap *dev, enum netdev_flags *flags)
+    OVS_REQUIRES(dev->mutex);
 
 static bool
 netdev_pltap_finalized(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex)
 {
     return dev->valid_local_ip && dev->valid_local_netmask;
 }
@@ -91,7 +103,7 @@ netdev_pltap_finalized(struct netdev_pltap *dev)
 static bool
 is_netdev_pltap_class(const struct netdev_class *class)
 {
-    return class->create == netdev_pltap_create;
+    return class->construct == netdev_pltap_construct;
 }
 
 static struct netdev_pltap *
@@ -104,21 +116,22 @@ netdev_pltap_cast(const struct netdev *netdev)
 static struct netdev_rx_pltap*
 netdev_rx_pltap_cast(const struct netdev_rx *rx)
 {
-    netdev_rx_assert_class(rx, &netdev_rx_pltap_class);
+    ovs_assert(is_netdev_pltap_class(netdev_get_class(rx->netdev)));
     return CONTAINER_OF(rx, struct netdev_rx_pltap, up);
 }
 
 static void sync_needed(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex, sync_list_mutex)
 {
     if (dev->sync_flags_needed)
         return;
 
     dev->sync_flags_needed = true;
     list_insert(&sync_list, &dev->sync_list);
-       
 }
 
 static void sync_done(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex, sync_list_mutex)
 {
     if (!dev->sync_flags_needed)
         return;
@@ -127,93 +140,120 @@ static void sync_done(struct netdev_pltap *dev)
     dev->sync_flags_needed = false;
 }
 
+static struct netdev *
+netdev_pltap_alloc(void)
+{
+    struct netdev_pltap *netdev = xzalloc(sizeof *netdev);
+    return &netdev->up;
+}
+
 static int
-netdev_pltap_create(const struct netdev_class *class OVS_UNUSED, const char *name,
-                    struct netdev **netdevp)
+netdev_pltap_construct(struct netdev *netdev_)
 {
-    struct netdev_pltap *netdev;
+    struct netdev_pltap *netdev = netdev_pltap_cast(netdev_);
     int error;
 
-    netdev = xzalloc(sizeof *netdev);
-
+    ovs_mutex_init(&netdev->mutex, PTHREAD_MUTEX_NORMAL);
     netdev->real_name = xzalloc(IFNAMSIZ + 1);
     memset(&netdev->local_addr, 0, sizeof(netdev->local_addr));
     netdev->valid_local_ip = false;
     netdev->valid_local_netmask = false;
     netdev->flags = 0;
     netdev->sync_flags_needed = false;
-    list_init(&netdev->sync_list);
+    netdev->change_seq = 1;
 
 
     /* Open tap device. */
     netdev->fd = tun_alloc(IFF_TAP, netdev->real_name);
     if (netdev->fd < 0) {
         error = errno;
-        VLOG_WARN("tun_alloc(IFF_TAP, %s) failed: %s", name, ovs_strerror(error));
-        goto cleanup;
+        VLOG_WARN("tun_alloc(IFF_TAP, %s) failed: %s",
+            netdev_get_name(netdev_), ovs_strerror(error));
+        return error;
     }
     VLOG_DBG("real_name = %s", netdev->real_name);
 
     /* Make non-blocking. */
     error = set_nonblocking(netdev->fd);
     if (error) {
-        goto cleanup;
+        return error;
     }
 
-    netdev_init(&netdev->up, name, &netdev_pltap_class);
-    shash_add(&pltap_netdevs, name, netdev);
-    *netdevp = &netdev->up;
+    ovs_mutex_lock(&pltap_netdevs_mutex);
+    shash_add(&pltap_netdevs, netdev_get_name(netdev_), netdev);
+    ovs_mutex_unlock(&pltap_netdevs_mutex);
     return 0;
-
-cleanup:
-    free(netdev);
-    return error;
 }
 
 static void
-netdev_pltap_destroy(struct netdev *netdev_)
+netdev_pltap_destruct(struct netdev *netdev_)
 {
     struct netdev_pltap *netdev = netdev_pltap_cast(netdev_);
 
+    ovs_mutex_lock(&pltap_netdevs_mutex);
     if (netdev->fd != -1)
        close(netdev->fd);
 
-    sync_done(netdev);
+    if (netdev->sync_flags_needed) {
+        ovs_mutex_lock(&sync_list_mutex);
+        (void) list_remove(&netdev->sync_list);
+        ovs_mutex_unlock(&sync_list_mutex);
+    }
 
     shash_find_and_delete(&pltap_netdevs,
                           netdev_get_name(netdev_));
+    ovs_mutex_unlock(&pltap_netdevs_mutex);
+    ovs_mutex_destroy(&netdev->mutex);
+}
+
+static void
+netdev_pltap_dealloc(struct netdev *netdev_)
+{
+    struct netdev_pltap *netdev = netdev_pltap_cast(netdev_);
     free(netdev);
 }
 
-static int netdev_pltap_up(struct netdev_pltap *dev);
+static int netdev_pltap_up(struct netdev_pltap *dev) OVS_REQUIRES(dev->mutex);
+
+static struct netdev_rx *
+netdev_pltap_rx_alloc(void)
+{
+    struct netdev_rx_pltap *rx = xzalloc(sizeof *rx);
+    return &rx->up;
+}
 
 static int
-netdev_pltap_rx_open(struct netdev *netdev_, struct netdev_rx **rxp)
+netdev_pltap_rx_construct(struct netdev_rx *rx_)
 {
+    struct netdev_rx_pltap *rx = netdev_rx_pltap_cast(rx_);
+    struct netdev *netdev_ = rx->up.netdev;
     struct netdev_pltap *netdev =
         netdev_pltap_cast(netdev_);
-    struct netdev_rx_pltap *rx;
-    int err;
+    int error = 0;
 
-    rx = xmalloc(sizeof *rx);
-    netdev_rx_init(&rx->up, netdev_, &netdev_rx_pltap_class);
+    ovs_mutex_lock(&netdev->mutex);
     rx->fd = netdev->fd;
-    *rxp = &rx->up;
     if (!netdev_pltap_finalized(netdev))
-        return 0;
-    err = netdev_pltap_up(netdev);
-    if (err) {
-        free(rx);
-        *rxp = NULL;
-        return err;
+        goto out;
+    error = netdev_pltap_up(netdev);
+    if (error) {
+        goto out;
     }
-    return 0;
+out:
+    ovs_mutex_unlock(&netdev->mutex);
+    return error;
 }
 
 static void
-netdev_rx_pltap_destroy(struct netdev_rx *rx_)
+netdev_pltap_rx_destruct(struct netdev_rx *rx_ OVS_UNUSED)
+{
+}
+
+static void
+netdev_pltap_rx_dealloc(struct netdev_rx *rx_)
 {
     struct netdev_rx_pltap *rx = netdev_rx_pltap_cast(rx_);
+
     free(rx);
 }
 
@@ -341,6 +381,7 @@ cleanup:
 
 static int
 netdev_pltap_up(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex)
 {
     if (!netdev_pltap_finalized(dev)) {
         return 0;
@@ -354,6 +395,7 @@ netdev_pltap_up(struct netdev_pltap *dev)
 
 static int
 netdev_pltap_down(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex)
 {
     if (!netdev_pltap_finalized(dev)) {
         return 0;
@@ -364,6 +406,7 @@ netdev_pltap_down(struct netdev_pltap *dev)
 
 static int
 netdev_pltap_promisc(struct netdev_pltap *dev, bool promisc)
+    OVS_REQUIRES(dev-mutex)
 {
     if (!netdev_pltap_finalized(dev)) {
         return 0;
@@ -376,11 +419,13 @@ netdev_pltap_promisc(struct netdev_pltap *dev, bool promisc)
 
 static void
 netdev_pltap_sync_flags(struct netdev_pltap *dev)
+    OVS_REQUIRES(sync_list_mutex)
 {
 
+    ovs_mutex_lock(&dev->mutex);
+
     if (dev->fd < 0 || !netdev_pltap_finalized(dev)) {
-       sync_done(dev);
-       return;
+       goto out;
     }
     
     VLOG_DBG("sync_flags(%s): current: %s %s  target: %s %s",
@@ -401,7 +446,10 @@ netdev_pltap_sync_flags(struct netdev_pltap *dev)
     }
 
     netdev_pltap_update_seq(dev);
+
+out:
     sync_done(dev);
+    ovs_mutex_unlock(&dev->mutex);
 }
 
 
@@ -410,12 +458,14 @@ netdev_pltap_get_config(const struct netdev *dev_, struct smap *args)
 {
     struct netdev_pltap *netdev = netdev_pltap_cast(dev_);
 
+    ovs_mutex_lock(&netdev->mutex);
     if (netdev->valid_local_ip)
        smap_add_format(args, "local_ip", IP_FMT,
             IP_ARGS(netdev->local_addr.sin_addr.s_addr));
     if (netdev->valid_local_netmask)
         smap_add_format(args, "local_netmask", "%"PRIu32,
             ntohs(netdev->local_netmask));
+    ovs_mutex_unlock(&netdev->mutex);
     return 0;
 }
 
@@ -425,6 +475,8 @@ netdev_pltap_set_config(struct netdev *dev_, const struct smap *args)
     struct netdev_pltap *netdev = netdev_pltap_cast(dev_);
     struct shash_node *node;
 
+    ovs_mutex_lock(&sync_list_mutex);
+    ovs_mutex_lock(&netdev->mutex);
     VLOG_DBG("pltap_set_config(%s)", netdev_get_name(dev_));
     SMAP_FOR_EACH(node, args) {
         VLOG_DBG("arg: %s->%s", node->name, (char*)node->data);
@@ -449,16 +501,18 @@ netdev_pltap_set_config(struct netdev *dev_, const struct smap *args)
         netdev->new_flags |= NETDEV_UP;
         sync_needed(netdev);
     }
+    ovs_mutex_unlock(&netdev->mutex);
+    ovs_mutex_unlock(&sync_list_mutex);
     return 0;
 }
 
 static int
-netdev_rx_pltap_recv(struct netdev_rx *rx_, void *buffer, size_t size)
+netdev_pltap_rx_recv(struct netdev_rx *rx_, void *buffer, size_t size)
 {
     struct netdev_rx_pltap *rx = netdev_rx_pltap_cast(rx_);
-    char prefix[4];
+    struct tun_pi pi;
     struct iovec iov[2] = {
-        { .iov_base = prefix, .iov_len = 4 },
+        { .iov_base = &pi, .iov_len = sizeof(pi) },
        { .iov_base = buffer, .iov_len = size }
     };
     for (;;) {
@@ -481,7 +535,7 @@ netdev_rx_pltap_recv(struct netdev_rx *rx_, void *buffer, size_t size)
 }
 
 static void
-netdev_rx_pltap_wait(struct netdev_rx *rx_)
+netdev_pltap_rx_wait(struct netdev_rx *rx_)
 {
     struct netdev_rx_pltap *rx = netdev_rx_pltap_cast(rx_);
     struct netdev_pltap *netdev =
@@ -496,9 +550,9 @@ netdev_pltap_send(struct netdev *netdev_, const void *buffer, size_t size)
 {
     struct netdev_pltap *dev = 
        netdev_pltap_cast(netdev_);
-    char prefix[4] = { 0, 0, 8, 6 };
+    struct tun_pi pi = { 0, 0x86 };
     struct iovec iov[2] = {
-        { .iov_base = prefix, .iov_len = 4 },
+        { .iov_base = &pi, .iov_len = sizeof(pi) },
        { .iov_base = (char*) buffer, .iov_len = size }
     };
     if (dev->fd < 0)
@@ -533,7 +587,7 @@ netdev_pltap_send_wait(struct netdev *netdev_)
 }
 
 static int
-netdev_rx_pltap_drain(struct netdev_rx *rx_)
+netdev_pltap_rx_drain(struct netdev_rx *rx_)
 {
     struct netdev_rx_pltap *rx = netdev_rx_pltap_cast(rx_);
     char buffer[128];
@@ -564,20 +618,18 @@ netdev_pltap_set_etheraddr(struct netdev *netdevi OVS_UNUSED,
 // XXX from netdev-linux.c
 static int
 get_etheraddr(struct netdev_pltap *dev, uint8_t ea[ETH_ADDR_LEN])
+    OVS_REQUIRES(dev->mutex)
 {
     struct ifreq ifr;
     int hwaddr_family;
+    int error;
 
     memset(&ifr, 0, sizeof ifr);
     ovs_strzcpy(ifr.ifr_name, dev->real_name, sizeof ifr.ifr_name);
-    if (ioctl(af_inet_sock, SIOCGIFHWADDR, &ifr) < 0) {
-        /* ENODEV probably means that a vif disappeared asynchronously and
-         * hasn't been removed from the database yet, so reduce the log level
-         * to INFO for that case. */
-        VLOG(errno == ENODEV ? VLL_INFO : VLL_ERR,
-             "ioctl(SIOCGIFHWADDR) on %s device failed: %s",
-             dev->real_name, ovs_strerror(errno));
-        return errno;
+    error = af_inet_ifreq_ioctl(dev->real_name, &ifr,
+        SIOCGIFHWADDR, "SIOCGIFHWADDR");
+    if (error) {
+        return error;
     }
     hwaddr_family = ifr.ifr_hwaddr.sa_family;
     if (hwaddr_family != AF_UNSPEC && hwaddr_family != ARPHRD_ETHER) {
@@ -590,13 +642,16 @@ get_etheraddr(struct netdev_pltap *dev, uint8_t ea[ETH_ADDR_LEN])
 
 static int
 get_flags(struct netdev_pltap *dev, enum netdev_flags *flags)
+    OVS_REQUIRES(dev->mutex)
 {
     struct ifreq ifr;
+    int error;
 
-    memset(&ifr, 0, sizeof ifr);
-    ovs_strzcpy(ifr.ifr_name, dev->real_name, sizeof ifr.ifr_name);
-    if (ioctl(af_inet_sock, SIOCGIFFLAGS, &ifr) < 0)
-       return errno;
+    error = af_inet_ifreq_ioctl(dev->real_name, &ifr,
+        SIOCGIFFLAGS, "SIOCGIFFLAGS");
+    if (error) {
+        return error;
+    }
     *flags = 0;
     if (ifr.ifr_flags & IFF_UP)
        *flags |= NETDEV_UP;
@@ -611,9 +666,18 @@ netdev_pltap_get_etheraddr(const struct netdev *netdev,
 {
     struct netdev_pltap *dev = 
        netdev_pltap_cast(netdev);
-    if (dev->fd < 0)
-        return EAGAIN;
-    return get_etheraddr(dev, mac);
+    int error = 0;
+
+    ovs_mutex_lock(&dev->mutex);
+    if (dev->fd < 0) {
+        error = EAGAIN;
+        goto out;
+    }
+    error = get_etheraddr(dev, mac);
+
+out:
+    ovs_mutex_unlock(&dev->mutex);
+    return error;
 }
 
 
@@ -640,8 +704,11 @@ netdev_pltap_update_flags(struct netdev *dev_,
         netdev_pltap_cast(dev_);
     int error = 0;
 
+    ovs_mutex_lock(&sync_list_mutex);
+    ovs_mutex_lock(&netdev->mutex);
     if ((off | on) & ~(NETDEV_UP | NETDEV_PROMISC)) {
-        return EINVAL;
+        error = EINVAL;
+        goto out;
     }
 
     if (netdev_pltap_finalized(netdev)) {
@@ -655,19 +722,31 @@ netdev_pltap_update_flags(struct netdev *dev_,
         sync_needed(netdev);
     }
 
+out:
+    ovs_mutex_unlock(&netdev->mutex);
+    ovs_mutex_unlock(&sync_list_mutex);
     return error;
 }
 
 static unsigned int
 netdev_pltap_change_seq(const struct netdev *netdev)
 {
-    return netdev_pltap_cast(netdev)->change_seq;
+    struct netdev_pltap *dev =
+        netdev_pltap_cast(netdev);
+    unsigned int change_seq;
+
+    ovs_mutex_lock(&dev->mutex);
+    change_seq = dev->change_seq;
+    ovs_mutex_unlock(&dev->mutex);
+
+    return change_seq;
 }
 \f
 /* Helper functions. */
 
 static void
 netdev_pltap_update_seq(struct netdev_pltap *dev)
+    OVS_REQUIRES(dev->mutex)
 {
     dev->change_seq++;
     if (!dev->change_seq) {
@@ -681,27 +760,26 @@ netdev_pltap_get_real_name(struct unixctl_conn *conn,
 {
     struct netdev_pltap *pltap_dev;
 
+    ovs_mutex_lock(&pltap_netdevs_mutex);
     pltap_dev = shash_find_data(&pltap_netdevs, argv[1]);
     if (!pltap_dev) {
         unixctl_command_reply_error(conn, "no such pltap netdev");
-        return;
+        goto out;
     }
     if (pltap_dev->fd < 0) {
        unixctl_command_reply_error(conn, "no real device attached");
-       return;
+        goto out;      
     }
 
     unixctl_command_reply(conn, pltap_dev->real_name);
+
+out:
+    ovs_mutex_unlock(&pltap_netdevs_mutex);
 }
 
 static int
 netdev_pltap_init(void)
 {
-    list_init(&sync_list);
-    af_inet_sock = socket(AF_INET, SOCK_DGRAM, 0);
-    if (af_inet_sock < 0) {
-        VLOG_ERR("failed to create inet socket: %s", ovs_strerror(errno));
-    }
     unixctl_command_register("netdev-pltap/get-tapname", "port",
                              1, 1, netdev_pltap_get_real_name, NULL);
     return 0;
@@ -711,18 +789,22 @@ static void
 netdev_pltap_run(void)
 {
     struct netdev_pltap *iter, *next;
+    ovs_mutex_lock(&sync_list_mutex);
     LIST_FOR_EACH_SAFE(iter, next, sync_list, &sync_list) {
         netdev_pltap_sync_flags(iter);
     }
+    ovs_mutex_unlock(&sync_list_mutex);
 }
 
 static void
 netdev_pltap_wait(void)
 {
+    ovs_mutex_lock(&sync_list_mutex);
     if (!list_is_empty(&sync_list)) {
         VLOG_DBG("netdev_pltap: scheduling sync");
         poll_immediate_wake();
     }
+    ovs_mutex_unlock(&sync_list_mutex);
 }
 
 const struct netdev_class netdev_pltap_class = {
@@ -731,23 +813,23 @@ const struct netdev_class netdev_pltap_class = {
     netdev_pltap_run,  
     netdev_pltap_wait,            
 
-    netdev_pltap_create,
-    netdev_pltap_destroy,
+    netdev_pltap_alloc,
+    netdev_pltap_construct,
+    netdev_pltap_destruct,
+    netdev_pltap_dealloc,
     netdev_pltap_get_config,
     netdev_pltap_set_config, 
-    NULL,                      /* get_tunnel_config */
-
-    netdev_pltap_rx_open,
+    NULL,                                  /* get_tunnel_config */
 
     netdev_pltap_send, 
     netdev_pltap_send_wait,  
 
     netdev_pltap_set_etheraddr,
     netdev_pltap_get_etheraddr,
-    NULL,                      /* get_mtu */
-    NULL,                      /* set_mtu */
+    NULL,                                  /* get_mtu */
+    NULL,                                  /* set_mtu */
     NULL,                       /* get_ifindex */
-    NULL,                      /* get_carrier */
+    NULL,                                  /* get_carrier */
     NULL,                       /* get_carrier_resets */
     NULL,                       /* get_miimon */
     netdev_pltap_get_stats,
@@ -778,13 +860,13 @@ const struct netdev_class netdev_pltap_class = {
 
     netdev_pltap_update_flags,
 
-    netdev_pltap_change_seq
-};
-
-static const struct netdev_rx_class netdev_rx_pltap_class = {
-    netdev_rx_pltap_destroy,
-    netdev_rx_pltap_recv,
-    netdev_rx_pltap_wait,
-    netdev_rx_pltap_drain,
+    netdev_pltap_change_seq,
 
+    netdev_pltap_rx_alloc,
+    netdev_pltap_rx_construct,
+    netdev_pltap_rx_destruct,
+    netdev_pltap_rx_dealloc,
+    netdev_pltap_rx_recv,
+    netdev_pltap_rx_wait,
+    netdev_pltap_rx_drain,
 };