43c273e74a7d314639e705476a9106342154a224
[linux-2.6.git] / net / core / dev.c
1 /*
2  *      NET3    Protocol independent device support routines.
3  *
4  *              This program is free software; you can redistribute it and/or
5  *              modify it under the terms of the GNU General Public License
6  *              as published by the Free Software Foundation; either version
7  *              2 of the License, or (at your option) any later version.
8  *
9  *      Derived from the non IP parts of dev.c 1.0.19
10  *              Authors:        Ross Biro, <bir7@leland.Stanford.Edu>
11  *                              Fred N. van Kempen, <waltje@uWalt.NL.Mugnet.ORG>
12  *                              Mark Evans, <evansmp@uhura.aston.ac.uk>
13  *
14  *      Additional Authors:
15  *              Florian la Roche <rzsfl@rz.uni-sb.de>
16  *              Alan Cox <gw4pts@gw4pts.ampr.org>
17  *              David Hinds <dahinds@users.sourceforge.net>
18  *              Alexey Kuznetsov <kuznet@ms2.inr.ac.ru>
19  *              Adam Sulmicki <adam@cfar.umd.edu>
20  *              Pekka Riikonen <priikone@poesidon.pspt.fi>
21  *
22  *      Changes:
23  *              D.J. Barrow     :       Fixed bug where dev->refcnt gets set
24  *                                      to 2 if register_netdev gets called
25  *                                      before net_dev_init & also removed a
26  *                                      few lines of code in the process.
27  *              Alan Cox        :       device private ioctl copies fields back.
28  *              Alan Cox        :       Transmit queue code does relevant
29  *                                      stunts to keep the queue safe.
30  *              Alan Cox        :       Fixed double lock.
31  *              Alan Cox        :       Fixed promisc NULL pointer trap
32  *              ????????        :       Support the full private ioctl range
33  *              Alan Cox        :       Moved ioctl permission check into
34  *                                      drivers
35  *              Tim Kordas      :       SIOCADDMULTI/SIOCDELMULTI
36  *              Alan Cox        :       100 backlog just doesn't cut it when
37  *                                      you start doing multicast video 8)
38  *              Alan Cox        :       Rewrote net_bh and list manager.
39  *              Alan Cox        :       Fix ETH_P_ALL echoback lengths.
40  *              Alan Cox        :       Took out transmit every packet pass
41  *                                      Saved a few bytes in the ioctl handler
42  *              Alan Cox        :       Network driver sets packet type before
43  *                                      calling netif_rx. Saves a function
44  *                                      call a packet.
45  *              Alan Cox        :       Hashed net_bh()
46  *              Richard Kooijman:       Timestamp fixes.
47  *              Alan Cox        :       Wrong field in SIOCGIFDSTADDR
48  *              Alan Cox        :       Device lock protection.
49  *              Alan Cox        :       Fixed nasty side effect of device close
50  *                                      changes.
51  *              Rudi Cilibrasi  :       Pass the right thing to
52  *                                      set_mac_address()
53  *              Dave Miller     :       32bit quantity for the device lock to
54  *                                      make it work out on a Sparc.
55  *              Bjorn Ekwall    :       Added KERNELD hack.
56  *              Alan Cox        :       Cleaned up the backlog initialise.
57  *              Craig Metz      :       SIOCGIFCONF fix if space for under
58  *                                      1 device.
59  *          Thomas Bogendoerfer :       Return ENODEV for dev_open, if there
60  *                                      is no device open function.
61  *              Andi Kleen      :       Fix error reporting for SIOCGIFCONF
62  *          Michael Chastain    :       Fix signed/unsigned for SIOCGIFCONF
63  *              Cyrus Durgin    :       Cleaned for KMOD
64  *              Adam Sulmicki   :       Bug Fix : Network Device Unload
65  *                                      A network device unload needs to purge
66  *                                      the backlog queue.
67  *      Paul Rusty Russell      :       SIOCSIFNAME
68  *              Pekka Riikonen  :       Netdev boot-time settings code
69  *              Andrew Morton   :       Make unregister_netdevice wait
70  *                                      indefinitely on dev->refcnt
71  *              J Hadi Salim    :       - Backlog queue sampling
72  *                                      - netif_rx() feedback
73  */
74
75 #include <asm/uaccess.h>
76 #include <asm/system.h>
77 #include <asm/bitops.h>
78 #include <linux/config.h>
79 #include <linux/cpu.h>
80 #include <linux/types.h>
81 #include <linux/kernel.h>
82 #include <linux/sched.h>
83 #include <linux/string.h>
84 #include <linux/mm.h>
85 #include <linux/socket.h>
86 #include <linux/sockios.h>
87 #include <linux/errno.h>
88 #include <linux/interrupt.h>
89 #include <linux/if_ether.h>
90 #include <linux/netdevice.h>
91 #include <linux/etherdevice.h>
92 #include <linux/notifier.h>
93 #include <linux/skbuff.h>
94 #include <net/sock.h>
95 #include <linux/rtnetlink.h>
96 #include <linux/proc_fs.h>
97 #include <linux/seq_file.h>
98 #include <linux/stat.h>
99 #include <linux/if_bridge.h>
100 #include <linux/divert.h>
101 #include <net/dst.h>
102 #include <net/pkt_sched.h>
103 #include <net/checksum.h>
104 #include <linux/highmem.h>
105 #include <linux/init.h>
106 #include <linux/kmod.h>
107 #include <linux/module.h>
108 #include <linux/kallsyms.h>
109 #include <linux/netpoll.h>
110 #ifdef CONFIG_NET_RADIO
111 #include <linux/wireless.h>             /* Note : will define WIRELESS_EXT */
112 #include <net/iw_handler.h>
113 #endif  /* CONFIG_NET_RADIO */
114 #include <asm/current.h>
115
116 /* This define, if set, will randomly drop a packet when congestion
117  * is more than moderate.  It helps fairness in the multi-interface
118  * case when one of them is a hog, but it kills performance for the
119  * single interface case so it is off now by default.
120  */
121 #undef RAND_LIE
122
123 /* Setting this will sample the queue lengths and thus congestion
124  * via a timer instead of as each packet is received.
125  */
126 #undef OFFLINE_SAMPLE
127
128 /*
129  *      The list of packet types we will receive (as opposed to discard)
130  *      and the routines to invoke.
131  *
132  *      Why 16. Because with 16 the only overlap we get on a hash of the
133  *      low nibble of the protocol value is RARP/SNAP/X.25.
134  *
135  *      NOTE:  That is no longer true with the addition of VLAN tags.  Not
136  *             sure which should go first, but I bet it won't make much
137  *             difference if we are running VLANs.  The good news is that
138  *             this protocol won't be in the list unless compiled in, so
139  *             the average user (w/out VLANs) will not be adversly affected.
140  *             --BLG
141  *
142  *              0800    IP
143  *              8100    802.1Q VLAN
144  *              0001    802.3
145  *              0002    AX.25
146  *              0004    802.2
147  *              8035    RARP
148  *              0005    SNAP
149  *              0805    X.25
150  *              0806    ARP
151  *              8137    IPX
152  *              0009    Localtalk
153  *              86DD    IPv6
154  */
155
156 static spinlock_t ptype_lock = SPIN_LOCK_UNLOCKED;
157 static struct list_head ptype_base[16]; /* 16 way hashed list */
158 static struct list_head ptype_all;              /* Taps */
159
160 #ifdef OFFLINE_SAMPLE
161 static void sample_queue(unsigned long dummy);
162 static struct timer_list samp_timer = TIMER_INITIALIZER(sample_queue, 0, 0);
163 #endif
164
165 /*
166  * The @dev_base list is protected by @dev_base_lock and the rtln
167  * semaphore.
168  *
169  * Pure readers hold dev_base_lock for reading.
170  *
171  * Writers must hold the rtnl semaphore while they loop through the
172  * dev_base list, and hold dev_base_lock for writing when they do the
173  * actual updates.  This allows pure readers to access the list even
174  * while a writer is preparing to update it.
175  *
176  * To put it another way, dev_base_lock is held for writing only to
177  * protect against pure readers; the rtnl semaphore provides the
178  * protection against other writers.
179  *
180  * See, for example usages, register_netdevice() and
181  * unregister_netdevice(), which must be called with the rtnl
182  * semaphore held.
183  */
184 struct net_device *dev_base;
185 struct net_device **dev_tail = &dev_base;
186 rwlock_t dev_base_lock = RW_LOCK_UNLOCKED;
187
188 EXPORT_SYMBOL(dev_base);
189 EXPORT_SYMBOL(dev_base_lock);
190
191 #define NETDEV_HASHBITS 8
192 static struct hlist_head dev_name_head[1<<NETDEV_HASHBITS];
193 static struct hlist_head dev_index_head[1<<NETDEV_HASHBITS];
194
195 static inline struct hlist_head *dev_name_hash(const char *name)
196 {
197         unsigned hash = full_name_hash(name, strnlen(name, IFNAMSIZ));
198         return &dev_name_head[hash & ((1<<NETDEV_HASHBITS)-1)];
199 }
200
201 static inline struct hlist_head *dev_index_hash(int ifindex)
202 {
203         return &dev_index_head[ifindex & ((1<<NETDEV_HASHBITS)-1)];
204 }
205
206 /*
207  *      Our notifier list
208  */
209
210 static struct notifier_block *netdev_chain;
211
212 /*
213  *      Device drivers call our routines to queue packets here. We empty the
214  *      queue in the local softnet handler.
215  */
216 DEFINE_PER_CPU(struct softnet_data, softnet_data) = { 0, };
217
218 #ifdef CONFIG_NET_FASTROUTE
219 int netdev_fastroute;
220 int netdev_fastroute_obstacles;
221 #endif
222
223 extern int netdev_sysfs_init(void);
224 extern int netdev_register_sysfs(struct net_device *);
225 extern int netdev_unregister_sysfs(struct net_device *);
226
227
228 /*******************************************************************************
229
230                 Protocol management and registration routines
231
232 *******************************************************************************/
233
234 /*
235  *      For efficiency
236  */
237
238 int netdev_nit;
239
240 /*
241  *      Add a protocol ID to the list. Now that the input handler is
242  *      smarter we can dispense with all the messy stuff that used to be
243  *      here.
244  *
245  *      BEWARE!!! Protocol handlers, mangling input packets,
246  *      MUST BE last in hash buckets and checking protocol handlers
247  *      MUST start from promiscuous ptype_all chain in net_bh.
248  *      It is true now, do not change it.
249  *      Explanation follows: if protocol handler, mangling packet, will
250  *      be the first on list, it is not able to sense, that packet
251  *      is cloned and should be copied-on-write, so that it will
252  *      change it and subsequent readers will get broken packet.
253  *                                                      --ANK (980803)
254  */
255
256 /**
257  *      dev_add_pack - add packet handler
258  *      @pt: packet type declaration
259  *
260  *      Add a protocol handler to the networking stack. The passed &packet_type
261  *      is linked into kernel lists and may not be freed until it has been
262  *      removed from the kernel lists.
263  *
264  *      This call does not sleep therefore it can not 
265  *      guarantee all CPU's that are in middle of receiving packets
266  *      will see the new packet type (until the next received packet).
267  */
268
269 void dev_add_pack(struct packet_type *pt)
270 {
271         int hash;
272
273         spin_lock_bh(&ptype_lock);
274 #ifdef CONFIG_NET_FASTROUTE
275         if (pt->af_packet_priv) {
276                 netdev_fastroute_obstacles++;
277                 dev_clear_fastroute(pt->dev);
278         }
279 #endif
280         if (pt->type == htons(ETH_P_ALL)) {
281                 netdev_nit++;
282                 list_add_rcu(&pt->list, &ptype_all);
283         } else {
284                 hash = ntohs(pt->type) & 15;
285                 list_add_rcu(&pt->list, &ptype_base[hash]);
286         }
287         spin_unlock_bh(&ptype_lock);
288 }
289
290 extern void linkwatch_run_queue(void);
291
292
293
294 /**
295  *      __dev_remove_pack        - remove packet handler
296  *      @pt: packet type declaration
297  *
298  *      Remove a protocol handler that was previously added to the kernel
299  *      protocol handlers by dev_add_pack(). The passed &packet_type is removed
300  *      from the kernel lists and can be freed or reused once this function
301  *      returns. 
302  *
303  *      The packet type might still be in use by receivers
304  *      and must not be freed until after all the CPU's have gone
305  *      through a quiescent state.
306  */
307 void __dev_remove_pack(struct packet_type *pt)
308 {
309         struct list_head *head;
310         struct packet_type *pt1;
311
312         spin_lock_bh(&ptype_lock);
313
314         if (pt->type == htons(ETH_P_ALL)) {
315                 netdev_nit--;
316                 head = &ptype_all;
317         } else
318                 head = &ptype_base[ntohs(pt->type) & 15];
319
320         list_for_each_entry(pt1, head, list) {
321                 if (pt == pt1) {
322 #ifdef CONFIG_NET_FASTROUTE
323                         if (pt->af_packet_priv)
324                                 netdev_fastroute_obstacles--;
325 #endif
326                         list_del_rcu(&pt->list);
327                         goto out;
328                 }
329         }
330
331         printk(KERN_WARNING "dev_remove_pack: %p not found.\n", pt);
332 out:
333         spin_unlock_bh(&ptype_lock);
334 }
335 /**
336  *      dev_remove_pack  - remove packet handler
337  *      @pt: packet type declaration
338  *
339  *      Remove a protocol handler that was previously added to the kernel
340  *      protocol handlers by dev_add_pack(). The passed &packet_type is removed
341  *      from the kernel lists and can be freed or reused once this function
342  *      returns.
343  *
344  *      This call sleeps to guarantee that no CPU is looking at the packet
345  *      type after return.
346  */
347 void dev_remove_pack(struct packet_type *pt)
348 {
349         __dev_remove_pack(pt);
350         
351         synchronize_net();
352 }
353
354 /******************************************************************************
355
356                       Device Boot-time Settings Routines
357
358 *******************************************************************************/
359
360 /* Boot time configuration table */
361 static struct netdev_boot_setup dev_boot_setup[NETDEV_BOOT_SETUP_MAX];
362
363 /**
364  *      netdev_boot_setup_add   - add new setup entry
365  *      @name: name of the device
366  *      @map: configured settings for the device
367  *
368  *      Adds new setup entry to the dev_boot_setup list.  The function
369  *      returns 0 on error and 1 on success.  This is a generic routine to
370  *      all netdevices.
371  */
372 int netdev_boot_setup_add(char *name, struct ifmap *map)
373 {
374         struct netdev_boot_setup *s;
375         int i;
376
377         s = dev_boot_setup;
378         for (i = 0; i < NETDEV_BOOT_SETUP_MAX; i++) {
379                 if (s[i].name[0] == '\0' || s[i].name[0] == ' ') {
380                         memset(s[i].name, 0, sizeof(s[i].name));
381                         strcpy(s[i].name, name);
382                         memcpy(&s[i].map, map, sizeof(s[i].map));
383                         break;
384                 }
385         }
386
387         return i >= NETDEV_BOOT_SETUP_MAX ? 0 : 1;
388 }
389
390 /**
391  *      netdev_boot_setup_check - check boot time settings
392  *      @dev: the netdevice
393  *
394  *      Check boot time settings for the device.
395  *      The found settings are set for the device to be used
396  *      later in the device probing.
397  *      Returns 0 if no settings found, 1 if they are.
398  */
399 int netdev_boot_setup_check(struct net_device *dev)
400 {
401         struct netdev_boot_setup *s = dev_boot_setup;
402         int i;
403
404         for (i = 0; i < NETDEV_BOOT_SETUP_MAX; i++) {
405                 if (s[i].name[0] != '\0' && s[i].name[0] != ' ' &&
406                     !strncmp(dev->name, s[i].name, strlen(s[i].name))) {
407                         dev->irq        = s[i].map.irq;
408                         dev->base_addr  = s[i].map.base_addr;
409                         dev->mem_start  = s[i].map.mem_start;
410                         dev->mem_end    = s[i].map.mem_end;
411                         return 1;
412                 }
413         }
414         return 0;
415 }
416
417
418 /**
419  *      netdev_boot_base        - get address from boot time settings
420  *      @prefix: prefix for network device
421  *      @unit: id for network device
422  *
423  *      Check boot time settings for the base address of device.
424  *      The found settings are set for the device to be used
425  *      later in the device probing.
426  *      Returns 0 if no settings found.
427  */
428 unsigned long netdev_boot_base(const char *prefix, int unit)
429 {
430         const struct netdev_boot_setup *s = dev_boot_setup;
431         char name[IFNAMSIZ];
432         int i;
433
434         sprintf(name, "%s%d", prefix, unit);
435
436         /*
437          * If device already registered then return base of 1
438          * to indicate not to probe for this interface
439          */
440         if (__dev_get_by_name(name))
441                 return 1;
442
443         for (i = 0; i < NETDEV_BOOT_SETUP_MAX; i++)
444                 if (!strcmp(name, s[i].name))
445                         return s[i].map.base_addr;
446         return 0;
447 }
448
449 /*
450  * Saves at boot time configured settings for any netdevice.
451  */
452 int __init netdev_boot_setup(char *str)
453 {
454         int ints[5];
455         struct ifmap map;
456
457         str = get_options(str, ARRAY_SIZE(ints), ints);
458         if (!str || !*str)
459                 return 0;
460
461         /* Save settings */
462         memset(&map, 0, sizeof(map));
463         if (ints[0] > 0)
464                 map.irq = ints[1];
465         if (ints[0] > 1)
466                 map.base_addr = ints[2];
467         if (ints[0] > 2)
468                 map.mem_start = ints[3];
469         if (ints[0] > 3)
470                 map.mem_end = ints[4];
471
472         /* Add new entry to the list */
473         return netdev_boot_setup_add(str, &map);
474 }
475
476 __setup("netdev=", netdev_boot_setup);
477
478 /*******************************************************************************
479
480                             Device Interface Subroutines
481
482 *******************************************************************************/
483
484 /**
485  *      __dev_get_by_name       - find a device by its name
486  *      @name: name to find
487  *
488  *      Find an interface by name. Must be called under RTNL semaphore
489  *      or @dev_base_lock. If the name is found a pointer to the device
490  *      is returned. If the name is not found then %NULL is returned. The
491  *      reference counters are not incremented so the caller must be
492  *      careful with locks.
493  */
494
495 struct net_device *__dev_get_by_name(const char *name)
496 {
497         struct hlist_node *p;
498
499         hlist_for_each(p, dev_name_hash(name)) {
500                 struct net_device *dev
501                         = hlist_entry(p, struct net_device, name_hlist);
502                 if (!strncmp(dev->name, name, IFNAMSIZ))
503                         return dev;
504         }
505         return NULL;
506 }
507
508 /**
509  *      dev_get_by_name         - find a device by its name
510  *      @name: name to find
511  *
512  *      Find an interface by name. This can be called from any
513  *      context and does its own locking. The returned handle has
514  *      the usage count incremented and the caller must use dev_put() to
515  *      release it when it is no longer needed. %NULL is returned if no
516  *      matching device is found.
517  */
518
519 struct net_device *dev_get_by_name(const char *name)
520 {
521         struct net_device *dev;
522
523         read_lock(&dev_base_lock);
524         dev = __dev_get_by_name(name);
525         if (dev)
526                 dev_hold(dev);
527         read_unlock(&dev_base_lock);
528         return dev;
529 }
530
531 /*
532    Return value is changed to int to prevent illegal usage in future.
533    It is still legal to use to check for device existence.
534
535    User should understand, that the result returned by this function
536    is meaningless, if it was not issued under rtnl semaphore.
537  */
538
539 /**
540  *      dev_get -       test if a device exists
541  *      @name:  name to test for
542  *
543  *      Test if a name exists. Returns true if the name is found. In order
544  *      to be sure the name is not allocated or removed during the test the
545  *      caller must hold the rtnl semaphore.
546  *
547  *      This function exists only for back compatibility with older
548  *      drivers.
549  */
550 int __dev_get(const char *name)
551 {
552         struct net_device *dev;
553
554         read_lock(&dev_base_lock);
555         dev = __dev_get_by_name(name);
556         read_unlock(&dev_base_lock);
557         return dev != NULL;
558 }
559
560 /**
561  *      __dev_get_by_index - find a device by its ifindex
562  *      @ifindex: index of device
563  *
564  *      Search for an interface by index. Returns %NULL if the device
565  *      is not found or a pointer to the device. The device has not
566  *      had its reference counter increased so the caller must be careful
567  *      about locking. The caller must hold either the RTNL semaphore
568  *      or @dev_base_lock.
569  */
570
571 struct net_device *__dev_get_by_index(int ifindex)
572 {
573         struct hlist_node *p;
574
575         hlist_for_each(p, dev_index_hash(ifindex)) {
576                 struct net_device *dev
577                         = hlist_entry(p, struct net_device, index_hlist);
578                 if (dev->ifindex == ifindex)
579                         return dev;
580         }
581         return NULL;
582 }
583
584
585 /**
586  *      dev_get_by_index - find a device by its ifindex
587  *      @ifindex: index of device
588  *
589  *      Search for an interface by index. Returns NULL if the device
590  *      is not found or a pointer to the device. The device returned has
591  *      had a reference added and the pointer is safe until the user calls
592  *      dev_put to indicate they have finished with it.
593  */
594
595 struct net_device *dev_get_by_index(int ifindex)
596 {
597         struct net_device *dev;
598
599         read_lock(&dev_base_lock);
600         dev = __dev_get_by_index(ifindex);
601         if (dev)
602                 dev_hold(dev);
603         read_unlock(&dev_base_lock);
604         return dev;
605 }
606
607 /**
608  *      dev_getbyhwaddr - find a device by its hardware address
609  *      @type: media type of device
610  *      @ha: hardware address
611  *
612  *      Search for an interface by MAC address. Returns NULL if the device
613  *      is not found or a pointer to the device. The caller must hold the
614  *      rtnl semaphore. The returned device has not had its ref count increased
615  *      and the caller must therefore be careful about locking
616  *
617  *      BUGS:
618  *      If the API was consistent this would be __dev_get_by_hwaddr
619  */
620
621 struct net_device *dev_getbyhwaddr(unsigned short type, char *ha)
622 {
623         struct net_device *dev;
624
625         ASSERT_RTNL();
626
627         for (dev = dev_base; dev; dev = dev->next)
628                 if (dev->type == type &&
629                     !memcmp(dev->dev_addr, ha, dev->addr_len))
630                         break;
631         return dev;
632 }
633
634 struct net_device *__dev_getfirstbyhwtype(unsigned short type)
635 {
636         struct net_device *dev;
637
638         for (dev = dev_base; dev; dev = dev->next)
639                 if (dev->type == type)
640                         break;
641         return dev;
642 }
643
644 EXPORT_SYMBOL(__dev_getfirstbyhwtype);
645
646 struct net_device *dev_getfirstbyhwtype(unsigned short type)
647 {
648         struct net_device *dev;
649
650         rtnl_lock();
651         dev = __dev_getfirstbyhwtype(type);
652         if (dev)
653                 dev_hold(dev);
654         rtnl_unlock();
655         return dev;
656 }
657
658 EXPORT_SYMBOL(dev_getfirstbyhwtype);
659
660 /**
661  *      dev_get_by_flags - find any device with given flags
662  *      @if_flags: IFF_* values
663  *      @mask: bitmask of bits in if_flags to check
664  *
665  *      Search for any interface with the given flags. Returns NULL if a device
666  *      is not found or a pointer to the device. The device returned has 
667  *      had a reference added and the pointer is safe until the user calls
668  *      dev_put to indicate they have finished with it.
669  */
670
671 struct net_device * dev_get_by_flags(unsigned short if_flags, unsigned short mask)
672 {
673         struct net_device *dev;
674
675         read_lock(&dev_base_lock);
676         dev = __dev_get_by_flags(if_flags, mask);
677         if (dev)
678                 dev_hold(dev);
679         read_unlock(&dev_base_lock);
680         return dev;
681 }
682
683 /**
684  *      __dev_get_by_flags - find any device with given flags
685  *      @if_flags: IFF_* values
686  *      @mask: bitmask of bits in if_flags to check
687  *
688  *      Search for any interface with the given flags. Returns NULL if a device
689  *      is not found or a pointer to the device. The caller must hold either
690  *      the RTNL semaphore or @dev_base_lock.
691  */
692
693 struct net_device *__dev_get_by_flags(unsigned short if_flags, unsigned short mask)
694 {
695         struct net_device *dev;
696
697         for (dev = dev_base; dev != NULL; dev = dev->next) {
698                 if (((dev->flags ^ if_flags) & mask) == 0)
699                         return dev;
700         }
701         return NULL;
702 }
703
704 /**
705  *      dev_valid_name - check if name is okay for network device
706  *      @name: name string
707  *
708  *      Network device names need to be valid file names to
709  *      to allow sysfs to work
710  */
711 int dev_valid_name(const char *name)
712 {
713         return !(*name == '\0' 
714                  || !strcmp(name, ".")
715                  || !strcmp(name, "..")
716                  || strchr(name, '/'));
717 }
718
719 /**
720  *      dev_alloc_name - allocate a name for a device
721  *      @dev: device
722  *      @name: name format string
723  *
724  *      Passed a format string - eg "lt%d" it will try and find a suitable
725  *      id. Not efficient for many devices, not called a lot. The caller
726  *      must hold the dev_base or rtnl lock while allocating the name and
727  *      adding the device in order to avoid duplicates. Returns the number
728  *      of the unit assigned or a negative errno code.
729  */
730
731 int dev_alloc_name(struct net_device *dev, const char *name)
732 {
733         int i = 0;
734         char buf[IFNAMSIZ];
735         const char *p;
736         const int max_netdevices = 8*PAGE_SIZE;
737         long *inuse;
738         struct net_device *d;
739
740         p = strnchr(name, IFNAMSIZ-1, '%');
741         if (p) {
742                 /*
743                  * Verify the string as this thing may have come from
744                  * the user.  There must be either one "%d" and no other "%"
745                  * characters.
746                  */
747                 if (p[1] != 'd' || strchr(p + 2, '%'))
748                         return -EINVAL;
749
750                 /* Use one page as a bit array of possible slots */
751                 inuse = (long *) get_zeroed_page(GFP_ATOMIC);
752                 if (!inuse)
753                         return -ENOMEM;
754
755                 for (d = dev_base; d; d = d->next) {
756                         if (!sscanf(d->name, name, &i))
757                                 continue;
758                         if (i < 0 || i >= max_netdevices)
759                                 continue;
760
761                         /*  avoid cases where sscanf is not exact inverse of printf */
762                         snprintf(buf, sizeof(buf), name, i);
763                         if (!strncmp(buf, d->name, IFNAMSIZ))
764                                 set_bit(i, inuse);
765                 }
766
767                 i = find_first_zero_bit(inuse, max_netdevices);
768                 free_page((unsigned long) inuse);
769         }
770
771         snprintf(buf, sizeof(buf), name, i);
772         if (!__dev_get_by_name(buf)) {
773                 strlcpy(dev->name, buf, IFNAMSIZ);
774                 return i;
775         }
776
777         /* It is possible to run out of possible slots
778          * when the name is long and there isn't enough space left
779          * for the digits, or if all bits are used.
780          */
781         return -ENFILE;
782 }
783
784
785 /**
786  *      dev_change_name - change name of a device
787  *      @dev: device
788  *      @name: name (or format string) must be at least IFNAMSIZ
789  *
790  *      Change name of a device, can pass format strings "eth%d".
791  *      for wildcarding.
792  */
793 int dev_change_name(struct net_device *dev, char *newname)
794 {
795         ASSERT_RTNL();
796
797         if (dev->flags & IFF_UP)
798                 return -EBUSY;
799
800         if (!dev_valid_name(newname))
801                 return -EINVAL;
802
803         if (strchr(newname, '%')) {
804                 int err = dev_alloc_name(dev, newname);
805                 if (err < 0)
806                         return err;
807                 strcpy(newname, dev->name);
808         }
809         else if (__dev_get_by_name(newname))
810                 return -EEXIST;
811         else
812                 strlcpy(dev->name, newname, IFNAMSIZ);
813
814         hlist_del(&dev->name_hlist);
815         hlist_add_head(&dev->name_hlist, dev_name_hash(dev->name));
816
817         class_device_rename(&dev->class_dev, dev->name);
818         notifier_call_chain(&netdev_chain, NETDEV_CHANGENAME, dev);
819         return 0;
820 }
821
822 /**
823  *      netdev_state_change - device changes state
824  *      @dev: device to cause notification
825  *
826  *      Called to indicate a device has changed state. This function calls
827  *      the notifier chains for netdev_chain and sends a NEWLINK message
828  *      to the routing socket.
829  */
830 void netdev_state_change(struct net_device *dev)
831 {
832         if (dev->flags & IFF_UP) {
833                 notifier_call_chain(&netdev_chain, NETDEV_CHANGE, dev);
834                 rtmsg_ifinfo(RTM_NEWLINK, dev, 0);
835         }
836 }
837
838 /**
839  *      dev_load        - load a network module
840  *      @name: name of interface
841  *
842  *      If a network interface is not present and the process has suitable
843  *      privileges this function loads the module. If module loading is not
844  *      available in this kernel then it becomes a nop.
845  */
846
847 void dev_load(const char *name)
848 {
849         struct net_device *dev;  
850
851         read_lock(&dev_base_lock);
852         dev = __dev_get_by_name(name);
853         read_unlock(&dev_base_lock);
854
855         if (!dev && capable(CAP_SYS_MODULE))
856                 request_module("%s", name);
857 }
858
859 static int default_rebuild_header(struct sk_buff *skb)
860 {
861         printk(KERN_DEBUG "%s: default_rebuild_header called -- BUG!\n",
862                skb->dev ? skb->dev->name : "NULL!!!");
863         kfree_skb(skb);
864         return 1;
865 }
866
867
868 /*
869  * Some old buggy device drivers change get_stats after registering
870  * the device.  Try and trap them here.
871  * This can be elimnated when all devices are known fixed.
872  */
873 static inline int get_stats_changed(struct net_device *dev)
874 {
875         int changed = dev->last_stats != dev->get_stats;
876         dev->last_stats = dev->get_stats;
877         return changed;
878 }
879
880 /**
881  *      dev_open        - prepare an interface for use.
882  *      @dev:   device to open
883  *
884  *      Takes a device from down to up state. The device's private open
885  *      function is invoked and then the multicast lists are loaded. Finally
886  *      the device is moved into the up state and a %NETDEV_UP message is
887  *      sent to the netdev notifier chain.
888  *
889  *      Calling this function on an active interface is a nop. On a failure
890  *      a negative errno code is returned.
891  */
892 int dev_open(struct net_device *dev)
893 {
894         int ret = 0;
895
896         /*
897          *      Is it already up?
898          */
899
900         if (dev->flags & IFF_UP)
901                 return 0;
902
903         /*
904          *       Check for broken device drivers.
905          */
906         if (get_stats_changed(dev) && net_ratelimit()) {
907                 printk(KERN_ERR "%s: driver changed get_stats after register\n",
908                        dev->name);
909         }
910
911         /*
912          *      Is it even present?
913          */
914         if (!netif_device_present(dev))
915                 return -ENODEV;
916
917         /*
918          *      Call device private open method
919          */
920         set_bit(__LINK_STATE_START, &dev->state);
921         if (dev->open) {
922                 ret = dev->open(dev);
923                 if (ret)
924                         clear_bit(__LINK_STATE_START, &dev->state);
925         }
926
927         /*
928          *      Check for more broken device drivers.
929          */
930         if (get_stats_changed(dev) && net_ratelimit()) {
931                 printk(KERN_ERR "%s: driver changed get_stats in open\n",
932                        dev->name);
933         }
934
935         /*
936          *      If it went open OK then:
937          */
938
939         if (!ret) {
940                 /*
941                  *      Set the flags.
942                  */
943                 dev->flags |= IFF_UP;
944
945                 /*
946                  *      Initialize multicasting status
947                  */
948                 dev_mc_upload(dev);
949
950                 /*
951                  *      Wakeup transmit queue engine
952                  */
953                 dev_activate(dev);
954
955                 /*
956                  *      ... and announce new interface.
957                  */
958                 notifier_call_chain(&netdev_chain, NETDEV_UP, dev);
959         }
960         return ret;
961 }
962
963 #ifdef CONFIG_NET_FASTROUTE
964
965 static void dev_do_clear_fastroute(struct net_device *dev)
966 {
967         if (dev->accept_fastpath) {
968                 int i;
969
970                 for (i = 0; i <= NETDEV_FASTROUTE_HMASK; i++) {
971                         struct dst_entry *dst;
972
973                         write_lock_irq(&dev->fastpath_lock);
974                         dst = dev->fastpath[i];
975                         dev->fastpath[i] = NULL;
976                         write_unlock_irq(&dev->fastpath_lock);
977
978                         dst_release(dst);
979                 }
980         }
981 }
982
983 void dev_clear_fastroute(struct net_device *dev)
984 {
985         if (dev) {
986                 dev_do_clear_fastroute(dev);
987         } else {
988                 read_lock(&dev_base_lock);
989                 for (dev = dev_base; dev; dev = dev->next)
990                         dev_do_clear_fastroute(dev);
991                 read_unlock(&dev_base_lock);
992         }
993 }
994 #endif
995
996 /**
997  *      dev_close - shutdown an interface.
998  *      @dev: device to shutdown
999  *
1000  *      This function moves an active device into down state. A
1001  *      %NETDEV_GOING_DOWN is sent to the netdev notifier chain. The device
1002  *      is then deactivated and finally a %NETDEV_DOWN is sent to the notifier
1003  *      chain.
1004  */
1005 int dev_close(struct net_device *dev)
1006 {
1007         if (!(dev->flags & IFF_UP))
1008                 return 0;
1009
1010         /*
1011          *      Tell people we are going down, so that they can
1012          *      prepare to death, when device is still operating.
1013          */
1014         notifier_call_chain(&netdev_chain, NETDEV_GOING_DOWN, dev);
1015
1016         dev_deactivate(dev);
1017
1018         clear_bit(__LINK_STATE_START, &dev->state);
1019
1020         /* Synchronize to scheduled poll. We cannot touch poll list,
1021          * it can be even on different cpu. So just clear netif_running(),
1022          * and wait when poll really will happen. Actually, the best place
1023          * for this is inside dev->stop() after device stopped its irq
1024          * engine, but this requires more changes in devices. */
1025
1026         smp_mb__after_clear_bit(); /* Commit netif_running(). */
1027         while (test_bit(__LINK_STATE_RX_SCHED, &dev->state)) {
1028                 /* No hurry. */
1029                 current->state = TASK_INTERRUPTIBLE;
1030                 schedule_timeout(1);
1031         }
1032
1033         /*
1034          *      Call the device specific close. This cannot fail.
1035          *      Only if device is UP
1036          *
1037          *      We allow it to be called even after a DETACH hot-plug
1038          *      event.
1039          */
1040         if (dev->stop)
1041                 dev->stop(dev);
1042
1043         /*
1044          *      Device is now down.
1045          */
1046
1047         dev->flags &= ~IFF_UP;
1048 #ifdef CONFIG_NET_FASTROUTE
1049         dev_clear_fastroute(dev);
1050 #endif
1051
1052         /*
1053          * Tell people we are down
1054          */
1055         notifier_call_chain(&netdev_chain, NETDEV_DOWN, dev);
1056
1057         return 0;
1058 }
1059
1060
1061 /*
1062  *      Device change register/unregister. These are not inline or static
1063  *      as we export them to the world.
1064  */
1065
1066 /**
1067  *      register_netdevice_notifier - register a network notifier block
1068  *      @nb: notifier
1069  *
1070  *      Register a notifier to be called when network device events occur.
1071  *      The notifier passed is linked into the kernel structures and must
1072  *      not be reused until it has been unregistered. A negative errno code
1073  *      is returned on a failure.
1074  *
1075  *      When registered all registration and up events are replayed
1076  *      to the new notifier to allow device to have a race free 
1077  *      view of the network device list.
1078  */
1079
1080 int register_netdevice_notifier(struct notifier_block *nb)
1081 {
1082         struct net_device *dev;
1083         int err;
1084
1085         rtnl_lock();
1086         err = notifier_chain_register(&netdev_chain, nb);
1087         if (!err) {
1088                 for (dev = dev_base; dev; dev = dev->next) {
1089                         nb->notifier_call(nb, NETDEV_REGISTER, dev);
1090
1091                         if (dev->flags & IFF_UP) 
1092                                 nb->notifier_call(nb, NETDEV_UP, dev);
1093                 }
1094         }
1095         rtnl_unlock();
1096         return err;
1097 }
1098
1099 /**
1100  *      unregister_netdevice_notifier - unregister a network notifier block
1101  *      @nb: notifier
1102  *
1103  *      Unregister a notifier previously registered by
1104  *      register_netdevice_notifier(). The notifier is unlinked into the
1105  *      kernel structures and may then be reused. A negative errno code
1106  *      is returned on a failure.
1107  */
1108
1109 int unregister_netdevice_notifier(struct notifier_block *nb)
1110 {
1111         return notifier_chain_unregister(&netdev_chain, nb);
1112 }
1113
1114 /**
1115  *      call_netdevice_notifiers - call all network notifier blocks
1116  *      @val: value passed unmodified to notifier function
1117  *      @v:   pointer passed unmodified to notifier function
1118  *
1119  *      Call all network notifier blocks.  Parameters and return value
1120  *      are as for notifier_call_chain().
1121  */
1122
1123 int call_netdevice_notifiers(unsigned long val, void *v)
1124 {
1125         return notifier_call_chain(&netdev_chain, val, v);
1126 }
1127
1128 /*
1129  *      Support routine. Sends outgoing frames to any network
1130  *      taps currently in use.
1131  */
1132
1133 void dev_queue_xmit_nit(struct sk_buff *skb, struct net_device *dev)
1134 {
1135         struct packet_type *ptype;
1136         net_timestamp(&skb->stamp);
1137
1138         rcu_read_lock();
1139         list_for_each_entry_rcu(ptype, &ptype_all, list) {
1140                 /* Never send packets back to the socket
1141                  * they originated from - MvS (miquels@drinkel.ow.org)
1142                  */
1143                 if ((ptype->dev == dev || !ptype->dev) &&
1144                     (ptype->af_packet_priv == NULL ||
1145                      (struct sock *)ptype->af_packet_priv != skb->sk)) {
1146                         struct sk_buff *skb2= skb_clone(skb, GFP_ATOMIC);
1147                         if (!skb2)
1148                                 break;
1149
1150                         /* skb->nh should be correctly
1151                            set by sender, so that the second statement is
1152                            just protection against buggy protocols.
1153                          */
1154                         skb2->mac.raw = skb2->data;
1155
1156                         if (skb2->nh.raw < skb2->data ||
1157                             skb2->nh.raw > skb2->tail) {
1158                                 if (net_ratelimit())
1159                                         printk(KERN_CRIT "protocol %04x is "
1160                                                "buggy, dev %s\n",
1161                                                skb2->protocol, dev->name);
1162                                 skb2->nh.raw = skb2->data;
1163                         }
1164
1165                         skb2->h.raw = skb2->nh.raw;
1166                         skb2->pkt_type = PACKET_OUTGOING;
1167                         ptype->func(skb2, skb->dev, ptype);
1168                 }
1169         }
1170         rcu_read_unlock();
1171 }
1172
1173 /* Calculate csum in the case, when packet is misrouted.
1174  * If it failed by some reason, ignore and send skb with wrong
1175  * checksum.
1176  */
1177 struct sk_buff *skb_checksum_help(struct sk_buff *skb)
1178 {
1179         unsigned int csum;
1180         int offset = skb->h.raw - skb->data;
1181
1182         if (offset > (int)skb->len)
1183                 BUG();
1184         csum = skb_checksum(skb, offset, skb->len-offset, 0);
1185
1186         offset = skb->tail - skb->h.raw;
1187         if (offset <= 0)
1188                 BUG();
1189         if (skb->csum + 2 > offset)
1190                 BUG();
1191
1192         *(u16*)(skb->h.raw + skb->csum) = csum_fold(csum);
1193         skb->ip_summed = CHECKSUM_NONE;
1194         return skb;
1195 }
1196
1197 #ifdef CONFIG_HIGHMEM
1198 /* Actually, we should eliminate this check as soon as we know, that:
1199  * 1. IOMMU is present and allows to map all the memory.
1200  * 2. No high memory really exists on this machine.
1201  */
1202
1203 static inline int illegal_highdma(struct net_device *dev, struct sk_buff *skb)
1204 {
1205         int i;
1206
1207         if (dev->features & NETIF_F_HIGHDMA)
1208                 return 0;
1209
1210         for (i = 0; i < skb_shinfo(skb)->nr_frags; i++)
1211                 if (skb_shinfo(skb)->frags[i].page >= highmem_start_page)
1212                         return 1;
1213
1214         return 0;
1215 }
1216 #else
1217 #define illegal_highdma(dev, skb)       (0)
1218 #endif
1219
1220 extern void skb_release_data(struct sk_buff *);
1221
1222 /* Keep head the same: replace data */
1223 int __skb_linearize(struct sk_buff *skb, int gfp_mask)
1224 {
1225         unsigned int size;
1226         u8 *data;
1227         long offset;
1228         struct skb_shared_info *ninfo;
1229         int headerlen = skb->data - skb->head;
1230         int expand = (skb->tail + skb->data_len) - skb->end;
1231
1232         if (skb_shared(skb))
1233                 BUG();
1234
1235         if (expand <= 0)
1236                 expand = 0;
1237
1238         size = skb->end - skb->head + expand;
1239         size = SKB_DATA_ALIGN(size);
1240         data = kmalloc(size + sizeof(struct skb_shared_info), gfp_mask);
1241         if (!data)
1242                 return -ENOMEM;
1243
1244         /* Copy entire thing */
1245         if (skb_copy_bits(skb, -headerlen, data, headerlen + skb->len))
1246                 BUG();
1247
1248         /* Set up shinfo */
1249         ninfo = (struct skb_shared_info*)(data + size);
1250         atomic_set(&ninfo->dataref, 1);
1251         ninfo->tso_size = skb_shinfo(skb)->tso_size;
1252         ninfo->tso_segs = skb_shinfo(skb)->tso_segs;
1253         ninfo->nr_frags = 0;
1254         ninfo->frag_list = NULL;
1255
1256         /* Offset between the two in bytes */
1257         offset = data - skb->head;
1258
1259         /* Free old data. */
1260         skb_release_data(skb);
1261
1262         skb->head = data;
1263         skb->end  = data + size;
1264
1265         /* Set up new pointers */
1266         skb->h.raw   += offset;
1267         skb->nh.raw  += offset;
1268         skb->mac.raw += offset;
1269         skb->tail    += offset;
1270         skb->data    += offset;
1271
1272         /* We are no longer a clone, even if we were. */
1273         skb->cloned    = 0;
1274
1275         skb->tail     += skb->data_len;
1276         skb->data_len  = 0;
1277         return 0;
1278 }
1279
1280 /**
1281  *      dev_queue_xmit - transmit a buffer
1282  *      @skb: buffer to transmit
1283  *
1284  *      Queue a buffer for transmission to a network device. The caller must
1285  *      have set the device and priority and built the buffer before calling
1286  *      this function. The function can be called from an interrupt.
1287  *
1288  *      A negative errno code is returned on a failure. A success does not
1289  *      guarantee the frame will be transmitted as it may be dropped due
1290  *      to congestion or traffic shaping.
1291  */
1292
1293 int dev_queue_xmit(struct sk_buff *skb)
1294 {
1295         struct net_device *dev = skb->dev;
1296         struct Qdisc *q;
1297         int rc = -ENOMEM;
1298
1299         if (skb_shinfo(skb)->frag_list &&
1300             !(dev->features & NETIF_F_FRAGLIST) &&
1301             __skb_linearize(skb, GFP_ATOMIC))
1302                 goto out_kfree_skb;
1303
1304         /* Fragmented skb is linearized if device does not support SG,
1305          * or if at least one of fragments is in highmem and device
1306          * does not support DMA from it.
1307          */
1308         if (skb_shinfo(skb)->nr_frags &&
1309             (!(dev->features & NETIF_F_SG) || illegal_highdma(dev, skb)) &&
1310             __skb_linearize(skb, GFP_ATOMIC))
1311                 goto out_kfree_skb;
1312
1313         /* If packet is not checksummed and device does not support
1314          * checksumming for this protocol, complete checksumming here.
1315          */
1316         if (skb->ip_summed == CHECKSUM_HW &&
1317             (!(dev->features & (NETIF_F_HW_CSUM | NETIF_F_NO_CSUM)) &&
1318              (!(dev->features & NETIF_F_IP_CSUM) ||
1319               skb->protocol != htons(ETH_P_IP)))) {
1320                 if ((skb = skb_checksum_help(skb)) == NULL)
1321                         goto out;
1322         }
1323
1324         /* Grab device queue */
1325         spin_lock_bh(&dev->queue_lock);
1326         q = dev->qdisc;
1327         if (q->enqueue) {
1328                 rc = q->enqueue(skb, q);
1329
1330                 qdisc_run(dev);
1331
1332                 spin_unlock_bh(&dev->queue_lock);
1333                 rc = rc == NET_XMIT_BYPASS ? NET_XMIT_SUCCESS : rc;
1334                 goto out;
1335         }
1336
1337         /* The device has no queue. Common case for software devices:
1338            loopback, all the sorts of tunnels...
1339
1340            Really, it is unlikely that xmit_lock protection is necessary here.
1341            (f.e. loopback and IP tunnels are clean ignoring statistics
1342            counters.)
1343            However, it is possible, that they rely on protection
1344            made by us here.
1345
1346            Check this and shot the lock. It is not prone from deadlocks.
1347            Either shot noqueue qdisc, it is even simpler 8)
1348          */
1349         if (dev->flags & IFF_UP) {
1350                 int cpu = smp_processor_id();
1351
1352                 if (dev->xmit_lock_owner != cpu) {
1353                         /*
1354                          * The spin_lock effectivly does a preempt lock, but 
1355                          * we are about to drop that...
1356                          */
1357                         preempt_disable();
1358                         spin_unlock(&dev->queue_lock);
1359                         spin_lock(&dev->xmit_lock);
1360                         dev->xmit_lock_owner = cpu;
1361                         preempt_enable();
1362
1363                         if (!netif_queue_stopped(dev)) {
1364                                 if (netdev_nit)
1365                                         dev_queue_xmit_nit(skb, dev);
1366
1367                                 rc = 0;
1368                                 if (!dev->hard_start_xmit(skb, dev)) {
1369                                         dev->xmit_lock_owner = -1;
1370                                         spin_unlock_bh(&dev->xmit_lock);
1371                                         goto out;
1372                                 }
1373                         }
1374                         dev->xmit_lock_owner = -1;
1375                         spin_unlock_bh(&dev->xmit_lock);
1376                         if (net_ratelimit())
1377                                 printk(KERN_CRIT "Virtual device %s asks to "
1378                                        "queue packet!\n", dev->name);
1379                         goto out_enetdown;
1380                 } else {
1381                         /* Recursion is detected! It is possible,
1382                          * unfortunately */
1383                         if (net_ratelimit())
1384                                 printk(KERN_CRIT "Dead loop on virtual device "
1385                                        "%s, fix it urgently!\n", dev->name);
1386                 }
1387         }
1388         spin_unlock_bh(&dev->queue_lock);
1389 out_enetdown:
1390         rc = -ENETDOWN;
1391 out_kfree_skb:
1392         kfree_skb(skb);
1393 out:
1394         return rc;
1395 }
1396
1397
1398 /*=======================================================================
1399                         Receiver routines
1400   =======================================================================*/
1401
1402 int netdev_max_backlog = 300;
1403 int weight_p = 64;            /* old backlog weight */
1404 /* These numbers are selected based on intuition and some
1405  * experimentatiom, if you have more scientific way of doing this
1406  * please go ahead and fix things.
1407  */
1408 int no_cong_thresh = 10;
1409 int no_cong = 20;
1410 int lo_cong = 100;
1411 int mod_cong = 290;
1412
1413 DEFINE_PER_CPU(struct netif_rx_stats, netdev_rx_stat) = { 0, };
1414
1415
1416 #ifdef CONFIG_NET_HW_FLOWCONTROL
1417 atomic_t netdev_dropping = ATOMIC_INIT(0);
1418 static unsigned long netdev_fc_mask = 1;
1419 unsigned long netdev_fc_xoff;
1420 spinlock_t netdev_fc_lock = SPIN_LOCK_UNLOCKED;
1421
1422 static struct
1423 {
1424         void (*stimul)(struct net_device *);
1425         struct net_device *dev;
1426 } netdev_fc_slots[BITS_PER_LONG];
1427
1428 int netdev_register_fc(struct net_device *dev,
1429                        void (*stimul)(struct net_device *dev))
1430 {
1431         int bit = 0;
1432         unsigned long flags;
1433
1434         spin_lock_irqsave(&netdev_fc_lock, flags);
1435         if (netdev_fc_mask != ~0UL) {
1436                 bit = ffz(netdev_fc_mask);
1437                 netdev_fc_slots[bit].stimul = stimul;
1438                 netdev_fc_slots[bit].dev = dev;
1439                 set_bit(bit, &netdev_fc_mask);
1440                 clear_bit(bit, &netdev_fc_xoff);
1441         }
1442         spin_unlock_irqrestore(&netdev_fc_lock, flags);
1443         return bit;
1444 }
1445
1446 void netdev_unregister_fc(int bit)
1447 {
1448         unsigned long flags;
1449
1450         spin_lock_irqsave(&netdev_fc_lock, flags);
1451         if (bit > 0) {
1452                 netdev_fc_slots[bit].stimul = NULL;
1453                 netdev_fc_slots[bit].dev = NULL;
1454                 clear_bit(bit, &netdev_fc_mask);
1455                 clear_bit(bit, &netdev_fc_xoff);
1456         }
1457         spin_unlock_irqrestore(&netdev_fc_lock, flags);
1458 }
1459
1460 static void netdev_wakeup(void)
1461 {
1462         unsigned long xoff;
1463
1464         spin_lock(&netdev_fc_lock);
1465         xoff = netdev_fc_xoff;
1466         netdev_fc_xoff = 0;
1467         while (xoff) {
1468                 int i = ffz(~xoff);
1469                 xoff &= ~(1 << i);
1470                 netdev_fc_slots[i].stimul(netdev_fc_slots[i].dev);
1471         }
1472         spin_unlock(&netdev_fc_lock);
1473 }
1474 #endif
1475
1476 static void get_sample_stats(int cpu)
1477 {
1478 #ifdef RAND_LIE
1479         unsigned long rd;
1480         int rq;
1481 #endif
1482         struct softnet_data *sd = &per_cpu(softnet_data, cpu);
1483         int blog = sd->input_pkt_queue.qlen;
1484         int avg_blog = sd->avg_blog;
1485
1486         avg_blog = (avg_blog >> 1) + (blog >> 1);
1487
1488         if (avg_blog > mod_cong) {
1489                 /* Above moderate congestion levels. */
1490                 sd->cng_level = NET_RX_CN_HIGH;
1491 #ifdef RAND_LIE
1492                 rd = net_random();
1493                 rq = rd % netdev_max_backlog;
1494                 if (rq < avg_blog) /* unlucky bastard */
1495                         sd->cng_level = NET_RX_DROP;
1496 #endif
1497         } else if (avg_blog > lo_cong) {
1498                 sd->cng_level = NET_RX_CN_MOD;
1499 #ifdef RAND_LIE
1500                 rd = net_random();
1501                 rq = rd % netdev_max_backlog;
1502                         if (rq < avg_blog) /* unlucky bastard */
1503                                 sd->cng_level = NET_RX_CN_HIGH;
1504 #endif
1505         } else if (avg_blog > no_cong)
1506                 sd->cng_level = NET_RX_CN_LOW;
1507         else  /* no congestion */
1508                 sd->cng_level = NET_RX_SUCCESS;
1509
1510         sd->avg_blog = avg_blog;
1511 }
1512
1513 #ifdef OFFLINE_SAMPLE
1514 static void sample_queue(unsigned long dummy)
1515 {
1516 /* 10 ms 0r 1ms -- i don't care -- JHS */
1517         int next_tick = 1;
1518         int cpu = smp_processor_id();
1519
1520         get_sample_stats(cpu);
1521         next_tick += jiffies;
1522         mod_timer(&samp_timer, next_tick);
1523 }
1524 #endif
1525
1526
1527 /**
1528  *      netif_rx        -       post buffer to the network code
1529  *      @skb: buffer to post
1530  *
1531  *      This function receives a packet from a device driver and queues it for
1532  *      the upper (protocol) levels to process.  It always succeeds. The buffer
1533  *      may be dropped during processing for congestion control or by the
1534  *      protocol layers.
1535  *
1536  *      return values:
1537  *      NET_RX_SUCCESS  (no congestion)
1538  *      NET_RX_CN_LOW   (low congestion)
1539  *      NET_RX_CN_MOD   (moderate congestion)
1540  *      NET_RX_CN_HIGH  (high congestion)
1541  *      NET_RX_DROP     (packet was dropped)
1542  *
1543  */
1544
1545 int netif_rx(struct sk_buff *skb)
1546 {
1547         int this_cpu;
1548         struct softnet_data *queue;
1549         unsigned long flags;
1550
1551 #ifdef CONFIG_NETPOLL_RX
1552         if (skb->dev->netpoll_rx && netpoll_rx(skb)) {
1553                 kfree_skb(skb);
1554                 return NET_RX_DROP;
1555         }
1556 #endif
1557         
1558         if (!skb->stamp.tv_sec)
1559                 net_timestamp(&skb->stamp);
1560
1561         /*
1562          * The code is rearranged so that the path is the most
1563          * short when CPU is congested, but is still operating.
1564          */
1565         local_irq_save(flags);
1566         this_cpu = smp_processor_id();
1567         queue = &__get_cpu_var(softnet_data);
1568
1569         __get_cpu_var(netdev_rx_stat).total++;
1570         if (queue->input_pkt_queue.qlen <= netdev_max_backlog) {
1571                 if (queue->input_pkt_queue.qlen) {
1572                         if (queue->throttle)
1573                                 goto drop;
1574
1575 enqueue:
1576                         dev_hold(skb->dev);
1577                         __skb_queue_tail(&queue->input_pkt_queue, skb);
1578 #ifndef OFFLINE_SAMPLE
1579                         get_sample_stats(this_cpu);
1580 #endif
1581                         local_irq_restore(flags);
1582                         return queue->cng_level;
1583                 }
1584
1585                 if (queue->throttle) {
1586                         queue->throttle = 0;
1587 #ifdef CONFIG_NET_HW_FLOWCONTROL
1588                         if (atomic_dec_and_test(&netdev_dropping))
1589                                 netdev_wakeup();
1590 #endif
1591                 }
1592
1593                 netif_rx_schedule(&queue->backlog_dev);
1594                 goto enqueue;
1595         }
1596
1597         if (!queue->throttle) {
1598                 queue->throttle = 1;
1599                 __get_cpu_var(netdev_rx_stat).throttled++;
1600 #ifdef CONFIG_NET_HW_FLOWCONTROL
1601                 atomic_inc(&netdev_dropping);
1602 #endif
1603         }
1604
1605 drop:
1606         __get_cpu_var(netdev_rx_stat).dropped++;
1607         local_irq_restore(flags);
1608
1609         kfree_skb(skb);
1610         return NET_RX_DROP;
1611 }
1612
1613 static __inline__ void skb_bond(struct sk_buff *skb)
1614 {
1615         struct net_device *dev = skb->dev;
1616
1617         if (dev->master) {
1618                 skb->real_dev = skb->dev;
1619                 skb->dev = dev->master;
1620         }
1621 }
1622
1623 static void net_tx_action(struct softirq_action *h)
1624 {
1625         struct softnet_data *sd = &__get_cpu_var(softnet_data);
1626
1627         if (sd->completion_queue) {
1628                 struct sk_buff *clist;
1629
1630                 local_irq_disable();
1631                 clist = sd->completion_queue;
1632                 sd->completion_queue = NULL;
1633                 local_irq_enable();
1634
1635                 while (clist) {
1636                         struct sk_buff *skb = clist;
1637                         clist = clist->next;
1638
1639                         BUG_TRAP(!atomic_read(&skb->users));
1640                         __kfree_skb(skb);
1641                 }
1642         }
1643
1644         if (sd->output_queue) {
1645                 struct net_device *head;
1646
1647                 local_irq_disable();
1648                 head = sd->output_queue;
1649                 sd->output_queue = NULL;
1650                 local_irq_enable();
1651
1652                 while (head) {
1653                         struct net_device *dev = head;
1654                         head = head->next_sched;
1655
1656                         smp_mb__before_clear_bit();
1657                         clear_bit(__LINK_STATE_SCHED, &dev->state);
1658
1659                         if (spin_trylock(&dev->queue_lock)) {
1660                                 qdisc_run(dev);
1661                                 spin_unlock(&dev->queue_lock);
1662                         } else {
1663                                 netif_schedule(dev);
1664                         }
1665                 }
1666         }
1667 }
1668
1669 static __inline__ int deliver_skb(struct sk_buff *skb,
1670                                   struct packet_type *pt_prev, int last)
1671 {
1672         atomic_inc(&skb->users);
1673         return pt_prev->func(skb, skb->dev, pt_prev);
1674 }
1675
1676
1677 #if defined(CONFIG_BRIDGE) || defined (CONFIG_BRIDGE_MODULE)
1678 int (*br_handle_frame_hook)(struct sk_buff *skb);
1679
1680 static __inline__ int handle_bridge(struct sk_buff *skb,
1681                                      struct packet_type *pt_prev)
1682 {
1683         int ret = NET_RX_DROP;
1684         if (pt_prev)
1685                 ret = deliver_skb(skb, pt_prev, 0);
1686
1687         return ret;
1688 }
1689
1690 #endif
1691
1692 static inline int __handle_bridge(struct sk_buff *skb,
1693                         struct packet_type **pt_prev, int *ret)
1694 {
1695 #if defined(CONFIG_BRIDGE) || defined(CONFIG_BRIDGE_MODULE)
1696         if (skb->dev->br_port && skb->pkt_type != PACKET_LOOPBACK) {
1697                 *ret = handle_bridge(skb, *pt_prev);
1698                 if (br_handle_frame_hook(skb) == 0)
1699                         return 1;
1700
1701                 *pt_prev = NULL;
1702         }
1703 #endif
1704         return 0;
1705 }
1706
1707 int netif_receive_skb(struct sk_buff *skb)
1708 {
1709         struct packet_type *ptype, *pt_prev;
1710         int ret = NET_RX_DROP;
1711         unsigned short type;
1712
1713 #ifdef CONFIG_NETPOLL_RX
1714         if (skb->dev->netpoll_rx && skb->dev->poll && netpoll_rx(skb)) {
1715                 kfree_skb(skb);
1716                 return NET_RX_DROP;
1717         }
1718 #endif
1719
1720         if (!skb->stamp.tv_sec)
1721                 net_timestamp(&skb->stamp);
1722
1723         skb_bond(skb);
1724
1725         __get_cpu_var(netdev_rx_stat).total++;
1726
1727 #ifdef CONFIG_NET_FASTROUTE
1728         if (skb->pkt_type == PACKET_FASTROUTE) {
1729                 __get_cpu_var(netdev_rx_stat).fastroute_deferred_out++;
1730                 return dev_queue_xmit(skb);
1731         }
1732 #endif
1733
1734         skb->h.raw = skb->nh.raw = skb->data;
1735         skb->mac_len = skb->nh.raw - skb->mac.raw;
1736
1737         pt_prev = NULL;
1738         rcu_read_lock();
1739         list_for_each_entry_rcu(ptype, &ptype_all, list) {
1740                 if (!ptype->dev || ptype->dev == skb->dev) {
1741                         if (pt_prev) 
1742                                 ret = deliver_skb(skb, pt_prev, 0);
1743                         pt_prev = ptype;
1744                 }
1745         }
1746
1747         handle_diverter(skb);
1748
1749         if (__handle_bridge(skb, &pt_prev, &ret))
1750                 goto out;
1751
1752         type = skb->protocol;
1753         list_for_each_entry_rcu(ptype, &ptype_base[ntohs(type)&15], list) {
1754                 if (ptype->type == type &&
1755                     (!ptype->dev || ptype->dev == skb->dev)) {
1756                         if (pt_prev) 
1757                                 ret = deliver_skb(skb, pt_prev, 0);
1758                         pt_prev = ptype;
1759                 }
1760         }
1761
1762         if (pt_prev) {
1763                 ret = pt_prev->func(skb, skb->dev, pt_prev);
1764         } else {
1765                 kfree_skb(skb);
1766                 /* Jamal, now you will not able to escape explaining
1767                  * me how you were going to use this. :-)
1768                  */
1769                 ret = NET_RX_DROP;
1770         }
1771
1772 out:
1773         rcu_read_unlock();
1774         return ret;
1775 }
1776
1777 static int process_backlog(struct net_device *backlog_dev, int *budget)
1778 {
1779         int work = 0;
1780         int quota = min(backlog_dev->quota, *budget);
1781         struct softnet_data *queue = &__get_cpu_var(softnet_data);
1782         unsigned long start_time = jiffies;
1783
1784         for (;;) {
1785                 struct sk_buff *skb;
1786                 struct net_device *dev;
1787
1788                 local_irq_disable();
1789                 skb = __skb_dequeue(&queue->input_pkt_queue);
1790                 if (!skb)
1791                         goto job_done;
1792                 local_irq_enable();
1793
1794                 dev = skb->dev;
1795
1796                 netif_receive_skb(skb);
1797
1798                 dev_put(dev);
1799
1800                 work++;
1801
1802                 if (work >= quota || jiffies - start_time > 1)
1803                         break;
1804
1805 #ifdef CONFIG_NET_HW_FLOWCONTROL
1806                 if (queue->throttle &&
1807                     queue->input_pkt_queue.qlen < no_cong_thresh ) {
1808                         queue->throttle = 0;
1809                         if (atomic_dec_and_test(&netdev_dropping)) {
1810                                 netdev_wakeup();
1811                                 break;
1812                         }
1813                 }
1814 #endif
1815         }
1816
1817         backlog_dev->quota -= work;
1818         *budget -= work;
1819         return -1;
1820
1821 job_done:
1822         backlog_dev->quota -= work;
1823         *budget -= work;
1824
1825         list_del(&backlog_dev->poll_list);
1826         smp_mb__before_clear_bit();
1827         netif_poll_enable(backlog_dev);
1828
1829         if (queue->throttle) {
1830                 queue->throttle = 0;
1831 #ifdef CONFIG_NET_HW_FLOWCONTROL
1832                 if (atomic_dec_and_test(&netdev_dropping))
1833                         netdev_wakeup();
1834 #endif
1835         }
1836         local_irq_enable();
1837         return 0;
1838 }
1839
1840 static void net_rx_action(struct softirq_action *h)
1841 {
1842         struct softnet_data *queue = &__get_cpu_var(softnet_data);
1843         unsigned long start_time = jiffies;
1844         int budget = netdev_max_backlog;
1845
1846         
1847         local_irq_disable();
1848
1849         while (!list_empty(&queue->poll_list)) {
1850                 struct net_device *dev;
1851
1852                 if (budget <= 0 || jiffies - start_time > 1)
1853                         goto softnet_break;
1854
1855                 local_irq_enable();
1856
1857                 dev = list_entry(queue->poll_list.next,
1858                                  struct net_device, poll_list);
1859
1860                 if (dev->quota <= 0 || dev->poll(dev, &budget)) {
1861                         local_irq_disable();
1862                         list_del(&dev->poll_list);
1863                         list_add_tail(&dev->poll_list, &queue->poll_list);
1864                         if (dev->quota < 0)
1865                                 dev->quota += dev->weight;
1866                         else
1867                                 dev->quota = dev->weight;
1868                 } else {
1869                         dev_put(dev);
1870                         local_irq_disable();
1871                 }
1872         }
1873 out:
1874         local_irq_enable();
1875         return;
1876
1877 softnet_break:
1878         __get_cpu_var(netdev_rx_stat).time_squeeze++;
1879         __raise_softirq_irqoff(NET_RX_SOFTIRQ);
1880         goto out;
1881 }
1882
1883 static gifconf_func_t * gifconf_list [NPROTO];
1884
1885 /**
1886  *      register_gifconf        -       register a SIOCGIF handler
1887  *      @family: Address family
1888  *      @gifconf: Function handler
1889  *
1890  *      Register protocol dependent address dumping routines. The handler
1891  *      that is passed must not be freed or reused until it has been replaced
1892  *      by another handler.
1893  */
1894 int register_gifconf(unsigned int family, gifconf_func_t * gifconf)
1895 {
1896         if (family >= NPROTO)
1897                 return -EINVAL;
1898         gifconf_list[family] = gifconf;
1899         return 0;
1900 }
1901
1902
1903 /*
1904  *      Map an interface index to its name (SIOCGIFNAME)
1905  */
1906
1907 /*
1908  *      We need this ioctl for efficient implementation of the
1909  *      if_indextoname() function required by the IPv6 API.  Without
1910  *      it, we would have to search all the interfaces to find a
1911  *      match.  --pb
1912  */
1913
1914 static int dev_ifname(struct ifreq __user *arg)
1915 {
1916         struct net_device *dev;
1917         struct ifreq ifr;
1918
1919         /*
1920          *      Fetch the caller's info block.
1921          */
1922
1923         if (copy_from_user(&ifr, arg, sizeof(struct ifreq)))
1924                 return -EFAULT;
1925
1926         read_lock(&dev_base_lock);
1927         dev = __dev_get_by_index(ifr.ifr_ifindex);
1928         if (!dev) {
1929                 read_unlock(&dev_base_lock);
1930                 return -ENODEV;
1931         }
1932
1933         strcpy(ifr.ifr_name, dev->name);
1934         read_unlock(&dev_base_lock);
1935
1936         if (copy_to_user(arg, &ifr, sizeof(struct ifreq)))
1937                 return -EFAULT;
1938         return 0;
1939 }
1940
1941 /*
1942  *      Perform a SIOCGIFCONF call. This structure will change
1943  *      size eventually, and there is nothing I can do about it.
1944  *      Thus we will need a 'compatibility mode'.
1945  */
1946
1947 static int dev_ifconf(char __user *arg)
1948 {
1949         struct ifconf ifc;
1950         struct net_device *dev;
1951         char *pos;
1952         int len;
1953         int total;
1954         int i;
1955
1956         /*
1957          *      Fetch the caller's info block.
1958          */
1959
1960         if (copy_from_user(&ifc, arg, sizeof(struct ifconf)))
1961                 return -EFAULT;
1962
1963         pos = ifc.ifc_buf;
1964         len = ifc.ifc_len;
1965
1966         /*
1967          *      Loop over the interfaces, and write an info block for each.
1968          */
1969
1970         total = 0;
1971         for (dev = dev_base; dev; dev = dev->next) {
1972                 for (i = 0; i < NPROTO; i++) {
1973                         if (gifconf_list[i]) {
1974                                 int done;
1975                                 if (!pos)
1976                                         done = gifconf_list[i](dev, NULL, 0);
1977                                 else
1978                                         done = gifconf_list[i](dev, pos + total,
1979                                                                len - total);
1980                                 if (done < 0)
1981                                         return -EFAULT;
1982                                 total += done;
1983                         }
1984                 }
1985         }
1986
1987         /*
1988          *      All done.  Write the updated control block back to the caller.
1989          */
1990         ifc.ifc_len = total;
1991
1992         /*
1993          *      Both BSD and Solaris return 0 here, so we do too.
1994          */
1995         return copy_to_user(arg, &ifc, sizeof(struct ifconf)) ? -EFAULT : 0;
1996 }
1997
1998 #ifdef CONFIG_PROC_FS
1999 /*
2000  *      This is invoked by the /proc filesystem handler to display a device
2001  *      in detail.
2002  */
2003 static __inline__ struct net_device *dev_get_idx(loff_t pos)
2004 {
2005         struct net_device *dev;
2006         loff_t i;
2007
2008         for (i = 0, dev = dev_base; dev && i < pos; ++i, dev = dev->next);
2009
2010         return i == pos ? dev : NULL;
2011 }
2012
2013 void *dev_seq_start(struct seq_file *seq, loff_t *pos)
2014 {
2015         read_lock(&dev_base_lock);
2016         return *pos ? dev_get_idx(*pos - 1) : SEQ_START_TOKEN;
2017 }
2018
2019 void *dev_seq_next(struct seq_file *seq, void *v, loff_t *pos)
2020 {
2021         ++*pos;
2022         return v == SEQ_START_TOKEN ? dev_base : ((struct net_device *)v)->next;
2023 }
2024
2025 void dev_seq_stop(struct seq_file *seq, void *v)
2026 {
2027         read_unlock(&dev_base_lock);
2028 }
2029
2030 static void dev_seq_printf_stats(struct seq_file *seq, struct net_device *dev)
2031 {
2032         if (dev->get_stats) {
2033                 struct net_device_stats *stats = dev->get_stats(dev);
2034
2035                 seq_printf(seq, "%6s:%8lu %7lu %4lu %4lu %4lu %5lu %10lu %9lu "
2036                                 "%8lu %7lu %4lu %4lu %4lu %5lu %7lu %10lu\n",
2037                            dev->name, stats->rx_bytes, stats->rx_packets,
2038                            stats->rx_errors,
2039                            stats->rx_dropped + stats->rx_missed_errors,
2040                            stats->rx_fifo_errors,
2041                            stats->rx_length_errors + stats->rx_over_errors +
2042                              stats->rx_crc_errors + stats->rx_frame_errors,
2043                            stats->rx_compressed, stats->multicast,
2044                            stats->tx_bytes, stats->tx_packets,
2045                            stats->tx_errors, stats->tx_dropped,
2046                            stats->tx_fifo_errors, stats->collisions,
2047                            stats->tx_carrier_errors +
2048                              stats->tx_aborted_errors +
2049                              stats->tx_window_errors +
2050                              stats->tx_heartbeat_errors,
2051                            stats->tx_compressed);
2052         } else
2053                 seq_printf(seq, "%6s: No statistics available.\n", dev->name);
2054 }
2055
2056 /*
2057  *      Called from the PROCfs module. This now uses the new arbitrary sized
2058  *      /proc/net interface to create /proc/net/dev
2059  */
2060 static int dev_seq_show(struct seq_file *seq, void *v)
2061 {
2062         if (v == SEQ_START_TOKEN)
2063                 seq_puts(seq, "Inter-|   Receive                            "
2064                               "                    |  Transmit\n"
2065                               " face |bytes    packets errs drop fifo frame "
2066                               "compressed multicast|bytes    packets errs "
2067                               "drop fifo colls carrier compressed\n");
2068         else
2069                 dev_seq_printf_stats(seq, v);
2070         return 0;
2071 }
2072
2073 static struct netif_rx_stats *softnet_get_online(loff_t *pos)
2074 {
2075         struct netif_rx_stats *rc = NULL;
2076
2077         while (*pos < NR_CPUS)
2078                 if (cpu_online(*pos)) {
2079                         rc = &per_cpu(netdev_rx_stat, *pos);
2080                         break;
2081                 } else
2082                         ++*pos;
2083         return rc;
2084 }
2085
2086 static void *softnet_seq_start(struct seq_file *seq, loff_t *pos)
2087 {
2088         return softnet_get_online(pos);
2089 }
2090
2091 static void *softnet_seq_next(struct seq_file *seq, void *v, loff_t *pos)
2092 {
2093         ++*pos;
2094         return softnet_get_online(pos);
2095 }
2096
2097 static void softnet_seq_stop(struct seq_file *seq, void *v)
2098 {
2099 }
2100
2101 static int softnet_seq_show(struct seq_file *seq, void *v)
2102 {
2103         struct netif_rx_stats *s = v;
2104
2105         seq_printf(seq, "%08x %08x %08x %08x %08x %08x %08x %08x %08x\n",
2106                    s->total, s->dropped, s->time_squeeze, s->throttled,
2107                    s->fastroute_hit, s->fastroute_success, s->fastroute_defer,
2108                    s->fastroute_deferred_out,
2109 #if 0
2110                    s->fastroute_latency_reduction
2111 #else
2112                    s->cpu_collision
2113 #endif
2114                   );
2115         return 0;
2116 }
2117
2118 static struct seq_operations dev_seq_ops = {
2119         .start = dev_seq_start,
2120         .next  = dev_seq_next,
2121         .stop  = dev_seq_stop,
2122         .show  = dev_seq_show,
2123 };
2124
2125 static int dev_seq_open(struct inode *inode, struct file *file)
2126 {
2127         return seq_open(file, &dev_seq_ops);
2128 }
2129
2130 static struct file_operations dev_seq_fops = {
2131         .owner   = THIS_MODULE,
2132         .open    = dev_seq_open,
2133         .read    = seq_read,
2134         .llseek  = seq_lseek,
2135         .release = seq_release,
2136 };
2137
2138 static struct seq_operations softnet_seq_ops = {
2139         .start = softnet_seq_start,
2140         .next  = softnet_seq_next,
2141         .stop  = softnet_seq_stop,
2142         .show  = softnet_seq_show,
2143 };
2144
2145 static int softnet_seq_open(struct inode *inode, struct file *file)
2146 {
2147         return seq_open(file, &softnet_seq_ops);
2148 }
2149
2150 static struct file_operations softnet_seq_fops = {
2151         .owner   = THIS_MODULE,
2152         .open    = softnet_seq_open,
2153         .read    = seq_read,
2154         .llseek  = seq_lseek,
2155         .release = seq_release,
2156 };
2157
2158 #ifdef WIRELESS_EXT
2159 extern int wireless_proc_init(void);
2160 #else
2161 #define wireless_proc_init() 0
2162 #endif
2163
2164 static int __init dev_proc_init(void)
2165 {
2166         int rc = -ENOMEM;
2167
2168         if (!proc_net_fops_create("dev", S_IRUGO, &dev_seq_fops))
2169                 goto out;
2170         if (!proc_net_fops_create("softnet_stat", S_IRUGO, &softnet_seq_fops))
2171                 goto out_dev;
2172         if (wireless_proc_init())
2173                 goto out_softnet;
2174         rc = 0;
2175 out:
2176         return rc;
2177 out_softnet:
2178         proc_net_remove("softnet_stat");
2179 out_dev:
2180         proc_net_remove("dev");
2181         goto out;
2182 }
2183 #else
2184 #define dev_proc_init() 0
2185 #endif  /* CONFIG_PROC_FS */
2186
2187
2188 /**
2189  *      netdev_set_master       -       set up master/slave pair
2190  *      @slave: slave device
2191  *      @master: new master device
2192  *
2193  *      Changes the master device of the slave. Pass %NULL to break the
2194  *      bonding. The caller must hold the RTNL semaphore. On a failure
2195  *      a negative errno code is returned. On success the reference counts
2196  *      are adjusted, %RTM_NEWLINK is sent to the routing socket and the
2197  *      function returns zero.
2198  */
2199 int netdev_set_master(struct net_device *slave, struct net_device *master)
2200 {
2201         struct net_device *old = slave->master;
2202
2203         ASSERT_RTNL();
2204
2205         if (master) {
2206                 if (old)
2207                         return -EBUSY;
2208                 dev_hold(master);
2209         }
2210
2211         slave->master = master;
2212         
2213         synchronize_net();
2214
2215         if (old)
2216                 dev_put(old);
2217
2218         if (master)
2219                 slave->flags |= IFF_SLAVE;
2220         else
2221                 slave->flags &= ~IFF_SLAVE;
2222
2223         rtmsg_ifinfo(RTM_NEWLINK, slave, IFF_SLAVE);
2224         return 0;
2225 }
2226
2227 /**
2228  *      dev_set_promiscuity     - update promiscuity count on a device
2229  *      @dev: device
2230  *      @inc: modifier
2231  *
2232  *      Add or remove promsicuity from a device. While the count in the device
2233  *      remains above zero the interface remains promiscuous. Once it hits zero
2234  *      the device reverts back to normal filtering operation. A negative inc
2235  *      value is used to drop promiscuity on the device.
2236  */
2237 void dev_set_promiscuity(struct net_device *dev, int inc)
2238 {
2239         unsigned short old_flags = dev->flags;
2240
2241         dev->flags |= IFF_PROMISC;
2242         if ((dev->promiscuity += inc) == 0)
2243                 dev->flags &= ~IFF_PROMISC;
2244         if (dev->flags ^ old_flags) {
2245 #ifdef CONFIG_NET_FASTROUTE
2246                 if (dev->flags & IFF_PROMISC) {
2247                         netdev_fastroute_obstacles++;
2248                         dev_clear_fastroute(dev);
2249                 } else
2250                         netdev_fastroute_obstacles--;
2251 #endif
2252                 dev_mc_upload(dev);
2253                 printk(KERN_INFO "device %s %s promiscuous mode\n",
2254                        dev->name, (dev->flags & IFF_PROMISC) ? "entered" :
2255                                                                "left");
2256         }
2257 }
2258
2259 /**
2260  *      dev_set_allmulti        - update allmulti count on a device
2261  *      @dev: device
2262  *      @inc: modifier
2263  *
2264  *      Add or remove reception of all multicast frames to a device. While the
2265  *      count in the device remains above zero the interface remains listening
2266  *      to all interfaces. Once it hits zero the device reverts back to normal
2267  *      filtering operation. A negative @inc value is used to drop the counter
2268  *      when releasing a resource needing all multicasts.
2269  */
2270
2271 void dev_set_allmulti(struct net_device *dev, int inc)
2272 {
2273         unsigned short old_flags = dev->flags;
2274
2275         dev->flags |= IFF_ALLMULTI;
2276         if ((dev->allmulti += inc) == 0)
2277                 dev->flags &= ~IFF_ALLMULTI;
2278         if (dev->flags ^ old_flags)
2279                 dev_mc_upload(dev);
2280 }
2281
2282 unsigned dev_get_flags(const struct net_device *dev)
2283 {
2284         unsigned flags;
2285
2286         flags = (dev->flags & ~(IFF_PROMISC |
2287                                 IFF_ALLMULTI |
2288                                 IFF_RUNNING)) | 
2289                 (dev->gflags & (IFF_PROMISC |
2290                                 IFF_ALLMULTI));
2291
2292         if (netif_running(dev) && netif_carrier_ok(dev))
2293                 flags |= IFF_RUNNING;
2294
2295         return flags;
2296 }
2297
2298 int dev_change_flags(struct net_device *dev, unsigned flags)
2299 {
2300         int ret;
2301         int old_flags = dev->flags;
2302
2303         /*
2304          *      Set the flags on our device.
2305          */
2306
2307         dev->flags = (flags & (IFF_DEBUG | IFF_NOTRAILERS | IFF_NOARP |
2308                                IFF_DYNAMIC | IFF_MULTICAST | IFF_PORTSEL |
2309                                IFF_AUTOMEDIA)) |
2310                      (dev->flags & (IFF_UP | IFF_VOLATILE | IFF_PROMISC |
2311                                     IFF_ALLMULTI));
2312
2313         /*
2314          *      Load in the correct multicast list now the flags have changed.
2315          */
2316
2317         dev_mc_upload(dev);
2318
2319         /*
2320          *      Have we downed the interface. We handle IFF_UP ourselves
2321          *      according to user attempts to set it, rather than blindly
2322          *      setting it.
2323          */
2324
2325         ret = 0;
2326         if ((old_flags ^ flags) & IFF_UP) {     /* Bit is different  ? */
2327                 ret = ((old_flags & IFF_UP) ? dev_close : dev_open)(dev);
2328
2329                 if (!ret)
2330                         dev_mc_upload(dev);
2331         }
2332
2333         if (dev->flags & IFF_UP &&
2334             ((old_flags ^ dev->flags) &~ (IFF_UP | IFF_PROMISC | IFF_ALLMULTI |
2335                                           IFF_VOLATILE)))
2336                 notifier_call_chain(&netdev_chain, NETDEV_CHANGE, dev);
2337
2338         if ((flags ^ dev->gflags) & IFF_PROMISC) {
2339                 int inc = (flags & IFF_PROMISC) ? +1 : -1;
2340                 dev->gflags ^= IFF_PROMISC;
2341                 dev_set_promiscuity(dev, inc);
2342         }
2343
2344         /* NOTE: order of synchronization of IFF_PROMISC and IFF_ALLMULTI
2345            is important. Some (broken) drivers set IFF_PROMISC, when
2346            IFF_ALLMULTI is requested not asking us and not reporting.
2347          */
2348         if ((flags ^ dev->gflags) & IFF_ALLMULTI) {
2349                 int inc = (flags & IFF_ALLMULTI) ? +1 : -1;
2350                 dev->gflags ^= IFF_ALLMULTI;
2351                 dev_set_allmulti(dev, inc);
2352         }
2353
2354         if (old_flags ^ dev->flags)
2355                 rtmsg_ifinfo(RTM_NEWLINK, dev, old_flags ^ dev->flags);
2356
2357         return ret;
2358 }
2359
2360 int dev_set_mtu(struct net_device *dev, int new_mtu)
2361 {
2362         int err;
2363
2364         if (new_mtu == dev->mtu)
2365                 return 0;
2366
2367         /*      MTU must be positive.    */
2368         if (new_mtu < 0)
2369                 return -EINVAL;
2370
2371         if (!netif_device_present(dev))
2372                 return -ENODEV;
2373
2374         err = 0;
2375         if (dev->change_mtu)
2376                 err = dev->change_mtu(dev, new_mtu);
2377         else
2378                 dev->mtu = new_mtu;
2379         if (!err && dev->flags & IFF_UP)
2380                 notifier_call_chain(&netdev_chain,
2381                                     NETDEV_CHANGEMTU, dev);
2382         return err;
2383 }
2384
2385
2386 /*
2387  *      Perform the SIOCxIFxxx calls.
2388  */
2389 static int dev_ifsioc(struct ifreq *ifr, unsigned int cmd)
2390 {
2391         int err;
2392         struct net_device *dev = __dev_get_by_name(ifr->ifr_name);
2393
2394         if (!dev)
2395                 return -ENODEV;
2396
2397         switch (cmd) {
2398                 case SIOCGIFFLAGS:      /* Get interface flags */
2399                         ifr->ifr_flags = dev_get_flags(dev);
2400                         return 0;
2401
2402                 case SIOCSIFFLAGS:      /* Set interface flags */
2403                         return dev_change_flags(dev, ifr->ifr_flags);
2404
2405                 case SIOCGIFMETRIC:     /* Get the metric on the interface
2406                                            (currently unused) */
2407                         ifr->ifr_metric = 0;
2408                         return 0;
2409
2410                 case SIOCSIFMETRIC:     /* Set the metric on the interface
2411                                            (currently unused) */
2412                         return -EOPNOTSUPP;
2413
2414                 case SIOCGIFMTU:        /* Get the MTU of a device */
2415                         ifr->ifr_mtu = dev->mtu;
2416                         return 0;
2417
2418                 case SIOCSIFMTU:        /* Set the MTU of a device */
2419                         return dev_set_mtu(dev, ifr->ifr_mtu);
2420
2421                 case SIOCGIFHWADDR:
2422                         memcpy(ifr->ifr_hwaddr.sa_data, dev->dev_addr,
2423                                min(sizeof ifr->ifr_hwaddr.sa_data, (size_t) dev->addr_len));
2424                         ifr->ifr_hwaddr.sa_family = dev->type;
2425                         return 0;
2426
2427                 case SIOCSIFHWADDR:
2428                         if (!dev->set_mac_address)
2429                                 return -EOPNOTSUPP;
2430                         if (ifr->ifr_hwaddr.sa_family != dev->type)
2431                                 return -EINVAL;
2432                         if (!netif_device_present(dev))
2433                                 return -ENODEV;
2434                         err = dev->set_mac_address(dev, &ifr->ifr_hwaddr);
2435                         if (!err)
2436                                 notifier_call_chain(&netdev_chain,
2437                                                     NETDEV_CHANGEADDR, dev);
2438                         return err;
2439
2440                 case SIOCSIFHWBROADCAST:
2441                         if (ifr->ifr_hwaddr.sa_family != dev->type)
2442                                 return -EINVAL;
2443                         memcpy(dev->broadcast, ifr->ifr_hwaddr.sa_data,
2444                                min(sizeof ifr->ifr_hwaddr.sa_data, (size_t) dev->addr_len));
2445                         notifier_call_chain(&netdev_chain,
2446                                             NETDEV_CHANGEADDR, dev);
2447                         return 0;
2448
2449                 case SIOCGIFMAP:
2450                         ifr->ifr_map.mem_start = dev->mem_start;
2451                         ifr->ifr_map.mem_end   = dev->mem_end;
2452                         ifr->ifr_map.base_addr = dev->base_addr;
2453                         ifr->ifr_map.irq       = dev->irq;
2454                         ifr->ifr_map.dma       = dev->dma;
2455                         ifr->ifr_map.port      = dev->if_port;
2456                         return 0;
2457
2458                 case SIOCSIFMAP:
2459                         if (dev->set_config) {
2460                                 if (!netif_device_present(dev))
2461                                         return -ENODEV;
2462                                 return dev->set_config(dev, &ifr->ifr_map);
2463                         }
2464                         return -EOPNOTSUPP;
2465
2466                 case SIOCADDMULTI:
2467                         if (!dev->set_multicast_list ||
2468                             ifr->ifr_hwaddr.sa_family != AF_UNSPEC)
2469                                 return -EINVAL;
2470                         if (!netif_device_present(dev))
2471                                 return -ENODEV;
2472                         return dev_mc_add(dev, ifr->ifr_hwaddr.sa_data,
2473                                           dev->addr_len, 1);
2474
2475                 case SIOCDELMULTI:
2476                         if (!dev->set_multicast_list ||
2477                             ifr->ifr_hwaddr.sa_family != AF_UNSPEC)
2478                                 return -EINVAL;
2479                         if (!netif_device_present(dev))
2480                                 return -ENODEV;
2481                         return dev_mc_delete(dev, ifr->ifr_hwaddr.sa_data,
2482                                              dev->addr_len, 1);
2483
2484                 case SIOCGIFINDEX:
2485                         ifr->ifr_ifindex = dev->ifindex;
2486                         return 0;
2487
2488                 case SIOCGIFTXQLEN:
2489                         ifr->ifr_qlen = dev->tx_queue_len;
2490                         return 0;
2491
2492                 case SIOCSIFTXQLEN:
2493                         if (ifr->ifr_qlen < 0)
2494                                 return -EINVAL;
2495                         dev->tx_queue_len = ifr->ifr_qlen;
2496                         return 0;
2497
2498                 case SIOCSIFNAME:
2499                         ifr->ifr_newname[IFNAMSIZ-1] = '\0';
2500                         return dev_change_name(dev, ifr->ifr_newname);
2501
2502                 /*
2503                  *      Unknown or private ioctl
2504                  */
2505
2506                 default:
2507                         if ((cmd >= SIOCDEVPRIVATE &&
2508                             cmd <= SIOCDEVPRIVATE + 15) ||
2509                             cmd == SIOCBONDENSLAVE ||
2510                             cmd == SIOCBONDRELEASE ||
2511                             cmd == SIOCBONDSETHWADDR ||
2512                             cmd == SIOCBONDSLAVEINFOQUERY ||
2513                             cmd == SIOCBONDINFOQUERY ||
2514                             cmd == SIOCBONDCHANGEACTIVE ||
2515                             cmd == SIOCGMIIPHY ||
2516                             cmd == SIOCGMIIREG ||
2517                             cmd == SIOCSMIIREG ||
2518                             cmd == SIOCWANDEV) {
2519                                 err = -EOPNOTSUPP;
2520                                 if (dev->do_ioctl) {
2521                                         if (netif_device_present(dev))
2522                                                 err = dev->do_ioctl(dev, ifr,
2523                                                                     cmd);
2524                                         else
2525                                                 err = -ENODEV;
2526                                 }
2527                         } else
2528                                 err = -EINVAL;
2529
2530         }
2531         return err;
2532 }
2533
2534 /*
2535  *      This function handles all "interface"-type I/O control requests. The actual
2536  *      'doing' part of this is dev_ifsioc above.
2537  */
2538
2539 /**
2540  *      dev_ioctl       -       network device ioctl
2541  *      @cmd: command to issue
2542  *      @arg: pointer to a struct ifreq in user space
2543  *
2544  *      Issue ioctl functions to devices. This is normally called by the
2545  *      user space syscall interfaces but can sometimes be useful for
2546  *      other purposes. The return value is the return from the syscall if
2547  *      positive or a negative errno code on error.
2548  */
2549
2550 int dev_ioctl(unsigned int cmd, void __user *arg)
2551 {
2552         struct ifreq ifr;
2553         int ret;
2554         char *colon;
2555
2556         /* One special case: SIOCGIFCONF takes ifconf argument
2557            and requires shared lock, because it sleeps writing
2558            to user space.
2559          */
2560
2561         if (cmd == SIOCGIFCONF) {
2562                 rtnl_shlock();
2563                 ret = dev_ifconf((char __user *) arg);
2564                 rtnl_shunlock();
2565                 return ret;
2566         }
2567         if (cmd == SIOCGIFNAME)
2568                 return dev_ifname((struct ifreq __user *)arg);
2569
2570         if (copy_from_user(&ifr, arg, sizeof(struct ifreq)))
2571                 return -EFAULT;
2572
2573         ifr.ifr_name[IFNAMSIZ-1] = 0;
2574
2575         colon = strchr(ifr.ifr_name, ':');
2576         if (colon)
2577                 *colon = 0;
2578
2579         /*
2580          *      See which interface the caller is talking about.
2581          */
2582
2583         switch (cmd) {
2584                 /*
2585                  *      These ioctl calls:
2586                  *      - can be done by all.
2587                  *      - atomic and do not require locking.
2588                  *      - return a value
2589                  */
2590                 case SIOCGIFFLAGS:
2591                 case SIOCGIFMETRIC:
2592                 case SIOCGIFMTU:
2593                 case SIOCGIFHWADDR:
2594                 case SIOCGIFSLAVE:
2595                 case SIOCGIFMAP:
2596                 case SIOCGIFINDEX:
2597                 case SIOCGIFTXQLEN:
2598                         dev_load(ifr.ifr_name);
2599                         read_lock(&dev_base_lock);
2600                         ret = dev_ifsioc(&ifr, cmd);
2601                         read_unlock(&dev_base_lock);
2602                         if (!ret) {
2603                                 if (colon)
2604                                         *colon = ':';
2605                                 if (copy_to_user(arg, &ifr,
2606                                                  sizeof(struct ifreq)))
2607                                         ret = -EFAULT;
2608                         }
2609                         return ret;
2610
2611                 case SIOCETHTOOL:
2612                         dev_load(ifr.ifr_name);
2613                         rtnl_lock();
2614                         ret = dev_ethtool(&ifr);
2615                         rtnl_unlock();
2616                         if (!ret) {
2617                                 if (colon)
2618                                         *colon = ':';
2619                                 if (copy_to_user(arg, &ifr,
2620                                                  sizeof(struct ifreq)))
2621                                         ret = -EFAULT;
2622                         }
2623                         return ret;
2624
2625                 /*
2626                  *      These ioctl calls:
2627                  *      - require superuser power.
2628                  *      - require strict serialization.
2629                  *      - return a value
2630                  */
2631                 case SIOCGMIIPHY:
2632                 case SIOCGMIIREG:
2633                 case SIOCSIFNAME:
2634                         if (!capable(CAP_NET_ADMIN))
2635                                 return -EPERM;
2636                         dev_load(ifr.ifr_name);
2637                         rtnl_lock();
2638                         ret = dev_ifsioc(&ifr, cmd);
2639                         rtnl_unlock();
2640                         if (!ret) {
2641                                 if (colon)
2642                                         *colon = ':';
2643                                 if (copy_to_user(arg, &ifr,
2644                                                  sizeof(struct ifreq)))
2645                                         ret = -EFAULT;
2646                         }
2647                         return ret;
2648
2649                 /*
2650                  *      These ioctl calls:
2651                  *      - require superuser power.
2652                  *      - require strict serialization.
2653                  *      - do not return a value
2654                  */
2655                 case SIOCSIFFLAGS:
2656                 case SIOCSIFMETRIC:
2657                 case SIOCSIFMTU:
2658                 case SIOCSIFMAP:
2659                 case SIOCSIFHWADDR:
2660                 case SIOCSIFSLAVE:
2661                 case SIOCADDMULTI:
2662                 case SIOCDELMULTI:
2663                 case SIOCSIFHWBROADCAST:
2664                 case SIOCSIFTXQLEN:
2665                 case SIOCSMIIREG:
2666                 case SIOCBONDENSLAVE:
2667                 case SIOCBONDRELEASE:
2668                 case SIOCBONDSETHWADDR:
2669                 case SIOCBONDSLAVEINFOQUERY:
2670                 case SIOCBONDINFOQUERY:
2671                 case SIOCBONDCHANGEACTIVE:
2672                         if (!capable(CAP_NET_ADMIN))
2673                                 return -EPERM;
2674                         dev_load(ifr.ifr_name);
2675                         rtnl_lock();
2676                         ret = dev_ifsioc(&ifr, cmd);
2677                         rtnl_unlock();
2678                         return ret;
2679
2680                 case SIOCGIFMEM:
2681                         /* Get the per device memory space. We can add this but
2682                          * currently do not support it */
2683                 case SIOCSIFMEM:
2684                         /* Set the per device memory buffer space.
2685                          * Not applicable in our case */
2686                 case SIOCSIFLINK:
2687                         return -EINVAL;
2688
2689                 /*
2690                  *      Unknown or private ioctl.
2691                  */
2692                 default:
2693                         if (cmd == SIOCWANDEV ||
2694                             (cmd >= SIOCDEVPRIVATE &&
2695                              cmd <= SIOCDEVPRIVATE + 15)) {
2696                                 dev_load(ifr.ifr_name);
2697                                 rtnl_lock();
2698                                 ret = dev_ifsioc(&ifr, cmd);
2699                                 rtnl_unlock();
2700                                 if (!ret && copy_to_user(arg, &ifr,
2701                                                          sizeof(struct ifreq)))
2702                                         ret = -EFAULT;
2703                                 return ret;
2704                         }
2705 #ifdef WIRELESS_EXT
2706                         /* Take care of Wireless Extensions */
2707                         if (cmd >= SIOCIWFIRST && cmd <= SIOCIWLAST) {
2708                                 /* If command is `set a parameter', or
2709                                  * `get the encoding parameters', check if
2710                                  * the user has the right to do it */
2711                                 if (IW_IS_SET(cmd) || cmd == SIOCGIWENCODE) {
2712                                         if (!capable(CAP_NET_ADMIN))
2713                                                 return -EPERM;
2714                                 }
2715                                 dev_load(ifr.ifr_name);
2716                                 rtnl_lock();
2717                                 /* Follow me in net/core/wireless.c */
2718                                 ret = wireless_process_ioctl(&ifr, cmd);
2719                                 rtnl_unlock();
2720                                 if (!ret && IW_IS_GET(cmd) &&
2721                                     copy_to_user(arg, &ifr,
2722                                                  sizeof(struct ifreq)))
2723                                         ret = -EFAULT;
2724                                 return ret;
2725                         }
2726 #endif  /* WIRELESS_EXT */
2727                         return -EINVAL;
2728         }
2729 }
2730
2731
2732 /**
2733  *      dev_new_index   -       allocate an ifindex
2734  *
2735  *      Returns a suitable unique value for a new device interface
2736  *      number.  The caller must hold the rtnl semaphore or the
2737  *      dev_base_lock to be sure it remains unique.
2738  */
2739 int dev_new_index(void)
2740 {
2741         static int ifindex;
2742         for (;;) {
2743                 if (++ifindex <= 0)
2744                         ifindex = 1;
2745                 if (!__dev_get_by_index(ifindex))
2746                         return ifindex;
2747         }
2748 }
2749
2750 static int dev_boot_phase = 1;
2751
2752 /* Delayed registration/unregisteration */
2753 static spinlock_t net_todo_list_lock = SPIN_LOCK_UNLOCKED;
2754 static struct list_head net_todo_list = LIST_HEAD_INIT(net_todo_list);
2755
2756 static inline void net_set_todo(struct net_device *dev)
2757 {
2758         spin_lock(&net_todo_list_lock);
2759         list_add_tail(&dev->todo_list, &net_todo_list);
2760         spin_unlock(&net_todo_list_lock);
2761 }
2762
2763 /**
2764  *      register_netdevice      - register a network device
2765  *      @dev: device to register
2766  *
2767  *      Take a completed network device structure and add it to the kernel
2768  *      interfaces. A %NETDEV_REGISTER message is sent to the netdev notifier
2769  *      chain. 0 is returned on success. A negative errno code is returned
2770  *      on a failure to set up the device, or if the name is a duplicate.
2771  *
2772  *      Callers must hold the rtnl semaphore.  See the comment at the
2773  *      end of Space.c for details about the locking.  You may want
2774  *      register_netdev() instead of this.
2775  *
2776  *      BUGS:
2777  *      The locking appears insufficient to guarantee two parallel registers
2778  *      will not get the same name.
2779  */
2780
2781 int register_netdevice(struct net_device *dev)
2782 {
2783         struct hlist_head *head;
2784         struct hlist_node *p;
2785         int ret;
2786
2787         BUG_ON(dev_boot_phase);
2788         ASSERT_RTNL();
2789
2790         /* When net_device's are persistent, this will be fatal. */
2791         BUG_ON(dev->reg_state != NETREG_UNINITIALIZED);
2792
2793         spin_lock_init(&dev->queue_lock);
2794         spin_lock_init(&dev->xmit_lock);
2795         dev->xmit_lock_owner = -1;
2796 #ifdef CONFIG_NET_FASTROUTE
2797         dev->fastpath_lock = RW_LOCK_UNLOCKED;
2798 #endif
2799
2800         ret = alloc_divert_blk(dev);
2801         if (ret)
2802                 goto out;
2803
2804         dev->iflink = -1;
2805
2806         /* Init, if this function is available */
2807         if (dev->init) {
2808                 ret = dev->init(dev);
2809                 if (ret) {
2810                         if (ret > 0)
2811                                 ret = -EIO;
2812                         goto out_err;
2813                 }
2814         }
2815  
2816         if (!dev_valid_name(dev->name)) {
2817                 ret = -EINVAL;
2818                 goto out_err;
2819         }
2820
2821         dev->ifindex = dev_new_index();
2822         if (dev->iflink == -1)
2823                 dev->iflink = dev->ifindex;
2824
2825         /* Check for existence of name */
2826         head = dev_name_hash(dev->name);
2827         hlist_for_each(p, head) {
2828                 struct net_device *d
2829                         = hlist_entry(p, struct net_device, name_hlist);
2830                 if (!strncmp(d->name, dev->name, IFNAMSIZ)) {
2831                         ret = -EEXIST;
2832                         goto out_err;
2833                 }
2834         }
2835
2836         /* Fix illegal SG+CSUM combinations. */
2837         if ((dev->features & NETIF_F_SG) &&
2838             !(dev->features & (NETIF_F_IP_CSUM |
2839                                NETIF_F_NO_CSUM |
2840                                NETIF_F_HW_CSUM))) {
2841                 printk("%s: Dropping NETIF_F_SG since no checksum feature.\n",
2842                        dev->name);
2843                 dev->features &= ~NETIF_F_SG;
2844         }
2845
2846         /*
2847          *      nil rebuild_header routine,
2848          *      that should be never called and used as just bug trap.
2849          */
2850
2851         if (!dev->rebuild_header)
2852                 dev->rebuild_header = default_rebuild_header;
2853
2854         /*
2855          *      Default initial state at registry is that the
2856          *      device is present.
2857          */
2858
2859         set_bit(__LINK_STATE_PRESENT, &dev->state);
2860
2861         dev->next = NULL;
2862         dev_init_scheduler(dev);
2863         write_lock_bh(&dev_base_lock);
2864         *dev_tail = dev;
2865         dev_tail = &dev->next;
2866         hlist_add_head(&dev->name_hlist, head);
2867         hlist_add_head(&dev->index_hlist, dev_index_hash(dev->ifindex));
2868         dev_hold(dev);
2869         dev->reg_state = NETREG_REGISTERING;
2870         write_unlock_bh(&dev_base_lock);
2871
2872         /* Notify protocols, that a new device appeared. */
2873         notifier_call_chain(&netdev_chain, NETDEV_REGISTER, dev);
2874
2875         /* Finish registration after unlock */
2876         net_set_todo(dev);
2877         ret = 0;
2878
2879 out:
2880         return ret;
2881 out_err:
2882         free_divert_blk(dev);
2883         goto out;
2884 }
2885
2886 /*
2887  * netdev_wait_allrefs - wait until all references are gone.
2888  *
2889  * This is called when unregistering network devices.
2890  *
2891  * Any protocol or device that holds a reference should register
2892  * for netdevice notification, and cleanup and put back the
2893  * reference if they receive an UNREGISTER event.
2894  * We can get stuck here if buggy protocols don't correctly
2895  * call dev_put. 
2896  */
2897 static void netdev_wait_allrefs(struct net_device *dev)
2898 {
2899         unsigned long rebroadcast_time, warning_time;
2900
2901         rebroadcast_time = warning_time = jiffies;
2902         while (atomic_read(&dev->refcnt) != 0) {
2903                 if (time_after(jiffies, rebroadcast_time + 1 * HZ)) {
2904                         rtnl_shlock();
2905                         rtnl_exlock();
2906
2907                         /* Rebroadcast unregister notification */
2908                         notifier_call_chain(&netdev_chain,
2909                                             NETDEV_UNREGISTER, dev);
2910
2911                         if (test_bit(__LINK_STATE_LINKWATCH_PENDING,
2912                                      &dev->state)) {
2913                                 /* We must not have linkwatch events
2914                                  * pending on unregister. If this
2915                                  * happens, we simply run the queue
2916                                  * unscheduled, resulting in a noop
2917                                  * for this device.
2918                                  */
2919                                 linkwatch_run_queue();
2920                         }
2921
2922                         rtnl_exunlock();
2923                         rtnl_shunlock();
2924
2925                         rebroadcast_time = jiffies;
2926                 }
2927
2928                 current->state = TASK_INTERRUPTIBLE;
2929                 schedule_timeout(HZ / 4);
2930
2931                 if (time_after(jiffies, warning_time + 10 * HZ)) {
2932                         printk(KERN_EMERG "unregister_netdevice: "
2933                                "waiting for %s to become free. Usage "
2934                                "count = %d\n",
2935                                dev->name, atomic_read(&dev->refcnt));
2936                         warning_time = jiffies;
2937                 }
2938         }
2939 }
2940
2941 /* The sequence is:
2942  *
2943  *      rtnl_lock();
2944  *      ...
2945  *      register_netdevice(x1);
2946  *      register_netdevice(x2);
2947  *      ...
2948  *      unregister_netdevice(y1);
2949  *      unregister_netdevice(y2);
2950  *      ...
2951  *      rtnl_unlock();
2952  *      free_netdev(y1);
2953  *      free_netdev(y2);
2954  *
2955  * We are invoked by rtnl_unlock() after it drops the semaphore.
2956  * This allows us to deal with problems:
2957  * 1) We can create/delete sysfs objects which invoke hotplug
2958  *    without deadlocking with linkwatch via keventd.
2959  * 2) Since we run with the RTNL semaphore not held, we can sleep
2960  *    safely in order to wait for the netdev refcnt to drop to zero.
2961  */
2962 static DECLARE_MUTEX(net_todo_run_mutex);
2963 void netdev_run_todo(void)
2964 {
2965         struct list_head list = LIST_HEAD_INIT(list);
2966
2967         /* Safe outside mutex since we only care about entries that
2968          * this cpu put into queue while under RTNL.
2969          */
2970         if (list_empty(&net_todo_list))
2971                 return;
2972
2973         /* Need to guard against multiple cpu's getting out of order. */
2974         down(&net_todo_run_mutex);
2975
2976         /* Snapshot list, allow later requests */
2977         spin_lock(&net_todo_list_lock);
2978         list_splice_init(&net_todo_list, &list);
2979         spin_unlock(&net_todo_list_lock);
2980                 
2981         while (!list_empty(&list)) {
2982                 struct net_device *dev
2983                         = list_entry(list.next, struct net_device, todo_list);
2984                 list_del(&dev->todo_list);
2985
2986                 switch(dev->reg_state) {
2987                 case NETREG_REGISTERING:
2988                         netdev_register_sysfs(dev);
2989                         dev->reg_state = NETREG_REGISTERED;
2990                         break;
2991
2992                 case NETREG_UNREGISTERING:
2993                         netdev_unregister_sysfs(dev);
2994                         dev->reg_state = NETREG_UNREGISTERED;
2995
2996                         netdev_wait_allrefs(dev);
2997
2998                         /* paranoia */
2999                         BUG_ON(atomic_read(&dev->refcnt));
3000                         BUG_TRAP(!dev->ip_ptr);
3001                         BUG_TRAP(!dev->ip6_ptr);
3002                         BUG_TRAP(!dev->dn_ptr);
3003
3004
3005                         /* It must be the very last action, 
3006                          * after this 'dev' may point to freed up memory.
3007                          */
3008                         if (dev->destructor)
3009                                 dev->destructor(dev);
3010                         break;
3011
3012                 default:
3013                         printk(KERN_ERR "network todo '%s' but state %d\n",
3014                                dev->name, dev->reg_state);
3015                         break;
3016                 }
3017         }
3018
3019         up(&net_todo_run_mutex);
3020 }
3021
3022 /**
3023  *      free_netdev - free network device
3024  *      @dev: device
3025  *
3026  *      This function does the last stage of destroying an allocated device 
3027  *      interface. The reference to the device object is released.  
3028  *      If this is the last reference then it will be freed.
3029  */
3030 void free_netdev(struct net_device *dev)
3031 {
3032         /*  Compatiablity with error handling in drivers */
3033         if (dev->reg_state == NETREG_UNINITIALIZED) {
3034                 kfree((char *)dev - dev->padded);
3035                 return;
3036         }
3037
3038         BUG_ON(dev->reg_state != NETREG_UNREGISTERED);
3039         dev->reg_state = NETREG_RELEASED;
3040
3041         /* will free via class release */
3042         class_device_put(&dev->class_dev);
3043 }
3044  
3045 /* Synchronize with packet receive processing. */
3046 void synchronize_net(void) 
3047 {
3048         might_sleep();
3049         synchronize_kernel();
3050 }
3051
3052 /**
3053  *      unregister_netdevice - remove device from the kernel
3054  *      @dev: device
3055  *
3056  *      This function shuts down a device interface and removes it
3057  *      from the kernel tables. On success 0 is returned, on a failure
3058  *      a negative errno code is returned.
3059  *
3060  *      Callers must hold the rtnl semaphore.  See the comment at the
3061  *      end of Space.c for details about the locking.  You may want
3062  *      unregister_netdev() instead of this.
3063  */
3064
3065 int unregister_netdevice(struct net_device *dev)
3066 {
3067         struct net_device *d, **dp;
3068
3069         BUG_ON(dev_boot_phase);
3070         ASSERT_RTNL();
3071
3072         /* Some devices call without registering for initialization unwind. */
3073         if (dev->reg_state == NETREG_UNINITIALIZED) {
3074                 printk(KERN_DEBUG "unregister_netdevice: device %s/%p never "
3075                                   "was registered\n", dev->name, dev);
3076                 return -ENODEV;
3077         }
3078
3079         BUG_ON(dev->reg_state != NETREG_REGISTERED);
3080
3081         /* If device is running, close it first. */
3082         if (dev->flags & IFF_UP)
3083                 dev_close(dev);
3084
3085         /* And unlink it from device chain. */
3086         for (dp = &dev_base; (d = *dp) != NULL; dp = &d->next) {
3087                 if (d == dev) {
3088                         write_lock_bh(&dev_base_lock);
3089                         hlist_del(&dev->name_hlist);
3090                         hlist_del(&dev->index_hlist);
3091                         if (dev_tail == &dev->next)
3092                                 dev_tail = dp;
3093                         *dp = d->next;
3094                         write_unlock_bh(&dev_base_lock);
3095                         break;
3096                 }
3097         }
3098         if (!d) {
3099                 printk(KERN_ERR "unregister net_device: '%s' not found\n",
3100                        dev->name);
3101                 return -ENODEV;
3102         }
3103
3104         dev->reg_state = NETREG_UNREGISTERING;
3105
3106         synchronize_net();
3107
3108 #ifdef CONFIG_NET_FASTROUTE
3109         dev_clear_fastroute(dev);
3110 #endif
3111
3112         /* Shutdown queueing discipline. */
3113         dev_shutdown(dev);
3114
3115         
3116         /* Notify protocols, that we are about to destroy
3117            this device. They should clean all the things.
3118         */
3119         notifier_call_chain(&netdev_chain, NETDEV_UNREGISTER, dev);
3120         
3121         /*
3122          *      Flush the multicast chain
3123          */
3124         dev_mc_discard(dev);
3125
3126         if (dev->uninit)
3127                 dev->uninit(dev);
3128
3129         /* Notifier chain MUST detach us from master device. */
3130         BUG_TRAP(!dev->master);
3131
3132         free_divert_blk(dev);
3133
3134         /* Finish processing unregister after unlock */
3135         net_set_todo(dev);
3136
3137         dev_put(dev);
3138         return 0;
3139 }
3140
3141 #ifdef CONFIG_HOTPLUG_CPU
3142 static int dev_cpu_callback(struct notifier_block *nfb,
3143                             unsigned long action,
3144                             void *ocpu)
3145 {
3146         struct sk_buff **list_skb;
3147         struct net_device **list_net;
3148         struct sk_buff *skb;
3149         unsigned int cpu, oldcpu = (unsigned long)ocpu;
3150         struct softnet_data *sd, *oldsd;
3151
3152         if (action != CPU_DEAD)
3153                 return NOTIFY_OK;
3154
3155         local_irq_disable();
3156         cpu = smp_processor_id();
3157         sd = &per_cpu(softnet_data, cpu);
3158         oldsd = &per_cpu(softnet_data, oldcpu);
3159
3160         /* Find end of our completion_queue. */
3161         list_skb = &sd->completion_queue;
3162         while (*list_skb)
3163                 list_skb = &(*list_skb)->next;
3164         /* Append completion queue from offline CPU. */
3165         *list_skb = oldsd->completion_queue;
3166         oldsd->completion_queue = NULL;
3167
3168         /* Find end of our output_queue. */
3169         list_net = &sd->output_queue;
3170         while (*list_net)
3171                 list_net = &(*list_net)->next_sched;
3172         /* Append output queue from offline CPU. */
3173         *list_net = oldsd->output_queue;
3174         oldsd->output_queue = NULL;
3175
3176         raise_softirq_irqoff(NET_TX_SOFTIRQ);
3177         local_irq_enable();
3178
3179         /* Process offline CPU's input_pkt_queue */
3180         while ((skb = __skb_dequeue(&oldsd->input_pkt_queue)))
3181                 netif_rx(skb);
3182
3183         return NOTIFY_OK;
3184 }
3185 #endif /* CONFIG_HOTPLUG_CPU */
3186
3187
3188 /*
3189  *      Initialize the DEV module. At boot time this walks the device list and
3190  *      unhooks any devices that fail to initialise (normally hardware not
3191  *      present) and leaves us with a valid list of present and active devices.
3192  *
3193  */
3194
3195 /*
3196  *       This is called single threaded during boot, so no need
3197  *       to take the rtnl semaphore.
3198  */
3199 static int __init net_dev_init(void)
3200 {
3201         int i, rc = -ENOMEM;
3202
3203         BUG_ON(!dev_boot_phase);
3204
3205         if (dev_proc_init())
3206                 goto out;
3207
3208         if (netdev_sysfs_init())
3209                 goto out;
3210
3211         INIT_LIST_HEAD(&ptype_all);
3212         for (i = 0; i < 16; i++) 
3213                 INIT_LIST_HEAD(&ptype_base[i]);
3214
3215         for (i = 0; i < ARRAY_SIZE(dev_name_head); i++)
3216                 INIT_HLIST_HEAD(&dev_name_head[i]);
3217
3218         for (i = 0; i < ARRAY_SIZE(dev_index_head); i++)
3219                 INIT_HLIST_HEAD(&dev_index_head[i]);
3220
3221         /*
3222          *      Initialise the packet receive queues.
3223          */
3224
3225         for (i = 0; i < NR_CPUS; i++) {
3226                 struct softnet_data *queue;
3227
3228                 queue = &per_cpu(softnet_data, i);
3229                 skb_queue_head_init(&queue->input_pkt_queue);
3230                 queue->throttle = 0;
3231                 queue->cng_level = 0;
3232                 queue->avg_blog = 10; /* arbitrary non-zero */
3233                 queue->completion_queue = NULL;
3234                 INIT_LIST_HEAD(&queue->poll_list);
3235                 set_bit(__LINK_STATE_START, &queue->backlog_dev.state);
3236                 queue->backlog_dev.weight = weight_p;
3237                 queue->backlog_dev.poll = process_backlog;
3238                 atomic_set(&queue->backlog_dev.refcnt, 1);
3239         }
3240
3241 #ifdef OFFLINE_SAMPLE
3242         samp_timer.expires = jiffies + (10 * HZ);
3243         add_timer(&samp_timer);
3244 #endif
3245
3246         dev_boot_phase = 0;
3247
3248         open_softirq(NET_TX_SOFTIRQ, net_tx_action, NULL);
3249         open_softirq(NET_RX_SOFTIRQ, net_rx_action, NULL);
3250
3251         hotcpu_notifier(dev_cpu_callback, 0);
3252         dst_init();
3253         dev_mcast_init();
3254         rc = 0;
3255 out:
3256         return rc;
3257 }
3258
3259 subsys_initcall(net_dev_init);
3260
3261 EXPORT_SYMBOL(__dev_get);
3262 EXPORT_SYMBOL(__dev_get_by_flags);
3263 EXPORT_SYMBOL(__dev_get_by_index);
3264 EXPORT_SYMBOL(__dev_get_by_name);
3265 EXPORT_SYMBOL(__dev_remove_pack);
3266 EXPORT_SYMBOL(__skb_linearize);
3267 EXPORT_SYMBOL(call_netdevice_notifiers);
3268 EXPORT_SYMBOL(dev_add_pack);
3269 EXPORT_SYMBOL(dev_alloc_name);
3270 EXPORT_SYMBOL(dev_close);
3271 EXPORT_SYMBOL(dev_get_by_flags);
3272 EXPORT_SYMBOL(dev_get_by_index);
3273 EXPORT_SYMBOL(dev_get_by_name);
3274 EXPORT_SYMBOL(dev_getbyhwaddr);
3275 EXPORT_SYMBOL(dev_ioctl);
3276 EXPORT_SYMBOL(dev_new_index);
3277 EXPORT_SYMBOL(dev_open);
3278 EXPORT_SYMBOL(dev_queue_xmit);
3279 EXPORT_SYMBOL(dev_queue_xmit_nit);
3280 EXPORT_SYMBOL(dev_remove_pack);
3281 EXPORT_SYMBOL(dev_set_allmulti);
3282 EXPORT_SYMBOL(dev_set_promiscuity);
3283 EXPORT_SYMBOL(free_netdev);
3284 EXPORT_SYMBOL(netdev_boot_setup_check);
3285 EXPORT_SYMBOL(netdev_set_master);
3286 EXPORT_SYMBOL(netdev_state_change);
3287 EXPORT_SYMBOL(netif_receive_skb);
3288 EXPORT_SYMBOL(netif_rx);
3289 EXPORT_SYMBOL(register_gifconf);
3290 EXPORT_SYMBOL(register_netdevice);
3291 EXPORT_SYMBOL(register_netdevice_notifier);
3292 EXPORT_SYMBOL(skb_checksum_help);
3293 EXPORT_SYMBOL(synchronize_net);
3294 EXPORT_SYMBOL(unregister_netdevice);
3295 EXPORT_SYMBOL(unregister_netdevice_notifier);
3296
3297 #if defined(CONFIG_BRIDGE) || defined(CONFIG_BRIDGE_MODULE)
3298 EXPORT_SYMBOL(br_handle_frame_hook);
3299 #endif
3300 /* for 801q VLAN support */
3301 #if defined(CONFIG_VLAN_8021Q) || defined(CONFIG_VLAN_8021Q_MODULE)
3302 EXPORT_SYMBOL(dev_change_flags);
3303 #endif
3304 #ifdef CONFIG_KMOD
3305 EXPORT_SYMBOL(dev_load);
3306 #endif
3307 #ifdef CONFIG_NET_HW_FLOWCONTROL
3308 EXPORT_SYMBOL(netdev_dropping);
3309 EXPORT_SYMBOL(netdev_fc_xoff);
3310 EXPORT_SYMBOL(netdev_register_fc);
3311 EXPORT_SYMBOL(netdev_unregister_fc);
3312 #endif
3313 #ifdef CONFIG_NET_FASTROUTE
3314 EXPORT_SYMBOL(netdev_fastroute);
3315 EXPORT_SYMBOL(netdev_fastroute_obstacles);
3316 #endif
3317
3318 EXPORT_PER_CPU_SYMBOL(softnet_data);