drivers/net/acenic.c

   1 /*
   2  * acenic.c: Linux driver for the Alteon AceNIC Gigabit Ethernet card
   3  *           and other Tigon based cards.
   4  *
   5  * Copyright 1998-2002 by Jes Sorensen, <jes@trained-monkey.org>.
   6  *
   7  * Thanks to Alteon and 3Com for providing hardware and documentation
   8  * enabling me to write this driver.
   9  *
  10  * A mailing list for discussing the use of this driver has been
  11  * setup, please subscribe to the lists if you have any questions
  12  * about the driver. Send mail to linux-acenic-help@sunsite.auc.dk to
  13  * see how to subscribe.
  14  *
  15  * This program is free software; you can redistribute it and/or modify
  16  * it under the terms of the GNU General Public License as published by
  17  * the Free Software Foundation; either version 2 of the License, or
  18  * (at your option) any later version.
  19  *
  20  * Additional credits:
  21  *   Pete Wyckoff <wyckoff@ca.sandia.gov>: Initial Linux/Alpha and trace
  22  *       dump support. The trace dump support has not been
  23  *       integrated yet however.
  24  *   Troy Benjegerdes: Big Endian (PPC) patches.
  25  *   Nate Stahl: Better out of memory handling and stats support.
  26  *   Aman Singla: Nasty race between interrupt handler and tx code dealing
  27  *                with 'testing the tx_ret_csm and setting tx_full'
  28  *   David S. Miller <davem@redhat.com>: conversion to new PCI dma mapping
  29  *                                       infrastructure and Sparc support
  30  *   Pierrick Pinasseau (CERN): For lending me an Ultra 5 to test the
  31  *                              driver under Linux/Sparc64
  32  *   Matt Domsch <Matt_Domsch@dell.com>: Detect Alteon 1000baseT cards
  33  *                                       ETHTOOL_GDRVINFO support
  34  *   Chip Salzenberg <chip@valinux.com>: Fix race condition between tx
  35  *                                       handler and close() cleanup.
  36  *   Ken Aaker <kdaaker@rchland.vnet.ibm.com>: Correct check for whether
  37  *                                       memory mapped IO is enabled to
  38  *                                       make the driver work on RS/6000.
  39  *   Takayoshi Kouchi <kouchi@hpc.bs1.fc.nec.co.jp>: Identifying problem
  40  *                                       where the driver would disable
  41  *                                       bus master mode if it had to disable
  42  *                                       write and invalidate.
  43  *   Stephen Hack <stephen_hack@hp.com>: Fixed ace_set_mac_addr for little
  44  *                                       endian systems.
  45  *   Val Henson <vhenson@esscom.com>:    Reset Jumbo skb producer and
  46  *                                       rx producer index when
  47  *                                       flushing the Jumbo ring.
  48  *   Hans Grobler <grobh@sun.ac.za>:     Memory leak fixes in the
  49  *                                       driver init path.
  50  *   Grant Grundler <grundler@cup.hp.com>: PCI write posting fixes.
  51  */
  52
  53 #include <linux/config.h>
  54 #include <linux/module.h>
  55 #include <linux/moduleparam.h>
  56 #include <linux/version.h>
  57 #include <linux/types.h>
  58 #include <linux/errno.h>
  59 #include <linux/ioport.h>
  60 #include <linux/pci.h>
  61 #include <linux/kernel.h>
  62 #include <linux/netdevice.h>
  63 #include <linux/etherdevice.h>
  64 #include <linux/skbuff.h>
  65 #include <linux/init.h>
  66 #include <linux/delay.h>
  67 #include <linux/mm.h>
  68 #include <linux/highmem.h>
  69 #include <linux/sockios.h>
  70
  71 #if defined(CONFIG_VLAN_8021Q) || defined(CONFIG_VLAN_8021Q_MODULE)
  72 #include <linux/if_vlan.h>
  73 #endif
  74
  75 #ifdef SIOCETHTOOL
  76 #include <linux/ethtool.h>
  77 #endif
  78
  79 #include <net/sock.h>
  80 #include <net/ip.h>
  81
  82 #include <asm/system.h>
  83 #include <asm/io.h>
  84 #include <asm/irq.h>
  85 #include <asm/byteorder.h>
  86 #include <asm/uaccess.h>
  87
  88
  89 #define DRV_NAME "acenic"
  90
  91 #undef INDEX_DEBUG
  92
  93 #ifdef CONFIG_ACENIC_OMIT_TIGON_I
  94 #define ACE_IS_TIGON_I(ap)      0
  95 #define ACE_TX_RING_ENTRIES(ap) MAX_TX_RING_ENTRIES
  96 #else
  97 #define ACE_IS_TIGON_I(ap)      (ap->version == 1)
  98 #define ACE_TX_RING_ENTRIES(ap) ap->tx_ring_entries
  99 #endif
 100
 101 #ifndef PCI_VENDOR_ID_ALTEON
 102 #define PCI_VENDOR_ID_ALTEON            0x12ae
 103 #endif
 104 #ifndef PCI_DEVICE_ID_ALTEON_ACENIC_FIBRE
 105 #define PCI_DEVICE_ID_ALTEON_ACENIC_FIBRE  0x0001
 106 #define PCI_DEVICE_ID_ALTEON_ACENIC_COPPER 0x0002
 107 #endif
 108 #ifndef PCI_DEVICE_ID_3COM_3C985
 109 #define PCI_DEVICE_ID_3COM_3C985        0x0001
 110 #endif
 111 #ifndef PCI_VENDOR_ID_NETGEAR
 112 #define PCI_VENDOR_ID_NETGEAR           0x1385
 113 #define PCI_DEVICE_ID_NETGEAR_GA620     0x620a
 114 #endif
 115 #ifndef PCI_DEVICE_ID_NETGEAR_GA620T
 116 #define PCI_DEVICE_ID_NETGEAR_GA620T    0x630a
 117 #endif
 118
 119
 120 /*
 121  * Farallon used the DEC vendor ID by mistake and they seem not
 122  * to care - stinky!
 123  */
 124 #ifndef PCI_DEVICE_ID_FARALLON_PN9000SX
 125 #define PCI_DEVICE_ID_FARALLON_PN9000SX 0x1a
 126 #endif
 127 #ifndef PCI_DEVICE_ID_FARALLON_PN9100T
 128 #define PCI_DEVICE_ID_FARALLON_PN9100T  0xfa
 129 #endif
 130 #ifndef PCI_VENDOR_ID_SGI
 131 #define PCI_VENDOR_ID_SGI               0x10a9
 132 #endif
 133 #ifndef PCI_DEVICE_ID_SGI_ACENIC
 134 #define PCI_DEVICE_ID_SGI_ACENIC        0x0009
 135 #endif
 136
 137 static struct pci_device_id acenic_pci_tbl[] = {
 138         { PCI_VENDOR_ID_ALTEON, PCI_DEVICE_ID_ALTEON_ACENIC_FIBRE,
 139           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 140         { PCI_VENDOR_ID_ALTEON, PCI_DEVICE_ID_ALTEON_ACENIC_COPPER,
 141           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 142         { PCI_VENDOR_ID_3COM, PCI_DEVICE_ID_3COM_3C985,
 143           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 144         { PCI_VENDOR_ID_NETGEAR, PCI_DEVICE_ID_NETGEAR_GA620,
 145           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 146         { PCI_VENDOR_ID_NETGEAR, PCI_DEVICE_ID_NETGEAR_GA620T,
 147           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 148         /*
 149          * Farallon used the DEC vendor ID on their cards incorrectly,
 150          * then later Alteon's ID.
 151          */
 152         { PCI_VENDOR_ID_DEC, PCI_DEVICE_ID_FARALLON_PN9000SX,
 153           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 154         { PCI_VENDOR_ID_ALTEON, PCI_DEVICE_ID_FARALLON_PN9100T,
 155           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 156         { PCI_VENDOR_ID_SGI, PCI_DEVICE_ID_SGI_ACENIC,
 157           PCI_ANY_ID, PCI_ANY_ID, PCI_CLASS_NETWORK_ETHERNET << 8, 0xffff00, },
 158         { }
 159 };
 160 MODULE_DEVICE_TABLE(pci, acenic_pci_tbl);
 161
 162 #ifndef SET_NETDEV_DEV
 163 #define SET_NETDEV_DEV(net, pdev)       do{} while(0)
 164 #endif
 165
 166 #if LINUX_VERSION_CODE >= 0x2051c
 167 #define ace_sync_irq(irq)       synchronize_irq(irq)
 168 #else
 169 #define ace_sync_irq(irq)       synchronize_irq()
 170 #endif
 171
 172 #ifndef offset_in_page
 173 #define offset_in_page(ptr)     ((unsigned long)(ptr) & ~PAGE_MASK)
 174 #endif
 175
 176 #define ACE_MAX_MOD_PARMS       8
 177 #define BOARD_IDX_STATIC        0
 178 #define BOARD_IDX_OVERFLOW      -1
 179
 180 #if (defined(CONFIG_VLAN_8021Q) || defined(CONFIG_VLAN_8021Q_MODULE)) && \
 181         defined(NETIF_F_HW_VLAN_RX)
 182 #define ACENIC_DO_VLAN          1
 183 #define ACE_RCB_VLAN_FLAG       RCB_FLG_VLAN_ASSIST
 184 #else
 185 #define ACENIC_DO_VLAN          0
 186 #define ACE_RCB_VLAN_FLAG       0
 187 #endif
 188
 189 #include "acenic.h"
 190
 191 /*
 192  * These must be defined before the firmware is included.
 193  */
 194 #define MAX_TEXT_LEN    96*1024
 195 #define MAX_RODATA_LEN  8*1024
 196 #define MAX_DATA_LEN    2*1024
 197
 198 #include "acenic_firmware.h"
 199
 200 #ifndef tigon2FwReleaseLocal
 201 #define tigon2FwReleaseLocal 0
 202 #endif
 203
 204 /*
 205  * This driver currently supports Tigon I and Tigon II based cards
 206  * including the Alteon AceNIC, the 3Com 3C985[B] and NetGear
 207  * GA620. The driver should also work on the SGI, DEC and Farallon
 208  * versions of the card, however I have not been able to test that
 209  * myself.
 210  *
 211  * This card is really neat, it supports receive hardware checksumming
 212  * and jumbo frames (up to 9000 bytes) and does a lot of work in the
 213  * firmware. Also the programming interface is quite neat, except for
 214  * the parts dealing with the i2c eeprom on the card ;-)
 215  *
 216  * Using jumbo frames:
 217  *
 218  * To enable jumbo frames, simply specify an mtu between 1500 and 9000
 219  * bytes to ifconfig. Jumbo frames can be enabled or disabled at any time
 220  * by running `ifconfig eth<X> mtu <MTU>' with <X> being the Ethernet
 221  * interface number and <MTU> being the MTU value.
 222  *
 223  * Module parameters:
 224  *
 225  * When compiled as a loadable module, the driver allows for a number
 226  * of module parameters to be specified. The driver supports the
 227  * following module parameters:
 228  *
 229  *  trace=<val> - Firmware trace level. This requires special traced
 230  *                firmware to replace the firmware supplied with
 231  *                the driver - for debugging purposes only.
 232  *
 233  *  link=<val>  - Link state. Normally you want to use the default link
 234  *                parameters set by the driver. This can be used to
 235  *                override these in case your switch doesn't negotiate
 236  *                the link properly. Valid values are:
 237  *         0x0001 - Force half duplex link.
 238  *         0x0002 - Do not negotiate line speed with the other end.
 239  *         0x0010 - 10Mbit/sec link.
 240  *         0x0020 - 100Mbit/sec link.
 241  *         0x0040 - 1000Mbit/sec link.
 242  *         0x0100 - Do not negotiate flow control.
 243  *         0x0200 - Enable RX flow control Y
 244  *         0x0400 - Enable TX flow control Y (Tigon II NICs only).
 245  *                Default value is 0x0270, ie. enable link+flow
 246  *                control negotiation. Negotiating the highest
 247  *                possible link speed with RX flow control enabled.
 248  *
 249  *                When disabling link speed negotiation, only one link
 250  *                speed is allowed to be specified!
 251  *
 252  *  tx_coal_tick=<val> - number of coalescing clock ticks (us) allowed
 253  *                to wait for more packets to arive before
 254  *                interrupting the host, from the time the first
 255  *                packet arrives.
 256  *
 257  *  rx_coal_tick=<val> - number of coalescing clock ticks (us) allowed
 258  *                to wait for more packets to arive in the transmit ring,
 259  *                before interrupting the host, after transmitting the
 260  *                first packet in the ring.
 261  *
 262  *  max_tx_desc=<val> - maximum number of transmit descriptors
 263  *                (packets) transmitted before interrupting the host.
 264  *
 265  *  max_rx_desc=<val> - maximum number of receive descriptors
 266  *                (packets) received before interrupting the host.
 267  *
 268  *  tx_ratio=<val> - 7 bit value (0 - 63) specifying the split in 64th
 269  *                increments of the NIC's on board memory to be used for
 270  *                transmit and receive buffers. For the 1MB NIC app. 800KB
 271  *                is available, on the 1/2MB NIC app. 300KB is available.
 272  *                68KB will always be available as a minimum for both
 273  *                directions. The default value is a 50/50 split.
 274  *  dis_pci_mem_inval=<val> - disable PCI memory write and invalidate
 275  *                operations, default (1) is to always disable this as
 276  *                that is what Alteon does on NT. I have not been able
 277  *                to measure any real performance differences with
 278  *                this on my systems. Set <val>=0 if you want to
 279  *                enable these operations.
 280  *
 281  * If you use more than one NIC, specify the parameters for the
 282  * individual NICs with a comma, ie. trace=0,0x00001fff,0 you want to
 283  * run tracing on NIC #2 but not on NIC #1 and #3.
 284  *
 285  * TODO:
 286  *
 287  * - Proper multicast support.
 288  * - NIC dump support.
 289  * - More tuning parameters.
 290  *
 291  * The mini ring is not used under Linux and I am not sure it makes sense
 292  * to actually use it.
 293  *
 294  * New interrupt handler strategy:
 295  *
 296  * The old interrupt handler worked using the traditional method of
 297  * replacing an skbuff with a new one when a packet arrives. However
 298  * the rx rings do not need to contain a static number of buffer
 299  * descriptors, thus it makes sense to move the memory allocation out
 300  * of the main interrupt handler and do it in a bottom half handler
 301  * and only allocate new buffers when the number of buffers in the
 302  * ring is below a certain threshold. In order to avoid starving the
 303  * NIC under heavy load it is however necessary to force allocation
 304  * when hitting a minimum threshold. The strategy for alloction is as
 305  * follows:
 306  *
 307  *     RX_LOW_BUF_THRES    - allocate buffers in the bottom half
 308  *     RX_PANIC_LOW_THRES  - we are very low on buffers, allocate
 309  *                           the buffers in the interrupt handler
 310  *     RX_RING_THRES       - maximum number of buffers in the rx ring
 311  *     RX_MINI_THRES       - maximum number of buffers in the mini ring
 312  *     RX_JUMBO_THRES      - maximum number of buffers in the jumbo ring
 313  *
 314  * One advantagous side effect of this allocation approach is that the
 315  * entire rx processing can be done without holding any spin lock
 316  * since the rx rings and registers are totally independent of the tx
 317  * ring and its registers.  This of course includes the kmalloc's of
 318  * new skb's. Thus start_xmit can run in parallel with rx processing
 319  * and the memory allocation on SMP systems.
 320  *
 321  * Note that running the skb reallocation in a bottom half opens up
 322  * another can of races which needs to be handled properly. In
 323  * particular it can happen that the interrupt handler tries to run
 324  * the reallocation while the bottom half is either running on another
 325  * CPU or was interrupted on the same CPU. To get around this the
 326  * driver uses bitops to prevent the reallocation routines from being
 327  * reentered.
 328  *
 329  * TX handling can also be done without holding any spin lock, wheee
 330  * this is fun! since tx_ret_csm is only written to by the interrupt
 331  * handler. The case to be aware of is when shutting down the device
 332  * and cleaning up where it is necessary to make sure that
 333  * start_xmit() is not running while this is happening. Well DaveM
 334  * informs me that this case is already protected against ... bye bye
 335  * Mr. Spin Lock, it was nice to know you.
 336  *
 337  * TX interrupts are now partly disabled so the NIC will only generate
 338  * TX interrupts for the number of coal ticks, not for the number of
 339  * TX packets in the queue. This should reduce the number of TX only,
 340  * ie. when no RX processing is done, interrupts seen.
 341  */
 342
 343 /*
 344  * Threshold values for RX buffer allocation - the low water marks for
 345  * when to start refilling the rings are set to 75% of the ring
 346  * sizes. It seems to make sense to refill the rings entirely from the
 347  * intrrupt handler once it gets below the panic threshold, that way
 348  * we don't risk that the refilling is moved to another CPU when the
 349  * one running the interrupt handler just got the slab code hot in its
 350  * cache.
 351  */
 352 #define RX_RING_SIZE            72
 353 #define RX_MINI_SIZE            64
 354 #define RX_JUMBO_SIZE           48
 355
 356 #define RX_PANIC_STD_THRES      16
 357 #define RX_PANIC_STD_REFILL     (3*RX_PANIC_STD_THRES)/2
 358 #define RX_LOW_STD_THRES        (3*RX_RING_SIZE)/4
 359 #define RX_PANIC_MINI_THRES     12
 360 #define RX_PANIC_MINI_REFILL    (3*RX_PANIC_MINI_THRES)/2
 361 #define RX_LOW_MINI_THRES       (3*RX_MINI_SIZE)/4
 362 #define RX_PANIC_JUMBO_THRES    6
 363 #define RX_PANIC_JUMBO_REFILL   (3*RX_PANIC_JUMBO_THRES)/2
 364 #define RX_LOW_JUMBO_THRES      (3*RX_JUMBO_SIZE)/4
 365
 366
 367 /*
 368  * Size of the mini ring entries, basically these just should be big
 369  * enough to take TCP ACKs
 370  */
 371 #define ACE_MINI_SIZE           100
 372
 373 #define ACE_MINI_BUFSIZE        ACE_MINI_SIZE
 374 #define ACE_STD_BUFSIZE         (ACE_STD_MTU + ETH_HLEN + 4)
 375 #define ACE_JUMBO_BUFSIZE       (ACE_JUMBO_MTU + ETH_HLEN + 4)
 376
 377 /*
 378  * There seems to be a magic difference in the effect between 995 and 996
 379  * but little difference between 900 and 995 ... no idea why.
 380  *
 381  * There is now a default set of tuning parameters which is set, depending
 382  * on whether or not the user enables Jumbo frames. It's assumed that if
 383  * Jumbo frames are enabled, the user wants optimal tuning for that case.
 384  */
 385 #define DEF_TX_COAL             400 /* 996 */
 386 #define DEF_TX_MAX_DESC         60  /* was 40 */
 387 #define DEF_RX_COAL             120 /* 1000 */
 388 #define DEF_RX_MAX_DESC         25
 389 #define DEF_TX_RATIO            21 /* 24 */
 390
 391 #define DEF_JUMBO_TX_COAL       20
 392 #define DEF_JUMBO_TX_MAX_DESC   60
 393 #define DEF_JUMBO_RX_COAL       30
 394 #define DEF_JUMBO_RX_MAX_DESC   6
 395 #define DEF_JUMBO_TX_RATIO      21
 396
 397 #if tigon2FwReleaseLocal < 20001118
 398 /*
 399  * Standard firmware and early modifications duplicate
 400  * IRQ load without this flag (coal timer is never reset).
 401  * Note that with this flag tx_coal should be less than
 402  * time to xmit full tx ring.
 403  * 400usec is not so bad for tx ring size of 128.
 404  */
 405 #define TX_COAL_INTS_ONLY       1       /* worth it */
 406 #else
 407 /*
 408  * With modified firmware, this is not necessary, but still useful.
 409  */
 410 #define TX_COAL_INTS_ONLY       1
 411 #endif
 412
 413 #define DEF_TRACE               0
 414 #define DEF_STAT                (2 * TICKS_PER_SEC)
 415
 416
 417 static int link[ACE_MAX_MOD_PARMS];
 418 static int trace[ACE_MAX_MOD_PARMS];
 419 static int tx_coal_tick[ACE_MAX_MOD_PARMS];
 420 static int rx_coal_tick[ACE_MAX_MOD_PARMS];
 421 static int max_tx_desc[ACE_MAX_MOD_PARMS];
 422 static int max_rx_desc[ACE_MAX_MOD_PARMS];
 423 static int tx_ratio[ACE_MAX_MOD_PARMS];
 424 static int dis_pci_mem_inval[ACE_MAX_MOD_PARMS] = {1, 1, 1, 1, 1, 1, 1, 1};
 425
 426 MODULE_AUTHOR("Jes Sorensen <jes@trained-monkey.org>");
 427 MODULE_LICENSE("GPL");
 428 MODULE_DESCRIPTION("AceNIC/3C985/GA620 Gigabit Ethernet driver");
 429
 430 static int num_params;
 431 module_param_array(link, int, num_params, 0);
 432 module_param_array(trace, int, num_params, 0);
 433 module_param_array(tx_coal_tick, int, num_params, 0);
 434 module_param_array(max_tx_desc, int, num_params, 0);
 435 module_param_array(rx_coal_tick, int, num_params, 0);
 436 module_param_array(max_rx_desc, int, num_params, 0);
 437 module_param_array(tx_ratio, int, num_params, 0);
 438 MODULE_PARM_DESC(link, "AceNIC/3C985/NetGear link state");
 439 MODULE_PARM_DESC(trace, "AceNIC/3C985/NetGear firmware trace level");
 440 MODULE_PARM_DESC(tx_coal_tick, "AceNIC/3C985/GA620 max clock ticks to wait from first tx descriptor arrives");
 441 MODULE_PARM_DESC(max_tx_desc, "AceNIC/3C985/GA620 max number of transmit descriptors to wait");
 442 MODULE_PARM_DESC(rx_coal_tick, "AceNIC/3C985/GA620 max clock ticks to wait from first rx descriptor arrives");
 443 MODULE_PARM_DESC(max_rx_desc, "AceNIC/3C985/GA620 max number of receive descriptors to wait");
 444 MODULE_PARM_DESC(tx_ratio, "AceNIC/3C985/GA620 ratio of NIC memory used for TX/RX descriptors (range 0-63)");
 445
 446
 447 static char version[] __initdata =
 448   "acenic.c: v0.92 08/05/2002  Jes Sorensen, linux-acenic@SunSITE.dk\n"
 449   "                            http://home.cern.ch/~jes/gige/acenic.html\n";
 450
 451 static int ace_get_settings(struct net_device *, struct ethtool_cmd *);
 452 static int ace_set_settings(struct net_device *, struct ethtool_cmd *);
 453 static void ace_get_drvinfo(struct net_device *, struct ethtool_drvinfo *);
 454
 455 static struct ethtool_ops ace_ethtool_ops = {
 456         .get_settings = ace_get_settings,
 457         .set_settings = ace_set_settings,
 458         .get_drvinfo = ace_get_drvinfo,
 459 };
 460
 461 static int __devinit acenic_probe_one(struct pci_dev *pdev,
 462                 const struct pci_device_id *id)
 463 {
 464         struct net_device *dev;
 465         struct ace_private *ap;
 466         static int boards_found;
 467
 468         dev = alloc_etherdev(sizeof(struct ace_private));
 469         if (dev == NULL) {
 470                 printk(KERN_ERR "acenic: Unable to allocate "
 471                        "net_device structure!\n");
 472                 return -ENOMEM;
 473         }
 474
 475         SET_MODULE_OWNER(dev);
 476         SET_NETDEV_DEV(dev, &pdev->dev);
 477
 478         ap = dev->priv;
 479         ap->pdev = pdev;
 480         ap->name = pci_name(pdev);
 481
 482         dev->features |= NETIF_F_SG | NETIF_F_IP_CSUM;
 483 #if ACENIC_DO_VLAN
 484         dev->features |= NETIF_F_HW_VLAN_TX | NETIF_F_HW_VLAN_RX;
 485         dev->vlan_rx_register = ace_vlan_rx_register;
 486         dev->vlan_rx_kill_vid = ace_vlan_rx_kill_vid;
 487 #endif
 488         if (1) {
 489                 static void ace_watchdog(struct net_device *dev);
 490                 dev->tx_timeout = &ace_watchdog;
 491                 dev->watchdog_timeo = 5*HZ;
 492         }
 493
 494         dev->open = &ace_open;
 495         dev->stop = &ace_close;
 496         dev->hard_start_xmit = &ace_start_xmit;
 497         dev->get_stats = &ace_get_stats;
 498         dev->set_multicast_list = &ace_set_multicast_list;
 499         SET_ETHTOOL_OPS(dev, &ace_ethtool_ops);
 500         dev->set_mac_address = &ace_set_mac_addr;
 501         dev->change_mtu = &ace_change_mtu;
 502
 503         /* we only display this string ONCE */
 504         if (!boards_found)
 505                 printk(version);
 506
 507         if (pci_enable_device(pdev))
 508                 goto fail_free_netdev;
 509
 510         /*
 511          * Enable master mode before we start playing with the
 512          * pci_command word since pci_set_master() will modify
 513          * it.
 514          */
 515         pci_set_master(pdev);
 516
 517         pci_read_config_word(pdev, PCI_COMMAND, &ap->pci_command);
 518
 519         /* OpenFirmware on Mac's does not set this - DOH.. */
 520         if (!(ap->pci_command & PCI_COMMAND_MEMORY)) {
 521                 printk(KERN_INFO "%s: Enabling PCI Memory Mapped "
 522                        "access - was not enabled by BIOS/Firmware\n",
 523                        ap->name);
 524                 ap->pci_command = ap->pci_command | PCI_COMMAND_MEMORY;
 525                 pci_write_config_word(ap->pdev, PCI_COMMAND,
 526                                       ap->pci_command);
 527                 wmb();
 528         }
 529
 530         pci_read_config_byte(pdev, PCI_LATENCY_TIMER, &ap->pci_latency);
 531         if (ap->pci_latency <= 0x40) {
 532                 ap->pci_latency = 0x40;
 533                 pci_write_config_byte(pdev, PCI_LATENCY_TIMER, ap->pci_latency);
 534         }
 535
 536         /*
 537          * Remap the regs into kernel space - this is abuse of
 538          * dev->base_addr since it was means for I/O port
 539          * addresses but who gives a damn.
 540          */
 541         dev->base_addr = pci_resource_start(pdev, 0);
 542         ap->regs = (struct ace_regs *)ioremap(dev->base_addr, 0x4000);
 543         if (!ap->regs) {
 544                 printk(KERN_ERR "%s:  Unable to map I/O register, "
 545                        "AceNIC %i will be disabled.\n",
 546                        ap->name, boards_found);
 547                 goto fail_free_netdev;
 548         }
 549
 550         switch(pdev->vendor) {
 551         case PCI_VENDOR_ID_ALTEON:
 552                 if (pdev->device == PCI_DEVICE_ID_FARALLON_PN9100T) {
 553                         printk(KERN_INFO "%s: Farallon PN9100-T ",
 554                                ap->name);
 555                 } else {
 556                         printk(KERN_INFO "%s: Alteon AceNIC ",
 557                                ap->name);
 558                 }
 559                 break;
 560         case PCI_VENDOR_ID_3COM:
 561                 printk(KERN_INFO "%s: 3Com 3C985 ", ap->name);
 562                 break;
 563         case PCI_VENDOR_ID_NETGEAR:
 564                 printk(KERN_INFO "%s: NetGear GA620 ", ap->name);
 565                 break;
 566         case PCI_VENDOR_ID_DEC:
 567                 if (pdev->device == PCI_DEVICE_ID_FARALLON_PN9000SX) {
 568                         printk(KERN_INFO "%s: Farallon PN9000-SX ",
 569                                ap->name);
 570                         break;
 571                 }
 572         case PCI_VENDOR_ID_SGI:
 573                 printk(KERN_INFO "%s: SGI AceNIC ", ap->name);
 574                 break;
 575         default:
 576                 printk(KERN_INFO "%s: Unknown AceNIC ", ap->name);
 577                 break;
 578         }
 579
 580         printk("Gigabit Ethernet at 0x%08lx, ", dev->base_addr);
 581 #ifdef __sparc__
 582         printk("irq %s\n", __irq_itoa(pdev->irq));
 583 #else
 584         printk("irq %i\n", pdev->irq);
 585 #endif
 586
 587 #ifdef CONFIG_ACENIC_OMIT_TIGON_I
 588         if ((readl(&ap->regs->HostCtrl) >> 28) == 4) {
 589                 printk(KERN_ERR "%s: Driver compiled without Tigon I"
 590                        " support - NIC disabled\n", dev->name);
 591                 goto fail_uninit;
 592         }
 593 #endif
 594
 595         if (ace_allocate_descriptors(dev))
 596                 goto fail_free_netdev;
 597
 598 #ifdef MODULE
 599         if (boards_found >= ACE_MAX_MOD_PARMS)
 600                 ap->board_idx = BOARD_IDX_OVERFLOW;
 601         else
 602                 ap->board_idx = boards_found;
 603 #else
 604         ap->board_idx = BOARD_IDX_STATIC;
 605 #endif
 606
 607         if (ace_init(dev))
 608                 goto fail_free_netdev;
 609
 610         if (register_netdev(dev)) {
 611                 printk(KERN_ERR "acenic: device registration failed\n");
 612                 goto fail_uninit;
 613         }
 614         ap->name = dev->name;
 615
 616         if (ap->pci_using_dac)
 617                 dev->features |= NETIF_F_HIGHDMA;
 618
 619         pci_set_drvdata(pdev, dev);
 620
 621         boards_found++;
 622         return 0;
 623
 624  fail_uninit:
 625         ace_init_cleanup(dev);
 626  fail_free_netdev:
 627         free_netdev(dev);
 628         return -ENODEV;
 629 }
 630
 631 static void __devexit acenic_remove_one(struct pci_dev *pdev)
 632 {
 633         struct net_device *dev = pci_get_drvdata(pdev);
 634         struct ace_private *ap = netdev_priv(dev);
 635         struct ace_regs *regs = ap->regs;
 636         short i;
 637
 638         unregister_netdev(dev);
 639
 640         writel(readl(&regs->CpuCtrl) | CPU_HALT, &regs->CpuCtrl);
 641         if (ap->version >= 2)
 642                 writel(readl(&regs->CpuBCtrl) | CPU_HALT, &regs->CpuBCtrl);
 643
 644         /*
 645          * This clears any pending interrupts
 646          */
 647         writel(1, &regs->Mb0Lo);
 648         readl(&regs->CpuCtrl);  /* flush */
 649
 650         /*
 651          * Make sure no other CPUs are processing interrupts
 652          * on the card before the buffers are being released.
 653          * Otherwise one might experience some `interesting'
 654          * effects.
 655          *
 656          * Then release the RX buffers - jumbo buffers were
 657          * already released in ace_close().
 658          */
 659         ace_sync_irq(dev->irq);
 660
 661         for (i = 0; i < RX_STD_RING_ENTRIES; i++) {
 662                 struct sk_buff *skb = ap->skb->rx_std_skbuff[i].skb;
 663
 664                 if (skb) {
 665                         struct ring_info *ringp;
 666                         dma_addr_t mapping;
 667
 668                         ringp = &ap->skb->rx_std_skbuff[i];
 669                         mapping = pci_unmap_addr(ringp, mapping);
 670                         pci_unmap_page(ap->pdev, mapping,
 671                                        ACE_STD_BUFSIZE,
 672                                        PCI_DMA_FROMDEVICE);
 673
 674                         ap->rx_std_ring[i].size = 0;
 675                         ap->skb->rx_std_skbuff[i].skb = NULL;
 676                         dev_kfree_skb(skb);
 677                 }
 678         }
 679
 680         if (ap->version >= 2) {
 681                 for (i = 0; i < RX_MINI_RING_ENTRIES; i++) {
 682                         struct sk_buff *skb = ap->skb->rx_mini_skbuff[i].skb;
 683
 684                         if (skb) {
 685                                 struct ring_info *ringp;
 686                                 dma_addr_t mapping;
 687
 688                                 ringp = &ap->skb->rx_mini_skbuff[i];
 689                                 mapping = pci_unmap_addr(ringp,mapping);
 690                                 pci_unmap_page(ap->pdev, mapping,
 691                                                ACE_MINI_BUFSIZE,
 692                                                PCI_DMA_FROMDEVICE);
 693
 694                                 ap->rx_mini_ring[i].size = 0;
 695                                 ap->skb->rx_mini_skbuff[i].skb = NULL;
 696                                 dev_kfree_skb(skb);
 697                         }
 698                 }
 699         }
 700
 701         for (i = 0; i < RX_JUMBO_RING_ENTRIES; i++) {
 702                 struct sk_buff *skb = ap->skb->rx_jumbo_skbuff[i].skb;
 703                 if (skb) {
 704                         struct ring_info *ringp;
 705                         dma_addr_t mapping;
 706
 707                         ringp = &ap->skb->rx_jumbo_skbuff[i];
 708                         mapping = pci_unmap_addr(ringp, mapping);
 709                         pci_unmap_page(ap->pdev, mapping,
 710                                        ACE_JUMBO_BUFSIZE,
 711                                        PCI_DMA_FROMDEVICE);
 712
 713                         ap->rx_jumbo_ring[i].size = 0;
 714                         ap->skb->rx_jumbo_skbuff[i].skb = NULL;
 715                         dev_kfree_skb(skb);
 716                 }
 717         }
 718
 719         ace_init_cleanup(dev);
 720         free_netdev(dev);
 721 }
 722
 723 static struct pci_driver acenic_pci_driver = {
 724         .name           = "acenic",
 725         .id_table       = acenic_pci_tbl,
 726         .probe          = acenic_probe_one,
 727         .remove         = __devexit_p(acenic_remove_one),
 728 };
 729
 730 static int __init acenic_init(void)
 731 {
 732         return pci_module_init(&acenic_pci_driver);
 733 }
 734
 735 static void __exit acenic_exit(void)
 736 {
 737         pci_unregister_driver(&acenic_pci_driver);
 738 }
 739
 740 module_init(acenic_init);
 741 module_exit(acenic_exit);
 742
 743 static void ace_free_descriptors(struct net_device *dev)
 744 {
 745         struct ace_private *ap = netdev_priv(dev);
 746         int size;
 747
 748         if (ap->rx_std_ring != NULL) {
 749                 size = (sizeof(struct rx_desc) *
 750                         (RX_STD_RING_ENTRIES +
 751                          RX_JUMBO_RING_ENTRIES +
 752                          RX_MINI_RING_ENTRIES +
 753                          RX_RETURN_RING_ENTRIES));
 754                 pci_free_consistent(ap->pdev, size, ap->rx_std_ring,
 755                                     ap->rx_ring_base_dma);
 756                 ap->rx_std_ring = NULL;
 757                 ap->rx_jumbo_ring = NULL;
 758                 ap->rx_mini_ring = NULL;
 759                 ap->rx_return_ring = NULL;
 760         }
 761         if (ap->evt_ring != NULL) {
 762                 size = (sizeof(struct event) * EVT_RING_ENTRIES);
 763                 pci_free_consistent(ap->pdev, size, ap->evt_ring,
 764                                     ap->evt_ring_dma);
 765                 ap->evt_ring = NULL;
 766         }
 767         if (ap->tx_ring != NULL && !ACE_IS_TIGON_I(ap)) {
 768                 size = (sizeof(struct tx_desc) * MAX_TX_RING_ENTRIES);
 769                 pci_free_consistent(ap->pdev, size, ap->tx_ring,
 770                                     ap->tx_ring_dma);
 771         }
 772         ap->tx_ring = NULL;
 773
 774         if (ap->evt_prd != NULL) {
 775                 pci_free_consistent(ap->pdev, sizeof(u32),
 776                                     (void *)ap->evt_prd, ap->evt_prd_dma);
 777                 ap->evt_prd = NULL;
 778         }
 779         if (ap->rx_ret_prd != NULL) {
 780                 pci_free_consistent(ap->pdev, sizeof(u32),
 781                                     (void *)ap->rx_ret_prd,
 782                                     ap->rx_ret_prd_dma);
 783                 ap->rx_ret_prd = NULL;
 784         }
 785         if (ap->tx_csm != NULL) {
 786                 pci_free_consistent(ap->pdev, sizeof(u32),
 787                                     (void *)ap->tx_csm, ap->tx_csm_dma);
 788                 ap->tx_csm = NULL;
 789         }
 790 }
 791
 792
 793 static int ace_allocate_descriptors(struct net_device *dev)
 794 {
 795         struct ace_private *ap = netdev_priv(dev);
 796         int size;
 797
 798         size = (sizeof(struct rx_desc) *
 799                 (RX_STD_RING_ENTRIES +
 800                  RX_JUMBO_RING_ENTRIES +
 801                  RX_MINI_RING_ENTRIES +
 802                  RX_RETURN_RING_ENTRIES));
 803
 804         ap->rx_std_ring = pci_alloc_consistent(ap->pdev, size,
 805                                                &ap->rx_ring_base_dma);
 806         if (ap->rx_std_ring == NULL)
 807                 goto fail;
 808
 809         ap->rx_jumbo_ring = ap->rx_std_ring + RX_STD_RING_ENTRIES;
 810         ap->rx_mini_ring = ap->rx_jumbo_ring + RX_JUMBO_RING_ENTRIES;
 811         ap->rx_return_ring = ap->rx_mini_ring + RX_MINI_RING_ENTRIES;
 812
 813         size = (sizeof(struct event) * EVT_RING_ENTRIES);
 814
 815         ap->evt_ring = pci_alloc_consistent(ap->pdev, size, &ap->evt_ring_dma);
 816
 817         if (ap->evt_ring == NULL)
 818                 goto fail;
 819
 820         /*
 821          * Only allocate a host TX ring for the Tigon II, the Tigon I
 822          * has to use PCI registers for this ;-(
 823          */
 824         if (!ACE_IS_TIGON_I(ap)) {
 825                 size = (sizeof(struct tx_desc) * MAX_TX_RING_ENTRIES);
 826
 827                 ap->tx_ring = pci_alloc_consistent(ap->pdev, size,
 828                                                    &ap->tx_ring_dma);
 829
 830                 if (ap->tx_ring == NULL)
 831                         goto fail;
 832         }
 833
 834         ap->evt_prd = pci_alloc_consistent(ap->pdev, sizeof(u32),
 835                                            &ap->evt_prd_dma);
 836         if (ap->evt_prd == NULL)
 837                 goto fail;
 838
 839         ap->rx_ret_prd = pci_alloc_consistent(ap->pdev, sizeof(u32),
 840                                               &ap->rx_ret_prd_dma);
 841         if (ap->rx_ret_prd == NULL)
 842                 goto fail;
 843
 844         ap->tx_csm = pci_alloc_consistent(ap->pdev, sizeof(u32),
 845                                           &ap->tx_csm_dma);
 846         if (ap->tx_csm == NULL)
 847                 goto fail;
 848
 849         return 0;
 850
 851 fail:
 852         /* Clean up. */
 853         ace_init_cleanup(dev);
 854         return 1;
 855 }
 856
 857
 858 /*
 859  * Generic cleanup handling data allocated during init. Used when the
 860  * module is unloaded or if an error occurs during initialization
 861  */
 862 static void ace_init_cleanup(struct net_device *dev)
 863 {
 864         struct ace_private *ap;
 865
 866         ap = netdev_priv(dev);
 867
 868         ace_free_descriptors(dev);
 869
 870         if (ap->info)
 871                 pci_free_consistent(ap->pdev, sizeof(struct ace_info),
 872                                     ap->info, ap->info_dma);
 873         if (ap->skb)
 874                 kfree(ap->skb);
 875         if (ap->trace_buf)
 876                 kfree(ap->trace_buf);
 877
 878         if (dev->irq)
 879                 free_irq(dev->irq, dev);
 880
 881         iounmap(ap->regs);
 882 }
 883
 884
 885 /*
 886  * Commands are considered to be slow.
 887  */
 888 static inline void ace_issue_cmd(struct ace_regs *regs, struct cmd *cmd)
 889 {
 890         u32 idx;
 891
 892         idx = readl(&regs->CmdPrd);
 893
 894         writel(*(u32 *)(cmd), &regs->CmdRng[idx]);
 895         idx = (idx + 1) % CMD_RING_ENTRIES;
 896
 897         writel(idx, &regs->CmdPrd);
 898 }
 899
 900
 901 static int __init ace_init(struct net_device *dev)
 902 {
 903         struct ace_private *ap;
 904         struct ace_regs *regs;
 905         struct ace_info *info = NULL;
 906         struct pci_dev *pdev;
 907         unsigned long myjif;
 908         u64 tmp_ptr;
 909         u32 tig_ver, mac1, mac2, tmp, pci_state;
 910         int board_idx, ecode = 0;
 911         short i;
 912         unsigned char cache_size;
 913
 914         ap = netdev_priv(dev);
 915         regs = ap->regs;
 916
 917         board_idx = ap->board_idx;
 918
 919         /*
 920          * aman@sgi.com - its useful to do a NIC reset here to
 921          * address the `Firmware not running' problem subsequent
 922          * to any crashes involving the NIC
 923          */
 924         writel(HW_RESET | (HW_RESET << 24), &regs->HostCtrl);
 925         readl(&regs->HostCtrl);         /* PCI write posting */
 926         udelay(5);
 927
 928         /*
 929          * Don't access any other registers before this point!
 930          */
 931 #ifdef __BIG_ENDIAN
 932         /*
 933          * This will most likely need BYTE_SWAP once we switch
 934          * to using __raw_writel()
 935          */
 936         writel((WORD_SWAP | CLR_INT | ((WORD_SWAP | CLR_INT) << 24)),
 937                &regs->HostCtrl);
 938 #else
 939         writel((CLR_INT | WORD_SWAP | ((CLR_INT | WORD_SWAP) << 24)),
 940                &regs->HostCtrl);
 941 #endif
 942         readl(&regs->HostCtrl);         /* PCI write posting */
 943
 944         /*
 945          * Stop the NIC CPU and clear pending interrupts
 946          */
 947         writel(readl(&regs->CpuCtrl) | CPU_HALT, &regs->CpuCtrl);
 948         readl(&regs->CpuCtrl);          /* PCI write posting */
 949         writel(0, &regs->Mb0Lo);
 950
 951         tig_ver = readl(&regs->HostCtrl) >> 28;
 952
 953         switch(tig_ver){
 954 #ifndef CONFIG_ACENIC_OMIT_TIGON_I
 955         case 4:
 956         case 5:
 957                 printk(KERN_INFO "  Tigon I  (Rev. %i), Firmware: %i.%i.%i, ",
 958                        tig_ver, tigonFwReleaseMajor, tigonFwReleaseMinor,
 959                        tigonFwReleaseFix);
 960                 writel(0, &regs->LocalCtrl);
 961                 ap->version = 1;
 962                 ap->tx_ring_entries = TIGON_I_TX_RING_ENTRIES;
 963                 break;
 964 #endif
 965         case 6:
 966                 printk(KERN_INFO "  Tigon II (Rev. %i), Firmware: %i.%i.%i, ",
 967                        tig_ver, tigon2FwReleaseMajor, tigon2FwReleaseMinor,
 968                        tigon2FwReleaseFix);
 969                 writel(readl(&regs->CpuBCtrl) | CPU_HALT, &regs->CpuBCtrl);
 970                 readl(&regs->CpuBCtrl);         /* PCI write posting */
 971                 /*
 972                  * The SRAM bank size does _not_ indicate the amount
 973                  * of memory on the card, it controls the _bank_ size!
 974                  * Ie. a 1MB AceNIC will have two banks of 512KB.
 975                  */
 976                 writel(SRAM_BANK_512K, &regs->LocalCtrl);
 977                 writel(SYNC_SRAM_TIMING, &regs->MiscCfg);
 978                 ap->version = 2;
 979                 ap->tx_ring_entries = MAX_TX_RING_ENTRIES;
 980                 break;
 981         default:
 982                 printk(KERN_WARNING "  Unsupported Tigon version detected "
 983                        "(%i)\n", tig_ver);
 984                 ecode = -ENODEV;
 985                 goto init_error;
 986         }
 987
 988         /*
 989          * ModeStat _must_ be set after the SRAM settings as this change
 990          * seems to corrupt the ModeStat and possible other registers.
 991          * The SRAM settings survive resets and setting it to the same
 992          * value a second time works as well. This is what caused the
 993          * `Firmware not running' problem on the Tigon II.
 994          */
 995 #ifdef __BIG_ENDIAN
 996         writel(ACE_BYTE_SWAP_DMA | ACE_WARN | ACE_FATAL | ACE_BYTE_SWAP_BD |
 997                ACE_WORD_SWAP_BD | ACE_NO_JUMBO_FRAG, &regs->ModeStat);
 998 #else
 999         writel(ACE_BYTE_SWAP_DMA | ACE_WARN | ACE_FATAL |
1000                ACE_WORD_SWAP_BD | ACE_NO_JUMBO_FRAG, &regs->ModeStat);
1001 #endif
1002         readl(&regs->ModeStat);         /* PCI write posting */
1003
1004         mac1 = 0;
1005         for(i = 0; i < 4; i++) {
1006                 mac1 = mac1 << 8;
1007                 tmp = read_eeprom_byte(dev, 0x8c+i);
1008                 if (tmp < 0) {
1009                         ecode = -EIO;
1010                         goto init_error;
1011                 } else
1012                         mac1 |= (tmp & 0xff);
1013         }
1014         mac2 = 0;
1015         for(i = 4; i < 8; i++) {
1016                 mac2 = mac2 << 8;
1017                 tmp = read_eeprom_byte(dev, 0x8c+i);
1018                 if (tmp < 0) {
1019                         ecode = -EIO;
1020                         goto init_error;
1021                 } else
1022                         mac2 |= (tmp & 0xff);
1023         }
1024
1025         writel(mac1, &regs->MacAddrHi);
1026         writel(mac2, &regs->MacAddrLo);
1027
1028         printk("MAC: %02x:%02x:%02x:%02x:%02x:%02x\n",
1029                (mac1 >> 8) & 0xff, mac1 & 0xff, (mac2 >> 24) &0xff,
1030                (mac2 >> 16) & 0xff, (mac2 >> 8) & 0xff, mac2 & 0xff);
1031
1032         dev->dev_addr[0] = (mac1 >> 8) & 0xff;
1033         dev->dev_addr[1] = mac1 & 0xff;
1034         dev->dev_addr[2] = (mac2 >> 24) & 0xff;
1035         dev->dev_addr[3] = (mac2 >> 16) & 0xff;
1036         dev->dev_addr[4] = (mac2 >> 8) & 0xff;
1037         dev->dev_addr[5] = mac2 & 0xff;
1038
1039         /*
1040          * Looks like this is necessary to deal with on all architectures,
1041          * even this %$#%$# N440BX Intel based thing doesn't get it right.
1042          * Ie. having two NICs in the machine, one will have the cache
1043          * line set at boot time, the other will not.
1044          */
1045         pdev = ap->pdev;
1046         pci_read_config_byte(pdev, PCI_CACHE_LINE_SIZE, &cache_size);
1047         cache_size <<= 2;
1048         if (cache_size != SMP_CACHE_BYTES) {
1049                 printk(KERN_INFO "  PCI cache line size set incorrectly "
1050                        "(%i bytes) by BIOS/FW, ", cache_size);
1051                 if (cache_size > SMP_CACHE_BYTES)
1052                         printk("expecting %i\n", SMP_CACHE_BYTES);
1053                 else {
1054                         printk("correcting to %i\n", SMP_CACHE_BYTES);
1055                         pci_write_config_byte(pdev, PCI_CACHE_LINE_SIZE,
1056                                               SMP_CACHE_BYTES >> 2);
1057                 }
1058         }
1059
1060         pci_state = readl(&regs->PciState);
1061         printk(KERN_INFO "  PCI bus width: %i bits, speed: %iMHz, "
1062                "latency: %i clks\n",
1063                 (pci_state & PCI_32BIT) ? 32 : 64,
1064                 (pci_state & PCI_66MHZ) ? 66 : 33,
1065                 ap->pci_latency);
1066
1067         /*
1068          * Set the max DMA transfer size. Seems that for most systems
1069          * the performance is better when no MAX parameter is
1070          * set. However for systems enabling PCI write and invalidate,
1071          * DMA writes must be set to the L1 cache line size to get
1072          * optimal performance.
1073          *
1074          * The default is now to turn the PCI write and invalidate off
1075          * - that is what Alteon does for NT.
1076          */
1077         tmp = READ_CMD_MEM | WRITE_CMD_MEM;
1078         if (ap->version >= 2) {
1079                 tmp |= (MEM_READ_MULTIPLE | (pci_state & PCI_66MHZ));
1080                 /*
1081                  * Tuning parameters only supported for 8 cards
1082                  */
1083                 if (board_idx == BOARD_IDX_OVERFLOW ||
1084                     dis_pci_mem_inval[board_idx]) {
1085                         if (ap->pci_command & PCI_COMMAND_INVALIDATE) {
1086                                 ap->pci_command &= ~PCI_COMMAND_INVALIDATE;
1087                                 pci_write_config_word(pdev, PCI_COMMAND,
1088                                                       ap->pci_command);
1089                                 printk(KERN_INFO "  Disabling PCI memory "
1090                                        "write and invalidate\n");
1091                         }
1092                 } else if (ap->pci_command & PCI_COMMAND_INVALIDATE) {
1093                         printk(KERN_INFO "  PCI memory write & invalidate "
1094                                "enabled by BIOS, enabling counter measures\n");
1095
1096                         switch(SMP_CACHE_BYTES) {
1097                         case 16:
1098                                 tmp |= DMA_WRITE_MAX_16;
1099                                 break;
1100                         case 32:
1101                                 tmp |= DMA_WRITE_MAX_32;
1102                                 break;
1103                         case 64:
1104                                 tmp |= DMA_WRITE_MAX_64;
1105                                 break;
1106                         case 128:
1107                                 tmp |= DMA_WRITE_MAX_128;
1108                                 break;
1109                         default:
1110                                 printk(KERN_INFO "  Cache line size %i not "
1111                                        "supported, PCI write and invalidate "
1112                                        "disabled\n", SMP_CACHE_BYTES);
1113                                 ap->pci_command &= ~PCI_COMMAND_INVALIDATE;
1114                                 pci_write_config_word(pdev, PCI_COMMAND,
1115                                                       ap->pci_command);
1116                         }
1117                 }
1118         }
1119
1120 #ifdef __sparc__
1121         /*
1122          * On this platform, we know what the best dma settings
1123          * are.  We use 64-byte maximum bursts, because if we
1124          * burst larger than the cache line size (or even cross
1125          * a 64byte boundary in a single burst) the UltraSparc
1126          * PCI controller will disconnect at 64-byte multiples.
1127          *
1128          * Read-multiple will be properly enabled above, and when
1129          * set will give the PCI controller proper hints about
1130          * prefetching.
1131          */
1132         tmp &= ~DMA_READ_WRITE_MASK;
1133         tmp |= DMA_READ_MAX_64;
1134         tmp |= DMA_WRITE_MAX_64;
1135 #endif
1136 #ifdef __alpha__
1137         tmp &= ~DMA_READ_WRITE_MASK;
1138         tmp |= DMA_READ_MAX_128;
1139         /*
1140          * All the docs say MUST NOT. Well, I did.
1141          * Nothing terrible happens, if we load wrong size.
1142          * Bit w&i still works better!
1143          */
1144         tmp |= DMA_WRITE_MAX_128;
1145 #endif
1146         writel(tmp, &regs->PciState);
1147
1148 #if 0
1149         /*
1150          * The Host PCI bus controller driver has to set FBB.
1151          * If all devices on that PCI bus support FBB, then the controller
1152          * can enable FBB support in the Host PCI Bus controller (or on
1153          * the PCI-PCI bridge if that applies).
1154          * -ggg
1155          */
1156         /*
1157          * I have received reports from people having problems when this
1158          * bit is enabled.
1159          */
1160         if (!(ap->pci_command & PCI_COMMAND_FAST_BACK)) {
1161                 printk(KERN_INFO "  Enabling PCI Fast Back to Back\n");
1162                 ap->pci_command |= PCI_COMMAND_FAST_BACK;
1163                 pci_write_config_word(pdev, PCI_COMMAND, ap->pci_command);
1164         }
1165 #endif
1166
1167         /*
1168          * Configure DMA attributes.
1169          */
1170         if (!pci_set_dma_mask(pdev, 0xffffffffffffffffULL)) {
1171                 ap->pci_using_dac = 1;
1172         } else if (!pci_set_dma_mask(pdev, 0xffffffffULL)) {
1173                 ap->pci_using_dac = 0;
1174         } else {
1175                 ecode = -ENODEV;
1176                 goto init_error;
1177         }
1178
1179         /*
1180          * Initialize the generic info block and the command+event rings
1181          * and the control blocks for the transmit and receive rings
1182          * as they need to be setup once and for all.
1183          */
1184         if (!(info = pci_alloc_consistent(ap->pdev, sizeof(struct ace_info),
1185                                           &ap->info_dma))) {
1186                 ecode = -EAGAIN;
1187                 goto init_error;
1188         }
1189         ap->info = info;
1190
1191         /*
1192          * Get the memory for the skb rings.
1193          */
1194         if (!(ap->skb = kmalloc(sizeof(struct ace_skb), GFP_KERNEL))) {
1195                 ecode = -EAGAIN;
1196                 goto init_error;
1197         }
1198
1199         ecode = request_irq(pdev->irq, ace_interrupt, SA_SHIRQ,
1200                             DRV_NAME, dev);
1201         if (ecode) {
1202                 printk(KERN_WARNING "%s: Requested IRQ %d is busy\n",
1203                        DRV_NAME, pdev->irq);
1204                 goto init_error;
1205         } else
1206                 dev->irq = pdev->irq;
1207
1208 #ifdef INDEX_DEBUG
1209         spin_lock_init(&ap->debug_lock);
1210         ap->last_tx = ACE_TX_RING_ENTRIES(ap) - 1;
1211         ap->last_std_rx = 0;
1212         ap->last_mini_rx = 0;
1213 #endif
1214
1215         memset(ap->info, 0, sizeof(struct ace_info));
1216         memset(ap->skb, 0, sizeof(struct ace_skb));
1217
1218         ace_load_firmware(dev);
1219         ap->fw_running = 0;
1220
1221         tmp_ptr = ap->info_dma;
1222         writel(tmp_ptr >> 32, &regs->InfoPtrHi);
1223         writel(tmp_ptr & 0xffffffff, &regs->InfoPtrLo);
1224
1225         memset(ap->evt_ring, 0, EVT_RING_ENTRIES * sizeof(struct event));
1226
1227         set_aceaddr(&info->evt_ctrl.rngptr, ap->evt_ring_dma);
1228         info->evt_ctrl.flags = 0;
1229
1230         *(ap->evt_prd) = 0;
1231         wmb();
1232         set_aceaddr(&info->evt_prd_ptr, ap->evt_prd_dma);
1233         writel(0, &regs->EvtCsm);
1234
1235         set_aceaddr(&info->cmd_ctrl.rngptr, 0x100);
1236         info->cmd_ctrl.flags = 0;
1237         info->cmd_ctrl.max_len = 0;
1238
1239         for (i = 0; i < CMD_RING_ENTRIES; i++)
1240                 writel(0, &regs->CmdRng[i]);
1241
1242         writel(0, &regs->CmdPrd);
1243         writel(0, &regs->CmdCsm);
1244
1245         tmp_ptr = ap->info_dma;
1246         tmp_ptr += (unsigned long) &(((struct ace_info *)0)->s.stats);
1247         set_aceaddr(&info->stats2_ptr, (dma_addr_t) tmp_ptr);
1248
1249         set_aceaddr(&info->rx_std_ctrl.rngptr, ap->rx_ring_base_dma);
1250         info->rx_std_ctrl.max_len = ACE_STD_BUFSIZE;
1251         info->rx_std_ctrl.flags =
1252           RCB_FLG_TCP_UDP_SUM | RCB_FLG_NO_PSEUDO_HDR | ACE_RCB_VLAN_FLAG;
1253
1254         memset(ap->rx_std_ring, 0,
1255                RX_STD_RING_ENTRIES * sizeof(struct rx_desc));
1256
1257         for (i = 0; i < RX_STD_RING_ENTRIES; i++)
1258                 ap->rx_std_ring[i].flags = BD_FLG_TCP_UDP_SUM;
1259
1260         ap->rx_std_skbprd = 0;
1261         atomic_set(&ap->cur_rx_bufs, 0);
1262
1263         set_aceaddr(&info->rx_jumbo_ctrl.rngptr,
1264                     (ap->rx_ring_base_dma +
1265                      (sizeof(struct rx_desc) * RX_STD_RING_ENTRIES)));
1266         info->rx_jumbo_ctrl.max_len = 0;
1267         info->rx_jumbo_ctrl.flags =
1268           RCB_FLG_TCP_UDP_SUM | RCB_FLG_NO_PSEUDO_HDR | ACE_RCB_VLAN_FLAG;
1269
1270         memset(ap->rx_jumbo_ring, 0,
1271                RX_JUMBO_RING_ENTRIES * sizeof(struct rx_desc));
1272
1273         for (i = 0; i < RX_JUMBO_RING_ENTRIES; i++)
1274                 ap->rx_jumbo_ring[i].flags = BD_FLG_TCP_UDP_SUM | BD_FLG_JUMBO;
1275
1276         ap->rx_jumbo_skbprd = 0;
1277         atomic_set(&ap->cur_jumbo_bufs, 0);
1278
1279         memset(ap->rx_mini_ring, 0,
1280                RX_MINI_RING_ENTRIES * sizeof(struct rx_desc));
1281
1282         if (ap->version >= 2) {
1283                 set_aceaddr(&info->rx_mini_ctrl.rngptr,
1284                             (ap->rx_ring_base_dma +
1285                              (sizeof(struct rx_desc) *
1286                               (RX_STD_RING_ENTRIES +
1287                                RX_JUMBO_RING_ENTRIES))));
1288                 info->rx_mini_ctrl.max_len = ACE_MINI_SIZE;
1289                 info->rx_mini_ctrl.flags =
1290                   RCB_FLG_TCP_UDP_SUM|RCB_FLG_NO_PSEUDO_HDR|ACE_RCB_VLAN_FLAG;
1291
1292                 for (i = 0; i < RX_MINI_RING_ENTRIES; i++)
1293                         ap->rx_mini_ring[i].flags =
1294                                 BD_FLG_TCP_UDP_SUM | BD_FLG_MINI;
1295         } else {
1296                 set_aceaddr(&info->rx_mini_ctrl.rngptr, 0);
1297                 info->rx_mini_ctrl.flags = RCB_FLG_RNG_DISABLE;
1298                 info->rx_mini_ctrl.max_len = 0;
1299         }
1300
1301         ap->rx_mini_skbprd = 0;
1302         atomic_set(&ap->cur_mini_bufs, 0);
1303
1304         set_aceaddr(&info->rx_return_ctrl.rngptr,
1305                     (ap->rx_ring_base_dma +
1306                      (sizeof(struct rx_desc) *
1307                       (RX_STD_RING_ENTRIES +
1308                        RX_JUMBO_RING_ENTRIES +
1309                        RX_MINI_RING_ENTRIES))));
1310         info->rx_return_ctrl.flags = 0;
1311         info->rx_return_ctrl.max_len = RX_RETURN_RING_ENTRIES;
1312
1313         memset(ap->rx_return_ring, 0,
1314                RX_RETURN_RING_ENTRIES * sizeof(struct rx_desc));
1315
1316         set_aceaddr(&info->rx_ret_prd_ptr, ap->rx_ret_prd_dma);
1317         *(ap->rx_ret_prd) = 0;
1318
1319         writel(TX_RING_BASE, &regs->WinBase);
1320
1321         if (ACE_IS_TIGON_I(ap)) {
1322                 ap->tx_ring = (struct tx_desc *)regs->Window;
1323                 for (i = 0; i < (TIGON_I_TX_RING_ENTRIES *
1324                                  sizeof(struct tx_desc) / 4); i++) {
1325                         writel(0, (unsigned long)ap->tx_ring + i * 4);
1326                 }
1327
1328                 set_aceaddr(&info->tx_ctrl.rngptr, TX_RING_BASE);
1329         } else {
1330                 memset(ap->tx_ring, 0,
1331                        MAX_TX_RING_ENTRIES * sizeof(struct tx_desc));
1332
1333                 set_aceaddr(&info->tx_ctrl.rngptr, ap->tx_ring_dma);
1334         }
1335
1336         info->tx_ctrl.max_len = ACE_TX_RING_ENTRIES(ap);
1337         tmp = RCB_FLG_TCP_UDP_SUM | RCB_FLG_NO_PSEUDO_HDR | ACE_RCB_VLAN_FLAG;
1338
1339         /*
1340          * The Tigon I does not like having the TX ring in host memory ;-(
1341          */
1342         if (!ACE_IS_TIGON_I(ap))
1343                 tmp |= RCB_FLG_TX_HOST_RING;
1344 #if TX_COAL_INTS_ONLY
1345         tmp |= RCB_FLG_COAL_INT_ONLY;
1346 #endif
1347         info->tx_ctrl.flags = tmp;
1348
1349         set_aceaddr(&info->tx_csm_ptr, ap->tx_csm_dma);
1350
1351         /*
1352          * Potential item for tuning parameter
1353          */
1354 #if 0 /* NO */
1355         writel(DMA_THRESH_16W, &regs->DmaReadCfg);
1356         writel(DMA_THRESH_16W, &regs->DmaWriteCfg);
1357 #else
1358         writel(DMA_THRESH_8W, &regs->DmaReadCfg);
1359         writel(DMA_THRESH_8W, &regs->DmaWriteCfg);
1360 #endif
1361
1362         writel(0, &regs->MaskInt);
1363         writel(1, &regs->IfIdx);
1364 #if 0
1365         /*
1366          * McKinley boxes do not like us fiddling with AssistState
1367          * this early
1368          */
1369         writel(1, &regs->AssistState);
1370 #endif
1371
1372         writel(DEF_STAT, &regs->TuneStatTicks);
1373         writel(DEF_TRACE, &regs->TuneTrace);
1374
1375         ace_set_rxtx_parms(dev, 0);
1376
1377         if (board_idx == BOARD_IDX_OVERFLOW) {
1378                 printk(KERN_WARNING "%s: more than %i NICs detected, "
1379                        "ignoring module parameters!\n",
1380                        ap->name, ACE_MAX_MOD_PARMS);
1381         } else if (board_idx >= 0) {
1382                 if (tx_coal_tick[board_idx])
1383                         writel(tx_coal_tick[board_idx],
1384                                &regs->TuneTxCoalTicks);
1385                 if (max_tx_desc[board_idx])
1386                         writel(max_tx_desc[board_idx], &regs->TuneMaxTxDesc);
1387
1388                 if (rx_coal_tick[board_idx])
1389                         writel(rx_coal_tick[board_idx],
1390                                &regs->TuneRxCoalTicks);
1391                 if (max_rx_desc[board_idx])
1392                         writel(max_rx_desc[board_idx], &regs->TuneMaxRxDesc);
1393
1394                 if (trace[board_idx])
1395                         writel(trace[board_idx], &regs->TuneTrace);
1396
1397                 if ((tx_ratio[board_idx] > 0) && (tx_ratio[board_idx] < 64))
1398                         writel(tx_ratio[board_idx], &regs->TxBufRat);
1399         }
1400
1401         /*
1402          * Default link parameters
1403          */
1404         tmp = LNK_ENABLE | LNK_FULL_DUPLEX | LNK_1000MB | LNK_100MB |
1405                 LNK_10MB | LNK_RX_FLOW_CTL_Y | LNK_NEG_FCTL | LNK_NEGOTIATE;
1406         if(ap->version >= 2)
1407                 tmp |= LNK_TX_FLOW_CTL_Y;
1408
1409         /*
1410          * Override link default parameters
1411          */
1412         if ((board_idx >= 0) && link[board_idx]) {
1413                 int option = link[board_idx];
1414
1415                 tmp = LNK_ENABLE;
1416
1417                 if (option & 0x01) {
1418                         printk(KERN_INFO "%s: Setting half duplex link\n",
1419                                ap->name);
1420                         tmp &= ~LNK_FULL_DUPLEX;
1421                 }
1422                 if (option & 0x02)
1423                         tmp &= ~LNK_NEGOTIATE;
1424                 if (option & 0x10)
1425                         tmp |= LNK_10MB;
1426                 if (option & 0x20)
1427                         tmp |= LNK_100MB;
1428                 if (option & 0x40)
1429                         tmp |= LNK_1000MB;
1430                 if ((option & 0x70) == 0) {
1431                         printk(KERN_WARNING "%s: No media speed specified, "
1432                                "forcing auto negotiation\n", ap->name);
1433                         tmp |= LNK_NEGOTIATE | LNK_1000MB |
1434                                 LNK_100MB | LNK_10MB;
1435                 }
1436                 if ((option & 0x100) == 0)
1437                         tmp |= LNK_NEG_FCTL;
1438                 else
1439                         printk(KERN_INFO "%s: Disabling flow control "
1440                                "negotiation\n", ap->name);
1441                 if (option & 0x200)
1442                         tmp |= LNK_RX_FLOW_CTL_Y;
1443                 if ((option & 0x400) && (ap->version >= 2)) {
1444                         printk(KERN_INFO "%s: Enabling TX flow control\n",
1445                                ap->name);
1446                         tmp |= LNK_TX_FLOW_CTL_Y;
1447                 }
1448         }
1449
1450         ap->link = tmp;
1451         writel(tmp, &regs->TuneLink);
1452         if (ap->version >= 2)
1453                 writel(tmp, &regs->TuneFastLink);
1454
1455         if (ACE_IS_TIGON_I(ap))
1456                 writel(tigonFwStartAddr, &regs->Pc);
1457         if (ap->version == 2)
1458                 writel(tigon2FwStartAddr, &regs->Pc);
1459
1460         writel(0, &regs->Mb0Lo);
1461
1462         /*
1463          * Set tx_csm before we start receiving interrupts, otherwise
1464          * the interrupt handler might think it is supposed to process
1465          * tx ints before we are up and running, which may cause a null
1466          * pointer access in the int handler.
1467          */
1468         ap->cur_rx = 0;
1469         ap->tx_prd = *(ap->tx_csm) = ap->tx_ret_csm = 0;
1470
1471         wmb();
1472         ace_set_txprd(regs, ap, 0);
1473         writel(0, &regs->RxRetCsm);
1474
1475         /*
1476          * Zero the stats before starting the interface
1477          */
1478         memset(&ap->stats, 0, sizeof(ap->stats));
1479
1480        /*
1481         * Enable DMA engine now.
1482         * If we do this sooner, Mckinley box pukes.
1483         * I assume it's because Tigon II DMA engine wants to check
1484         * *something* even before the CPU is started.
1485         */
1486        writel(1, &regs->AssistState);  /* enable DMA */
1487
1488         /*
1489          * Start the NIC CPU
1490          */
1491         writel(readl(&regs->CpuCtrl) & ~(CPU_HALT|CPU_TRACE), &regs->CpuCtrl);
1492         readl(&regs->CpuCtrl);
1493
1494         /*
1495          * Wait for the firmware to spin up - max 3 seconds.
1496          */
1497         myjif = jiffies + 3 * HZ;
1498         while (time_before(jiffies, myjif) && !ap->fw_running)
1499                 cpu_relax();
1500
1501         if (!ap->fw_running) {
1502                 printk(KERN_ERR "%s: Firmware NOT running!\n", ap->name);
1503
1504                 ace_dump_trace(ap);
1505                 writel(readl(&regs->CpuCtrl) | CPU_HALT, &regs->CpuCtrl);
1506                 readl(&regs->CpuCtrl);
1507
1508                 /* aman@sgi.com - account for badly behaving firmware/NIC:
1509                  * - have observed that the NIC may continue to generate
1510                  *   interrupts for some reason; attempt to stop it - halt
1511                  *   second CPU for Tigon II cards, and also clear Mb0
1512                  * - if we're a module, we'll fail to load if this was
1513                  *   the only GbE card in the system => if the kernel does
1514                  *   see an interrupt from the NIC, code to handle it is
1515                  *   gone and OOps! - so free_irq also
1516                  */
1517                 if (ap->version >= 2)
1518                         writel(readl(&regs->CpuBCtrl) | CPU_HALT,
1519                                &regs->CpuBCtrl);
1520                 writel(0, &regs->Mb0Lo);
1521                 readl(&regs->Mb0Lo);
1522
1523                 ecode = -EBUSY;
1524                 goto init_error;
1525         }
1526
1527         /*
1528          * We load the ring here as there seem to be no way to tell the
1529          * firmware to wipe the ring without re-initializing it.
1530          */
1531         if (!test_and_set_bit(0, &ap->std_refill_busy))
1532                 ace_load_std_rx_ring(ap, RX_RING_SIZE);
1533         else
1534                 printk(KERN_ERR "%s: Someone is busy refilling the RX ring\n",
1535                        ap->name);
1536         if (ap->version >= 2) {
1537                 if (!test_and_set_bit(0, &ap->mini_refill_busy))
1538                         ace_load_mini_rx_ring(ap, RX_MINI_SIZE);
1539                 else
1540                         printk(KERN_ERR "%s: Someone is busy refilling "
1541                                "the RX mini ring\n", ap->name);
1542         }
1543         return 0;
1544
1545  init_error:
1546         ace_init_cleanup(dev);
1547         return ecode;
1548 }
1549
1550
1551 static void ace_set_rxtx_parms(struct net_device *dev, int jumbo)
1552 {
1553         struct ace_private *ap;
1554         struct ace_regs *regs;
1555         int board_idx;
1556
1557         ap = netdev_priv(dev);
1558         regs = ap->regs;
1559
1560         board_idx = ap->board_idx;
1561
1562         if (board_idx >= 0) {
1563                 if (!jumbo) {
1564                         if (!tx_coal_tick[board_idx])
1565                                 writel(DEF_TX_COAL, &regs->TuneTxCoalTicks);
1566                         if (!max_tx_desc[board_idx])
1567                                 writel(DEF_TX_MAX_DESC, &regs->TuneMaxTxDesc);
1568                         if (!rx_coal_tick[board_idx])
1569                                 writel(DEF_RX_COAL, &regs->TuneRxCoalTicks);
1570                         if (!max_rx_desc[board_idx])
1571                                 writel(DEF_RX_MAX_DESC, &regs->TuneMaxRxDesc);
1572                         if (!tx_ratio[board_idx])
1573                                 writel(DEF_TX_RATIO, &regs->TxBufRat);
1574                 } else {
1575                         if (!tx_coal_tick[board_idx])
1576                                 writel(DEF_JUMBO_TX_COAL,
1577                                        &regs->TuneTxCoalTicks);
1578                         if (!max_tx_desc[board_idx])
1579                                 writel(DEF_JUMBO_TX_MAX_DESC,
1580                                        &regs->TuneMaxTxDesc);
1581                         if (!rx_coal_tick[board_idx])
1582                                 writel(DEF_JUMBO_RX_COAL,
1583                                        &regs->TuneRxCoalTicks);
1584                         if (!max_rx_desc[board_idx])
1585                                 writel(DEF_JUMBO_RX_MAX_DESC,
1586                                        &regs->TuneMaxRxDesc);
1587                         if (!tx_ratio[board_idx])
1588                                 writel(DEF_JUMBO_TX_RATIO, &regs->TxBufRat);
1589                 }
1590         }
1591 }
1592
1593
1594 static void ace_watchdog(struct net_device *data)
1595 {
1596         struct net_device *dev = data;
1597         struct ace_private *ap = netdev_priv(dev);
1598         struct ace_regs *regs = ap->regs;
1599
1600         /*
1601          * We haven't received a stats update event for more than 2.5
1602          * seconds and there is data in the transmit queue, thus we
1603          * asume the card is stuck.
1604          */
1605         if (*ap->tx_csm != ap->tx_ret_csm) {
1606                 printk(KERN_WARNING "%s: Transmitter is stuck, %08x\n",
1607                        dev->name, (unsigned int)readl(&regs->HostCtrl));
1608                 /* This can happen due to ieee flow control. */
1609         } else {
1610                 printk(KERN_DEBUG "%s: BUG... transmitter died. Kicking it.\n",
1611                        dev->name);
1612 #if 0
1613                 netif_wake_queue(dev);
1614 #endif
1615         }
1616 }
1617
1618
1619 static void ace_tasklet(unsigned long dev)
1620 {
1621         struct ace_private *ap = ((struct net_device *)dev)->priv;
1622         int cur_size;
1623
1624         cur_size = atomic_read(&ap->cur_rx_bufs);
1625         if ((cur_size < RX_LOW_STD_THRES) &&
1626             !test_and_set_bit(0, &ap->std_refill_busy)) {
1627 #ifdef DEBUG
1628                 printk("refilling buffers (current %i)\n", cur_size);
1629 #endif
1630                 ace_load_std_rx_ring(ap, RX_RING_SIZE - cur_size);
1631         }
1632
1633         if (ap->version >= 2) {
1634                 cur_size = atomic_read(&ap->cur_mini_bufs);
1635                 if ((cur_size < RX_LOW_MINI_THRES) &&
1636                     !test_and_set_bit(0, &ap->mini_refill_busy)) {
1637 #ifdef DEBUG
1638                         printk("refilling mini buffers (current %i)\n",
1639                                cur_size);
1640 #endif
1641                         ace_load_mini_rx_ring(ap, RX_MINI_SIZE - cur_size);
1642                 }
1643         }
1644
1645         cur_size = atomic_read(&ap->cur_jumbo_bufs);
1646         if (ap->jumbo && (cur_size < RX_LOW_JUMBO_THRES) &&
1647             !test_and_set_bit(0, &ap->jumbo_refill_busy)) {
1648 #ifdef DEBUG
1649                 printk("refilling jumbo buffers (current %i)\n", cur_size);
1650 #endif
1651                 ace_load_jumbo_rx_ring(ap, RX_JUMBO_SIZE - cur_size);
1652         }
1653         ap->tasklet_pending = 0;
1654 }
1655
1656
1657 /*
1658  * Copy the contents of the NIC's trace buffer to kernel memory.
1659  */
1660 static void ace_dump_trace(struct ace_private *ap)
1661 {
1662 #if 0
1663         if (!ap->trace_buf)
1664                 if (!(ap->trace_buf = kmalloc(ACE_TRACE_SIZE, GFP_KERNEL)))
1665                     return;
1666 #endif
1667 }
1668
1669
1670 /*
1671  * Load the standard rx ring.
1672  *
1673  * Loading rings is safe without holding the spin lock since this is
1674  * done only before the device is enabled, thus no interrupts are
1675  * generated and by the interrupt handler/tasklet handler.
1676  */
1677 static void ace_load_std_rx_ring(struct ace_private *ap, int nr_bufs)
1678 {
1679         struct ace_regs *regs;
1680         short i, idx;
1681
1682         regs = ap->regs;
1683
1684         prefetchw(&ap->cur_rx_bufs);
1685
1686         idx = ap->rx_std_skbprd;
1687
1688         for (i = 0; i < nr_bufs; i++) {
1689                 struct sk_buff *skb;
1690                 struct rx_desc *rd;
1691                 dma_addr_t mapping;
1692
1693                 skb = alloc_skb(ACE_STD_BUFSIZE + NET_IP_ALIGN, GFP_ATOMIC);
1694                 if (!skb)
1695                         break;
1696
1697                 skb_reserve(skb, NET_IP_ALIGN);
1698                 mapping = pci_map_page(ap->pdev, virt_to_page(skb->data),
1699                                        offset_in_page(skb->data),
1700                                        ACE_STD_BUFSIZE,
1701                                        PCI_DMA_FROMDEVICE);
1702                 ap->skb->rx_std_skbuff[idx].skb = skb;
1703                 pci_unmap_addr_set(&ap->skb->rx_std_skbuff[idx],
1704                                    mapping, mapping);
1705
1706                 rd = &ap->rx_std_ring[idx];
1707                 set_aceaddr(&rd->addr, mapping);
1708                 rd->size = ACE_STD_BUFSIZE;
1709                 rd->idx = idx;
1710                 idx = (idx + 1) % RX_STD_RING_ENTRIES;
1711         }
1712
1713         if (!i)
1714                 goto error_out;
1715
1716         atomic_add(i, &ap->cur_rx_bufs);
1717         ap->rx_std_skbprd = idx;
1718
1719         if (ACE_IS_TIGON_I(ap)) {
1720                 struct cmd cmd;
1721                 cmd.evt = C_SET_RX_PRD_IDX;
1722                 cmd.code = 0;
1723                 cmd.idx = ap->rx_std_skbprd;
1724                 ace_issue_cmd(regs, &cmd);
1725         } else {
1726                 writel(idx, &regs->RxStdPrd);
1727                 wmb();
1728         }
1729
1730  out:
1731         clear_bit(0, &ap->std_refill_busy);
1732         return;
1733
1734  error_out:
1735         printk(KERN_INFO "Out of memory when allocating "
1736                "standard receive buffers\n");
1737         goto out;
1738 }
1739
1740
1741 static void ace_load_mini_rx_ring(struct ace_private *ap, int nr_bufs)
1742 {
1743         struct ace_regs *regs;
1744         short i, idx;
1745
1746         regs = ap->regs;
1747
1748         prefetchw(&ap->cur_mini_bufs);
1749
1750         idx = ap->rx_mini_skbprd;
1751         for (i = 0; i < nr_bufs; i++) {
1752                 struct sk_buff *skb;
1753                 struct rx_desc *rd;
1754                 dma_addr_t mapping;
1755
1756                 skb = alloc_skb(ACE_MINI_BUFSIZE + NET_IP_ALIGN, GFP_ATOMIC);
1757                 if (!skb)
1758                         break;
1759
1760                 skb_reserve(skb, NET_IP_ALIGN);
1761                 mapping = pci_map_page(ap->pdev, virt_to_page(skb->data),
1762                                        offset_in_page(skb->data),
1763                                        ACE_MINI_BUFSIZE,
1764                                        PCI_DMA_FROMDEVICE);
1765                 ap->skb->rx_mini_skbuff[idx].skb = skb;
1766                 pci_unmap_addr_set(&ap->skb->rx_mini_skbuff[idx],
1767                                    mapping, mapping);
1768
1769                 rd = &ap->rx_mini_ring[idx];
1770                 set_aceaddr(&rd->addr, mapping);
1771                 rd->size = ACE_MINI_BUFSIZE;
1772                 rd->idx = idx;
1773                 idx = (idx + 1) % RX_MINI_RING_ENTRIES;
1774         }
1775
1776         if (!i)
1777                 goto error_out;
1778
1779         atomic_add(i, &ap->cur_mini_bufs);
1780
1781         ap->rx_mini_skbprd = idx;
1782
1783         writel(idx, &regs->RxMiniPrd);
1784         wmb();
1785
1786  out:
1787         clear_bit(0, &ap->mini_refill_busy);
1788         return;
1789  error_out:
1790         printk(KERN_INFO "Out of memory when allocating "
1791                "mini receive buffers\n");
1792         goto out;
1793 }
1794
1795
1796 /*
1797  * Load the jumbo rx ring, this may happen at any time if the MTU
1798  * is changed to a value > 1500.
1799  */
1800 static void ace_load_jumbo_rx_ring(struct ace_private *ap, int nr_bufs)
1801 {
1802         struct ace_regs *regs;
1803         short i, idx;
1804
1805         regs = ap->regs;
1806
1807         idx = ap->rx_jumbo_skbprd;
1808
1809         for (i = 0; i < nr_bufs; i++) {
1810                 struct sk_buff *skb;
1811                 struct rx_desc *rd;
1812                 dma_addr_t mapping;
1813
1814                 skb = alloc_skb(ACE_JUMBO_BUFSIZE + NET_IP_ALIGN, GFP_ATOMIC);
1815                 if (!skb)
1816                         break;
1817
1818                 skb_reserve(skb, NET_IP_ALIGN);
1819                 mapping = pci_map_page(ap->pdev, virt_to_page(skb->data),
1820                                        offset_in_page(skb->data),
1821                                        ACE_JUMBO_BUFSIZE,
1822                                        PCI_DMA_FROMDEVICE);
1823                 ap->skb->rx_jumbo_skbuff[idx].skb = skb;
1824                 pci_unmap_addr_set(&ap->skb->rx_jumbo_skbuff[idx],
1825                                    mapping, mapping);
1826
1827                 rd = &ap->rx_jumbo_ring[idx];
1828                 set_aceaddr(&rd->addr, mapping);
1829                 rd->size = ACE_JUMBO_BUFSIZE;
1830                 rd->idx = idx;
1831                 idx = (idx + 1) % RX_JUMBO_RING_ENTRIES;
1832         }
1833
1834         if (!i)
1835                 goto error_out;
1836
1837         atomic_add(i, &ap->cur_jumbo_bufs);
1838         ap->rx_jumbo_skbprd = idx;
1839
1840         if (ACE_IS_TIGON_I(ap)) {
1841                 struct cmd cmd;
1842                 cmd.evt = C_SET_RX_JUMBO_PRD_IDX;
1843                 cmd.code = 0;
1844                 cmd.idx = ap->rx_jumbo_skbprd;
1845                 ace_issue_cmd(regs, &cmd);
1846         } else {
1847                 writel(idx, &regs->RxJumboPrd);
1848                 wmb();
1849         }
1850
1851  out:
1852         clear_bit(0, &ap->jumbo_refill_busy);
1853         return;
1854  error_out:
1855         if (net_ratelimit())
1856                 printk(KERN_INFO "Out of memory when allocating "
1857                        "jumbo receive buffers\n");
1858         goto out;
1859 }
1860
1861
1862 /*
1863  * All events are considered to be slow (RX/TX ints do not generate
1864  * events) and are handled here, outside the main interrupt handler,
1865  * to reduce the size of the handler.
1866  */
1867 static u32 ace_handle_event(struct net_device *dev, u32 evtcsm, u32 evtprd)
1868 {
1869         struct ace_private *ap;
1870
1871         ap = netdev_priv(dev);
1872
1873         while (evtcsm != evtprd) {
1874                 switch (ap->evt_ring[evtcsm].evt) {
1875                 case E_FW_RUNNING:
1876                         printk(KERN_INFO "%s: Firmware up and running\n",
1877                                ap->name);
1878                         ap->fw_running = 1;
1879                         wmb();
1880                         break;
1881                 case E_STATS_UPDATED:
1882                         break;
1883                 case E_LNK_STATE:
1884                 {
1885                         u16 code = ap->evt_ring[evtcsm].code;
1886                         switch (code) {
1887                         case E_C_LINK_UP:
1888                         {
1889                                 u32 state = readl(&ap->regs->GigLnkState);
1890                                 printk(KERN_WARNING "%s: Optical link UP "
1891                                        "(%s Duplex, Flow Control: %s%s)\n",
1892                                        ap->name,
1893                                        state & LNK_FULL_DUPLEX ? "Full":"Half",
1894                                        state & LNK_TX_FLOW_CTL_Y ? "TX " : "",
1895                                        state & LNK_RX_FLOW_CTL_Y ? "RX" : "");
1896                                 break;
1897                         }
1898                         case E_C_LINK_DOWN:
1899                                 printk(KERN_WARNING "%s: Optical link DOWN\n",
1900                                        ap->name);
1901                                 break;
1902                         case E_C_LINK_10_100:
1903                                 printk(KERN_WARNING "%s: 10/100BaseT link "
1904                                        "UP\n", ap->name);
1905                                 break;
1906                         default:
1907                                 printk(KERN_ERR "%s: Unknown optical link "
1908                                        "state %02x\n", ap->name, code);
1909                         }
1910                         break;
1911                 }
1912                 case E_ERROR:
1913                         switch(ap->evt_ring[evtcsm].code) {
1914                         case E_C_ERR_INVAL_CMD:
1915                                 printk(KERN_ERR "%s: invalid command error\n",
1916                                        ap->name);
1917                                 break;
1918                         case E_C_ERR_UNIMP_CMD:
1919                                 printk(KERN_ERR "%s: unimplemented command "
1920                                        "error\n", ap->name);
1921                                 break;
1922                         case E_C_ERR_BAD_CFG:
1923                                 printk(KERN_ERR "%s: bad config error\n",
1924                                        ap->name);
1925                                 break;
1926                         default:
1927                                 printk(KERN_ERR "%s: unknown error %02x\n",
1928                                        ap->name, ap->evt_ring[evtcsm].code);
1929                         }
1930                         break;
1931                 case E_RESET_JUMBO_RNG:
1932                 {
1933                         int i;
1934                         for (i = 0; i < RX_JUMBO_RING_ENTRIES; i++) {
1935                                 if (ap->skb->rx_jumbo_skbuff[i].skb) {
1936                                         ap->rx_jumbo_ring[i].size = 0;
1937                                         set_aceaddr(&ap->rx_jumbo_ring[i].addr, 0);
1938                                         dev_kfree_skb(ap->skb->rx_jumbo_skbuff[i].skb);
1939                                         ap->skb->rx_jumbo_skbuff[i].skb = NULL;
1940                                 }
1941                         }
1942
1943                         if (ACE_IS_TIGON_I(ap)) {
1944                                 struct cmd cmd;
1945                                 cmd.evt = C_SET_RX_JUMBO_PRD_IDX;
1946                                 cmd.code = 0;
1947                                 cmd.idx = 0;
1948                                 ace_issue_cmd(ap->regs, &cmd);
1949                         } else {
1950                                 writel(0, &((ap->regs)->RxJumboPrd));
1951                                 wmb();
1952                         }
1953
1954                         ap->jumbo = 0;
1955                         ap->rx_jumbo_skbprd = 0;
1956                         printk(KERN_INFO "%s: Jumbo ring flushed\n",
1957                                ap->name);
1958                         clear_bit(0, &ap->jumbo_refill_busy);
1959                         break;
1960                 }
1961                 default:
1962                         printk(KERN_ERR "%s: Unhandled event 0x%02x\n",
1963                                ap->name, ap->evt_ring[evtcsm].evt);
1964                 }
1965                 evtcsm = (evtcsm + 1) % EVT_RING_ENTRIES;
1966         }
1967
1968         return evtcsm;
1969 }
1970
1971
1972 static void ace_rx_int(struct net_device *dev, u32 rxretprd, u32 rxretcsm)
1973 {
1974         struct ace_private *ap = netdev_priv(dev);
1975         u32 idx;
1976         int mini_count = 0, std_count = 0;
1977
1978         idx = rxretcsm;
1979
1980         prefetchw(&ap->cur_rx_bufs);
1981         prefetchw(&ap->cur_mini_bufs);
1982
1983         while (idx != rxretprd) {
1984                 struct ring_info *rip;
1985                 struct sk_buff *skb;
1986                 struct rx_desc *rxdesc, *retdesc;
1987                 u32 skbidx;
1988                 int bd_flags, desc_type, mapsize;
1989                 u16 csum;
1990
1991
1992                 /* make sure the rx descriptor isn't read before rxretprd */
1993                 if (idx == rxretcsm)
1994                         rmb();
1995
1996                 retdesc = &ap->rx_return_ring[idx];
1997                 skbidx = retdesc->idx;
1998                 bd_flags = retdesc->flags;
1999                 desc_type = bd_flags & (BD_FLG_JUMBO | BD_FLG_MINI);
2000
2001                 switch(desc_type) {
2002                         /*
2003                          * Normal frames do not have any flags set
2004                          *
2005                          * Mini and normal frames arrive frequently,
2006                          * so use a local counter to avoid doing
2007                          * atomic operations for each packet arriving.
2008                          */
2009                 case 0:
2010                         rip = &ap->skb->rx_std_skbuff[skbidx];
2011                         mapsize = ACE_STD_BUFSIZE;
2012                         rxdesc = &ap->rx_std_ring[skbidx];
2013                         std_count++;
2014                         break;
2015                 case BD_FLG_JUMBO:
2016                         rip = &ap->skb->rx_jumbo_skbuff[skbidx];
2017                         mapsize = ACE_JUMBO_BUFSIZE;
2018                         rxdesc = &ap->rx_jumbo_ring[skbidx];
2019                         atomic_dec(&ap->cur_jumbo_bufs);
2020                         break;
2021                 case BD_FLG_MINI:
2022                         rip = &ap->skb->rx_mini_skbuff[skbidx];
2023                         mapsize = ACE_MINI_BUFSIZE;
2024                         rxdesc = &ap->rx_mini_ring[skbidx];
2025                         mini_count++;
2026                         break;
2027                 default:
2028                         printk(KERN_INFO "%s: unknown frame type (0x%02x) "
2029                                "returned by NIC\n", dev->name,
2030                                retdesc->flags);
2031                         goto error;
2032                 }
2033
2034                 skb = rip->skb;
2035                 rip->skb = NULL;
2036                 pci_unmap_page(ap->pdev,
2037                                pci_unmap_addr(rip, mapping),
2038                                mapsize,
2039                                PCI_DMA_FROMDEVICE);
2040                 skb_put(skb, retdesc->size);
2041
2042                 /*
2043                  * Fly baby, fly!
2044                  */
2045                 csum = retdesc->tcp_udp_csum;
2046
2047                 skb->dev = dev;
2048                 skb->protocol = eth_type_trans(skb, dev);
2049
2050                 /*
2051                  * Instead of forcing the poor tigon mips cpu to calculate
2052                  * pseudo hdr checksum, we do this ourselves.
2053                  */
2054                 if (bd_flags & BD_FLG_TCP_UDP_SUM) {
2055                         skb->csum = htons(csum);
2056                         skb->ip_summed = CHECKSUM_HW;
2057                 } else {
2058                         skb->ip_summed = CHECKSUM_NONE;
2059                 }
2060
2061                 /* send it up */
2062 #if ACENIC_DO_VLAN
2063                 if (ap->vlgrp && (bd_flags & BD_FLG_VLAN_TAG)) {
2064                         vlan_hwaccel_rx(skb, ap->vlgrp, retdesc->vlan);
2065                 } else
2066 #endif
2067                         netif_rx(skb);
2068
2069                 dev->last_rx = jiffies;
2070                 ap->stats.rx_packets++;
2071                 ap->stats.rx_bytes += retdesc->size;
2072
2073                 idx = (idx + 1) % RX_RETURN_RING_ENTRIES;
2074         }
2075
2076         atomic_sub(std_count, &ap->cur_rx_bufs);
2077         if (!ACE_IS_TIGON_I(ap))
2078                 atomic_sub(mini_count, &ap->cur_mini_bufs);
2079
2080  out:
2081         /*
2082          * According to the documentation RxRetCsm is obsolete with
2083          * the 12.3.x Firmware - my Tigon I NICs seem to disagree!
2084          */
2085         if (ACE_IS_TIGON_I(ap)) {
2086                 struct ace_regs *regs = ap->regs;
2087                 writel(idx, &regs->RxRetCsm);
2088         }
2089         ap->cur_rx = idx;
2090
2091         return;
2092  error:
2093         idx = rxretprd;
2094         goto out;
2095 }
2096
2097
2098 static inline void ace_tx_int(struct net_device *dev,
2099                               u32 txcsm, u32 idx)
2100 {
2101         struct ace_private *ap = netdev_priv(dev);
2102
2103         do {
2104                 struct sk_buff *skb;
2105                 dma_addr_t mapping;
2106                 struct tx_ring_info *info;
2107
2108                 info = ap->skb->tx_skbuff + idx;
2109                 skb = info->skb;
2110                 mapping = pci_unmap_addr(info, mapping);
2111
2112                 if (mapping) {
2113                         pci_unmap_page(ap->pdev, mapping,
2114                                        pci_unmap_len(info, maplen),
2115                                        PCI_DMA_TODEVICE);
2116                         pci_unmap_addr_set(info, mapping, 0);
2117                 }
2118
2119                 if (skb) {
2120                         ap->stats.tx_packets++;
2121                         ap->stats.tx_bytes += skb->len;
2122                         dev_kfree_skb_irq(skb);
2123                         info->skb = NULL;
2124                 }
2125
2126                 idx = (idx + 1) % ACE_TX_RING_ENTRIES(ap);
2127         } while (idx != txcsm);
2128
2129         if (netif_queue_stopped(dev))
2130                 netif_wake_queue(dev);
2131
2132         wmb();
2133         ap->tx_ret_csm = txcsm;
2134
2135         /* So... tx_ret_csm is advanced _after_ check for device wakeup.
2136          *
2137          * We could try to make it before. In this case we would get
2138          * the following race condition: hard_start_xmit on other cpu
2139          * enters after we advanced tx_ret_csm and fills space,
2140          * which we have just freed, so that we make illegal device wakeup.
2141          * There is no good way to workaround this (at entry
2142          * to ace_start_xmit detects this condition and prevents
2143          * ring corruption, but it is not a good workaround.)
2144          *
2145          * When tx_ret_csm is advanced after, we wake up device _only_
2146          * if we really have some space in ring (though the core doing
2147          * hard_start_xmit can see full ring for some period and has to
2148          * synchronize.) Superb.
2149          * BUT! We get another subtle race condition. hard_start_xmit
2150          * may think that ring is full between wakeup and advancing
2151          * tx_ret_csm and will stop device instantly! It is not so bad.
2152          * We are guaranteed that there is something in ring, so that
2153          * the next irq will resume transmission. To speedup this we could
2154          * mark descriptor, which closes ring with BD_FLG_COAL_NOW
2155          * (see ace_start_xmit).
2156          *
2157          * Well, this dilemma exists in all lock-free devices.
2158          * We, following scheme used in drivers by Donald Becker,
2159          * select the least dangerous.
2160          *                                                      --ANK
2161          */
2162 }
2163
2164
2165 static irqreturn_t ace_interrupt(int irq, void *dev_id, struct pt_regs *ptregs)
2166 {
2167         struct ace_private *ap;
2168         struct ace_regs *regs;
2169         struct net_device *dev = (struct net_device *)dev_id;
2170         u32 idx;
2171         u32 txcsm, rxretcsm, rxretprd;
2172         u32 evtcsm, evtprd;
2173
2174         ap = netdev_priv(dev);
2175         regs = ap->regs;
2176
2177         /*
2178          * In case of PCI shared interrupts or spurious interrupts,
2179          * we want to make sure it is actually our interrupt before
2180          * spending any time in here.
2181          */
2182         if (!(readl(&regs->HostCtrl) & IN_INT))
2183                 return IRQ_NONE;
2184
2185         /*
2186          * ACK intr now. Otherwise we will lose updates to rx_ret_prd,
2187          * which happened _after_ rxretprd = *ap->rx_ret_prd; but before
2188          * writel(0, &regs->Mb0Lo).
2189          *
2190          * "IRQ avoidance" recommended in docs applies to IRQs served
2191          * threads and it is wrong even for that case.
2192          */
2193         writel(0, &regs->Mb0Lo);
2194         readl(&regs->Mb0Lo);
2195
2196         /*
2197          * There is no conflict between transmit handling in
2198          * start_xmit and receive processing, thus there is no reason
2199          * to take a spin lock for RX handling. Wait until we start
2200          * working on the other stuff - hey we don't need a spin lock
2201          * anymore.
2202          */
2203         rxretprd = *ap->rx_ret_prd;
2204         rxretcsm = ap->cur_rx;
2205
2206         if (rxretprd != rxretcsm)
2207                 ace_rx_int(dev, rxretprd, rxretcsm);
2208
2209         txcsm = *ap->tx_csm;
2210         idx = ap->tx_ret_csm;
2211
2212         if (txcsm != idx) {
2213                 /*
2214                  * If each skb takes only one descriptor this check degenerates
2215                  * to identity, because new space has just been opened.
2216                  * But if skbs are fragmented we must check that this index
2217                  * update releases enough of space, otherwise we just
2218                  * wait for device to make more work.
2219                  */
2220                 if (!tx_ring_full(ap, txcsm, ap->tx_prd))
2221                         ace_tx_int(dev, txcsm, idx);
2222         }
2223
2224         evtcsm = readl(&regs->EvtCsm);
2225         evtprd = *ap->evt_prd;
2226
2227         if (evtcsm != evtprd) {
2228                 evtcsm = ace_handle_event(dev, evtcsm, evtprd);
2229                 writel(evtcsm, &regs->EvtCsm);
2230         }
2231
2232         /*
2233          * This has to go last in the interrupt handler and run with
2234          * the spin lock released ... what lock?
2235          */
2236         if (netif_running(dev)) {
2237                 int cur_size;
2238                 int run_tasklet = 0;
2239
2240                 cur_size = atomic_read(&ap->cur_rx_bufs);
2241                 if (cur_size < RX_LOW_STD_THRES) {
2242                         if ((cur_size < RX_PANIC_STD_THRES) &&
2243                             !test_and_set_bit(0, &ap->std_refill_busy)) {
2244 #ifdef DEBUG
2245                                 printk("low on std buffers %i\n", cur_size);
2246 #endif
2247                                 ace_load_std_rx_ring(ap,
2248                                                      RX_RING_SIZE - cur_size);
2249                         } else
2250                                 run_tasklet = 1;
2251                 }
2252
2253                 if (!ACE_IS_TIGON_I(ap)) {
2254                         cur_size = atomic_read(&ap->cur_mini_bufs);
2255                         if (cur_size < RX_LOW_MINI_THRES) {
2256                                 if ((cur_size < RX_PANIC_MINI_THRES) &&
2257                                     !test_and_set_bit(0,
2258                                                       &ap->mini_refill_busy)) {
2259 #ifdef DEBUG
2260                                         printk("low on mini buffers %i\n",
2261                                                cur_size);
2262 #endif
2263                                         ace_load_mini_rx_ring(ap, RX_MINI_SIZE - cur_size);
2264                                 } else
2265                                         run_tasklet = 1;
2266                         }
2267                 }
2268
2269                 if (ap->jumbo) {
2270                         cur_size = atomic_read(&ap->cur_jumbo_bufs);
2271                         if (cur_size < RX_LOW_JUMBO_THRES) {
2272                                 if ((cur_size < RX_PANIC_JUMBO_THRES) &&
2273                                     !test_and_set_bit(0,
2274                                                       &ap->jumbo_refill_busy)){
2275 #ifdef DEBUG
2276                                         printk("low on jumbo buffers %i\n",
2277                                                cur_size);
2278 #endif
2279                                         ace_load_jumbo_rx_ring(ap, RX_JUMBO_SIZE - cur_size);
2280                                 } else
2281                                         run_tasklet = 1;
2282                         }
2283                 }
2284                 if (run_tasklet && !ap->tasklet_pending) {
2285                         ap->tasklet_pending = 1;
2286                         tasklet_schedule(&ap->ace_tasklet);
2287                 }
2288         }
2289
2290         return IRQ_HANDLED;
2291 }
2292
2293
2294 #if ACENIC_DO_VLAN
2295 static void ace_vlan_rx_register(struct net_device *dev, struct vlan_group *grp)
2296 {
2297         struct ace_private *ap = netdev_priv(dev);
2298         unsigned long flags;
2299
2300         local_irq_save(flags);
2301         ace_mask_irq(dev);
2302
2303         ap->vlgrp = grp;
2304
2305         ace_unmask_irq(dev);
2306         local_irq_restore(flags);
2307 }
2308
2309
2310 static void ace_vlan_rx_kill_vid(struct net_device *dev, unsigned short vid)
2311 {
2312         struct ace_private *ap = netdev_priv(dev);
2313         unsigned long flags;
2314
2315         local_irq_save(flags);
2316         ace_mask_irq(dev);
2317
2318         if (ap->vlgrp)
2319                 ap->vlgrp->vlan_devices[vid] = NULL;
2320
2321         ace_unmask_irq(dev);
2322         local_irq_restore(flags);
2323 }
2324 #endif /* ACENIC_DO_VLAN */
2325
2326
2327 static int ace_open(struct net_device *dev)
2328 {
2329         struct ace_private *ap;
2330         struct ace_regs *regs;
2331         struct cmd cmd;
2332
2333         ap = netdev_priv(dev);
2334         regs = ap->regs;
2335
2336         if (!(ap->fw_running)) {
2337                 printk(KERN_WARNING "%s: Firmware not running!\n", dev->name);
2338                 return -EBUSY;
2339         }
2340
2341         writel(dev->mtu + ETH_HLEN + 4, &regs->IfMtu);
2342
2343         cmd.evt = C_CLEAR_STATS;
2344         cmd.code = 0;
2345         cmd.idx = 0;
2346         ace_issue_cmd(regs, &cmd);
2347
2348         cmd.evt = C_HOST_STATE;
2349         cmd.code = C_C_STACK_UP;
2350         cmd.idx = 0;
2351         ace_issue_cmd(regs, &cmd);
2352
2353         if (ap->jumbo &&
2354             !test_and_set_bit(0, &ap->jumbo_refill_busy))
2355                 ace_load_jumbo_rx_ring(ap, RX_JUMBO_SIZE);
2356
2357         if (dev->flags & IFF_PROMISC) {
2358                 cmd.evt = C_SET_PROMISC_MODE;
2359                 cmd.code = C_C_PROMISC_ENABLE;
2360                 cmd.idx = 0;
2361                 ace_issue_cmd(regs, &cmd);
2362
2363                 ap->promisc = 1;
2364         }else
2365                 ap->promisc = 0;
2366         ap->mcast_all = 0;
2367
2368 #if 0
2369         cmd.evt = C_LNK_NEGOTIATION;
2370         cmd.code = 0;
2371         cmd.idx = 0;
2372         ace_issue_cmd(regs, &cmd);
2373 #endif
2374
2375         netif_start_queue(dev);
2376
2377         /*
2378          * Setup the bottom half rx ring refill handler
2379          */
2380         tasklet_init(&ap->ace_tasklet, ace_tasklet, (unsigned long)dev);
2381         return 0;
2382 }
2383
2384
2385 static int ace_close(struct net_device *dev)
2386 {
2387         struct ace_private *ap;
2388         struct ace_regs *regs;
2389         struct cmd cmd;
2390         unsigned long flags;
2391         short i;
2392
2393         /*
2394          * Without (or before) releasing irq and stopping hardware, this
2395          * is an absolute non-sense, by the way. It will be reset instantly
2396          * by the first irq.
2397          */
2398         netif_stop_queue(dev);
2399
2400         ap = netdev_priv(dev);
2401         regs = ap->regs;
2402
2403         if (ap->promisc) {
2404                 cmd.evt = C_SET_PROMISC_MODE;
2405                 cmd.code = C_C_PROMISC_DISABLE;
2406                 cmd.idx = 0;
2407                 ace_issue_cmd(regs, &cmd);
2408                 ap->promisc = 0;
2409         }
2410
2411         cmd.evt = C_HOST_STATE;
2412         cmd.code = C_C_STACK_DOWN;
2413         cmd.idx = 0;
2414         ace_issue_cmd(regs, &cmd);
2415
2416         tasklet_kill(&ap->ace_tasklet);
2417
2418         /*
2419          * Make sure one CPU is not processing packets while
2420          * buffers are being released by another.
2421          */
2422
2423         local_irq_save(flags);
2424         ace_mask_irq(dev);
2425
2426         for (i = 0; i < ACE_TX_RING_ENTRIES(ap); i++) {
2427                 struct sk_buff *skb;
2428                 dma_addr_t mapping;
2429                 struct tx_ring_info *info;
2430
2431                 info = ap->skb->tx_skbuff + i;
2432                 skb = info->skb;
2433                 mapping = pci_unmap_addr(info, mapping);
2434
2435                 if (mapping) {
2436                         if (ACE_IS_TIGON_I(ap)) {
2437                                 writel(0, &ap->tx_ring[i].addr.addrhi);
2438                                 writel(0, &ap->tx_ring[i].addr.addrlo);
2439                                 writel(0, &ap->tx_ring[i].flagsize);
2440                         } else
2441                                 memset(ap->tx_ring + i, 0,
2442                                        sizeof(struct tx_desc));
2443                         pci_unmap_page(ap->pdev, mapping,
2444                                        pci_unmap_len(info, maplen),
2445                                        PCI_DMA_TODEVICE);
2446                         pci_unmap_addr_set(info, mapping, 0);
2447                 }
2448                 if (skb) {
2449                         dev_kfree_skb(skb);
2450                         info->skb = NULL;
2451                 }
2452         }
2453
2454         if (ap->jumbo) {
2455                 cmd.evt = C_RESET_JUMBO_RNG;
2456                 cmd.code = 0;
2457                 cmd.idx = 0;
2458                 ace_issue_cmd(regs, &cmd);
2459         }
2460
2461         ace_unmask_irq(dev);
2462         local_irq_restore(flags);
2463
2464         return 0;
2465 }
2466
2467
2468 static inline dma_addr_t
2469 ace_map_tx_skb(struct ace_private *ap, struct sk_buff *skb,
2470                struct sk_buff *tail, u32 idx)
2471 {
2472         dma_addr_t mapping;
2473         struct tx_ring_info *info;
2474
2475         mapping = pci_map_page(ap->pdev, virt_to_page(skb->data),
2476                                offset_in_page(skb->data),
2477                                skb->len, PCI_DMA_TODEVICE);
2478
2479         info = ap->skb->tx_skbuff + idx;
2480         info->skb = tail;
2481         pci_unmap_addr_set(info, mapping, mapping);
2482         pci_unmap_len_set(info, maplen, skb->len);
2483         return mapping;
2484 }
2485
2486
2487 static inline void
2488 ace_load_tx_bd(struct ace_private *ap, struct tx_desc *desc, u64 addr,
2489                u32 flagsize, u32 vlan_tag)
2490 {
2491 #if !USE_TX_COAL_NOW
2492         flagsize &= ~BD_FLG_COAL_NOW;
2493 #endif
2494
2495         if (ACE_IS_TIGON_I(ap)) {
2496                 writel(addr >> 32, &desc->addr.addrhi);
2497                 writel(addr & 0xffffffff, &desc->addr.addrlo);
2498                 writel(flagsize, &desc->flagsize);
2499 #if ACENIC_DO_VLAN
2500                 writel(vlan_tag, &desc->vlanres);
2501 #endif
2502         } else {
2503                 desc->addr.addrhi = addr >> 32;
2504                 desc->addr.addrlo = addr;
2505                 desc->flagsize = flagsize;
2506 #if ACENIC_DO_VLAN
2507                 desc->vlanres = vlan_tag;
2508 #endif
2509         }
2510 }
2511
2512
2513 static int ace_start_xmit(struct sk_buff *skb, struct net_device *dev)
2514 {
2515         struct ace_private *ap = netdev_priv(dev);
2516         struct ace_regs *regs = ap->regs;
2517         struct tx_desc *desc;
2518         u32 idx, flagsize;
2519
2520 restart:
2521         idx = ap->tx_prd;
2522
2523         if (tx_ring_full(ap, ap->tx_ret_csm, idx))
2524                 goto overflow;
2525
2526 #if MAX_SKB_FRAGS
2527         if (!skb_shinfo(skb)->nr_frags)
2528 #endif
2529         {
2530                 dma_addr_t mapping;
2531                 u32 vlan_tag = 0;
2532
2533                 mapping = ace_map_tx_skb(ap, skb, skb, idx);
2534                 flagsize = (skb->len << 16) | (BD_FLG_END);
2535                 if (skb->ip_summed == CHECKSUM_HW)
2536                         flagsize |= BD_FLG_TCP_UDP_SUM;
2537 #if ACENIC_DO_VLAN
2538                 if (vlan_tx_tag_present(skb)) {
2539                         flagsize |= BD_FLG_VLAN_TAG;
2540                         vlan_tag = vlan_tx_tag_get(skb);
2541                 }
2542 #endif
2543                 desc = ap->tx_ring + idx;
2544                 idx = (idx + 1) % ACE_TX_RING_ENTRIES(ap);
2545
2546                 /* Look at ace_tx_int for explanations. */
2547                 if (tx_ring_full(ap, ap->tx_ret_csm, idx))
2548                         flagsize |= BD_FLG_COAL_NOW;
2549
2550                 ace_load_tx_bd(ap, desc, mapping, flagsize, vlan_tag);
2551         }
2552 #if MAX_SKB_FRAGS
2553         else {
2554                 dma_addr_t mapping;
2555                 u32 vlan_tag = 0;
2556                 int i, len = 0;
2557
2558                 mapping = ace_map_tx_skb(ap, skb, NULL, idx);
2559                 flagsize = (skb_headlen(skb) << 16);
2560                 if (skb->ip_summed == CHECKSUM_HW)
2561                         flagsize |= BD_FLG_TCP_UDP_SUM;
2562 #if ACENIC_DO_VLAN
2563                 if (vlan_tx_tag_present(skb)) {
2564                         flagsize |= BD_FLG_VLAN_TAG;
2565                         vlan_tag = vlan_tx_tag_get(skb);
2566                 }
2567 #endif
2568
2569                 ace_load_tx_bd(ap, ap->tx_ring + idx, mapping, flagsize, vlan_tag);
2570
2571                 idx = (idx + 1) % ACE_TX_RING_ENTRIES(ap);
2572
2573                 for (i = 0; i < skb_shinfo(skb)->nr_frags; i++) {
2574                         skb_frag_t *frag = &skb_shinfo(skb)->frags[i];
2575                         struct tx_ring_info *info;
2576
2577                         len += frag->size;
2578                         info = ap->skb->tx_skbuff + idx;
2579                         desc = ap->tx_ring + idx;
2580
2581                         mapping = pci_map_page(ap->pdev, frag->page,
2582                                                frag->page_offset, frag->size,
2583                                                PCI_DMA_TODEVICE);
2584
2585                         flagsize = (frag->size << 16);
2586                         if (skb->ip_summed == CHECKSUM_HW)
2587                                 flagsize |= BD_FLG_TCP_UDP_SUM;
2588                         idx = (idx + 1) % ACE_TX_RING_ENTRIES(ap);
2589
2590                         if (i == skb_shinfo(skb)->nr_frags - 1) {
2591                                 flagsize |= BD_FLG_END;
2592                                 if (tx_ring_full(ap, ap->tx_ret_csm, idx))
2593                                         flagsize |= BD_FLG_COAL_NOW;
2594
2595                                 /*
2596                                  * Only the last fragment frees
2597                                  * the skb!
2598                                  */
2599                                 info->skb = skb;
2600                         } else {
2601                                 info->skb = NULL;
2602                         }
2603                         pci_unmap_addr_set(info, mapping, mapping);
2604                         pci_unmap_len_set(info, maplen, frag->size);
2605                         ace_load_tx_bd(ap, desc, mapping, flagsize, vlan_tag);
2606                 }
2607         }
2608 #endif
2609
2610         wmb();
2611         ap->tx_prd = idx;
2612         ace_set_txprd(regs, ap, idx);
2613
2614         if (flagsize & BD_FLG_COAL_NOW) {
2615                 netif_stop_queue(dev);
2616
2617                 /*
2618                  * A TX-descriptor producer (an IRQ) might have gotten
2619                  * inbetween, making the ring free again. Since xmit is
2620                  * serialized, this is the only situation we have to
2621                  * re-test.
2622                  */
2623                 if (!tx_ring_full(ap, ap->tx_ret_csm, idx))
2624                         netif_wake_queue(dev);
2625         }
2626
2627         dev->trans_start = jiffies;
2628         return 0;
2629
2630 overflow:
2631         /*
2632          * This race condition is unavoidable with lock-free drivers.
2633          * We wake up the queue _before_ tx_prd is advanced, so that we can
2634          * enter hard_start_xmit too early, while tx ring still looks closed.
2635          * This happens ~1-4 times per 100000 packets, so that we can allow
2636          * to loop syncing to other CPU. Probably, we need an additional
2637          * wmb() in ace_tx_intr as well.
2638          *
2639          * Note that this race is relieved by reserving one more entry
2640          * in tx ring than it is necessary (see original non-SG driver).
2641          * However, with SG we need to reserve 2*MAX_SKB_FRAGS+1, which
2642          * is already overkill.
2643          *
2644          * Alternative is to return with 1 not throttling queue. In this
2645          * case loop becomes longer, no more useful effects.
2646          */
2647         barrier();
2648         goto restart;
2649 }
2650
2651
2652 static int ace_change_mtu(struct net_device *dev, int new_mtu)
2653 {
2654         struct ace_private *ap = netdev_priv(dev);
2655         struct ace_regs *regs = ap->regs;
2656
2657         if (new_mtu > ACE_JUMBO_MTU)
2658                 return -EINVAL;
2659
2660         writel(new_mtu + ETH_HLEN + 4, &regs->IfMtu);
2661         dev->mtu = new_mtu;
2662
2663         if (new_mtu > ACE_STD_MTU) {
2664                 if (!(ap->jumbo)) {
2665                         printk(KERN_INFO "%s: Enabling Jumbo frame "
2666                                "support\n", dev->name);
2667                         ap->jumbo = 1;
2668                         if (!test_and_set_bit(0, &ap->jumbo_refill_busy))
2669                                 ace_load_jumbo_rx_ring(ap, RX_JUMBO_SIZE);
2670                         ace_set_rxtx_parms(dev, 1);
2671                 }
2672         } else {
2673                 while (test_and_set_bit(0, &ap->jumbo_refill_busy));
2674                 ace_sync_irq(dev->irq);
2675                 ace_set_rxtx_parms(dev, 0);
2676                 if (ap->jumbo) {
2677                         struct cmd cmd;
2678
2679                         cmd.evt = C_RESET_JUMBO_RNG;
2680                         cmd.code = 0;
2681                         cmd.idx = 0;
2682                         ace_issue_cmd(regs, &cmd);
2683                 }
2684         }
2685
2686         return 0;
2687 }
2688
2689 static int ace_get_settings(struct net_device *dev, struct ethtool_cmd *ecmd)
2690 {
2691         struct ace_private *ap = netdev_priv(dev);
2692         struct ace_regs *regs = ap->regs;
2693         u32 link;
2694
2695         memset(ecmd, 0, sizeof(struct ethtool_cmd));
2696         ecmd->supported =
2697                 (SUPPORTED_10baseT_Half | SUPPORTED_10baseT_Full |
2698                  SUPPORTED_100baseT_Half | SUPPORTED_100baseT_Full |
2699                  SUPPORTED_1000baseT_Half | SUPPORTED_1000baseT_Full |
2700                  SUPPORTED_Autoneg | SUPPORTED_FIBRE);
2701
2702         ecmd->port = PORT_FIBRE;
2703         ecmd->transceiver = XCVR_INTERNAL;
2704
2705         link = readl(&regs->GigLnkState);
2706         if (link & LNK_1000MB)
2707                 ecmd->speed = SPEED_1000;
2708         else {
2709                 link = readl(&regs->FastLnkState);
2710                 if (link & LNK_100MB)
2711                         ecmd->speed = SPEED_100;
2712                 else if (link & LNK_10MB)
2713                         ecmd->speed = SPEED_10;
2714                 else
2715                         ecmd->speed = 0;
2716         }
2717         if (link & LNK_FULL_DUPLEX)
2718                 ecmd->duplex = DUPLEX_FULL;
2719         else
2720                 ecmd->duplex = DUPLEX_HALF;
2721
2722         if (link & LNK_NEGOTIATE)
2723                 ecmd->autoneg = AUTONEG_ENABLE;
2724         else
2725                 ecmd->autoneg = AUTONEG_DISABLE;
2726
2727 #if 0
2728         /*
2729          * Current struct ethtool_cmd is insufficient
2730          */
2731         ecmd->trace = readl(&regs->TuneTrace);
2732
2733         ecmd->txcoal = readl(&regs->TuneTxCoalTicks);
2734         ecmd->rxcoal = readl(&regs->TuneRxCoalTicks);
2735 #endif
2736         ecmd->maxtxpkt = readl(&regs->TuneMaxTxDesc);
2737         ecmd->maxrxpkt = readl(&regs->TuneMaxRxDesc);
2738
2739         return 0;
2740 }
2741
2742 static int ace_set_settings(struct net_device *dev, struct ethtool_cmd *ecmd)
2743 {
2744         struct ace_private *ap = netdev_priv(dev);
2745         struct ace_regs *regs = ap->regs;
2746         u32 link, speed;
2747
2748         link = readl(&regs->GigLnkState);
2749         if (link & LNK_1000MB)
2750                 speed = SPEED_1000;
2751         else {
2752                 link = readl(&regs->FastLnkState);
2753                 if (link & LNK_100MB)
2754                         speed = SPEED_100;
2755                 else if (link & LNK_10MB)
2756                         speed = SPEED_10;
2757                 else
2758                         speed = SPEED_100;
2759         }
2760
2761         link = LNK_ENABLE | LNK_1000MB | LNK_100MB | LNK_10MB |
2762                 LNK_RX_FLOW_CTL_Y | LNK_NEG_FCTL;
2763         if (!ACE_IS_TIGON_I(ap))
2764                 link |= LNK_TX_FLOW_CTL_Y;
2765         if (ecmd->autoneg == AUTONEG_ENABLE)
2766                 link |= LNK_NEGOTIATE;
2767         if (ecmd->speed != speed) {
2768                 link &= ~(LNK_1000MB | LNK_100MB | LNK_10MB);
2769                 switch (speed) {
2770                 case SPEED_1000:
2771                         link |= LNK_1000MB;
2772                         break;
2773                 case SPEED_100:
2774                         link |= LNK_100MB;
2775                         break;
2776                 case SPEED_10:
2777                         link |= LNK_10MB;
2778                         break;
2779                 }
2780         }
2781
2782         if (ecmd->duplex == DUPLEX_FULL)
2783                 link |= LNK_FULL_DUPLEX;
2784
2785         if (link != ap->link) {
2786                 struct cmd cmd;
2787                 printk(KERN_INFO "%s: Renegotiating link state\n",
2788                        dev->name);
2789
2790                 ap->link = link;
2791                 writel(link, &regs->TuneLink);
2792                 if (!ACE_IS_TIGON_I(ap))
2793                         writel(link, &regs->TuneFastLink);
2794                 wmb();
2795
2796                 cmd.evt = C_LNK_NEGOTIATION;
2797                 cmd.code = 0;
2798                 cmd.idx = 0;
2799                 ace_issue_cmd(regs, &cmd);
2800         }
2801         return 0;
2802 }
2803
2804 static void ace_get_drvinfo(struct net_device *dev,
2805                             struct ethtool_drvinfo *info)
2806 {
2807         struct ace_private *ap = netdev_priv(dev);
2808
2809         strlcpy(info->driver, "acenic", sizeof(info->driver));
2810         snprintf(info->version, sizeof(info->version), "%i.%i.%i",
2811                 tigonFwReleaseMajor, tigonFwReleaseMinor,
2812                 tigonFwReleaseFix);
2813
2814         if (ap->pdev)
2815                 strlcpy(info->bus_info, pci_name(ap->pdev),
2816                         sizeof(info->bus_info));
2817
2818 }
2819
2820 /*
2821  * Set the hardware MAC address.
2822  */
2823 static int ace_set_mac_addr(struct net_device *dev, void *p)
2824 {
2825         struct sockaddr *addr=p;
2826         struct ace_regs *regs;
2827         u8 *da;
2828         struct cmd cmd;
2829
2830         if(netif_running(dev))
2831                 return -EBUSY;
2832
2833         memcpy(dev->dev_addr, addr->sa_data,dev->addr_len);
2834
2835         da = (u8 *)dev->dev_addr;
2836
2837         regs = ((struct ace_private *)netdev_priv(dev))->regs;
2838         writel(da[0] << 8 | da[1], &regs->MacAddrHi);
2839         writel((da[2] << 24) | (da[3] << 16) | (da[4] << 8) | da[5],
2840                &regs->MacAddrLo);
2841
2842         cmd.evt = C_SET_MAC_ADDR;
2843         cmd.code = 0;
2844         cmd.idx = 0;
2845         ace_issue_cmd(regs, &cmd);
2846
2847         return 0;
2848 }
2849
2850
2851 static void ace_set_multicast_list(struct net_device *dev)
2852 {
2853         struct ace_private *ap = netdev_priv(dev);
2854         struct ace_regs *regs = ap->regs;
2855         struct cmd cmd;
2856
2857         if ((dev->flags & IFF_ALLMULTI) && !(ap->mcast_all)) {
2858                 cmd.evt = C_SET_MULTICAST_MODE;
2859                 cmd.code = C_C_MCAST_ENABLE;
2860                 cmd.idx = 0;
2861                 ace_issue_cmd(regs, &cmd);
2862                 ap->mcast_all = 1;
2863         } else if (ap->mcast_all) {
2864                 cmd.evt = C_SET_MULTICAST_MODE;
2865                 cmd.code = C_C_MCAST_DISABLE;
2866                 cmd.idx = 0;
2867                 ace_issue_cmd(regs, &cmd);
2868                 ap->mcast_all = 0;
2869         }
2870
2871         if ((dev->flags & IFF_PROMISC) && !(ap->promisc)) {
2872                 cmd.evt = C_SET_PROMISC_MODE;
2873                 cmd.code = C_C_PROMISC_ENABLE;
2874                 cmd.idx = 0;
2875                 ace_issue_cmd(regs, &cmd);
2876                 ap->promisc = 1;
2877         }else if (!(dev->flags & IFF_PROMISC) && (ap->promisc)) {
2878                 cmd.evt = C_SET_PROMISC_MODE;
2879                 cmd.code = C_C_PROMISC_DISABLE;
2880                 cmd.idx = 0;
2881                 ace_issue_cmd(regs, &cmd);
2882                 ap->promisc = 0;
2883         }
2884
2885         /*
2886          * For the time being multicast relies on the upper layers
2887          * filtering it properly. The Firmware does not allow one to
2888          * set the entire multicast list at a time and keeping track of
2889          * it here is going to be messy.
2890          */
2891         if ((dev->mc_count) && !(ap->mcast_all)) {
2892                 cmd.evt = C_SET_MULTICAST_MODE;
2893                 cmd.code = C_C_MCAST_ENABLE;
2894                 cmd.idx = 0;
2895                 ace_issue_cmd(regs, &cmd);
2896         }else if (!ap->mcast_all) {
2897                 cmd.evt = C_SET_MULTICAST_MODE;
2898                 cmd.code = C_C_MCAST_DISABLE;
2899                 cmd.idx = 0;
2900                 ace_issue_cmd(regs, &cmd);
2901         }
2902 }
2903
2904
2905 static struct net_device_stats *ace_get_stats(struct net_device *dev)
2906 {
2907         struct ace_private *ap = netdev_priv(dev);
2908         struct ace_mac_stats *mac_stats =
2909                 (struct ace_mac_stats *)ap->regs->Stats;
2910
2911         ap->stats.rx_missed_errors = readl(&mac_stats->drop_space);
2912         ap->stats.multicast = readl(&mac_stats->kept_mc);
2913         ap->stats.collisions = readl(&mac_stats->coll);
2914
2915         return &ap->stats;
2916 }
2917
2918
2919 static void __init ace_copy(struct ace_regs *regs, void *src,
2920                             u32 dest, int size)
2921 {
2922         unsigned long tdest;
2923         u32 *wsrc;
2924         short tsize, i;
2925
2926         if (size <= 0)
2927                 return;
2928
2929         while (size > 0) {
2930                 tsize = min_t(u32, ((~dest & (ACE_WINDOW_SIZE - 1)) + 1),
2931                             min_t(u32, size, ACE_WINDOW_SIZE));
2932                 tdest = (unsigned long)&regs->Window +
2933                         (dest & (ACE_WINDOW_SIZE - 1));
2934                 writel(dest & ~(ACE_WINDOW_SIZE - 1), &regs->WinBase);
2935                 /*
2936                  * This requires byte swapping on big endian, however
2937                  * writel does that for us
2938                  */
2939                 wsrc = src;
2940                 for (i = 0; i < (tsize / 4); i++) {
2941                         writel(wsrc[i], tdest + i*4);
2942                 }
2943                 dest += tsize;
2944                 src += tsize;
2945                 size -= tsize;
2946         }
2947
2948         return;
2949 }
2950
2951
2952 static void __init ace_clear(struct ace_regs *regs, u32 dest, int size)
2953 {
2954         unsigned long tdest;
2955         short tsize = 0, i;
2956
2957         if (size <= 0)
2958                 return;
2959
2960         while (size > 0) {
2961                 tsize = min_t(u32, ((~dest & (ACE_WINDOW_SIZE - 1)) + 1),
2962                                 min_t(u32, size, ACE_WINDOW_SIZE));
2963                 tdest = (unsigned long)&regs->Window +
2964                         (dest & (ACE_WINDOW_SIZE - 1));
2965                 writel(dest & ~(ACE_WINDOW_SIZE - 1), &regs->WinBase);
2966
2967                 for (i = 0; i < (tsize / 4); i++) {
2968                         writel(0, tdest + i*4);
2969                 }
2970
2971                 dest += tsize;
2972                 size -= tsize;
2973         }
2974
2975         return;
2976 }
2977
2978
2979 /*
2980  * Download the firmware into the SRAM on the NIC
2981  *
2982  * This operation requires the NIC to be halted and is performed with
2983  * interrupts disabled and with the spinlock hold.
2984  */
2985 int __init ace_load_firmware(struct net_device *dev)
2986 {
2987         struct ace_private *ap;
2988         struct ace_regs *regs;
2989
2990         ap = netdev_priv(dev);
2991         regs = ap->regs;
2992
2993         if (!(readl(&regs->CpuCtrl) & CPU_HALTED)) {
2994                 printk(KERN_ERR "%s: trying to download firmware while the "
2995                        "CPU is running!\n", ap->name);
2996                 return -EFAULT;
2997         }
2998
2999         /*
3000          * Do not try to clear more than 512KB or we end up seeing
3001          * funny things on NICs with only 512KB SRAM
3002          */
3003         ace_clear(regs, 0x2000, 0x80000-0x2000);
3004         if (ACE_IS_TIGON_I(ap)) {
3005                 ace_copy(regs, tigonFwText, tigonFwTextAddr, tigonFwTextLen);
3006                 ace_copy(regs, tigonFwData, tigonFwDataAddr, tigonFwDataLen);
3007                 ace_copy(regs, tigonFwRodata, tigonFwRodataAddr,
3008                          tigonFwRodataLen);
3009                 ace_clear(regs, tigonFwBssAddr, tigonFwBssLen);
3010                 ace_clear(regs, tigonFwSbssAddr, tigonFwSbssLen);
3011         }else if (ap->version == 2) {
3012                 ace_clear(regs, tigon2FwBssAddr, tigon2FwBssLen);
3013                 ace_clear(regs, tigon2FwSbssAddr, tigon2FwSbssLen);
3014                 ace_copy(regs, tigon2FwText, tigon2FwTextAddr,tigon2FwTextLen);
3015                 ace_copy(regs, tigon2FwRodata, tigon2FwRodataAddr,
3016                          tigon2FwRodataLen);
3017                 ace_copy(regs, tigon2FwData, tigon2FwDataAddr,tigon2FwDataLen);
3018         }
3019
3020         return 0;
3021 }
3022
3023
3024 /*
3025  * The eeprom on the AceNIC is an Atmel i2c EEPROM.
3026  *
3027  * Accessing the EEPROM is `interesting' to say the least - don't read
3028  * this code right after dinner.
3029  *
3030  * This is all about black magic and bit-banging the device .... I
3031  * wonder in what hospital they have put the guy who designed the i2c
3032  * specs.
3033  *
3034  * Oh yes, this is only the beginning!
3035  *
3036  * Thanks to Stevarino Webinski for helping tracking down the bugs in the
3037  * code i2c readout code by beta testing all my hacks.
3038  */
3039 static void __init eeprom_start(struct ace_regs *regs)
3040 {
3041         u32 local;
3042
3043         readl(&regs->LocalCtrl);
3044         udelay(ACE_SHORT_DELAY);
3045         local = readl(&regs->LocalCtrl);
3046         local |= EEPROM_DATA_OUT | EEPROM_WRITE_ENABLE;
3047         writel(local, &regs->LocalCtrl);
3048         readl(&regs->LocalCtrl);
3049         mb();
3050         udelay(ACE_SHORT_DELAY);
3051         local |= EEPROM_CLK_OUT;
3052         writel(local, &regs->LocalCtrl);
3053         readl(&regs->LocalCtrl);
3054         mb();
3055         udelay(ACE_SHORT_DELAY);
3056         local &= ~EEPROM_DATA_OUT;
3057         writel(local, &regs->LocalCtrl);
3058         readl(&regs->LocalCtrl);
3059         mb();
3060         udelay(ACE_SHORT_DELAY);
3061         local &= ~EEPROM_CLK_OUT;
3062         writel(local, &regs->LocalCtrl);
3063         readl(&regs->LocalCtrl);
3064         mb();
3065 }
3066
3067
3068 static void __init eeprom_prep(struct ace_regs *regs, u8 magic)
3069 {
3070         short i;
3071         u32 local;
3072
3073         udelay(ACE_SHORT_DELAY);
3074         local = readl(&regs->LocalCtrl);
3075         local &= ~EEPROM_DATA_OUT;
3076         local |= EEPROM_WRITE_ENABLE;
3077         writel(local, &regs->LocalCtrl);
3078         readl(&regs->LocalCtrl);
3079         mb();
3080
3081         for (i = 0; i < 8; i++, magic <<= 1) {
3082                 udelay(ACE_SHORT_DELAY);
3083                 if (magic & 0x80)
3084                         local |= EEPROM_DATA_OUT;
3085                 else
3086                         local &= ~EEPROM_DATA_OUT;
3087                 writel(local, &regs->LocalCtrl);
3088                 readl(&regs->LocalCtrl);
3089                 mb();
3090
3091                 udelay(ACE_SHORT_DELAY);
3092                 local |= EEPROM_CLK_OUT;
3093                 writel(local, &regs->LocalCtrl);
3094                 readl(&regs->LocalCtrl);
3095                 mb();
3096                 udelay(ACE_SHORT_DELAY);
3097                 local &= ~(EEPROM_CLK_OUT | EEPROM_DATA_OUT);
3098                 writel(local, &regs->LocalCtrl);
3099                 readl(&regs->LocalCtrl);
3100                 mb();
3101         }
3102 }
3103
3104
3105 static int __init eeprom_check_ack(struct ace_regs *regs)
3106 {
3107         int state;
3108         u32 local;
3109
3110         local = readl(&regs->LocalCtrl);
3111         local &= ~EEPROM_WRITE_ENABLE;
3112         writel(local, &regs->LocalCtrl);
3113         readl(&regs->LocalCtrl);
3114         mb();
3115         udelay(ACE_LONG_DELAY);
3116         local |= EEPROM_CLK_OUT;
3117         writel(local, &regs->LocalCtrl);
3118         readl(&regs->LocalCtrl);
3119         mb();
3120         udelay(ACE_SHORT_DELAY);
3121         /* sample data in middle of high clk */
3122         state = (readl(&regs->LocalCtrl) & EEPROM_DATA_IN) != 0;
3123         udelay(ACE_SHORT_DELAY);
3124         mb();
3125         writel(readl(&regs->LocalCtrl) & ~EEPROM_CLK_OUT, &regs->LocalCtrl);
3126         readl(&regs->LocalCtrl);
3127         mb();
3128
3129         return state;
3130 }
3131
3132
3133 static void __init eeprom_stop(struct ace_regs *regs)
3134 {
3135         u32 local;
3136
3137         udelay(ACE_SHORT_DELAY);
3138         local = readl(&regs->LocalCtrl);
3139         local |= EEPROM_WRITE_ENABLE;
3140         writel(local, &regs->LocalCtrl);
3141         readl(&regs->LocalCtrl);
3142         mb();
3143         udelay(ACE_SHORT_DELAY);
3144         local &= ~EEPROM_DATA_OUT;
3145         writel(local, &regs->LocalCtrl);
3146         readl(&regs->LocalCtrl);
3147         mb();
3148         udelay(ACE_SHORT_DELAY);
3149         local |= EEPROM_CLK_OUT;
3150         writel(local, &regs->LocalCtrl);
3151         readl(&regs->LocalCtrl);
3152         mb();
3153         udelay(ACE_SHORT_DELAY);
3154         local |= EEPROM_DATA_OUT;
3155         writel(local, &regs->LocalCtrl);
3156         readl(&regs->LocalCtrl);
3157         mb();
3158         udelay(ACE_LONG_DELAY);
3159         local &= ~EEPROM_CLK_OUT;
3160         writel(local, &regs->LocalCtrl);
3161         mb();
3162 }
3163
3164
3165 /*
3166  * Read a whole byte from the EEPROM.
3167  */
3168 static int __init read_eeprom_byte(struct net_device *dev,
3169                                    unsigned long offset)
3170 {
3171         struct ace_private *ap;
3172         struct ace_regs *regs;
3173         unsigned long flags;
3174         u32 local;
3175         int result = 0;
3176         short i;
3177
3178         if (!dev) {
3179                 printk(KERN_ERR "No device!\n");
3180                 result = -ENODEV;
3181                 goto out;
3182         }
3183
3184         ap = netdev_priv(dev);
3185         regs = ap->regs;
3186
3187         /*
3188          * Don't take interrupts on this CPU will bit banging
3189          * the %#%#@$ I2C device
3190          */
3191         local_irq_save(flags);
3192
3193         eeprom_start(regs);
3194
3195         eeprom_prep(regs, EEPROM_WRITE_SELECT);
3196         if (eeprom_check_ack(regs)) {
3197                 local_irq_restore(flags);
3198                 printk(KERN_ERR "%s: Unable to sync eeprom\n", ap->name);
3199                 result = -EIO;
3200                 goto eeprom_read_error;
3201         }
3202
3203         eeprom_prep(regs, (offset >> 8) & 0xff);
3204         if (eeprom_check_ack(regs)) {
3205                 local_irq_restore(flags);
3206                 printk(KERN_ERR "%s: Unable to set address byte 0\n",
3207                        ap->name);
3208                 result = -EIO;
3209                 goto eeprom_read_error;
3210         }
3211
3212         eeprom_prep(regs, offset & 0xff);
3213         if (eeprom_check_ack(regs)) {
3214                 local_irq_restore(flags);
3215                 printk(KERN_ERR "%s: Unable to set address byte 1\n",
3216                        ap->name);
3217                 result = -EIO;
3218                 goto eeprom_read_error;
3219         }
3220
3221         eeprom_start(regs);
3222         eeprom_prep(regs, EEPROM_READ_SELECT);
3223         if (eeprom_check_ack(regs)) {
3224                 local_irq_restore(flags);
3225                 printk(KERN_ERR "%s: Unable to set READ_SELECT\n",
3226                        ap->name);
3227                 result = -EIO;
3228                 goto eeprom_read_error;
3229         }
3230
3231         for (i = 0; i < 8; i++) {
3232                 local = readl(&regs->LocalCtrl);
3233                 local &= ~EEPROM_WRITE_ENABLE;
3234                 writel(local, &regs->LocalCtrl);
3235                 readl(&regs->LocalCtrl);
3236                 udelay(ACE_LONG_DELAY);
3237                 mb();
3238                 local |= EEPROM_CLK_OUT;
3239                 writel(local, &regs->LocalCtrl);
3240                 readl(&regs->LocalCtrl);
3241                 mb();
3242                 udelay(ACE_SHORT_DELAY);
3243                 /* sample data mid high clk */
3244                 result = (result << 1) |
3245                         ((readl(&regs->LocalCtrl) & EEPROM_DATA_IN) != 0);
3246                 udelay(ACE_SHORT_DELAY);
3247                 mb();
3248                 local = readl(&regs->LocalCtrl);
3249                 local &= ~EEPROM_CLK_OUT;
3250                 writel(local, &regs->LocalCtrl);
3251                 readl(&regs->LocalCtrl);
3252                 udelay(ACE_SHORT_DELAY);
3253                 mb();
3254                 if (i == 7) {
3255                         local |= EEPROM_WRITE_ENABLE;
3256                         writel(local, &regs->LocalCtrl);
3257                         readl(&regs->LocalCtrl);
3258                         mb();
3259                         udelay(ACE_SHORT_DELAY);
3260                 }
3261         }
3262
3263         local |= EEPROM_DATA_OUT;
3264         writel(local, &regs->LocalCtrl);
3265         readl(&regs->LocalCtrl);
3266         mb();
3267         udelay(ACE_SHORT_DELAY);
3268         writel(readl(&regs->LocalCtrl) | EEPROM_CLK_OUT, &regs->LocalCtrl);
3269         readl(&regs->LocalCtrl);
3270         udelay(ACE_LONG_DELAY);
3271         writel(readl(&regs->LocalCtrl) & ~EEPROM_CLK_OUT, &regs->LocalCtrl);
3272         readl(&regs->LocalCtrl);
3273         mb();
3274         udelay(ACE_SHORT_DELAY);
3275         eeprom_stop(regs);
3276
3277         local_irq_restore(flags);
3278  out:
3279         return result;
3280
3281  eeprom_read_error:
3282         printk(KERN_ERR "%s: Unable to read eeprom byte 0x%02lx\n",
3283                ap->name, offset);
3284         goto out;
3285 }
3286
3287
3288 /*
3289  * Local variables:
3290  * compile-command: "gcc -D__SMP__ -D__KERNEL__ -DMODULE -I../../include -Wall -Wstrict-prototypes -O2 -fomit-frame-pointer -pipe -fno-strength-reduce -DMODVERSIONS -include ../../include/linux/modversions.h   -c -o acenic.o acenic.c"
3291  * End:
3292  */