drivers/scsi/sata_sil.c

   1 /*
   2  *  sata_sil.c - Silicon Image SATA
   3  *
   4  *  Maintained by:  Jeff Garzik <jgarzik@pobox.com>
   5  *                  Please ALWAYS copy linux-ide@vger.kernel.org
   6  *                  on emails.
   7  *
   8  *  Copyright 2003-2005 Red Hat, Inc.
   9  *  Copyright 2003 Benjamin Herrenschmidt
  10  *
  11  *
  12  *  This program is free software; you can redistribute it and/or modify
  13  *  it under the terms of the GNU General Public License as published by
  14  *  the Free Software Foundation; either version 2, or (at your option)
  15  *  any later version.
  16  *
  17  *  This program is distributed in the hope that it will be useful,
  18  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  19  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  20  *  GNU General Public License for more details.
  21  *
  22  *  You should have received a copy of the GNU General Public License
  23  *  along with this program; see the file COPYING.  If not, write to
  24  *  the Free Software Foundation, 675 Mass Ave, Cambridge, MA 02139, USA.
  25  *
  26  *
  27  *  libata documentation is available via 'make {ps|pdf}docs',
  28  *  as Documentation/DocBook/libata.*
  29  *
  30  *  Documentation for SiI 3112:
  31  *  http://gkernel.sourceforge.net/specs/sii/3112A_SiI-DS-0095-B2.pdf.bz2
  32  *
  33  *  Other errata and documentation available under NDA.
  34  *
  35  */
  36
  37 #include <linux/kernel.h>
  38 #include <linux/module.h>
  39 #include <linux/pci.h>
  40 #include <linux/init.h>
  41 #include <linux/blkdev.h>
  42 #include <linux/delay.h>
  43 #include <linux/interrupt.h>
  44 #include <linux/device.h>
  45 #include <scsi/scsi_host.h>
  46 #include <linux/libata.h>
  47
  48 #define DRV_NAME        "sata_sil"
  49 #define DRV_VERSION     "0.9"
  50
  51 enum {
  52         SIL_FLAG_RERR_ON_DMA_ACT = (1 << 29),
  53         SIL_FLAG_MOD15WRITE     = (1 << 30),
  54
  55         sil_3112                = 0,
  56         sil_3112_m15w           = 1,
  57         sil_3512                = 2,
  58         sil_3114                = 3,
  59
  60         SIL_FIFO_R0             = 0x40,
  61         SIL_FIFO_W0             = 0x41,
  62         SIL_FIFO_R1             = 0x44,
  63         SIL_FIFO_W1             = 0x45,
  64         SIL_FIFO_R2             = 0x240,
  65         SIL_FIFO_W2             = 0x241,
  66         SIL_FIFO_R3             = 0x244,
  67         SIL_FIFO_W3             = 0x245,
  68
  69         SIL_SYSCFG              = 0x48,
  70         SIL_MASK_IDE0_INT       = (1 << 22),
  71         SIL_MASK_IDE1_INT       = (1 << 23),
  72         SIL_MASK_IDE2_INT       = (1 << 24),
  73         SIL_MASK_IDE3_INT       = (1 << 25),
  74         SIL_MASK_2PORT          = SIL_MASK_IDE0_INT | SIL_MASK_IDE1_INT,
  75         SIL_MASK_4PORT          = SIL_MASK_2PORT |
  76                                   SIL_MASK_IDE2_INT | SIL_MASK_IDE3_INT,
  77
  78         SIL_IDE2_BMDMA          = 0x200,
  79
  80         SIL_INTR_STEERING       = (1 << 1),
  81         SIL_QUIRK_MOD15WRITE    = (1 << 0),
  82         SIL_QUIRK_UDMA5MAX      = (1 << 1),
  83 };
  84
  85 static int sil_init_one (struct pci_dev *pdev, const struct pci_device_id *ent);
  86 static void sil_dev_config(struct ata_port *ap, struct ata_device *dev);
  87 static u32 sil_scr_read (struct ata_port *ap, unsigned int sc_reg);
  88 static void sil_scr_write (struct ata_port *ap, unsigned int sc_reg, u32 val);
  89 static void sil_post_set_mode (struct ata_port *ap);
  90
  91
  92 static const struct pci_device_id sil_pci_tbl[] = {
  93         { 0x1095, 0x3112, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3112_m15w },
  94         { 0x1095, 0x0240, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3112_m15w },
  95         { 0x1095, 0x3512, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3512 },
  96         { 0x1095, 0x3114, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3114 },
  97         { 0x1002, 0x436e, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3112_m15w },
  98         { 0x1002, 0x4379, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3112_m15w },
  99         { 0x1002, 0x437a, PCI_ANY_ID, PCI_ANY_ID, 0, 0, sil_3112_m15w },
 100         { }     /* terminate list */
 101 };
 102
 103
 104 /* TODO firmware versions should be added - eric */
 105 static const struct sil_drivelist {
 106         const char * product;
 107         unsigned int quirk;
 108 } sil_blacklist [] = {
 109         { "ST320012AS",         SIL_QUIRK_MOD15WRITE },
 110         { "ST330013AS",         SIL_QUIRK_MOD15WRITE },
 111         { "ST340017AS",         SIL_QUIRK_MOD15WRITE },
 112         { "ST360015AS",         SIL_QUIRK_MOD15WRITE },
 113         { "ST380013AS",         SIL_QUIRK_MOD15WRITE },
 114         { "ST380023AS",         SIL_QUIRK_MOD15WRITE },
 115         { "ST3120023AS",        SIL_QUIRK_MOD15WRITE },
 116         { "ST3160023AS",        SIL_QUIRK_MOD15WRITE },
 117         { "ST3120026AS",        SIL_QUIRK_MOD15WRITE },
 118         { "ST3200822AS",        SIL_QUIRK_MOD15WRITE },
 119         { "ST340014ASL",        SIL_QUIRK_MOD15WRITE },
 120         { "ST360014ASL",        SIL_QUIRK_MOD15WRITE },
 121         { "ST380011ASL",        SIL_QUIRK_MOD15WRITE },
 122         { "ST3120022ASL",       SIL_QUIRK_MOD15WRITE },
 123         { "ST3160021ASL",       SIL_QUIRK_MOD15WRITE },
 124         { "Maxtor 4D060H3",     SIL_QUIRK_UDMA5MAX },
 125         { }
 126 };
 127
 128 static struct pci_driver sil_pci_driver = {
 129         .name                   = DRV_NAME,
 130         .id_table               = sil_pci_tbl,
 131         .probe                  = sil_init_one,
 132         .remove                 = ata_pci_remove_one,
 133 };
 134
 135 static struct scsi_host_template sil_sht = {
 136         .module                 = THIS_MODULE,
 137         .name                   = DRV_NAME,
 138         .ioctl                  = ata_scsi_ioctl,
 139         .queuecommand           = ata_scsi_queuecmd,
 140         .eh_strategy_handler    = ata_scsi_error,
 141         .can_queue              = ATA_DEF_QUEUE,
 142         .this_id                = ATA_SHT_THIS_ID,
 143         .sg_tablesize           = LIBATA_MAX_PRD,
 144         .max_sectors            = ATA_MAX_SECTORS,
 145         .cmd_per_lun            = ATA_SHT_CMD_PER_LUN,
 146         .emulated               = ATA_SHT_EMULATED,
 147         .use_clustering         = ATA_SHT_USE_CLUSTERING,
 148         .proc_name              = DRV_NAME,
 149         .dma_boundary           = ATA_DMA_BOUNDARY,
 150         .slave_configure        = ata_scsi_slave_config,
 151         .bios_param             = ata_std_bios_param,
 152 };
 153
 154 static const struct ata_port_operations sil_ops = {
 155         .port_disable           = ata_port_disable,
 156         .dev_config             = sil_dev_config,
 157         .tf_load                = ata_tf_load,
 158         .tf_read                = ata_tf_read,
 159         .check_status           = ata_check_status,
 160         .exec_command           = ata_exec_command,
 161         .dev_select             = ata_std_dev_select,
 162         .phy_reset              = sata_phy_reset,
 163         .post_set_mode          = sil_post_set_mode,
 164         .bmdma_setup            = ata_bmdma_setup,
 165         .bmdma_start            = ata_bmdma_start,
 166         .bmdma_stop             = ata_bmdma_stop,
 167         .bmdma_status           = ata_bmdma_status,
 168         .qc_prep                = ata_qc_prep,
 169         .qc_issue               = ata_qc_issue_prot,
 170         .eng_timeout            = ata_eng_timeout,
 171         .irq_handler            = ata_interrupt,
 172         .irq_clear              = ata_bmdma_irq_clear,
 173         .scr_read               = sil_scr_read,
 174         .scr_write              = sil_scr_write,
 175         .port_start             = ata_port_start,
 176         .port_stop              = ata_port_stop,
 177         .host_stop              = ata_pci_host_stop,
 178 };
 179
 180 static const struct ata_port_info sil_port_info[] = {
 181         /* sil_3112 */
 182         {
 183                 .sht            = &sil_sht,
 184                 .host_flags     = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY |
 185                                   ATA_FLAG_SRST | ATA_FLAG_MMIO,
 186                 .pio_mask       = 0x1f,                 /* pio0-4 */
 187                 .mwdma_mask     = 0x07,                 /* mwdma0-2 */
 188                 .udma_mask      = 0x3f,                 /* udma0-5 */
 189                 .port_ops       = &sil_ops,
 190         },
 191         /* sil_3112_15w - keep it sync'd w/ sil_3112 */
 192         {
 193                 .sht            = &sil_sht,
 194                 .host_flags     = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY |
 195                                   ATA_FLAG_SRST | ATA_FLAG_MMIO |
 196                                   SIL_FLAG_MOD15WRITE,
 197                 .pio_mask       = 0x1f,                 /* pio0-4 */
 198                 .mwdma_mask     = 0x07,                 /* mwdma0-2 */
 199                 .udma_mask      = 0x3f,                 /* udma0-5 */
 200                 .port_ops       = &sil_ops,
 201         },
 202         /* sil_3512 */
 203         {
 204                 .sht            = &sil_sht,
 205                 .host_flags     = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY |
 206                                   ATA_FLAG_SRST | ATA_FLAG_MMIO |
 207                                   SIL_FLAG_RERR_ON_DMA_ACT,
 208                 .pio_mask       = 0x1f,                 /* pio0-4 */
 209                 .mwdma_mask     = 0x07,                 /* mwdma0-2 */
 210                 .udma_mask      = 0x3f,                 /* udma0-5 */
 211                 .port_ops       = &sil_ops,
 212         },
 213         /* sil_3114 */
 214         {
 215                 .sht            = &sil_sht,
 216                 .host_flags     = ATA_FLAG_SATA | ATA_FLAG_NO_LEGACY |
 217                                   ATA_FLAG_SRST | ATA_FLAG_MMIO |
 218                                   SIL_FLAG_RERR_ON_DMA_ACT,
 219                 .pio_mask       = 0x1f,                 /* pio0-4 */
 220                 .mwdma_mask     = 0x07,                 /* mwdma0-2 */
 221                 .udma_mask      = 0x3f,                 /* udma0-5 */
 222                 .port_ops       = &sil_ops,
 223         },
 224 };
 225
 226 /* per-port register offsets */
 227 /* TODO: we can probably calculate rather than use a table */
 228 static const struct {
 229         unsigned long tf;       /* ATA taskfile register block */
 230         unsigned long ctl;      /* ATA control/altstatus register block */
 231         unsigned long bmdma;    /* DMA register block */
 232         unsigned long scr;      /* SATA control register block */
 233         unsigned long sien;     /* SATA Interrupt Enable register */
 234         unsigned long xfer_mode;/* data transfer mode register */
 235         unsigned long sfis_cfg; /* SATA FIS reception config register */
 236 } sil_port[] = {
 237         /* port 0 ... */
 238         { 0x80, 0x8A, 0x00, 0x100, 0x148, 0xb4, 0x14c },
 239         { 0xC0, 0xCA, 0x08, 0x180, 0x1c8, 0xf4, 0x1cc },
 240         { 0x280, 0x28A, 0x200, 0x300, 0x348, 0x2b4, 0x34c },
 241         { 0x2C0, 0x2CA, 0x208, 0x380, 0x3c8, 0x2f4, 0x3cc },
 242         /* ... port 3 */
 243 };
 244
 245 MODULE_AUTHOR("Jeff Garzik");
 246 MODULE_DESCRIPTION("low-level driver for Silicon Image SATA controller");
 247 MODULE_LICENSE("GPL");
 248 MODULE_DEVICE_TABLE(pci, sil_pci_tbl);
 249 MODULE_VERSION(DRV_VERSION);
 250
 251 static int slow_down = 0;
 252 module_param(slow_down, int, 0444);
 253 MODULE_PARM_DESC(slow_down, "Sledgehammer used to work around random problems, by limiting commands to 15 sectors (0=off, 1=on)");
 254
 255
 256 static unsigned char sil_get_device_cache_line(struct pci_dev *pdev)
 257 {
 258         u8 cache_line = 0;
 259         pci_read_config_byte(pdev, PCI_CACHE_LINE_SIZE, &cache_line);
 260         return cache_line;
 261 }
 262
 263 static void sil_post_set_mode (struct ata_port *ap)
 264 {
 265         struct ata_host_set *host_set = ap->host_set;
 266         struct ata_device *dev;
 267         void __iomem *addr =
 268                 host_set->mmio_base + sil_port[ap->port_no].xfer_mode;
 269         u32 tmp, dev_mode[2];
 270         unsigned int i;
 271
 272         for (i = 0; i < 2; i++) {
 273                 dev = &ap->device[i];
 274                 if (!ata_dev_present(dev))
 275                         dev_mode[i] = 0;        /* PIO0/1/2 */
 276                 else if (dev->flags & ATA_DFLAG_PIO)
 277                         dev_mode[i] = 1;        /* PIO3/4 */
 278                 else
 279                         dev_mode[i] = 3;        /* UDMA */
 280                 /* value 2 indicates MDMA */
 281         }
 282
 283         tmp = readl(addr);
 284         tmp &= ~((1<<5) | (1<<4) | (1<<1) | (1<<0));
 285         tmp |= dev_mode[0];
 286         tmp |= (dev_mode[1] << 4);
 287         writel(tmp, addr);
 288         readl(addr);    /* flush */
 289 }
 290
 291 static inline unsigned long sil_scr_addr(struct ata_port *ap, unsigned int sc_reg)
 292 {
 293         unsigned long offset = ap->ioaddr.scr_addr;
 294
 295         switch (sc_reg) {
 296         case SCR_STATUS:
 297                 return offset + 4;
 298         case SCR_ERROR:
 299                 return offset + 8;
 300         case SCR_CONTROL:
 301                 return offset;
 302         default:
 303                 /* do nothing */
 304                 break;
 305         }
 306
 307         return 0;
 308 }
 309
 310 static u32 sil_scr_read (struct ata_port *ap, unsigned int sc_reg)
 311 {
 312         void __iomem *mmio = (void __iomem *) sil_scr_addr(ap, sc_reg);
 313         if (mmio)
 314                 return readl(mmio);
 315         return 0xffffffffU;
 316 }
 317
 318 static void sil_scr_write (struct ata_port *ap, unsigned int sc_reg, u32 val)
 319 {
 320         void *mmio = (void __iomem *) sil_scr_addr(ap, sc_reg);
 321         if (mmio)
 322                 writel(val, mmio);
 323 }
 324
 325 /**
 326  *      sil_dev_config - Apply device/host-specific errata fixups
 327  *      @ap: Port containing device to be examined
 328  *      @dev: Device to be examined
 329  *
 330  *      After the IDENTIFY [PACKET] DEVICE step is complete, and a
 331  *      device is known to be present, this function is called.
 332  *      We apply two errata fixups which are specific to Silicon Image,
 333  *      a Seagate and a Maxtor fixup.
 334  *
 335  *      For certain Seagate devices, we must limit the maximum sectors
 336  *      to under 8K.
 337  *
 338  *      For certain Maxtor devices, we must not program the drive
 339  *      beyond udma5.
 340  *
 341  *      Both fixups are unfairly pessimistic.  As soon as I get more
 342  *      information on these errata, I will create a more exhaustive
 343  *      list, and apply the fixups to only the specific
 344  *      devices/hosts/firmwares that need it.
 345  *
 346  *      20040111 - Seagate drives affected by the Mod15Write bug are blacklisted
 347  *      The Maxtor quirk is in the blacklist, but I'm keeping the original
 348  *      pessimistic fix for the following reasons...
 349  *      - There seems to be less info on it, only one device gleaned off the
 350  *      Windows driver, maybe only one is affected.  More info would be greatly
 351  *      appreciated.
 352  *      - But then again UDMA5 is hardly anything to complain about
 353  */
 354 static void sil_dev_config(struct ata_port *ap, struct ata_device *dev)
 355 {
 356         unsigned int n, quirks = 0;
 357         unsigned char model_num[40];
 358         const char *s;
 359         unsigned int len;
 360
 361         ata_dev_id_string(dev->id, model_num, ATA_ID_PROD_OFS,
 362                           sizeof(model_num));
 363         s = &model_num[0];
 364         len = strnlen(s, sizeof(model_num));
 365
 366         /* ATAPI specifies that empty space is blank-filled; remove blanks */
 367         while ((len > 0) && (s[len - 1] == ' '))
 368                 len--;
 369
 370         for (n = 0; sil_blacklist[n].product; n++)
 371                 if (!memcmp(sil_blacklist[n].product, s,
 372                             strlen(sil_blacklist[n].product))) {
 373                         quirks = sil_blacklist[n].quirk;
 374                         break;
 375                 }
 376
 377         /* limit requests to 15 sectors */
 378         if (slow_down ||
 379             ((ap->flags & SIL_FLAG_MOD15WRITE) &&
 380              (quirks & SIL_QUIRK_MOD15WRITE))) {
 381                 printk(KERN_INFO "ata%u(%u): applying Seagate errata fix (mod15write workaround)\n",
 382                        ap->id, dev->devno);
 383                 ap->host->max_sectors = 15;
 384                 ap->host->hostt->max_sectors = 15;
 385                 dev->flags |= ATA_DFLAG_LOCK_SECTORS;
 386                 return;
 387         }
 388
 389         /* limit to udma5 */
 390         if (quirks & SIL_QUIRK_UDMA5MAX) {
 391                 printk(KERN_INFO "ata%u(%u): applying Maxtor errata fix %s\n",
 392                        ap->id, dev->devno, s);
 393                 ap->udma_mask &= ATA_UDMA5;
 394                 return;
 395         }
 396 }
 397
 398 static int sil_init_one (struct pci_dev *pdev, const struct pci_device_id *ent)
 399 {
 400         static int printed_version;
 401         struct ata_probe_ent *probe_ent = NULL;
 402         unsigned long base;
 403         void __iomem *mmio_base;
 404         int rc;
 405         unsigned int i;
 406         int pci_dev_busy = 0;
 407         u32 tmp, irq_mask;
 408         u8 cls;
 409
 410         if (!printed_version++)
 411                 dev_printk(KERN_DEBUG, &pdev->dev, "version " DRV_VERSION "\n");
 412
 413         /*
 414          * If this driver happens to only be useful on Apple's K2, then
 415          * we should check that here as it has a normal Serverworks ID
 416          */
 417         rc = pci_enable_device(pdev);
 418         if (rc)
 419                 return rc;
 420
 421         rc = pci_request_regions(pdev, DRV_NAME);
 422         if (rc) {
 423                 pci_dev_busy = 1;
 424                 goto err_out;
 425         }
 426
 427         rc = pci_set_dma_mask(pdev, ATA_DMA_MASK);
 428         if (rc)
 429                 goto err_out_regions;
 430         rc = pci_set_consistent_dma_mask(pdev, ATA_DMA_MASK);
 431         if (rc)
 432                 goto err_out_regions;
 433
 434         probe_ent = kmalloc(sizeof(*probe_ent), GFP_KERNEL);
 435         if (probe_ent == NULL) {
 436                 rc = -ENOMEM;
 437                 goto err_out_regions;
 438         }
 439
 440         memset(probe_ent, 0, sizeof(*probe_ent));
 441         INIT_LIST_HEAD(&probe_ent->node);
 442         probe_ent->dev = pci_dev_to_dev(pdev);
 443         probe_ent->port_ops = sil_port_info[ent->driver_data].port_ops;
 444         probe_ent->sht = sil_port_info[ent->driver_data].sht;
 445         probe_ent->n_ports = (ent->driver_data == sil_3114) ? 4 : 2;
 446         probe_ent->pio_mask = sil_port_info[ent->driver_data].pio_mask;
 447         probe_ent->mwdma_mask = sil_port_info[ent->driver_data].mwdma_mask;
 448         probe_ent->udma_mask = sil_port_info[ent->driver_data].udma_mask;
 449         probe_ent->irq = pdev->irq;
 450         probe_ent->irq_flags = SA_SHIRQ;
 451         probe_ent->host_flags = sil_port_info[ent->driver_data].host_flags;
 452
 453         mmio_base = pci_iomap(pdev, 5, 0);
 454         if (mmio_base == NULL) {
 455                 rc = -ENOMEM;
 456                 goto err_out_free_ent;
 457         }
 458
 459         probe_ent->mmio_base = mmio_base;
 460
 461         base = (unsigned long) mmio_base;
 462
 463         for (i = 0; i < probe_ent->n_ports; i++) {
 464                 probe_ent->port[i].cmd_addr = base + sil_port[i].tf;
 465                 probe_ent->port[i].altstatus_addr =
 466                 probe_ent->port[i].ctl_addr = base + sil_port[i].ctl;
 467                 probe_ent->port[i].bmdma_addr = base + sil_port[i].bmdma;
 468                 probe_ent->port[i].scr_addr = base + sil_port[i].scr;
 469                 ata_std_ports(&probe_ent->port[i]);
 470         }
 471
 472         /* Initialize FIFO PCI bus arbitration */
 473         cls = sil_get_device_cache_line(pdev);
 474         if (cls) {
 475                 cls >>= 3;
 476                 cls++;  /* cls = (line_size/8)+1 */
 477                 writeb(cls, mmio_base + SIL_FIFO_R0);
 478                 writeb(cls, mmio_base + SIL_FIFO_W0);
 479                 writeb(cls, mmio_base + SIL_FIFO_R1);
 480                 writeb(cls, mmio_base + SIL_FIFO_W1);
 481                 if (ent->driver_data == sil_3114) {
 482                         writeb(cls, mmio_base + SIL_FIFO_R2);
 483                         writeb(cls, mmio_base + SIL_FIFO_W2);
 484                         writeb(cls, mmio_base + SIL_FIFO_R3);
 485                         writeb(cls, mmio_base + SIL_FIFO_W3);
 486                 }
 487         } else
 488                 dev_printk(KERN_WARNING, &pdev->dev,
 489                          "cache line size not set.  Driver may not function\n");
 490
 491         /* Apply R_ERR on DMA activate FIS errata workaround */
 492         if (probe_ent->host_flags & SIL_FLAG_RERR_ON_DMA_ACT) {
 493                 int cnt;
 494
 495                 for (i = 0, cnt = 0; i < probe_ent->n_ports; i++) {
 496                         tmp = readl(mmio_base + sil_port[i].sfis_cfg);
 497                         if ((tmp & 0x3) != 0x01)
 498                                 continue;
 499                         if (!cnt)
 500                                 dev_printk(KERN_INFO, &pdev->dev,
 501                                            "Applying R_ERR on DMA activate "
 502                                            "FIS errata fix\n");
 503                         writel(tmp & ~0x3, mmio_base + sil_port[i].sfis_cfg);
 504                         cnt++;
 505                 }
 506         }
 507
 508         if (ent->driver_data == sil_3114) {
 509                 irq_mask = SIL_MASK_4PORT;
 510
 511                 /* flip the magic "make 4 ports work" bit */
 512                 tmp = readl(mmio_base + SIL_IDE2_BMDMA);
 513                 if ((tmp & SIL_INTR_STEERING) == 0)
 514                         writel(tmp | SIL_INTR_STEERING,
 515                                mmio_base + SIL_IDE2_BMDMA);
 516
 517         } else {
 518                 irq_mask = SIL_MASK_2PORT;
 519         }
 520
 521         /* make sure IDE0/1/2/3 interrupts are not masked */
 522         tmp = readl(mmio_base + SIL_SYSCFG);
 523         if (tmp & irq_mask) {
 524                 tmp &= ~irq_mask;
 525                 writel(tmp, mmio_base + SIL_SYSCFG);
 526                 readl(mmio_base + SIL_SYSCFG);  /* flush */
 527         }
 528
 529         /* mask all SATA phy-related interrupts */
 530         /* TODO: unmask bit 6 (SError N bit) for hotplug */
 531         for (i = 0; i < probe_ent->n_ports; i++)
 532                 writel(0, mmio_base + sil_port[i].sien);
 533
 534         pci_set_master(pdev);
 535
 536         /* FIXME: check ata_device_add return value */
 537         ata_device_add(probe_ent);
 538         kfree(probe_ent);
 539
 540         return 0;
 541
 542 err_out_free_ent:
 543         kfree(probe_ent);
 544 err_out_regions:
 545         pci_release_regions(pdev);
 546 err_out:
 547         if (!pci_dev_busy)
 548                 pci_disable_device(pdev);
 549         return rc;
 550 }
 551
 552 static int __init sil_init(void)
 553 {
 554         return pci_module_init(&sil_pci_driver);
 555 }
 556
 557 static void __exit sil_exit(void)
 558 {
 559         pci_unregister_driver(&sil_pci_driver);
 560 }
 561
 562
 563 module_init(sil_init);
 564 module_exit(sil_exit);