arch/parisc/kernel/pci-dma.c

   1 /*
   2 ** PARISC 1.1 Dynamic DMA mapping support.
   3 ** This implementation is for PA-RISC platforms that do not support
   4 ** I/O TLBs (aka DMA address translation hardware).
   5 ** See Documentation/DMA-mapping.txt for interface definitions.
   6 **
   7 **      (c) Copyright 1999,2000 Hewlett-Packard Company
   8 **      (c) Copyright 2000 Grant Grundler
   9 **      (c) Copyright 2000 Philipp Rumpf <prumpf@tux.org>
  10 **      (c) Copyright 2000 John Marvin
  11 **
  12 ** "leveraged" from 2.3.47: arch/ia64/kernel/pci-dma.c.
  13 ** (I assume it's from David Mosberger-Tang but there was no Copyright)
  14 **
  15 ** AFAIK, all PA7100LC and PA7300LC platforms can use this code.
  16 **
  17 ** - ggg
  18 */
  19
  20 #include <linux/init.h>
  21 #include <linux/mm.h>
  22 #include <linux/pci.h>
  23 #include <linux/proc_fs.h>
  24 #include <linux/slab.h>
  25 #include <linux/string.h>
  26 #include <linux/types.h>
  27
  28 #include <asm/cacheflush.h>
  29 #include <asm/dma.h>    /* for DMA_CHUNK_SIZE */
  30 #include <asm/io.h>
  31 #include <asm/page.h>   /* get_order */
  32 #include <asm/pgalloc.h>
  33 #include <asm/uaccess.h>
  34
  35 static struct proc_dir_entry * proc_gsc_root = NULL;
  36 static int pcxl_proc_info(char *buffer, char **start, off_t offset, int length);
  37 static unsigned long pcxl_used_bytes = 0;
  38 static unsigned long pcxl_used_pages = 0;
  39
  40 extern unsigned long pcxl_dma_start; /* Start of pcxl dma mapping area */
  41 static spinlock_t   pcxl_res_lock;
  42 static char    *pcxl_res_map;
  43 static int     pcxl_res_hint;
  44 static int     pcxl_res_size;
  45
  46 #ifdef DEBUG_PCXL_RESOURCE
  47 #define DBG_RES(x...)   printk(x)
  48 #else
  49 #define DBG_RES(x...)
  50 #endif
  51
  52
  53 /*
  54 ** Dump a hex representation of the resource map.
  55 */
  56
  57 #ifdef DUMP_RESMAP
  58 static
  59 void dump_resmap(void)
  60 {
  61         u_long *res_ptr = (unsigned long *)pcxl_res_map;
  62         u_long i = 0;
  63
  64         printk("res_map: ");
  65         for(; i < (pcxl_res_size / sizeof(unsigned long)); ++i, ++res_ptr)
  66                 printk("%08lx ", *res_ptr);
  67
  68         printk("\n");
  69 }
  70 #else
  71 static inline void dump_resmap(void) {;}
  72 #endif
  73
  74 static int pa11_dma_supported( struct device *dev, u64 mask)
  75 {
  76         return 1;
  77 }
  78
  79 static inline int map_pte_uncached(pte_t * pte,
  80                 unsigned long vaddr,
  81                 unsigned long size, unsigned long *paddr_ptr)
  82 {
  83         unsigned long end;
  84         unsigned long orig_vaddr = vaddr;
  85
  86         vaddr &= ~PMD_MASK;
  87         end = vaddr + size;
  88         if (end > PMD_SIZE)
  89                 end = PMD_SIZE;
  90         do {
  91                 if (!pte_none(*pte))
  92                         printk(KERN_ERR "map_pte_uncached: page already exists\n");
  93                 set_pte(pte, __mk_pte(*paddr_ptr, PAGE_KERNEL_UNC));
  94                 pdtlb_kernel(orig_vaddr);
  95                 vaddr += PAGE_SIZE;
  96                 orig_vaddr += PAGE_SIZE;
  97                 (*paddr_ptr) += PAGE_SIZE;
  98                 pte++;
  99         } while (vaddr < end);
 100         return 0;
 101 }
 102
 103 static inline int map_pmd_uncached(pmd_t * pmd, unsigned long vaddr,
 104                 unsigned long size, unsigned long *paddr_ptr)
 105 {
 106         unsigned long end;
 107         unsigned long orig_vaddr = vaddr;
 108
 109         vaddr &= ~PGDIR_MASK;
 110         end = vaddr + size;
 111         if (end > PGDIR_SIZE)
 112                 end = PGDIR_SIZE;
 113         do {
 114                 pte_t * pte = pte_alloc_kernel(&init_mm, pmd, vaddr);
 115                 if (!pte)
 116                         return -ENOMEM;
 117                 if (map_pte_uncached(pte, orig_vaddr, end - vaddr, paddr_ptr))
 118                         return -ENOMEM;
 119                 vaddr = (vaddr + PMD_SIZE) & PMD_MASK;
 120                 orig_vaddr += PMD_SIZE;
 121                 pmd++;
 122         } while (vaddr < end);
 123         return 0;
 124 }
 125
 126 static inline int map_uncached_pages(unsigned long vaddr, unsigned long size,
 127                 unsigned long paddr)
 128 {
 129         pgd_t * dir;
 130         unsigned long end = vaddr + size;
 131
 132         dir = pgd_offset_k(vaddr);
 133         do {
 134                 pmd_t *pmd;
 135
 136                 pmd = pmd_alloc(NULL, dir, vaddr);
 137                 if (!pmd)
 138                         return -ENOMEM;
 139                 if (map_pmd_uncached(pmd, vaddr, end - vaddr, &paddr))
 140                         return -ENOMEM;
 141                 vaddr = vaddr + PGDIR_SIZE;
 142                 dir++;
 143         } while (vaddr && (vaddr < end));
 144         return 0;
 145 }
 146
 147 static inline void unmap_uncached_pte(pmd_t * pmd, unsigned long vaddr,
 148                 unsigned long size)
 149 {
 150         pte_t * pte;
 151         unsigned long end;
 152         unsigned long orig_vaddr = vaddr;
 153
 154         if (pmd_none(*pmd))
 155                 return;
 156         if (pmd_bad(*pmd)) {
 157                 pmd_ERROR(*pmd);
 158                 pmd_clear(pmd);
 159                 return;
 160         }
 161         pte = pte_offset_map(pmd, vaddr);
 162         vaddr &= ~PMD_MASK;
 163         end = vaddr + size;
 164         if (end > PMD_SIZE)
 165                 end = PMD_SIZE;
 166         do {
 167                 pte_t page = *pte;
 168                 pte_clear(pte);
 169                 pdtlb_kernel(orig_vaddr);
 170                 vaddr += PAGE_SIZE;
 171                 orig_vaddr += PAGE_SIZE;
 172                 pte++;
 173                 if (pte_none(page) || pte_present(page))
 174                         continue;
 175                 printk(KERN_CRIT "Whee.. Swapped out page in kernel page table\n");
 176         } while (vaddr < end);
 177 }
 178
 179 static inline void unmap_uncached_pmd(pgd_t * dir, unsigned long vaddr,
 180                 unsigned long size)
 181 {
 182         pmd_t * pmd;
 183         unsigned long end;
 184         unsigned long orig_vaddr = vaddr;
 185
 186         if (pgd_none(*dir))
 187                 return;
 188         if (pgd_bad(*dir)) {
 189                 pgd_ERROR(*dir);
 190                 pgd_clear(dir);
 191                 return;
 192         }
 193         pmd = pmd_offset(dir, vaddr);
 194         vaddr &= ~PGDIR_MASK;
 195         end = vaddr + size;
 196         if (end > PGDIR_SIZE)
 197                 end = PGDIR_SIZE;
 198         do {
 199                 unmap_uncached_pte(pmd, orig_vaddr, end - vaddr);
 200                 vaddr = (vaddr + PMD_SIZE) & PMD_MASK;
 201                 orig_vaddr += PMD_SIZE;
 202                 pmd++;
 203         } while (vaddr < end);
 204 }
 205
 206 static void unmap_uncached_pages(unsigned long vaddr, unsigned long size)
 207 {
 208         pgd_t * dir;
 209         unsigned long end = vaddr + size;
 210
 211         dir = pgd_offset_k(vaddr);
 212         do {
 213                 unmap_uncached_pmd(dir, vaddr, end - vaddr);
 214                 vaddr = vaddr + PGDIR_SIZE;
 215                 dir++;
 216         } while (vaddr && (vaddr < end));
 217 }
 218
 219 #define PCXL_SEARCH_LOOP(idx, mask, size)  \
 220        for(; res_ptr < res_end; ++res_ptr) \
 221        { \
 222                if(0 == ((*res_ptr) & mask)) { \
 223                        *res_ptr |= mask; \
 224                        idx = (int)((u_long)res_ptr - (u_long)pcxl_res_map); \
 225                        pcxl_res_hint = idx + (size >> 3); \
 226                        goto resource_found; \
 227                } \
 228        }
 229
 230 #define PCXL_FIND_FREE_MAPPING(idx, mask, size)  { \
 231        u##size *res_ptr = (u##size *)&(pcxl_res_map[pcxl_res_hint & ~((size >> 3) - 1)]); \
 232        u##size *res_end = (u##size *)&pcxl_res_map[pcxl_res_size]; \
 233        PCXL_SEARCH_LOOP(idx, mask, size); \
 234        res_ptr = (u##size *)&pcxl_res_map[0]; \
 235        PCXL_SEARCH_LOOP(idx, mask, size); \
 236 }
 237
 238 unsigned long
 239 pcxl_alloc_range(size_t size)
 240 {
 241         int res_idx;
 242         u_long mask, flags;
 243         unsigned int pages_needed = size >> PAGE_SHIFT;
 244
 245         ASSERT(pages_needed);
 246         ASSERT((pages_needed * PAGE_SIZE) < DMA_CHUNK_SIZE);
 247         ASSERT(pages_needed < (BITS_PER_LONG - PAGE_SHIFT));
 248
 249         mask = (u_long) -1L;
 250         mask >>= BITS_PER_LONG - pages_needed;
 251
 252         DBG_RES("pcxl_alloc_range() size: %d pages_needed %d pages_mask 0x%08lx\n",
 253                 size, pages_needed, mask);
 254
 255         spin_lock_irqsave(&pcxl_res_lock, flags);
 256
 257         if(pages_needed <= 8) {
 258                 PCXL_FIND_FREE_MAPPING(res_idx, mask, 8);
 259         } else if(pages_needed <= 16) {
 260                 PCXL_FIND_FREE_MAPPING(res_idx, mask, 16);
 261         } else if(pages_needed <= 32) {
 262                 PCXL_FIND_FREE_MAPPING(res_idx, mask, 32);
 263         } else {
 264                 panic("%s: pcxl_alloc_range() Too many pages to map.\n",
 265                       __FILE__);
 266         }
 267
 268         dump_resmap();
 269         panic("%s: pcxl_alloc_range() out of dma mapping resources\n",
 270               __FILE__);
 271
 272 resource_found:
 273
 274         DBG_RES("pcxl_alloc_range() res_idx %d mask 0x%08lx res_hint: %d\n",
 275                 res_idx, mask, pcxl_res_hint);
 276
 277         pcxl_used_pages += pages_needed;
 278         pcxl_used_bytes += ((pages_needed >> 3) ? (pages_needed >> 3) : 1);
 279
 280         spin_unlock_irqrestore(&pcxl_res_lock, flags);
 281
 282         dump_resmap();
 283
 284         /*
 285         ** return the corresponding vaddr in the pcxl dma map
 286         */
 287         return (pcxl_dma_start + (res_idx << (PAGE_SHIFT + 3)));
 288 }
 289
 290 #define PCXL_FREE_MAPPINGS(idx, m, size) \
 291                 u##size *res_ptr = (u##size *)&(pcxl_res_map[(idx) + (((size >> 3) - 1) & (~((size >> 3) - 1)))]); \
 292                 ASSERT((*res_ptr & m) == m); \
 293                 *res_ptr &= ~m;
 294
 295 /*
 296 ** clear bits in the pcxl resource map
 297 */
 298 static void
 299 pcxl_free_range(unsigned long vaddr, size_t size)
 300 {
 301         u_long mask, flags;
 302         unsigned int res_idx = (vaddr - pcxl_dma_start) >> (PAGE_SHIFT + 3);
 303         unsigned int pages_mapped = size >> PAGE_SHIFT;
 304
 305         ASSERT(pages_mapped);
 306         ASSERT((pages_mapped * PAGE_SIZE) < DMA_CHUNK_SIZE);
 307         ASSERT(pages_mapped < (BITS_PER_LONG - PAGE_SHIFT));
 308
 309         mask = (u_long) -1L;
 310         mask >>= BITS_PER_LONG - pages_mapped;
 311
 312         DBG_RES("pcxl_free_range() res_idx: %d size: %d pages_mapped %d mask 0x%08lx\n",
 313                 res_idx, size, pages_mapped, mask);
 314
 315         spin_lock_irqsave(&pcxl_res_lock, flags);
 316
 317         if(pages_mapped <= 8) {
 318                 PCXL_FREE_MAPPINGS(res_idx, mask, 8);
 319         } else if(pages_mapped <= 16) {
 320                 PCXL_FREE_MAPPINGS(res_idx, mask, 16);
 321         } else if(pages_mapped <= 32) {
 322                 PCXL_FREE_MAPPINGS(res_idx, mask, 32);
 323         } else {
 324                 panic("%s: pcxl_free_range() Too many pages to unmap.\n",
 325                       __FILE__);
 326         }
 327
 328         pcxl_used_pages -= (pages_mapped ? pages_mapped : 1);
 329         pcxl_used_bytes -= ((pages_mapped >> 3) ? (pages_mapped >> 3) : 1);
 330
 331         spin_unlock_irqrestore(&pcxl_res_lock, flags);
 332
 333         dump_resmap();
 334 }
 335
 336 static int __init
 337 pcxl_dma_init(void)
 338 {
 339     if (pcxl_dma_start == 0)
 340         return 0;
 341
 342     spin_lock_init(&pcxl_res_lock);
 343     pcxl_res_size = PCXL_DMA_MAP_SIZE >> (PAGE_SHIFT + 3);
 344     pcxl_res_hint = 0;
 345     pcxl_res_map = (char *)__get_free_pages(GFP_KERNEL,
 346                                             get_order(pcxl_res_size));
 347     memset(pcxl_res_map, 0, pcxl_res_size);
 348     proc_gsc_root = proc_mkdir("gsc", 0);
 349     create_proc_info_entry("dino", 0, proc_gsc_root, pcxl_proc_info);
 350     return 0;
 351 }
 352
 353 __initcall(pcxl_dma_init);
 354
 355 static void * pa11_dma_alloc_consistent (struct device *dev, size_t size, dma_addr_t *dma_handle, int flag)
 356 {
 357         unsigned long vaddr;
 358         unsigned long paddr;
 359         int order;
 360
 361         order = get_order(size);
 362         size = 1 << (order + PAGE_SHIFT);
 363         vaddr = pcxl_alloc_range(size);
 364         paddr = __get_free_pages(flag, order);
 365         flush_kernel_dcache_range(paddr, size);
 366         paddr = __pa(paddr);
 367         map_uncached_pages(vaddr, size, paddr);
 368         *dma_handle = (dma_addr_t) paddr;
 369
 370 #if 0
 371 /* This probably isn't needed to support EISA cards.
 372 ** ISA cards will certainly only support 24-bit DMA addressing.
 373 ** Not clear if we can, want, or need to support ISA.
 374 */
 375         if (!dev || *dev->coherent_dma_mask < 0xffffffff)
 376                 gfp |= GFP_DMA;
 377 #endif
 378         return (void *)vaddr;
 379 }
 380
 381 static void pa11_dma_free_consistent (struct device *dev, size_t size, void *vaddr, dma_addr_t dma_handle)
 382 {
 383         int order;
 384
 385         order = get_order(size);
 386         size = 1 << (order + PAGE_SHIFT);
 387         unmap_uncached_pages((unsigned long)vaddr, size);
 388         pcxl_free_range((unsigned long)vaddr, size);
 389         free_pages((unsigned long)__va(dma_handle), order);
 390 }
 391
 392 static dma_addr_t pa11_dma_map_single(struct device *dev, void *addr, size_t size, enum dma_data_direction direction)
 393 {
 394         if (direction == DMA_NONE) {
 395                 printk(KERN_ERR "pa11_dma_map_single(PCI_DMA_NONE) called by %p\n", __builtin_return_address(0));
 396                 BUG();
 397         }
 398
 399         flush_kernel_dcache_range((unsigned long) addr, size);
 400         return virt_to_phys(addr);
 401 }
 402
 403 static void pa11_dma_unmap_single(struct device *dev, dma_addr_t dma_handle, size_t size, enum dma_data_direction direction)
 404 {
 405         if (direction == DMA_NONE) {
 406                 printk(KERN_ERR "pa11_dma_unmap_single(PCI_DMA_NONE) called by %p\n", __builtin_return_address(0));
 407                 BUG();
 408         }
 409
 410         if (direction == DMA_TO_DEVICE)
 411             return;
 412
 413         /*
 414          * For PCI_DMA_FROMDEVICE this flush is not necessary for the
 415          * simple map/unmap case. However, it IS necessary if if
 416          * pci_dma_sync_single_* has been called and the buffer reused.
 417          */
 418
 419         flush_kernel_dcache_range((unsigned long) phys_to_virt(dma_handle), size);
 420         return;
 421 }
 422
 423 static int pa11_dma_map_sg(struct device *dev, struct scatterlist *sglist, int nents, enum dma_data_direction direction)
 424 {
 425         int i;
 426
 427         if (direction == DMA_NONE)
 428             BUG();
 429
 430         for (i = 0; i < nents; i++, sglist++ ) {
 431                 unsigned long vaddr = sg_virt_addr(sglist);
 432                 sg_dma_address(sglist) = (dma_addr_t) virt_to_phys(vaddr);
 433                 sg_dma_len(sglist) = sglist->length;
 434                 flush_kernel_dcache_range(vaddr, sglist->length);
 435         }
 436         return nents;
 437 }
 438
 439 static void pa11_dma_unmap_sg(struct device *dev, struct scatterlist *sglist, int nents, enum dma_data_direction direction)
 440 {
 441         int i;
 442
 443         if (direction == DMA_NONE)
 444             BUG();
 445
 446         if (direction == DMA_TO_DEVICE)
 447             return;
 448
 449         /* once we do combining we'll need to use phys_to_virt(sg_dma_address(sglist)) */
 450
 451         for (i = 0; i < nents; i++, sglist++ )
 452                 flush_kernel_dcache_range(sg_virt_addr(sglist), sglist->length);
 453         return;
 454 }
 455
 456 static void pa11_dma_sync_single_for_cpu(struct device *dev, dma_addr_t dma_handle, unsigned long offset, size_t size, enum dma_data_direction direction)
 457 {
 458         if (direction == DMA_NONE)
 459             BUG();
 460
 461         flush_kernel_dcache_range((unsigned long) phys_to_virt(dma_handle) + offset, size);
 462 }
 463
 464 static void pa11_dma_sync_single_for_device(struct device *dev, dma_addr_t dma_handle, unsigned long offset, size_t size, enum dma_data_direction direction)
 465 {
 466         if (direction == DMA_NONE)
 467             BUG();
 468
 469         flush_kernel_dcache_range((unsigned long) phys_to_virt(dma_handle) + offset, size);
 470 }
 471
 472 static void pa11_dma_sync_sg_for_cpu(struct device *dev, struct scatterlist *sglist, int nents, enum dma_data_direction direction)
 473 {
 474         int i;
 475
 476         /* once we do combining we'll need to use phys_to_virt(sg_dma_address(sglist)) */
 477
 478         for (i = 0; i < nents; i++, sglist++ )
 479                 flush_kernel_dcache_range(sg_virt_addr(sglist), sglist->length);
 480 }
 481
 482 static void pa11_dma_sync_sg_for_device(struct device *dev, struct scatterlist *sglist, int nents, enum dma_data_direction direction)
 483 {
 484         int i;
 485
 486         /* once we do combining we'll need to use phys_to_virt(sg_dma_address(sglist)) */
 487
 488         for (i = 0; i < nents; i++, sglist++ )
 489                 flush_kernel_dcache_range(sg_virt_addr(sglist), sglist->length);
 490 }
 491
 492 struct hppa_dma_ops pcxl_dma_ops = {
 493         .dma_supported =        pa11_dma_supported,
 494         .alloc_consistent =     pa11_dma_alloc_consistent,
 495         .alloc_noncoherent =    pa11_dma_alloc_consistent,
 496         .free_consistent =      pa11_dma_free_consistent,
 497         .map_single =           pa11_dma_map_single,
 498         .unmap_single =         pa11_dma_unmap_single,
 499         .map_sg =               pa11_dma_map_sg,
 500         .unmap_sg =             pa11_dma_unmap_sg,
 501         .dma_sync_single_for_cpu = pa11_dma_sync_single_for_cpu,
 502         .dma_sync_single_for_device = pa11_dma_sync_single_for_device,
 503         .dma_sync_sg_for_cpu = pa11_dma_sync_sg_for_cpu,
 504         .dma_sync_sg_for_device = pa11_dma_sync_sg_for_device,
 505 };
 506
 507 static void *fail_alloc_consistent(struct device *dev, size_t size,
 508                                    dma_addr_t *dma_handle, int flag)
 509 {
 510         return NULL;
 511 }
 512
 513 static void *pa11_dma_alloc_noncoherent(struct device *dev, size_t size,
 514                                           dma_addr_t *dma_handle, int flag)
 515 {
 516         void *addr = NULL;
 517
 518         /* rely on kmalloc to be cacheline aligned */
 519         addr = kmalloc(size, flag);
 520         if(addr)
 521                 *dma_handle = (dma_addr_t)virt_to_phys(addr);
 522
 523         return addr;
 524 }
 525
 526 static void pa11_dma_free_noncoherent(struct device *dev, size_t size,
 527                                         void *vaddr, dma_addr_t iova)
 528 {
 529         kfree(vaddr);
 530         return;
 531 }
 532
 533 struct hppa_dma_ops pcx_dma_ops = {
 534         .dma_supported =        pa11_dma_supported,
 535         .alloc_consistent =     fail_alloc_consistent,
 536         .alloc_noncoherent =    pa11_dma_alloc_noncoherent,
 537         .free_consistent =      pa11_dma_free_noncoherent,
 538         .map_single =           pa11_dma_map_single,
 539         .unmap_single =         pa11_dma_unmap_single,
 540         .map_sg =               pa11_dma_map_sg,
 541         .unmap_sg =             pa11_dma_unmap_sg,
 542         .dma_sync_single_for_cpu =      pa11_dma_sync_single_for_cpu,
 543         .dma_sync_single_for_device =   pa11_dma_sync_single_for_device,
 544         .dma_sync_sg_for_cpu =          pa11_dma_sync_sg_for_cpu,
 545         .dma_sync_sg_for_device =       pa11_dma_sync_sg_for_device,
 546 };
 547
 548
 549 static int pcxl_proc_info(char *buf, char **start, off_t offset, int len)
 550 {
 551         u_long i = 0;
 552         unsigned long *res_ptr = (u_long *)pcxl_res_map;
 553         unsigned long total_pages = pcxl_res_size << 3;        /* 8 bits per byte */
 554
 555         sprintf(buf, "\nDMA Mapping Area size    : %d bytes (%d pages)\n",
 556                 PCXL_DMA_MAP_SIZE,
 557                 (pcxl_res_size << 3) ); /* 1 bit per page */
 558
 559         sprintf(buf, "%sResource bitmap : %d bytes (%d pages)\n",
 560                 buf, pcxl_res_size, pcxl_res_size << 3);   /* 8 bits per byte */
 561
 562         strcat(buf,  "            total:    free:    used:   % used:\n");
 563         sprintf(buf, "%sblocks  %8d %8ld %8ld %8ld%%\n", buf, pcxl_res_size,
 564                 pcxl_res_size - pcxl_used_bytes, pcxl_used_bytes,
 565                 (pcxl_used_bytes * 100) / pcxl_res_size);
 566
 567         sprintf(buf, "%spages   %8ld %8ld %8ld %8ld%%\n", buf, total_pages,
 568                 total_pages - pcxl_used_pages, pcxl_used_pages,
 569                 (pcxl_used_pages * 100 / total_pages));
 570
 571         strcat(buf, "\nResource bitmap:");
 572
 573         for(; i < (pcxl_res_size / sizeof(u_long)); ++i, ++res_ptr) {
 574                 if ((i & 7) == 0)
 575                     strcat(buf,"\n   ");
 576                 sprintf(buf, "%s %08lx", buf, *res_ptr);
 577         }
 578         strcat(buf, "\n");
 579         return strlen(buf);
 580 }
 581