Merge to Fedora kernel-2.6.18-1.2224_FC5 patched with stable patch-2.6.18.1-vs2.0...
[linux-2.6.git] / arch / ia64 / ia32 / sys_ia32.c
1 /*
2  * sys_ia32.c: Conversion between 32bit and 64bit native syscalls. Derived from sys_sparc32.c.
3  *
4  * Copyright (C) 2000           VA Linux Co
5  * Copyright (C) 2000           Don Dugger <n0ano@valinux.com>
6  * Copyright (C) 1999           Arun Sharma <arun.sharma@intel.com>
7  * Copyright (C) 1997,1998      Jakub Jelinek (jj@sunsite.mff.cuni.cz)
8  * Copyright (C) 1997           David S. Miller (davem@caip.rutgers.edu)
9  * Copyright (C) 2000-2003, 2005 Hewlett-Packard Co
10  *      David Mosberger-Tang <davidm@hpl.hp.com>
11  * Copyright (C) 2004           Gordon Jin <gordon.jin@intel.com>
12  *
13  * These routines maintain argument size conversion between 32bit and 64bit
14  * environment.
15  */
16
17 #include <linux/kernel.h>
18 #include <linux/syscalls.h>
19 #include <linux/sysctl.h>
20 #include <linux/sched.h>
21 #include <linux/fs.h>
22 #include <linux/file.h>
23 #include <linux/signal.h>
24 #include <linux/resource.h>
25 #include <linux/times.h>
26 #include <linux/utsname.h>
27 #include <linux/smp.h>
28 #include <linux/smp_lock.h>
29 #include <linux/sem.h>
30 #include <linux/msg.h>
31 #include <linux/mm.h>
32 #include <linux/shm.h>
33 #include <linux/slab.h>
34 #include <linux/uio.h>
35 #include <linux/nfs_fs.h>
36 #include <linux/quota.h>
37 #include <linux/syscalls.h>
38 #include <linux/sunrpc/svc.h>
39 #include <linux/nfsd/nfsd.h>
40 #include <linux/nfsd/cache.h>
41 #include <linux/nfsd/xdr.h>
42 #include <linux/nfsd/syscall.h>
43 #include <linux/poll.h>
44 #include <linux/eventpoll.h>
45 #include <linux/personality.h>
46 #include <linux/ptrace.h>
47 #include <linux/stat.h>
48 #include <linux/ipc.h>
49 #include <linux/capability.h>
50 #include <linux/compat.h>
51 #include <linux/vfs.h>
52 #include <linux/mman.h>
53 #include <linux/mutex.h>
54
55 #include <asm/intrinsics.h>
56 #include <asm/types.h>
57 #include <asm/uaccess.h>
58 #include <asm/unistd.h>
59
60 #include "ia32priv.h"
61
62 #include <net/scm.h>
63 #include <net/sock.h>
64
65 #define DEBUG   0
66
67 #if DEBUG
68 # define DBG(fmt...)    printk(KERN_DEBUG fmt)
69 #else
70 # define DBG(fmt...)
71 #endif
72
73 #define ROUND_UP(x,a)   ((__typeof__(x))(((unsigned long)(x) + ((a) - 1)) & ~((a) - 1)))
74
75 #define OFFSET4K(a)             ((a) & 0xfff)
76 #define PAGE_START(addr)        ((addr) & PAGE_MASK)
77 #define MINSIGSTKSZ_IA32        2048
78
79 #define high2lowuid(uid) ((uid) > 65535 ? 65534 : (uid))
80 #define high2lowgid(gid) ((gid) > 65535 ? 65534 : (gid))
81
82 /*
83  * Anything that modifies or inspects ia32 user virtual memory must hold this semaphore
84  * while doing so.
85  */
86 /* XXX make per-mm: */
87 static DEFINE_MUTEX(ia32_mmap_mutex);
88
89 asmlinkage long
90 sys32_execve (char __user *name, compat_uptr_t __user *argv, compat_uptr_t __user *envp,
91               struct pt_regs *regs)
92 {
93         long error;
94         char *filename;
95         unsigned long old_map_base, old_task_size, tssd;
96
97         filename = getname(name);
98         error = PTR_ERR(filename);
99         if (IS_ERR(filename))
100                 return error;
101
102         old_map_base  = current->thread.map_base;
103         old_task_size = current->thread.task_size;
104         tssd = ia64_get_kr(IA64_KR_TSSD);
105
106         /* we may be exec'ing a 64-bit process: reset map base, task-size, and io-base: */
107         current->thread.map_base  = DEFAULT_MAP_BASE;
108         current->thread.task_size = DEFAULT_TASK_SIZE;
109         ia64_set_kr(IA64_KR_IO_BASE, current->thread.old_iob);
110         ia64_set_kr(IA64_KR_TSSD, current->thread.old_k1);
111
112         error = compat_do_execve(filename, argv, envp, regs);
113         putname(filename);
114
115         if (error < 0) {
116                 /* oops, execve failed, switch back to old values... */
117                 ia64_set_kr(IA64_KR_IO_BASE, IA32_IOBASE);
118                 ia64_set_kr(IA64_KR_TSSD, tssd);
119                 current->thread.map_base  = old_map_base;
120                 current->thread.task_size = old_task_size;
121         }
122
123         return error;
124 }
125
126 int cp_compat_stat(struct kstat *stat, struct compat_stat __user *ubuf)
127 {
128         compat_ino_t ino;
129         int err;
130
131         if ((u64) stat->size > MAX_NON_LFS ||
132             !old_valid_dev(stat->dev) ||
133             !old_valid_dev(stat->rdev))
134                 return -EOVERFLOW;
135
136         ino = stat->ino;
137         if (sizeof(ino) < sizeof(stat->ino) && ino != stat->ino)
138                 return -EOVERFLOW;
139
140         if (clear_user(ubuf, sizeof(*ubuf)))
141                 return -EFAULT;
142
143         err  = __put_user(old_encode_dev(stat->dev), &ubuf->st_dev);
144         err |= __put_user(ino, &ubuf->st_ino);
145         err |= __put_user(stat->mode, &ubuf->st_mode);
146         err |= __put_user(stat->nlink, &ubuf->st_nlink);
147         err |= __put_user(high2lowuid(stat->uid), &ubuf->st_uid);
148         err |= __put_user(high2lowgid(stat->gid), &ubuf->st_gid);
149         err |= __put_user(old_encode_dev(stat->rdev), &ubuf->st_rdev);
150         err |= __put_user(stat->size, &ubuf->st_size);
151         err |= __put_user(stat->atime.tv_sec, &ubuf->st_atime);
152         err |= __put_user(stat->atime.tv_nsec, &ubuf->st_atime_nsec);
153         err |= __put_user(stat->mtime.tv_sec, &ubuf->st_mtime);
154         err |= __put_user(stat->mtime.tv_nsec, &ubuf->st_mtime_nsec);
155         err |= __put_user(stat->ctime.tv_sec, &ubuf->st_ctime);
156         err |= __put_user(stat->ctime.tv_nsec, &ubuf->st_ctime_nsec);
157         err |= __put_user(stat->blksize, &ubuf->st_blksize);
158         err |= __put_user(stat->blocks, &ubuf->st_blocks);
159         return err;
160 }
161
162 #if PAGE_SHIFT > IA32_PAGE_SHIFT
163
164
165 static int
166 get_page_prot (struct vm_area_struct *vma, unsigned long addr)
167 {
168         int prot = 0;
169
170         if (!vma || vma->vm_start > addr)
171                 return 0;
172
173         if (vma->vm_flags & VM_READ)
174                 prot |= PROT_READ;
175         if (vma->vm_flags & VM_WRITE)
176                 prot |= PROT_WRITE;
177         if (vma->vm_flags & VM_EXEC)
178                 prot |= PROT_EXEC;
179         return prot;
180 }
181
182 /*
183  * Map a subpage by creating an anonymous page that contains the union of the old page and
184  * the subpage.
185  */
186 static unsigned long
187 mmap_subpage (struct file *file, unsigned long start, unsigned long end, int prot, int flags,
188               loff_t off)
189 {
190         void *page = NULL;
191         struct inode *inode;
192         unsigned long ret = 0;
193         struct vm_area_struct *vma = find_vma(current->mm, start);
194         int old_prot = get_page_prot(vma, start);
195
196         DBG("mmap_subpage(file=%p,start=0x%lx,end=0x%lx,prot=%x,flags=%x,off=0x%llx)\n",
197             file, start, end, prot, flags, off);
198
199
200         /* Optimize the case where the old mmap and the new mmap are both anonymous */
201         if ((old_prot & PROT_WRITE) && (flags & MAP_ANONYMOUS) && !vma->vm_file) {
202                 if (clear_user((void __user *) start, end - start)) {
203                         ret = -EFAULT;
204                         goto out;
205                 }
206                 goto skip_mmap;
207         }
208
209         page = (void *) get_zeroed_page(GFP_KERNEL);
210         if (!page)
211                 return -ENOMEM;
212
213         if (old_prot)
214                 copy_from_user(page, (void __user *) PAGE_START(start), PAGE_SIZE);
215
216         down_write(&current->mm->mmap_sem);
217         {
218                 ret = do_mmap(NULL, PAGE_START(start), PAGE_SIZE, prot | PROT_WRITE,
219                               flags | MAP_FIXED | MAP_ANONYMOUS, 0);
220         }
221         up_write(&current->mm->mmap_sem);
222
223         if (IS_ERR((void *) ret))
224                 goto out;
225
226         if (old_prot) {
227                 /* copy back the old page contents.  */
228                 if (offset_in_page(start))
229                         copy_to_user((void __user *) PAGE_START(start), page,
230                                      offset_in_page(start));
231                 if (offset_in_page(end))
232                         copy_to_user((void __user *) end, page + offset_in_page(end),
233                                      PAGE_SIZE - offset_in_page(end));
234         }
235
236         if (!(flags & MAP_ANONYMOUS)) {
237                 /* read the file contents */
238                 inode = file->f_dentry->d_inode;
239                 if (!inode->i_fop || !file->f_op->read
240                     || ((*file->f_op->read)(file, (char __user *) start, end - start, &off) < 0))
241                 {
242                         ret = -EINVAL;
243                         goto out;
244                 }
245         }
246
247  skip_mmap:
248         if (!(prot & PROT_WRITE))
249                 ret = sys_mprotect(PAGE_START(start), PAGE_SIZE, prot | old_prot);
250   out:
251         if (page)
252                 free_page((unsigned long) page);
253         return ret;
254 }
255
256 /* SLAB cache for partial_page structures */
257 kmem_cache_t *partial_page_cachep;
258
259 /*
260  * init partial_page_list.
261  * return 0 means kmalloc fail.
262  */
263 struct partial_page_list*
264 ia32_init_pp_list(void)
265 {
266         struct partial_page_list *p;
267
268         if ((p = kmalloc(sizeof(*p), GFP_KERNEL)) == NULL)
269                 return p;
270         p->pp_head = NULL;
271         p->ppl_rb = RB_ROOT;
272         p->pp_hint = NULL;
273         atomic_set(&p->pp_count, 1);
274         return p;
275 }
276
277 /*
278  * Search for the partial page with @start in partial page list @ppl.
279  * If finds the partial page, return the found partial page.
280  * Else, return 0 and provide @pprev, @rb_link, @rb_parent to
281  * be used by later __ia32_insert_pp().
282  */
283 static struct partial_page *
284 __ia32_find_pp(struct partial_page_list *ppl, unsigned int start,
285         struct partial_page **pprev, struct rb_node ***rb_link,
286         struct rb_node **rb_parent)
287 {
288         struct partial_page *pp;
289         struct rb_node **__rb_link, *__rb_parent, *rb_prev;
290
291         pp = ppl->pp_hint;
292         if (pp && pp->base == start)
293                 return pp;
294
295         __rb_link = &ppl->ppl_rb.rb_node;
296         rb_prev = __rb_parent = NULL;
297
298         while (*__rb_link) {
299                 __rb_parent = *__rb_link;
300                 pp = rb_entry(__rb_parent, struct partial_page, pp_rb);
301
302                 if (pp->base == start) {
303                         ppl->pp_hint = pp;
304                         return pp;
305                 } else if (pp->base < start) {
306                         rb_prev = __rb_parent;
307                         __rb_link = &__rb_parent->rb_right;
308                 } else {
309                         __rb_link = &__rb_parent->rb_left;
310                 }
311         }
312
313         *rb_link = __rb_link;
314         *rb_parent = __rb_parent;
315         *pprev = NULL;
316         if (rb_prev)
317                 *pprev = rb_entry(rb_prev, struct partial_page, pp_rb);
318         return NULL;
319 }
320
321 /*
322  * insert @pp into @ppl.
323  */
324 static void
325 __ia32_insert_pp(struct partial_page_list *ppl, struct partial_page *pp,
326          struct partial_page *prev, struct rb_node **rb_link,
327         struct rb_node *rb_parent)
328 {
329         /* link list */
330         if (prev) {
331                 pp->next = prev->next;
332                 prev->next = pp;
333         } else {
334                 ppl->pp_head = pp;
335                 if (rb_parent)
336                         pp->next = rb_entry(rb_parent,
337                                 struct partial_page, pp_rb);
338                 else
339                         pp->next = NULL;
340         }
341
342         /* link rb */
343         rb_link_node(&pp->pp_rb, rb_parent, rb_link);
344         rb_insert_color(&pp->pp_rb, &ppl->ppl_rb);
345
346         ppl->pp_hint = pp;
347 }
348
349 /*
350  * delete @pp from partial page list @ppl.
351  */
352 static void
353 __ia32_delete_pp(struct partial_page_list *ppl, struct partial_page *pp,
354         struct partial_page *prev)
355 {
356         if (prev) {
357                 prev->next = pp->next;
358                 if (ppl->pp_hint == pp)
359                         ppl->pp_hint = prev;
360         } else {
361                 ppl->pp_head = pp->next;
362                 if (ppl->pp_hint == pp)
363                         ppl->pp_hint = pp->next;
364         }
365         rb_erase(&pp->pp_rb, &ppl->ppl_rb);
366         kmem_cache_free(partial_page_cachep, pp);
367 }
368
369 static struct partial_page *
370 __pp_prev(struct partial_page *pp)
371 {
372         struct rb_node *prev = rb_prev(&pp->pp_rb);
373         if (prev)
374                 return rb_entry(prev, struct partial_page, pp_rb);
375         else
376                 return NULL;
377 }
378
379 /*
380  * Delete partial pages with address between @start and @end.
381  * @start and @end are page aligned.
382  */
383 static void
384 __ia32_delete_pp_range(unsigned int start, unsigned int end)
385 {
386         struct partial_page *pp, *prev;
387         struct rb_node **rb_link, *rb_parent;
388
389         if (start >= end)
390                 return;
391
392         pp = __ia32_find_pp(current->thread.ppl, start, &prev,
393                                         &rb_link, &rb_parent);
394         if (pp)
395                 prev = __pp_prev(pp);
396         else {
397                 if (prev)
398                         pp = prev->next;
399                 else
400                         pp = current->thread.ppl->pp_head;
401         }
402
403         while (pp && pp->base < end) {
404                 struct partial_page *tmp = pp->next;
405                 __ia32_delete_pp(current->thread.ppl, pp, prev);
406                 pp = tmp;
407         }
408 }
409
410 /*
411  * Set the range between @start and @end in bitmap.
412  * @start and @end should be IA32 page aligned and in the same IA64 page.
413  */
414 static int
415 __ia32_set_pp(unsigned int start, unsigned int end, int flags)
416 {
417         struct partial_page *pp, *prev;
418         struct rb_node ** rb_link, *rb_parent;
419         unsigned int pstart, start_bit, end_bit, i;
420
421         pstart = PAGE_START(start);
422         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
423         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
424         if (end_bit == 0)
425                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
426         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
427                                         &rb_link, &rb_parent);
428         if (pp) {
429                 for (i = start_bit; i < end_bit; i++)
430                         set_bit(i, &pp->bitmap);
431                 /*
432                  * Check: if this partial page has been set to a full page,
433                  * then delete it.
434                  */
435                 if (find_first_zero_bit(&pp->bitmap, sizeof(pp->bitmap)*8) >=
436                                 PAGE_SIZE/IA32_PAGE_SIZE) {
437                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
438                 }
439                 return 0;
440         }
441
442         /*
443          * MAP_FIXED may lead to overlapping mmap.
444          * In this case, the requested mmap area may already mmaped as a full
445          * page. So check vma before adding a new partial page.
446          */
447         if (flags & MAP_FIXED) {
448                 struct vm_area_struct *vma = find_vma(current->mm, pstart);
449                 if (vma && vma->vm_start <= pstart)
450                         return 0;
451         }
452
453         /* new a partial_page */
454         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
455         if (!pp)
456                 return -ENOMEM;
457         pp->base = pstart;
458         pp->bitmap = 0;
459         for (i=start_bit; i<end_bit; i++)
460                 set_bit(i, &(pp->bitmap));
461         pp->next = NULL;
462         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
463         return 0;
464 }
465
466 /*
467  * @start and @end should be IA32 page aligned, but don't need to be in the
468  * same IA64 page. Split @start and @end to make sure they're in the same IA64
469  * page, then call __ia32_set_pp().
470  */
471 static void
472 ia32_set_pp(unsigned int start, unsigned int end, int flags)
473 {
474         down_write(&current->mm->mmap_sem);
475         if (flags & MAP_FIXED) {
476                 /*
477                  * MAP_FIXED may lead to overlapping mmap. When this happens,
478                  * a series of complete IA64 pages results in deletion of
479                  * old partial pages in that range.
480                  */
481                 __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
482         }
483
484         if (end < PAGE_ALIGN(start)) {
485                 __ia32_set_pp(start, end, flags);
486         } else {
487                 if (offset_in_page(start))
488                         __ia32_set_pp(start, PAGE_ALIGN(start), flags);
489                 if (offset_in_page(end))
490                         __ia32_set_pp(PAGE_START(end), end, flags);
491         }
492         up_write(&current->mm->mmap_sem);
493 }
494
495 /*
496  * Unset the range between @start and @end in bitmap.
497  * @start and @end should be IA32 page aligned and in the same IA64 page.
498  * After doing that, if the bitmap is 0, then free the page and return 1,
499  *      else return 0;
500  * If not find the partial page in the list, then
501  *      If the vma exists, then the full page is set to a partial page;
502  *      Else return -ENOMEM.
503  */
504 static int
505 __ia32_unset_pp(unsigned int start, unsigned int end)
506 {
507         struct partial_page *pp, *prev;
508         struct rb_node ** rb_link, *rb_parent;
509         unsigned int pstart, start_bit, end_bit, i;
510         struct vm_area_struct *vma;
511
512         pstart = PAGE_START(start);
513         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
514         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
515         if (end_bit == 0)
516                 end_bit = PAGE_SIZE / IA32_PAGE_SIZE;
517
518         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
519                                         &rb_link, &rb_parent);
520         if (pp) {
521                 for (i = start_bit; i < end_bit; i++)
522                         clear_bit(i, &pp->bitmap);
523                 if (pp->bitmap == 0) {
524                         __ia32_delete_pp(current->thread.ppl, pp, __pp_prev(pp));
525                         return 1;
526                 }
527                 return 0;
528         }
529
530         vma = find_vma(current->mm, pstart);
531         if (!vma || vma->vm_start > pstart) {
532                 return -ENOMEM;
533         }
534
535         /* new a partial_page */
536         pp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
537         if (!pp)
538                 return -ENOMEM;
539         pp->base = pstart;
540         pp->bitmap = 0;
541         for (i = 0; i < start_bit; i++)
542                 set_bit(i, &(pp->bitmap));
543         for (i = end_bit; i < PAGE_SIZE / IA32_PAGE_SIZE; i++)
544                 set_bit(i, &(pp->bitmap));
545         pp->next = NULL;
546         __ia32_insert_pp(current->thread.ppl, pp, prev, rb_link, rb_parent);
547         return 0;
548 }
549
550 /*
551  * Delete pp between PAGE_ALIGN(start) and PAGE_START(end) by calling
552  * __ia32_delete_pp_range(). Unset possible partial pages by calling
553  * __ia32_unset_pp().
554  * The returned value see __ia32_unset_pp().
555  */
556 static int
557 ia32_unset_pp(unsigned int *startp, unsigned int *endp)
558 {
559         unsigned int start = *startp, end = *endp;
560         int ret = 0;
561
562         down_write(&current->mm->mmap_sem);
563
564         __ia32_delete_pp_range(PAGE_ALIGN(start), PAGE_START(end));
565
566         if (end < PAGE_ALIGN(start)) {
567                 ret = __ia32_unset_pp(start, end);
568                 if (ret == 1) {
569                         *startp = PAGE_START(start);
570                         *endp = PAGE_ALIGN(end);
571                 }
572                 if (ret == 0) {
573                         /* to shortcut sys_munmap() in sys32_munmap() */
574                         *startp = PAGE_START(start);
575                         *endp = PAGE_START(end);
576                 }
577         } else {
578                 if (offset_in_page(start)) {
579                         ret = __ia32_unset_pp(start, PAGE_ALIGN(start));
580                         if (ret == 1)
581                                 *startp = PAGE_START(start);
582                         if (ret == 0)
583                                 *startp = PAGE_ALIGN(start);
584                         if (ret < 0)
585                                 goto out;
586                 }
587                 if (offset_in_page(end)) {
588                         ret = __ia32_unset_pp(PAGE_START(end), end);
589                         if (ret == 1)
590                                 *endp = PAGE_ALIGN(end);
591                         if (ret == 0)
592                                 *endp = PAGE_START(end);
593                 }
594         }
595
596  out:
597         up_write(&current->mm->mmap_sem);
598         return ret;
599 }
600
601 /*
602  * Compare the range between @start and @end with bitmap in partial page.
603  * @start and @end should be IA32 page aligned and in the same IA64 page.
604  */
605 static int
606 __ia32_compare_pp(unsigned int start, unsigned int end)
607 {
608         struct partial_page *pp, *prev;
609         struct rb_node ** rb_link, *rb_parent;
610         unsigned int pstart, start_bit, end_bit, size;
611         unsigned int first_bit, next_zero_bit;  /* the first range in bitmap */
612
613         pstart = PAGE_START(start);
614
615         pp = __ia32_find_pp(current->thread.ppl, pstart, &prev,
616                                         &rb_link, &rb_parent);
617         if (!pp)
618                 return 1;
619
620         start_bit = (start % PAGE_SIZE) / IA32_PAGE_SIZE;
621         end_bit = (end % PAGE_SIZE) / IA32_PAGE_SIZE;
622         size = sizeof(pp->bitmap) * 8;
623         first_bit = find_first_bit(&pp->bitmap, size);
624         next_zero_bit = find_next_zero_bit(&pp->bitmap, size, first_bit);
625         if ((start_bit < first_bit) || (end_bit > next_zero_bit)) {
626                 /* exceeds the first range in bitmap */
627                 return -ENOMEM;
628         } else if ((start_bit == first_bit) && (end_bit == next_zero_bit)) {
629                 first_bit = find_next_bit(&pp->bitmap, size, next_zero_bit);
630                 if ((next_zero_bit < first_bit) && (first_bit < size))
631                         return 1;       /* has next range */
632                 else
633                         return 0;       /* no next range */
634         } else
635                 return 1;
636 }
637
638 /*
639  * @start and @end should be IA32 page aligned, but don't need to be in the
640  * same IA64 page. Split @start and @end to make sure they're in the same IA64
641  * page, then call __ia32_compare_pp().
642  *
643  * Take this as example: the range is the 1st and 2nd 4K page.
644  * Return 0 if they fit bitmap exactly, i.e. bitmap = 00000011;
645  * Return 1 if the range doesn't cover whole bitmap, e.g. bitmap = 00001111;
646  * Return -ENOMEM if the range exceeds the bitmap, e.g. bitmap = 00000001 or
647  *      bitmap = 00000101.
648  */
649 static int
650 ia32_compare_pp(unsigned int *startp, unsigned int *endp)
651 {
652         unsigned int start = *startp, end = *endp;
653         int retval = 0;
654
655         down_write(&current->mm->mmap_sem);
656
657         if (end < PAGE_ALIGN(start)) {
658                 retval = __ia32_compare_pp(start, end);
659                 if (retval == 0) {
660                         *startp = PAGE_START(start);
661                         *endp = PAGE_ALIGN(end);
662                 }
663         } else {
664                 if (offset_in_page(start)) {
665                         retval = __ia32_compare_pp(start,
666                                                    PAGE_ALIGN(start));
667                         if (retval == 0)
668                                 *startp = PAGE_START(start);
669                         if (retval < 0)
670                                 goto out;
671                 }
672                 if (offset_in_page(end)) {
673                         retval = __ia32_compare_pp(PAGE_START(end), end);
674                         if (retval == 0)
675                                 *endp = PAGE_ALIGN(end);
676                 }
677         }
678
679  out:
680         up_write(&current->mm->mmap_sem);
681         return retval;
682 }
683
684 static void
685 __ia32_drop_pp_list(struct partial_page_list *ppl)
686 {
687         struct partial_page *pp = ppl->pp_head;
688
689         while (pp) {
690                 struct partial_page *next = pp->next;
691                 kmem_cache_free(partial_page_cachep, pp);
692                 pp = next;
693         }
694
695         kfree(ppl);
696 }
697
698 void
699 ia32_drop_partial_page_list(struct task_struct *task)
700 {
701         struct partial_page_list* ppl = task->thread.ppl;
702
703         if (ppl && atomic_dec_and_test(&ppl->pp_count))
704                 __ia32_drop_pp_list(ppl);
705 }
706
707 /*
708  * Copy current->thread.ppl to ppl (already initialized).
709  */
710 static int
711 __ia32_copy_pp_list(struct partial_page_list *ppl)
712 {
713         struct partial_page *pp, *tmp, *prev;
714         struct rb_node **rb_link, *rb_parent;
715
716         ppl->pp_head = NULL;
717         ppl->pp_hint = NULL;
718         ppl->ppl_rb = RB_ROOT;
719         rb_link = &ppl->ppl_rb.rb_node;
720         rb_parent = NULL;
721         prev = NULL;
722
723         for (pp = current->thread.ppl->pp_head; pp; pp = pp->next) {
724                 tmp = kmem_cache_alloc(partial_page_cachep, GFP_KERNEL);
725                 if (!tmp)
726                         return -ENOMEM;
727                 *tmp = *pp;
728                 __ia32_insert_pp(ppl, tmp, prev, rb_link, rb_parent);
729                 prev = tmp;
730                 rb_link = &tmp->pp_rb.rb_right;
731                 rb_parent = &tmp->pp_rb;
732         }
733         return 0;
734 }
735
736 int
737 ia32_copy_partial_page_list(struct task_struct *p, unsigned long clone_flags)
738 {
739         int retval = 0;
740
741         if (clone_flags & CLONE_VM) {
742                 atomic_inc(&current->thread.ppl->pp_count);
743                 p->thread.ppl = current->thread.ppl;
744         } else {
745                 p->thread.ppl = ia32_init_pp_list();
746                 if (!p->thread.ppl)
747                         return -ENOMEM;
748                 down_write(&current->mm->mmap_sem);
749                 {
750                         retval = __ia32_copy_pp_list(p->thread.ppl);
751                 }
752                 up_write(&current->mm->mmap_sem);
753         }
754
755         return retval;
756 }
757
758 static unsigned long
759 emulate_mmap (struct file *file, unsigned long start, unsigned long len, int prot, int flags,
760               loff_t off)
761 {
762         unsigned long tmp, end, pend, pstart, ret, is_congruent, fudge = 0;
763         struct inode *inode;
764         loff_t poff;
765
766         end = start + len;
767         pstart = PAGE_START(start);
768         pend = PAGE_ALIGN(end);
769
770         if (flags & MAP_FIXED) {
771                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
772                 if (start > pstart) {
773                         if (flags & MAP_SHARED)
774                                 printk(KERN_INFO
775                                        "%s(%d): emulate_mmap() can't share head (addr=0x%lx)\n",
776                                        current->comm, current->pid, start);
777                         ret = mmap_subpage(file, start, min(PAGE_ALIGN(start), end), prot, flags,
778                                            off);
779                         if (IS_ERR((void *) ret))
780                                 return ret;
781                         pstart += PAGE_SIZE;
782                         if (pstart >= pend)
783                                 goto out;       /* done */
784                 }
785                 if (end < pend) {
786                         if (flags & MAP_SHARED)
787                                 printk(KERN_INFO
788                                        "%s(%d): emulate_mmap() can't share tail (end=0x%lx)\n",
789                                        current->comm, current->pid, end);
790                         ret = mmap_subpage(file, max(start, PAGE_START(end)), end, prot, flags,
791                                            (off + len) - offset_in_page(end));
792                         if (IS_ERR((void *) ret))
793                                 return ret;
794                         pend -= PAGE_SIZE;
795                         if (pstart >= pend)
796                                 goto out;       /* done */
797                 }
798         } else {
799                 /*
800                  * If a start address was specified, use it if the entire rounded out area
801                  * is available.
802                  */
803                 if (start && !pstart)
804                         fudge = 1;      /* handle case of mapping to range (0,PAGE_SIZE) */
805                 tmp = arch_get_unmapped_area(file, pstart - fudge, pend - pstart, 0, flags);
806                 if (tmp != pstart) {
807                         pstart = tmp;
808                         start = pstart + offset_in_page(off);   /* make start congruent with off */
809                         end = start + len;
810                         pend = PAGE_ALIGN(end);
811                 }
812         }
813
814         poff = off + (pstart - start);  /* note: (pstart - start) may be negative */
815         is_congruent = (flags & MAP_ANONYMOUS) || (offset_in_page(poff) == 0);
816
817         if ((flags & MAP_SHARED) && !is_congruent)
818                 printk(KERN_INFO "%s(%d): emulate_mmap() can't share contents of incongruent mmap "
819                        "(addr=0x%lx,off=0x%llx)\n", current->comm, current->pid, start, off);
820
821         DBG("mmap_body: mapping [0x%lx-0x%lx) %s with poff 0x%llx\n", pstart, pend,
822             is_congruent ? "congruent" : "not congruent", poff);
823
824         down_write(&current->mm->mmap_sem);
825         {
826                 if (!(flags & MAP_ANONYMOUS) && is_congruent)
827                         ret = do_mmap(file, pstart, pend - pstart, prot, flags | MAP_FIXED, poff);
828                 else
829                         ret = do_mmap(NULL, pstart, pend - pstart,
830                                       prot | ((flags & MAP_ANONYMOUS) ? 0 : PROT_WRITE),
831                                       flags | MAP_FIXED | MAP_ANONYMOUS, 0);
832         }
833         up_write(&current->mm->mmap_sem);
834
835         if (IS_ERR((void *) ret))
836                 return ret;
837
838         if (!is_congruent) {
839                 /* read the file contents */
840                 inode = file->f_dentry->d_inode;
841                 if (!inode->i_fop || !file->f_op->read
842                     || ((*file->f_op->read)(file, (char __user *) pstart, pend - pstart, &poff)
843                         < 0))
844                 {
845                         sys_munmap(pstart, pend - pstart);
846                         return -EINVAL;
847                 }
848                 if (!(prot & PROT_WRITE) && sys_mprotect(pstart, pend - pstart, prot) < 0)
849                         return -EINVAL;
850         }
851
852         if (!(flags & MAP_FIXED))
853                 ia32_set_pp((unsigned int)start, (unsigned int)end, flags);
854 out:
855         return start;
856 }
857
858 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
859
860 static inline unsigned int
861 get_prot32 (unsigned int prot)
862 {
863         if (prot & PROT_WRITE)
864                 /* on x86, PROT_WRITE implies PROT_READ which implies PROT_EEC */
865                 prot |= PROT_READ | PROT_WRITE | PROT_EXEC;
866         else if (prot & (PROT_READ | PROT_EXEC))
867                 /* on x86, there is no distinction between PROT_READ and PROT_EXEC */
868                 prot |= (PROT_READ | PROT_EXEC);
869
870         return prot;
871 }
872
873 unsigned long
874 ia32_do_mmap (struct file *file, unsigned long addr, unsigned long len, int prot, int flags,
875               loff_t offset)
876 {
877         DBG("ia32_do_mmap(file=%p,addr=0x%lx,len=0x%lx,prot=%x,flags=%x,offset=0x%llx)\n",
878             file, addr, len, prot, flags, offset);
879
880         if (file && (!file->f_op || !file->f_op->mmap))
881                 return -ENODEV;
882
883         len = IA32_PAGE_ALIGN(len);
884         if (len == 0)
885                 return addr;
886
887         if (len > IA32_PAGE_OFFSET || addr > IA32_PAGE_OFFSET - len)
888         {
889                 if (flags & MAP_FIXED)
890                         return -ENOMEM;
891                 else
892                 return -EINVAL;
893         }
894
895         if (OFFSET4K(offset))
896                 return -EINVAL;
897
898         prot = get_prot32(prot);
899
900 #if PAGE_SHIFT > IA32_PAGE_SHIFT
901         mutex_lock(&ia32_mmap_mutex);
902         {
903                 addr = emulate_mmap(file, addr, len, prot, flags, offset);
904         }
905         mutex_unlock(&ia32_mmap_mutex);
906 #else
907         down_write(&current->mm->mmap_sem);
908         {
909                 addr = do_mmap(file, addr, len, prot, flags, offset);
910         }
911         up_write(&current->mm->mmap_sem);
912 #endif
913         DBG("ia32_do_mmap: returning 0x%lx\n", addr);
914         return addr;
915 }
916
917 /*
918  * Linux/i386 didn't use to be able to handle more than 4 system call parameters, so these
919  * system calls used a memory block for parameter passing..
920  */
921
922 struct mmap_arg_struct {
923         unsigned int addr;
924         unsigned int len;
925         unsigned int prot;
926         unsigned int flags;
927         unsigned int fd;
928         unsigned int offset;
929 };
930
931 asmlinkage long
932 sys32_mmap (struct mmap_arg_struct __user *arg)
933 {
934         struct mmap_arg_struct a;
935         struct file *file = NULL;
936         unsigned long addr;
937         int flags;
938
939         if (copy_from_user(&a, arg, sizeof(a)))
940                 return -EFAULT;
941
942         if (OFFSET4K(a.offset))
943                 return -EINVAL;
944
945         flags = a.flags;
946
947         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
948         if (!(flags & MAP_ANONYMOUS)) {
949                 file = fget(a.fd);
950                 if (!file)
951                         return -EBADF;
952         }
953
954         addr = ia32_do_mmap(file, a.addr, a.len, a.prot, flags, a.offset);
955
956         if (file)
957                 fput(file);
958         return addr;
959 }
960
961 asmlinkage long
962 sys32_mmap2 (unsigned int addr, unsigned int len, unsigned int prot, unsigned int flags,
963              unsigned int fd, unsigned int pgoff)
964 {
965         struct file *file = NULL;
966         unsigned long retval;
967
968         flags &= ~(MAP_EXECUTABLE | MAP_DENYWRITE);
969         if (!(flags & MAP_ANONYMOUS)) {
970                 file = fget(fd);
971                 if (!file)
972                         return -EBADF;
973         }
974
975         retval = ia32_do_mmap(file, addr, len, prot, flags,
976                               (unsigned long) pgoff << IA32_PAGE_SHIFT);
977
978         if (file)
979                 fput(file);
980         return retval;
981 }
982
983 asmlinkage long
984 sys32_munmap (unsigned int start, unsigned int len)
985 {
986         unsigned int end = start + len;
987         long ret;
988
989 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
990         ret = sys_munmap(start, end - start);
991 #else
992         if (OFFSET4K(start))
993                 return -EINVAL;
994
995         end = IA32_PAGE_ALIGN(end);
996         if (start >= end)
997                 return -EINVAL;
998
999         ret = ia32_unset_pp(&start, &end);
1000         if (ret < 0)
1001                 return ret;
1002
1003         if (start >= end)
1004                 return 0;
1005
1006         mutex_lock(&ia32_mmap_mutex);
1007         ret = sys_munmap(start, end - start);
1008         mutex_unlock(&ia32_mmap_mutex);
1009 #endif
1010         return ret;
1011 }
1012
1013 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1014
1015 /*
1016  * When mprotect()ing a partial page, we set the permission to the union of the old
1017  * settings and the new settings.  In other words, it's only possible to make access to a
1018  * partial page less restrictive.
1019  */
1020 static long
1021 mprotect_subpage (unsigned long address, int new_prot)
1022 {
1023         int old_prot;
1024         struct vm_area_struct *vma;
1025
1026         if (new_prot == PROT_NONE)
1027                 return 0;               /* optimize case where nothing changes... */
1028         vma = find_vma(current->mm, address);
1029         old_prot = get_page_prot(vma, address);
1030         return sys_mprotect(address, PAGE_SIZE, new_prot | old_prot);
1031 }
1032
1033 #endif /* PAGE_SHIFT > IA32_PAGE_SHIFT */
1034
1035 asmlinkage long
1036 sys32_mprotect (unsigned int start, unsigned int len, int prot)
1037 {
1038         unsigned int end = start + len;
1039 #if PAGE_SHIFT > IA32_PAGE_SHIFT
1040         long retval = 0;
1041 #endif
1042
1043         prot = get_prot32(prot);
1044
1045 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1046         return sys_mprotect(start, end - start, prot);
1047 #else
1048         if (OFFSET4K(start))
1049                 return -EINVAL;
1050
1051         end = IA32_PAGE_ALIGN(end);
1052         if (end < start)
1053                 return -EINVAL;
1054
1055         retval = ia32_compare_pp(&start, &end);
1056
1057         if (retval < 0)
1058                 return retval;
1059
1060         mutex_lock(&ia32_mmap_mutex);
1061         {
1062                 if (offset_in_page(start)) {
1063                         /* start address is 4KB aligned but not page aligned. */
1064                         retval = mprotect_subpage(PAGE_START(start), prot);
1065                         if (retval < 0)
1066                                 goto out;
1067
1068                         start = PAGE_ALIGN(start);
1069                         if (start >= end)
1070                                 goto out;       /* retval is already zero... */
1071                 }
1072
1073                 if (offset_in_page(end)) {
1074                         /* end address is 4KB aligned but not page aligned. */
1075                         retval = mprotect_subpage(PAGE_START(end), prot);
1076                         if (retval < 0)
1077                                 goto out;
1078
1079                         end = PAGE_START(end);
1080                 }
1081                 retval = sys_mprotect(start, end - start, prot);
1082         }
1083   out:
1084         mutex_unlock(&ia32_mmap_mutex);
1085         return retval;
1086 #endif
1087 }
1088
1089 asmlinkage long
1090 sys32_mremap (unsigned int addr, unsigned int old_len, unsigned int new_len,
1091                 unsigned int flags, unsigned int new_addr)
1092 {
1093         long ret;
1094
1095 #if PAGE_SHIFT <= IA32_PAGE_SHIFT
1096         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1097 #else
1098         unsigned int old_end, new_end;
1099
1100         if (OFFSET4K(addr))
1101                 return -EINVAL;
1102
1103         old_len = IA32_PAGE_ALIGN(old_len);
1104         new_len = IA32_PAGE_ALIGN(new_len);
1105         old_end = addr + old_len;
1106         new_end = addr + new_len;
1107
1108         if (!new_len)
1109                 return -EINVAL;
1110
1111         if ((flags & MREMAP_FIXED) && (OFFSET4K(new_addr)))
1112                 return -EINVAL;
1113
1114         if (old_len >= new_len) {
1115                 ret = sys32_munmap(addr + new_len, old_len - new_len);
1116                 if (ret && old_len != new_len)
1117                         return ret;
1118                 ret = addr;
1119                 if (!(flags & MREMAP_FIXED) || (new_addr == addr))
1120                         return ret;
1121                 old_len = new_len;
1122         }
1123
1124         addr = PAGE_START(addr);
1125         old_len = PAGE_ALIGN(old_end) - addr;
1126         new_len = PAGE_ALIGN(new_end) - addr;
1127
1128         mutex_lock(&ia32_mmap_mutex);
1129         ret = sys_mremap(addr, old_len, new_len, flags, new_addr);
1130         mutex_unlock(&ia32_mmap_mutex);
1131
1132         if ((ret >= 0) && (old_len < new_len)) {
1133                 /* mremap expanded successfully */
1134                 ia32_set_pp(old_end, new_end, flags);
1135         }
1136 #endif
1137         return ret;
1138 }
1139
1140 asmlinkage long
1141 sys32_pipe (int __user *fd)
1142 {
1143         int retval;
1144         int fds[2];
1145
1146         retval = do_pipe(fds);
1147         if (retval)
1148                 goto out;
1149         if (copy_to_user(fd, fds, sizeof(fds)))
1150                 retval = -EFAULT;
1151   out:
1152         return retval;
1153 }
1154
1155 static inline long
1156 get_tv32 (struct timeval *o, struct compat_timeval __user *i)
1157 {
1158         return (!access_ok(VERIFY_READ, i, sizeof(*i)) ||
1159                 (__get_user(o->tv_sec, &i->tv_sec) | __get_user(o->tv_usec, &i->tv_usec)));
1160 }
1161
1162 static inline long
1163 put_tv32 (struct compat_timeval __user *o, struct timeval *i)
1164 {
1165         return (!access_ok(VERIFY_WRITE, o, sizeof(*o)) ||
1166                 (__put_user(i->tv_sec, &o->tv_sec) | __put_user(i->tv_usec, &o->tv_usec)));
1167 }
1168
1169 asmlinkage unsigned long
1170 sys32_alarm (unsigned int seconds)
1171 {
1172         return alarm_setitimer(seconds);
1173 }
1174
1175 /* Translations due to time_t size differences.  Which affects all
1176    sorts of things, like timeval and itimerval.  */
1177
1178 extern struct timezone sys_tz;
1179
1180 asmlinkage long
1181 sys32_gettimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1182 {
1183         if (tv) {
1184                 struct timeval ktv;
1185                 do_gettimeofday(&ktv);
1186                 if (put_tv32(tv, &ktv))
1187                         return -EFAULT;
1188         }
1189         if (tz) {
1190                 if (copy_to_user(tz, &sys_tz, sizeof(sys_tz)))
1191                         return -EFAULT;
1192         }
1193         return 0;
1194 }
1195
1196 asmlinkage long
1197 sys32_settimeofday (struct compat_timeval __user *tv, struct timezone __user *tz)
1198 {
1199         struct timeval ktv;
1200         struct timespec kts;
1201         struct timezone ktz;
1202
1203         if (tv) {
1204                 if (get_tv32(&ktv, tv))
1205                         return -EFAULT;
1206                 kts.tv_sec = ktv.tv_sec;
1207                 kts.tv_nsec = ktv.tv_usec * 1000;
1208         }
1209         if (tz) {
1210                 if (copy_from_user(&ktz, tz, sizeof(ktz)))
1211                         return -EFAULT;
1212         }
1213
1214         return do_sys_settimeofday(tv ? &kts : NULL, tz ? &ktz : NULL);
1215 }
1216
1217 struct getdents32_callback {
1218         struct compat_dirent __user *current_dir;
1219         struct compat_dirent __user *previous;
1220         int count;
1221         int error;
1222 };
1223
1224 struct readdir32_callback {
1225         struct old_linux32_dirent __user * dirent;
1226         int count;
1227 };
1228
1229 static int
1230 filldir32 (void *__buf, const char *name, int namlen, loff_t offset, u64 ino,
1231            unsigned int d_type)
1232 {
1233         struct compat_dirent __user * dirent;
1234         struct getdents32_callback * buf = (struct getdents32_callback *) __buf;
1235         int reclen = ROUND_UP(offsetof(struct compat_dirent, d_name) + namlen + 1, 4);
1236         u32 d_ino;
1237
1238         buf->error = -EINVAL;   /* only used if we fail.. */
1239         if (reclen > buf->count)
1240                 return -EINVAL;
1241         d_ino = ino;
1242         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino)
1243                 return -EOVERFLOW;
1244         buf->error = -EFAULT;   /* only used if we fail.. */
1245         dirent = buf->previous;
1246         if (dirent)
1247                 if (put_user(offset, &dirent->d_off))
1248                         return -EFAULT;
1249         dirent = buf->current_dir;
1250         buf->previous = dirent;
1251         if (put_user(d_ino, &dirent->d_ino)
1252             || put_user(reclen, &dirent->d_reclen)
1253             || copy_to_user(dirent->d_name, name, namlen)
1254             || put_user(0, dirent->d_name + namlen))
1255                 return -EFAULT;
1256         dirent = (struct compat_dirent __user *) ((char __user *) dirent + reclen);
1257         buf->current_dir = dirent;
1258         buf->count -= reclen;
1259         return 0;
1260 }
1261
1262 asmlinkage long
1263 sys32_getdents (unsigned int fd, struct compat_dirent __user *dirent, unsigned int count)
1264 {
1265         struct file * file;
1266         struct compat_dirent __user * lastdirent;
1267         struct getdents32_callback buf;
1268         int error;
1269
1270         error = -EBADF;
1271         file = fget(fd);
1272         if (!file)
1273                 goto out;
1274
1275         buf.current_dir = dirent;
1276         buf.previous = NULL;
1277         buf.count = count;
1278         buf.error = 0;
1279
1280         error = vfs_readdir(file, filldir32, &buf);
1281         if (error < 0)
1282                 goto out_putf;
1283         error = buf.error;
1284         lastdirent = buf.previous;
1285         if (lastdirent) {
1286                 error = -EINVAL;
1287                 if (put_user(file->f_pos, &lastdirent->d_off))
1288                         goto out_putf;
1289                 error = count - buf.count;
1290         }
1291
1292 out_putf:
1293         fput(file);
1294 out:
1295         return error;
1296 }
1297
1298 static int
1299 fillonedir32 (void * __buf, const char * name, int namlen, loff_t offset, u64 ino,
1300               unsigned int d_type)
1301 {
1302         struct readdir32_callback * buf = (struct readdir32_callback *) __buf;
1303         struct old_linux32_dirent __user * dirent;
1304         u32 d_ino;
1305
1306         if (buf->count)
1307                 return -EINVAL;
1308         d_ino = ino;
1309         if (sizeof(d_ino) < sizeof(ino) && d_ino != ino)
1310                 return -EOVERFLOW;
1311         buf->count++;
1312         dirent = buf->dirent;
1313         if (put_user(d_ino, &dirent->d_ino)
1314             || put_user(offset, &dirent->d_offset)
1315             || put_user(namlen, &dirent->d_namlen)
1316             || copy_to_user(dirent->d_name, name, namlen)
1317             || put_user(0, dirent->d_name + namlen))
1318                 return -EFAULT;
1319         return 0;
1320 }
1321
1322 asmlinkage long
1323 sys32_readdir (unsigned int fd, void __user *dirent, unsigned int count)
1324 {
1325         int error;
1326         struct file * file;
1327         struct readdir32_callback buf;
1328
1329         error = -EBADF;
1330         file = fget(fd);
1331         if (!file)
1332                 goto out;
1333
1334         buf.count = 0;
1335         buf.dirent = dirent;
1336
1337         error = vfs_readdir(file, fillonedir32, &buf);
1338         if (error >= 0)
1339                 error = buf.count;
1340         fput(file);
1341 out:
1342         return error;
1343 }
1344
1345 struct sel_arg_struct {
1346         unsigned int n;
1347         unsigned int inp;
1348         unsigned int outp;
1349         unsigned int exp;
1350         unsigned int tvp;
1351 };
1352
1353 asmlinkage long
1354 sys32_old_select (struct sel_arg_struct __user *arg)
1355 {
1356         struct sel_arg_struct a;
1357
1358         if (copy_from_user(&a, arg, sizeof(a)))
1359                 return -EFAULT;
1360         return compat_sys_select(a.n, compat_ptr(a.inp), compat_ptr(a.outp),
1361                                  compat_ptr(a.exp), compat_ptr(a.tvp));
1362 }
1363
1364 #define SEMOP            1
1365 #define SEMGET           2
1366 #define SEMCTL           3
1367 #define SEMTIMEDOP       4
1368 #define MSGSND          11
1369 #define MSGRCV          12
1370 #define MSGGET          13
1371 #define MSGCTL          14
1372 #define SHMAT           21
1373 #define SHMDT           22
1374 #define SHMGET          23
1375 #define SHMCTL          24
1376
1377 asmlinkage long
1378 sys32_ipc(u32 call, int first, int second, int third, u32 ptr, u32 fifth)
1379 {
1380         int version;
1381
1382         version = call >> 16; /* hack for backward compatibility */
1383         call &= 0xffff;
1384
1385         switch (call) {
1386               case SEMTIMEDOP:
1387                 if (fifth)
1388                         return compat_sys_semtimedop(first, compat_ptr(ptr),
1389                                 second, compat_ptr(fifth));
1390                 /* else fall through for normal semop() */
1391               case SEMOP:
1392                 /* struct sembuf is the same on 32 and 64bit :)) */
1393                 return sys_semtimedop(first, compat_ptr(ptr), second,
1394                                       NULL);
1395               case SEMGET:
1396                 return sys_semget(first, second, third);
1397               case SEMCTL:
1398                 return compat_sys_semctl(first, second, third, compat_ptr(ptr));
1399
1400               case MSGSND:
1401                 return compat_sys_msgsnd(first, second, third, compat_ptr(ptr));
1402               case MSGRCV:
1403                 return compat_sys_msgrcv(first, second, fifth, third, version, compat_ptr(ptr));
1404               case MSGGET:
1405                 return sys_msgget((key_t) first, second);
1406               case MSGCTL:
1407                 return compat_sys_msgctl(first, second, compat_ptr(ptr));
1408
1409               case SHMAT:
1410                 return compat_sys_shmat(first, second, third, version, compat_ptr(ptr));
1411                 break;
1412               case SHMDT:
1413                 return sys_shmdt(compat_ptr(ptr));
1414               case SHMGET:
1415                 return sys_shmget(first, (unsigned)second, third);
1416               case SHMCTL:
1417                 return compat_sys_shmctl(first, second, compat_ptr(ptr));
1418
1419               default:
1420                 return -ENOSYS;
1421         }
1422         return -EINVAL;
1423 }
1424
1425 asmlinkage long
1426 compat_sys_wait4 (compat_pid_t pid, compat_uint_t * stat_addr, int options,
1427                  struct compat_rusage *ru);
1428
1429 asmlinkage long
1430 sys32_waitpid (int pid, unsigned int *stat_addr, int options)
1431 {
1432         return compat_sys_wait4(pid, stat_addr, options, NULL);
1433 }
1434
1435 /*
1436  *  The order in which registers are stored in the ptrace regs structure
1437  */
1438 #define PT_EBX  0
1439 #define PT_ECX  1
1440 #define PT_EDX  2
1441 #define PT_ESI  3
1442 #define PT_EDI  4
1443 #define PT_EBP  5
1444 #define PT_EAX  6
1445 #define PT_DS   7
1446 #define PT_ES   8
1447 #define PT_FS   9
1448 #define PT_GS   10
1449 #define PT_ORIG_EAX 11
1450 #define PT_EIP  12
1451 #define PT_CS   13
1452 #define PT_EFL  14
1453 #define PT_UESP 15
1454 #define PT_SS   16
1455
1456 static unsigned int
1457 getreg (struct task_struct *child, int regno)
1458 {
1459         struct pt_regs *child_regs;
1460
1461         child_regs = task_pt_regs(child);
1462         switch (regno / sizeof(int)) {
1463               case PT_EBX: return child_regs->r11;
1464               case PT_ECX: return child_regs->r9;
1465               case PT_EDX: return child_regs->r10;
1466               case PT_ESI: return child_regs->r14;
1467               case PT_EDI: return child_regs->r15;
1468               case PT_EBP: return child_regs->r13;
1469               case PT_EAX: return child_regs->r8;
1470               case PT_ORIG_EAX: return child_regs->r1; /* see dispatch_to_ia32_handler() */
1471               case PT_EIP: return child_regs->cr_iip;
1472               case PT_UESP: return child_regs->r12;
1473               case PT_EFL: return child->thread.eflag;
1474               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1475                 return __USER_DS;
1476               case PT_CS: return __USER_CS;
1477               default:
1478                 printk(KERN_ERR "ia32.getreg(): unknown register %d\n", regno);
1479                 break;
1480         }
1481         return 0;
1482 }
1483
1484 static void
1485 putreg (struct task_struct *child, int regno, unsigned int value)
1486 {
1487         struct pt_regs *child_regs;
1488
1489         child_regs = task_pt_regs(child);
1490         switch (regno / sizeof(int)) {
1491               case PT_EBX: child_regs->r11 = value; break;
1492               case PT_ECX: child_regs->r9 = value; break;
1493               case PT_EDX: child_regs->r10 = value; break;
1494               case PT_ESI: child_regs->r14 = value; break;
1495               case PT_EDI: child_regs->r15 = value; break;
1496               case PT_EBP: child_regs->r13 = value; break;
1497               case PT_EAX: child_regs->r8 = value; break;
1498               case PT_ORIG_EAX: child_regs->r1 = value; break;
1499               case PT_EIP: child_regs->cr_iip = value; break;
1500               case PT_UESP: child_regs->r12 = value; break;
1501               case PT_EFL: child->thread.eflag = value; break;
1502               case PT_DS: case PT_ES: case PT_FS: case PT_GS: case PT_SS:
1503                 if (value != __USER_DS)
1504                         printk(KERN_ERR
1505                                "ia32.putreg: attempt to set invalid segment register %d = %x\n",
1506                                regno, value);
1507                 break;
1508               case PT_CS:
1509                 if (value != __USER_CS)
1510                         printk(KERN_ERR
1511                                "ia32.putreg: attempt to to set invalid segment register %d = %x\n",
1512                                regno, value);
1513                 break;
1514               default:
1515                 printk(KERN_ERR "ia32.putreg: unknown register %d\n", regno);
1516                 break;
1517         }
1518 }
1519
1520 static void
1521 put_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1522            struct switch_stack *swp, int tos)
1523 {
1524         struct _fpreg_ia32 *f;
1525         char buf[32];
1526
1527         f = (struct _fpreg_ia32 *)(((unsigned long)buf + 15) & ~15);
1528         if ((regno += tos) >= 8)
1529                 regno -= 8;
1530         switch (regno) {
1531               case 0:
1532                 ia64f2ia32f(f, &ptp->f8);
1533                 break;
1534               case 1:
1535                 ia64f2ia32f(f, &ptp->f9);
1536                 break;
1537               case 2:
1538                 ia64f2ia32f(f, &ptp->f10);
1539                 break;
1540               case 3:
1541                 ia64f2ia32f(f, &ptp->f11);
1542                 break;
1543               case 4:
1544               case 5:
1545               case 6:
1546               case 7:
1547                 ia64f2ia32f(f, &swp->f12 + (regno - 4));
1548                 break;
1549         }
1550         copy_to_user(reg, f, sizeof(*reg));
1551 }
1552
1553 static void
1554 get_fpreg (int regno, struct _fpreg_ia32 __user *reg, struct pt_regs *ptp,
1555            struct switch_stack *swp, int tos)
1556 {
1557
1558         if ((regno += tos) >= 8)
1559                 regno -= 8;
1560         switch (regno) {
1561               case 0:
1562                 copy_from_user(&ptp->f8, reg, sizeof(*reg));
1563                 break;
1564               case 1:
1565                 copy_from_user(&ptp->f9, reg, sizeof(*reg));
1566                 break;
1567               case 2:
1568                 copy_from_user(&ptp->f10, reg, sizeof(*reg));
1569                 break;
1570               case 3:
1571                 copy_from_user(&ptp->f11, reg, sizeof(*reg));
1572                 break;
1573               case 4:
1574               case 5:
1575               case 6:
1576               case 7:
1577                 copy_from_user(&swp->f12 + (regno - 4), reg, sizeof(*reg));
1578                 break;
1579         }
1580         return;
1581 }
1582
1583 int
1584 save_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1585 {
1586         struct switch_stack *swp;
1587         struct pt_regs *ptp;
1588         int i, tos;
1589
1590         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1591                 return -EFAULT;
1592
1593         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1594         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1595         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1596         __put_user(tsk->thread.fir, &save->fip);
1597         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1598         __put_user(tsk->thread.fdr, &save->foo);
1599         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1600
1601         /*
1602          *  Stack frames start with 16-bytes of temp space
1603          */
1604         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1605         ptp = task_pt_regs(tsk);
1606         tos = (tsk->thread.fsr >> 11) & 7;
1607         for (i = 0; i < 8; i++)
1608                 put_fpreg(i, &save->st_space[i], ptp, swp, tos);
1609         return 0;
1610 }
1611
1612 static int
1613 restore_ia32_fpstate (struct task_struct *tsk, struct ia32_user_i387_struct __user *save)
1614 {
1615         struct switch_stack *swp;
1616         struct pt_regs *ptp;
1617         int i, tos;
1618         unsigned int fsrlo, fsrhi, num32;
1619
1620         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1621                 return(-EFAULT);
1622
1623         __get_user(num32, (unsigned int __user *)&save->cwd);
1624         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1625         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1626         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1627         num32 = (fsrhi << 16) | fsrlo;
1628         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1629         __get_user(num32, (unsigned int __user *)&save->fip);
1630         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1631         __get_user(num32, (unsigned int __user *)&save->foo);
1632         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1633
1634         /*
1635          *  Stack frames start with 16-bytes of temp space
1636          */
1637         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1638         ptp = task_pt_regs(tsk);
1639         tos = (tsk->thread.fsr >> 11) & 7;
1640         for (i = 0; i < 8; i++)
1641                 get_fpreg(i, &save->st_space[i], ptp, swp, tos);
1642         return 0;
1643 }
1644
1645 int
1646 save_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1647 {
1648         struct switch_stack *swp;
1649         struct pt_regs *ptp;
1650         int i, tos;
1651         unsigned long mxcsr=0;
1652         unsigned long num128[2];
1653
1654         if (!access_ok(VERIFY_WRITE, save, sizeof(*save)))
1655                 return -EFAULT;
1656
1657         __put_user(tsk->thread.fcr & 0xffff, &save->cwd);
1658         __put_user(tsk->thread.fsr & 0xffff, &save->swd);
1659         __put_user((tsk->thread.fsr>>16) & 0xffff, &save->twd);
1660         __put_user(tsk->thread.fir, &save->fip);
1661         __put_user((tsk->thread.fir>>32) & 0xffff, &save->fcs);
1662         __put_user(tsk->thread.fdr, &save->foo);
1663         __put_user((tsk->thread.fdr>>32) & 0xffff, &save->fos);
1664
1665         /*
1666          *  Stack frames start with 16-bytes of temp space
1667          */
1668         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1669         ptp = task_pt_regs(tsk);
1670         tos = (tsk->thread.fsr >> 11) & 7;
1671         for (i = 0; i < 8; i++)
1672                 put_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1673
1674         mxcsr = ((tsk->thread.fcr>>32) & 0xff80) | ((tsk->thread.fsr>>32) & 0x3f);
1675         __put_user(mxcsr & 0xffff, &save->mxcsr);
1676         for (i = 0; i < 8; i++) {
1677                 memcpy(&(num128[0]), &(swp->f16) + i*2, sizeof(unsigned long));
1678                 memcpy(&(num128[1]), &(swp->f17) + i*2, sizeof(unsigned long));
1679                 copy_to_user(&save->xmm_space[0] + 4*i, num128, sizeof(struct _xmmreg_ia32));
1680         }
1681         return 0;
1682 }
1683
1684 static int
1685 restore_ia32_fpxstate (struct task_struct *tsk, struct ia32_user_fxsr_struct __user *save)
1686 {
1687         struct switch_stack *swp;
1688         struct pt_regs *ptp;
1689         int i, tos;
1690         unsigned int fsrlo, fsrhi, num32;
1691         int mxcsr;
1692         unsigned long num64;
1693         unsigned long num128[2];
1694
1695         if (!access_ok(VERIFY_READ, save, sizeof(*save)))
1696                 return(-EFAULT);
1697
1698         __get_user(num32, (unsigned int __user *)&save->cwd);
1699         tsk->thread.fcr = (tsk->thread.fcr & (~0x1f3f)) | (num32 & 0x1f3f);
1700         __get_user(fsrlo, (unsigned int __user *)&save->swd);
1701         __get_user(fsrhi, (unsigned int __user *)&save->twd);
1702         num32 = (fsrhi << 16) | fsrlo;
1703         tsk->thread.fsr = (tsk->thread.fsr & (~0xffffffff)) | num32;
1704         __get_user(num32, (unsigned int __user *)&save->fip);
1705         tsk->thread.fir = (tsk->thread.fir & (~0xffffffff)) | num32;
1706         __get_user(num32, (unsigned int __user *)&save->foo);
1707         tsk->thread.fdr = (tsk->thread.fdr & (~0xffffffff)) | num32;
1708
1709         /*
1710          *  Stack frames start with 16-bytes of temp space
1711          */
1712         swp = (struct switch_stack *)(tsk->thread.ksp + 16);
1713         ptp = task_pt_regs(tsk);
1714         tos = (tsk->thread.fsr >> 11) & 7;
1715         for (i = 0; i < 8; i++)
1716         get_fpreg(i, (struct _fpreg_ia32 __user *)&save->st_space[4*i], ptp, swp, tos);
1717
1718         __get_user(mxcsr, (unsigned int __user *)&save->mxcsr);
1719         num64 = mxcsr & 0xff10;
1720         tsk->thread.fcr = (tsk->thread.fcr & (~0xff1000000000UL)) | (num64<<32);
1721         num64 = mxcsr & 0x3f;
1722         tsk->thread.fsr = (tsk->thread.fsr & (~0x3f00000000UL)) | (num64<<32);
1723
1724         for (i = 0; i < 8; i++) {
1725                 copy_from_user(num128, &save->xmm_space[0] + 4*i, sizeof(struct _xmmreg_ia32));
1726                 memcpy(&(swp->f16) + i*2, &(num128[0]), sizeof(unsigned long));
1727                 memcpy(&(swp->f17) + i*2, &(num128[1]), sizeof(unsigned long));
1728         }
1729         return 0;
1730 }
1731
1732 #if 0                           /* XXX */
1733 asmlinkage long
1734 sys32_ptrace (int request, pid_t pid, unsigned int addr, unsigned int data)
1735 {
1736         struct task_struct *child;
1737         unsigned int value, tmp;
1738         long i, ret;
1739
1740         lock_kernel();
1741         if (request == PTRACE_TRACEME) {
1742                 ret = ptrace_traceme();
1743                 goto out;
1744         }
1745
1746         child = ptrace_get_task_struct(pid);
1747         if (IS_ERR(child)) {
1748                 ret = PTR_ERR(child);
1749                 goto out;
1750         }
1751
1752         if (request == PTRACE_ATTACH) {
1753                 ret = sys_ptrace(request, pid, addr, data);
1754                 goto out_tsk;
1755         }
1756
1757         ret = ptrace_check_attach(child, request == PTRACE_KILL);
1758         if (ret < 0)
1759                 goto out_tsk;
1760
1761         switch (request) {
1762               case PTRACE_PEEKTEXT:
1763               case PTRACE_PEEKDATA:     /* read word at location addr */
1764                 ret = ia32_peek(child, addr, &value);
1765                 if (ret == 0)
1766                         ret = put_user(value, (unsigned int __user *) compat_ptr(data));
1767                 else
1768                         ret = -EIO;
1769                 goto out_tsk;
1770
1771               case PTRACE_POKETEXT:
1772               case PTRACE_POKEDATA:     /* write the word at location addr */
1773                 ret = ia32_poke(child, addr, data);
1774                 goto out_tsk;
1775
1776               case PTRACE_PEEKUSR:      /* read word at addr in USER area */
1777                 ret = -EIO;
1778                 if ((addr & 3) || addr > 17*sizeof(int))
1779                         break;
1780
1781                 tmp = getreg(child, addr);
1782                 if (!put_user(tmp, (unsigned int __user *) compat_ptr(data)))
1783                         ret = 0;
1784                 break;
1785
1786               case PTRACE_POKEUSR:      /* write word at addr in USER area */
1787                 ret = -EIO;
1788                 if ((addr & 3) || addr > 17*sizeof(int))
1789                         break;
1790
1791                 putreg(child, addr, data);
1792                 ret = 0;
1793                 break;
1794
1795               case IA32_PTRACE_GETREGS:
1796                 if (!access_ok(VERIFY_WRITE, compat_ptr(data), 17*sizeof(int))) {
1797                         ret = -EIO;
1798                         break;
1799                 }
1800                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1801                         put_user(getreg(child, i), (unsigned int __user *) compat_ptr(data));
1802                         data += sizeof(int);
1803                 }
1804                 ret = 0;
1805                 break;
1806
1807               case IA32_PTRACE_SETREGS:
1808                 if (!access_ok(VERIFY_READ, compat_ptr(data), 17*sizeof(int))) {
1809                         ret = -EIO;
1810                         break;
1811                 }
1812                 for (i = 0; i < (int) (17*sizeof(int)); i += sizeof(int) ) {
1813                         get_user(tmp, (unsigned int __user *) compat_ptr(data));
1814                         putreg(child, i, tmp);
1815                         data += sizeof(int);
1816                 }
1817                 ret = 0;
1818                 break;
1819
1820               case IA32_PTRACE_GETFPREGS:
1821                 ret = save_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1822                                         compat_ptr(data));
1823                 break;
1824
1825               case IA32_PTRACE_GETFPXREGS:
1826                 ret = save_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1827                                          compat_ptr(data));
1828                 break;
1829
1830               case IA32_PTRACE_SETFPREGS:
1831                 ret = restore_ia32_fpstate(child, (struct ia32_user_i387_struct __user *)
1832                                            compat_ptr(data));
1833                 break;
1834
1835               case IA32_PTRACE_SETFPXREGS:
1836                 ret = restore_ia32_fpxstate(child, (struct ia32_user_fxsr_struct __user *)
1837                                             compat_ptr(data));
1838                 break;
1839
1840 #if 0                           /* XXX */
1841               case PTRACE_GETEVENTMSG:   
1842                 ret = put_user(child->ptrace_message, (unsigned int __user *) compat_ptr(data));
1843                 break;
1844 #endif
1845
1846               case PTRACE_SYSCALL:      /* continue, stop after next syscall */
1847               case PTRACE_CONT:         /* restart after signal. */
1848               case PTRACE_KILL:
1849               case PTRACE_SINGLESTEP:   /* execute chile for one instruction */
1850               case PTRACE_DETACH:       /* detach a process */
1851                 ret = sys_ptrace(request, pid, addr, data);
1852                 break;
1853
1854               default:
1855                 ret = ptrace_request(child, request, addr, data);
1856                 break;
1857
1858         }
1859   out_tsk:
1860         put_task_struct(child);
1861   out:
1862         unlock_kernel();
1863         return ret;
1864 }
1865 #endif
1866
1867 typedef struct {
1868         unsigned int    ss_sp;
1869         unsigned int    ss_flags;
1870         unsigned int    ss_size;
1871 } ia32_stack_t;
1872
1873 asmlinkage long
1874 sys32_sigaltstack (ia32_stack_t __user *uss32, ia32_stack_t __user *uoss32,
1875                    long arg2, long arg3, long arg4, long arg5, long arg6,
1876                    long arg7, struct pt_regs pt)
1877 {
1878         stack_t uss, uoss;
1879         ia32_stack_t buf32;
1880         int ret;
1881         mm_segment_t old_fs = get_fs();
1882
1883         if (uss32) {
1884                 if (copy_from_user(&buf32, uss32, sizeof(ia32_stack_t)))
1885                         return -EFAULT;
1886                 uss.ss_sp = (void __user *) (long) buf32.ss_sp;
1887                 uss.ss_flags = buf32.ss_flags;
1888                 /* MINSIGSTKSZ is different for ia32 vs ia64. We lie here to pass the
1889                    check and set it to the user requested value later */
1890                 if ((buf32.ss_flags != SS_DISABLE) && (buf32.ss_size < MINSIGSTKSZ_IA32)) {
1891                         ret = -ENOMEM;
1892                         goto out;
1893                 }
1894                 uss.ss_size = MINSIGSTKSZ;
1895         }
1896         set_fs(KERNEL_DS);
1897         ret = do_sigaltstack(uss32 ? (stack_t __user *) &uss : NULL,
1898                              (stack_t __user *) &uoss, pt.r12);
1899         current->sas_ss_size = buf32.ss_size;
1900         set_fs(old_fs);
1901 out:
1902         if (ret < 0)
1903                 return(ret);
1904         if (uoss32) {
1905                 buf32.ss_sp = (long __user) uoss.ss_sp;
1906                 buf32.ss_flags = uoss.ss_flags;
1907                 buf32.ss_size = uoss.ss_size;
1908                 if (copy_to_user(uoss32, &buf32, sizeof(ia32_stack_t)))
1909                         return -EFAULT;
1910         }
1911         return ret;
1912 }
1913
1914 asmlinkage int
1915 sys32_pause (void)
1916 {
1917         current->state = TASK_INTERRUPTIBLE;
1918         schedule();
1919         return -ERESTARTNOHAND;
1920 }
1921
1922 asmlinkage int
1923 sys32_msync (unsigned int start, unsigned int len, int flags)
1924 {
1925         unsigned int addr;
1926
1927         if (OFFSET4K(start))
1928                 return -EINVAL;
1929         addr = PAGE_START(start);
1930         return sys_msync(addr, len + (start - addr), flags);
1931 }
1932
1933 struct sysctl32 {
1934         unsigned int    name;
1935         int             nlen;
1936         unsigned int    oldval;
1937         unsigned int    oldlenp;
1938         unsigned int    newval;
1939         unsigned int    newlen;
1940         unsigned int    __unused[4];
1941 };
1942
1943 #ifdef CONFIG_SYSCTL
1944 asmlinkage long
1945 sys32_sysctl (struct sysctl32 __user *args)
1946 {
1947         struct sysctl32 a32;
1948         mm_segment_t old_fs = get_fs ();
1949         void __user *oldvalp, *newvalp;
1950         size_t oldlen;
1951         int __user *namep;
1952         long ret;
1953
1954         if (copy_from_user(&a32, args, sizeof(a32)))
1955                 return -EFAULT;
1956
1957         /*
1958          * We need to pre-validate these because we have to disable address checking
1959          * before calling do_sysctl() because of OLDLEN but we can't run the risk of the
1960          * user specifying bad addresses here.  Well, since we're dealing with 32 bit
1961          * addresses, we KNOW that access_ok() will always succeed, so this is an
1962          * expensive NOP, but so what...
1963          */
1964         namep = (int __user *) compat_ptr(a32.name);
1965         oldvalp = compat_ptr(a32.oldval);
1966         newvalp = compat_ptr(a32.newval);
1967
1968         if ((oldvalp && get_user(oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1969             || !access_ok(VERIFY_WRITE, namep, 0)
1970             || !access_ok(VERIFY_WRITE, oldvalp, 0)
1971             || !access_ok(VERIFY_WRITE, newvalp, 0))
1972                 return -EFAULT;
1973
1974         set_fs(KERNEL_DS);
1975         lock_kernel();
1976         ret = do_sysctl(namep, a32.nlen, oldvalp, (size_t __user *) &oldlen,
1977                         newvalp, (size_t) a32.newlen);
1978         unlock_kernel();
1979         set_fs(old_fs);
1980
1981         if (oldvalp && put_user (oldlen, (int __user *) compat_ptr(a32.oldlenp)))
1982                 return -EFAULT;
1983
1984         return ret;
1985 }
1986 #endif
1987
1988 asmlinkage long
1989 sys32_newuname (struct new_utsname __user *name)
1990 {
1991         int ret = sys_newuname(name);
1992
1993         if (!ret)
1994                 if (copy_to_user(name->machine, "i686\0\0\0", 8))
1995                         ret = -EFAULT;
1996         return ret;
1997 }
1998
1999 asmlinkage long
2000 sys32_getresuid16 (u16 __user *ruid, u16 __user *euid, u16 __user *suid)
2001 {
2002         uid_t a, b, c;
2003         int ret;
2004         mm_segment_t old_fs = get_fs();
2005
2006         set_fs(KERNEL_DS);
2007         ret = sys_getresuid((uid_t __user *) &a, (uid_t __user *) &b, (uid_t __user *) &c);
2008         set_fs(old_fs);
2009
2010         if (put_user(a, ruid) || put_user(b, euid) || put_user(c, suid))
2011                 return -EFAULT;
2012         return ret;
2013 }
2014
2015 asmlinkage long
2016 sys32_getresgid16 (u16 __user *rgid, u16 __user *egid, u16 __user *sgid)
2017 {
2018         gid_t a, b, c;
2019         int ret;
2020         mm_segment_t old_fs = get_fs();
2021
2022         set_fs(KERNEL_DS);
2023         ret = sys_getresgid((gid_t __user *) &a, (gid_t __user *) &b, (gid_t __user *) &c);
2024         set_fs(old_fs);
2025
2026         if (ret)
2027                 return ret;
2028
2029         return put_user(a, rgid) | put_user(b, egid) | put_user(c, sgid);
2030 }
2031
2032 asmlinkage long
2033 sys32_lseek (unsigned int fd, int offset, unsigned int whence)
2034 {
2035         /* Sign-extension of "offset" is important here... */
2036         return sys_lseek(fd, offset, whence);
2037 }
2038
2039 static int
2040 groups16_to_user(short __user *grouplist, struct group_info *group_info)
2041 {
2042         int i;
2043         short group;
2044
2045         for (i = 0; i < group_info->ngroups; i++) {
2046                 group = (short)GROUP_AT(group_info, i);
2047                 if (put_user(group, grouplist+i))
2048                         return -EFAULT;
2049         }
2050
2051         return 0;
2052 }
2053
2054 static int
2055 groups16_from_user(struct group_info *group_info, short __user *grouplist)
2056 {
2057         int i;
2058         short group;
2059
2060         for (i = 0; i < group_info->ngroups; i++) {
2061                 if (get_user(group, grouplist+i))
2062                         return  -EFAULT;
2063                 GROUP_AT(group_info, i) = (gid_t)group;
2064         }
2065
2066         return 0;
2067 }
2068
2069 asmlinkage long
2070 sys32_getgroups16 (int gidsetsize, short __user *grouplist)
2071 {
2072         int i;
2073
2074         if (gidsetsize < 0)
2075                 return -EINVAL;
2076
2077         get_group_info(current->group_info);
2078         i = current->group_info->ngroups;
2079         if (gidsetsize) {
2080                 if (i > gidsetsize) {
2081                         i = -EINVAL;
2082                         goto out;
2083                 }
2084                 if (groups16_to_user(grouplist, current->group_info)) {
2085                         i = -EFAULT;
2086                         goto out;
2087                 }
2088         }
2089 out:
2090         put_group_info(current->group_info);
2091         return i;
2092 }
2093
2094 asmlinkage long
2095 sys32_setgroups16 (int gidsetsize, short __user *grouplist)
2096 {
2097         struct group_info *group_info;
2098         int retval;
2099
2100         if (!capable(CAP_SETGID))
2101                 return -EPERM;
2102         if ((unsigned)gidsetsize > NGROUPS_MAX)
2103                 return -EINVAL;
2104
2105         group_info = groups_alloc(gidsetsize);
2106         if (!group_info)
2107                 return -ENOMEM;
2108         retval = groups16_from_user(group_info, grouplist);
2109         if (retval) {
2110                 put_group_info(group_info);
2111                 return retval;
2112         }
2113
2114         retval = set_current_groups(group_info);
2115         put_group_info(group_info);
2116
2117         return retval;
2118 }
2119
2120 asmlinkage long
2121 sys32_truncate64 (unsigned int path, unsigned int len_lo, unsigned int len_hi)
2122 {
2123         return sys_truncate(compat_ptr(path), ((unsigned long) len_hi << 32) | len_lo);
2124 }
2125
2126 asmlinkage long
2127 sys32_ftruncate64 (int fd, unsigned int len_lo, unsigned int len_hi)
2128 {
2129         return sys_ftruncate(fd, ((unsigned long) len_hi << 32) | len_lo);
2130 }
2131
2132 static int
2133 putstat64 (struct stat64 __user *ubuf, struct kstat *kbuf)
2134 {
2135         int err;
2136         u64 hdev;
2137
2138         if (clear_user(ubuf, sizeof(*ubuf)))
2139                 return -EFAULT;
2140
2141         hdev = huge_encode_dev(kbuf->dev);
2142         err  = __put_user(hdev, (u32 __user*)&ubuf->st_dev);
2143         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_dev) + 1);
2144         err |= __put_user(kbuf->ino, &ubuf->__st_ino);
2145         err |= __put_user(kbuf->ino, &ubuf->st_ino_lo);
2146         err |= __put_user(kbuf->ino >> 32, &ubuf->st_ino_hi);
2147         err |= __put_user(kbuf->mode, &ubuf->st_mode);
2148         err |= __put_user(kbuf->nlink, &ubuf->st_nlink);
2149         err |= __put_user(kbuf->uid, &ubuf->st_uid);
2150         err |= __put_user(kbuf->gid, &ubuf->st_gid);
2151         hdev = huge_encode_dev(kbuf->rdev);
2152         err  = __put_user(hdev, (u32 __user*)&ubuf->st_rdev);
2153         err |= __put_user(hdev >> 32, ((u32 __user*)&ubuf->st_rdev) + 1);
2154         err |= __put_user(kbuf->size, &ubuf->st_size_lo);
2155         err |= __put_user((kbuf->size >> 32), &ubuf->st_size_hi);
2156         err |= __put_user(kbuf->atime.tv_sec, &ubuf->st_atime);
2157         err |= __put_user(kbuf->atime.tv_nsec, &ubuf->st_atime_nsec);
2158         err |= __put_user(kbuf->mtime.tv_sec, &ubuf->st_mtime);
2159         err |= __put_user(kbuf->mtime.tv_nsec, &ubuf->st_mtime_nsec);
2160         err |= __put_user(kbuf->ctime.tv_sec, &ubuf->st_ctime);
2161         err |= __put_user(kbuf->ctime.tv_nsec, &ubuf->st_ctime_nsec);
2162         err |= __put_user(kbuf->blksize, &ubuf->st_blksize);
2163         err |= __put_user(kbuf->blocks, &ubuf->st_blocks);
2164         return err;
2165 }
2166
2167 asmlinkage long
2168 sys32_stat64 (char __user *filename, struct stat64 __user *statbuf)
2169 {
2170         struct kstat s;
2171         long ret = vfs_stat(filename, &s);
2172         if (!ret)
2173                 ret = putstat64(statbuf, &s);
2174         return ret;
2175 }
2176
2177 asmlinkage long
2178 sys32_lstat64 (char __user *filename, struct stat64 __user *statbuf)
2179 {
2180         struct kstat s;
2181         long ret = vfs_lstat(filename, &s);
2182         if (!ret)
2183                 ret = putstat64(statbuf, &s);
2184         return ret;
2185 }
2186
2187 asmlinkage long
2188 sys32_fstat64 (unsigned int fd, struct stat64 __user *statbuf)
2189 {
2190         struct kstat s;
2191         long ret = vfs_fstat(fd, &s);
2192         if (!ret)
2193                 ret = putstat64(statbuf, &s);
2194         return ret;
2195 }
2196
2197 struct sysinfo32 {
2198         s32 uptime;
2199         u32 loads[3];
2200         u32 totalram;
2201         u32 freeram;
2202         u32 sharedram;
2203         u32 bufferram;
2204         u32 totalswap;
2205         u32 freeswap;
2206         u16 procs;
2207         u16 pad;
2208         u32 totalhigh;
2209         u32 freehigh;
2210         u32 mem_unit;
2211         char _f[8];
2212 };
2213
2214 asmlinkage long
2215 sys32_sysinfo (struct sysinfo32 __user *info)
2216 {
2217         struct sysinfo s;
2218         long ret, err;
2219         int bitcount = 0;
2220         mm_segment_t old_fs = get_fs();
2221
2222         set_fs(KERNEL_DS);
2223         ret = sys_sysinfo((struct sysinfo __user *) &s);
2224         set_fs(old_fs);
2225         /* Check to see if any memory value is too large for 32-bit and
2226          * scale down if needed.
2227          */
2228         if ((s.totalram >> 32) || (s.totalswap >> 32)) {
2229                 while (s.mem_unit < PAGE_SIZE) {
2230                         s.mem_unit <<= 1;
2231                         bitcount++;
2232                 }
2233                 s.totalram >>= bitcount;
2234                 s.freeram >>= bitcount;
2235                 s.sharedram >>= bitcount;
2236                 s.bufferram >>= bitcount;
2237                 s.totalswap >>= bitcount;
2238                 s.freeswap >>= bitcount;
2239                 s.totalhigh >>= bitcount;
2240                 s.freehigh >>= bitcount;
2241         }
2242
2243         if (!access_ok(VERIFY_WRITE, info, sizeof(*info)))
2244                 return -EFAULT;
2245
2246         err  = __put_user(s.uptime, &info->uptime);
2247         err |= __put_user(s.loads[0], &info->loads[0]);
2248         err |= __put_user(s.loads[1], &info->loads[1]);
2249         err |= __put_user(s.loads[2], &info->loads[2]);
2250         err |= __put_user(s.totalram, &info->totalram);
2251         err |= __put_user(s.freeram, &info->freeram);
2252         err |= __put_user(s.sharedram, &info->sharedram);
2253         err |= __put_user(s.bufferram, &info->bufferram);
2254         err |= __put_user(s.totalswap, &info->totalswap);
2255         err |= __put_user(s.freeswap, &info->freeswap);
2256         err |= __put_user(s.procs, &info->procs);
2257         err |= __put_user (s.totalhigh, &info->totalhigh);
2258         err |= __put_user (s.freehigh, &info->freehigh);
2259         err |= __put_user (s.mem_unit, &info->mem_unit);
2260         if (err)
2261                 return -EFAULT;
2262         return ret;
2263 }
2264
2265 asmlinkage long
2266 sys32_sched_rr_get_interval (pid_t pid, struct compat_timespec __user *interval)
2267 {
2268         mm_segment_t old_fs = get_fs();
2269         struct timespec t;
2270         long ret;
2271
2272         set_fs(KERNEL_DS);
2273         ret = sys_sched_rr_get_interval(pid, (struct timespec __user *) &t);
2274         set_fs(old_fs);
2275         if (put_compat_timespec(&t, interval))
2276                 return -EFAULT;
2277         return ret;
2278 }
2279
2280 asmlinkage long
2281 sys32_pread (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2282 {
2283         return sys_pread64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2284 }
2285
2286 asmlinkage long
2287 sys32_pwrite (unsigned int fd, void __user *buf, unsigned int count, u32 pos_lo, u32 pos_hi)
2288 {
2289         return sys_pwrite64(fd, buf, count, ((unsigned long) pos_hi << 32) | pos_lo);
2290 }
2291
2292 asmlinkage long
2293 sys32_sendfile (int out_fd, int in_fd, int __user *offset, unsigned int count)
2294 {
2295         mm_segment_t old_fs = get_fs();
2296         long ret;
2297         off_t of;
2298
2299         if (offset && get_user(of, offset))
2300                 return -EFAULT;
2301
2302         set_fs(KERNEL_DS);
2303         ret = sys_sendfile(out_fd, in_fd, offset ? (off_t __user *) &of : NULL, count);
2304         set_fs(old_fs);
2305
2306         if (offset && put_user(of, offset))
2307                 return -EFAULT;
2308
2309         return ret;
2310 }
2311
2312 asmlinkage long
2313 sys32_personality (unsigned int personality)
2314 {
2315         long ret;
2316
2317         if (current->personality == PER_LINUX32 && personality == PER_LINUX)
2318                 personality = PER_LINUX32;
2319         ret = sys_personality(personality);
2320         if (ret == PER_LINUX32)
2321                 ret = PER_LINUX;
2322         return ret;
2323 }
2324
2325 asmlinkage unsigned long
2326 sys32_brk (unsigned int brk)
2327 {
2328         unsigned long ret, obrk;
2329         struct mm_struct *mm = current->mm;
2330
2331         obrk = mm->brk;
2332         ret = sys_brk(brk);
2333         if (ret < obrk)
2334                 clear_user(compat_ptr(ret), PAGE_ALIGN(ret) - ret);
2335         return ret;
2336 }
2337
2338 /* Structure for ia32 emulation on ia64 */
2339 struct epoll_event32
2340 {
2341         u32 events;
2342         u32 data[2];
2343 };
2344
2345 asmlinkage long
2346 sys32_epoll_ctl(int epfd, int op, int fd, struct epoll_event32 __user *event)
2347 {
2348         mm_segment_t old_fs = get_fs();
2349         struct epoll_event event64;
2350         int error;
2351         u32 data_halfword;
2352
2353         if (!access_ok(VERIFY_READ, event, sizeof(struct epoll_event32)))
2354                 return -EFAULT;
2355
2356         __get_user(event64.events, &event->events);
2357         __get_user(data_halfword, &event->data[0]);
2358         event64.data = data_halfword;
2359         __get_user(data_halfword, &event->data[1]);
2360         event64.data |= (u64)data_halfword << 32;
2361
2362         set_fs(KERNEL_DS);
2363         error = sys_epoll_ctl(epfd, op, fd, (struct epoll_event __user *) &event64);
2364         set_fs(old_fs);
2365
2366         return error;
2367 }
2368
2369 asmlinkage long
2370 sys32_epoll_wait(int epfd, struct epoll_event32 __user * events, int maxevents,
2371                  int timeout)
2372 {
2373         struct epoll_event *events64 = NULL;
2374         mm_segment_t old_fs = get_fs();
2375         int numevents, size;
2376         int evt_idx;
2377         int do_free_pages = 0;
2378
2379         if (maxevents <= 0) {
2380                 return -EINVAL;
2381         }
2382
2383         /* Verify that the area passed by the user is writeable */
2384         if (!access_ok(VERIFY_WRITE, events, maxevents * sizeof(struct epoll_event32)))
2385                 return -EFAULT;
2386
2387         /*
2388          * Allocate space for the intermediate copy.  If the space needed
2389          * is large enough to cause kmalloc to fail, then try again with
2390          * __get_free_pages.
2391          */
2392         size = maxevents * sizeof(struct epoll_event);
2393         events64 = kmalloc(size, GFP_KERNEL);
2394         if (events64 == NULL) {
2395                 events64 = (struct epoll_event *)
2396                                 __get_free_pages(GFP_KERNEL, get_order(size));
2397                 if (events64 == NULL)
2398                         return -ENOMEM;
2399                 do_free_pages = 1;
2400         }
2401
2402         /* Do the system call */
2403         set_fs(KERNEL_DS); /* copy_to/from_user should work on kernel mem*/
2404         numevents = sys_epoll_wait(epfd, (struct epoll_event __user *) events64,
2405                                    maxevents, timeout);
2406         set_fs(old_fs);
2407
2408         /* Don't modify userspace memory if we're returning an error */
2409         if (numevents > 0) {
2410                 /* Translate the 64-bit structures back into the 32-bit
2411                    structures */
2412                 for (evt_idx = 0; evt_idx < numevents; evt_idx++) {
2413                         __put_user(events64[evt_idx].events,
2414                                    &events[evt_idx].events);
2415                         __put_user((u32)events64[evt_idx].data,
2416                                    &events[evt_idx].data[0]);
2417                         __put_user((u32)(events64[evt_idx].data >> 32),
2418                                    &events[evt_idx].data[1]);
2419                 }
2420         }
2421
2422         if (do_free_pages)
2423                 free_pages((unsigned long) events64, get_order(size));
2424         else
2425                 kfree(events64);
2426         return numevents;
2427 }
2428
2429 /*
2430  * Get a yet unused TLS descriptor index.
2431  */
2432 static int
2433 get_free_idx (void)
2434 {
2435         struct thread_struct *t = &current->thread;
2436         int idx;
2437
2438         for (idx = 0; idx < GDT_ENTRY_TLS_ENTRIES; idx++)
2439                 if (desc_empty(t->tls_array + idx))
2440                         return idx + GDT_ENTRY_TLS_MIN;
2441         return -ESRCH;
2442 }
2443
2444 /*
2445  * Set a given TLS descriptor:
2446  */
2447 asmlinkage int
2448 sys32_set_thread_area (struct ia32_user_desc __user *u_info)
2449 {
2450         struct thread_struct *t = &current->thread;
2451         struct ia32_user_desc info;
2452         struct desc_struct *desc;
2453         int cpu, idx;
2454
2455         if (copy_from_user(&info, u_info, sizeof(info)))
2456                 return -EFAULT;
2457         idx = info.entry_number;
2458
2459         /*
2460          * index -1 means the kernel should try to find and allocate an empty descriptor:
2461          */
2462         if (idx == -1) {
2463                 idx = get_free_idx();
2464                 if (idx < 0)
2465                         return idx;
2466                 if (put_user(idx, &u_info->entry_number))
2467                         return -EFAULT;
2468         }
2469
2470         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2471                 return -EINVAL;
2472
2473         desc = t->tls_array + idx - GDT_ENTRY_TLS_MIN;
2474
2475         cpu = smp_processor_id();
2476
2477         if (LDT_empty(&info)) {
2478                 desc->a = 0;
2479                 desc->b = 0;
2480         } else {
2481                 desc->a = LDT_entry_a(&info);
2482                 desc->b = LDT_entry_b(&info);
2483         }
2484         load_TLS(t, cpu);
2485         return 0;
2486 }
2487
2488 /*
2489  * Get the current Thread-Local Storage area:
2490  */
2491
2492 #define GET_BASE(desc) (                        \
2493         (((desc)->a >> 16) & 0x0000ffff) |      \
2494         (((desc)->b << 16) & 0x00ff0000) |      \
2495         ( (desc)->b        & 0xff000000)   )
2496
2497 #define GET_LIMIT(desc) (                       \
2498         ((desc)->a & 0x0ffff) |                 \
2499          ((desc)->b & 0xf0000) )
2500
2501 #define GET_32BIT(desc)         (((desc)->b >> 22) & 1)
2502 #define GET_CONTENTS(desc)      (((desc)->b >> 10) & 3)
2503 #define GET_WRITABLE(desc)      (((desc)->b >>  9) & 1)
2504 #define GET_LIMIT_PAGES(desc)   (((desc)->b >> 23) & 1)
2505 #define GET_PRESENT(desc)       (((desc)->b >> 15) & 1)
2506 #define GET_USEABLE(desc)       (((desc)->b >> 20) & 1)
2507
2508 asmlinkage int
2509 sys32_get_thread_area (struct ia32_user_desc __user *u_info)
2510 {
2511         struct ia32_user_desc info;
2512         struct desc_struct *desc;
2513         int idx;
2514
2515         if (get_user(idx, &u_info->entry_number))
2516                 return -EFAULT;
2517         if (idx < GDT_ENTRY_TLS_MIN || idx > GDT_ENTRY_TLS_MAX)
2518                 return -EINVAL;
2519
2520         desc = current->thread.tls_array + idx - GDT_ENTRY_TLS_MIN;
2521
2522         info.entry_number = idx;
2523         info.base_addr = GET_BASE(desc);
2524         info.limit = GET_LIMIT(desc);
2525         info.seg_32bit = GET_32BIT(desc);
2526         info.contents = GET_CONTENTS(desc);
2527         info.read_exec_only = !GET_WRITABLE(desc);
2528         info.limit_in_pages = GET_LIMIT_PAGES(desc);
2529         info.seg_not_present = !GET_PRESENT(desc);
2530         info.useable = GET_USEABLE(desc);
2531
2532         if (copy_to_user(u_info, &info, sizeof(info)))
2533                 return -EFAULT;
2534         return 0;
2535 }
2536
2537 long sys32_fadvise64_64(int fd, __u32 offset_low, __u32 offset_high, 
2538                         __u32 len_low, __u32 len_high, int advice)
2539
2540         return sys_fadvise64_64(fd,
2541                                (((u64)offset_high)<<32) | offset_low,
2542                                (((u64)len_high)<<32) | len_low,
2543                                advice); 
2544
2545
2546 #ifdef  NOTYET  /* UNTESTED FOR IA64 FROM HERE DOWN */
2547
2548 asmlinkage long sys32_setreuid(compat_uid_t ruid, compat_uid_t euid)
2549 {
2550         uid_t sruid, seuid;
2551
2552         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2553         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2554         return sys_setreuid(sruid, seuid);
2555 }
2556
2557 asmlinkage long
2558 sys32_setresuid(compat_uid_t ruid, compat_uid_t euid,
2559                 compat_uid_t suid)
2560 {
2561         uid_t sruid, seuid, ssuid;
2562
2563         sruid = (ruid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)ruid);
2564         seuid = (euid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)euid);
2565         ssuid = (suid == (compat_uid_t)-1) ? ((uid_t)-1) : ((uid_t)suid);
2566         return sys_setresuid(sruid, seuid, ssuid);
2567 }
2568
2569 asmlinkage long
2570 sys32_setregid(compat_gid_t rgid, compat_gid_t egid)
2571 {
2572         gid_t srgid, segid;
2573
2574         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2575         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2576         return sys_setregid(srgid, segid);
2577 }
2578
2579 asmlinkage long
2580 sys32_setresgid(compat_gid_t rgid, compat_gid_t egid,
2581                 compat_gid_t sgid)
2582 {
2583         gid_t srgid, segid, ssgid;
2584
2585         srgid = (rgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)rgid);
2586         segid = (egid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)egid);
2587         ssgid = (sgid == (compat_gid_t)-1) ? ((gid_t)-1) : ((gid_t)sgid);
2588         return sys_setresgid(srgid, segid, ssgid);
2589 }
2590 #endif /* NOTYET */