patch-2_6_7-vs1_9_1_12
[linux-2.6.git] / arch / x86_64 / ia32 / ia32entry.S
1 /*
2  * Compatibility mode system call entry point for x86-64. 
3  *              
4  * Copyright 2000-2002 Andi Kleen, SuSE Labs.
5  */              
6
7 #include <asm/dwarf2.h>
8 #include <asm/calling.h>
9 #include <asm/offset.h>
10 #include <asm/current.h>
11 #include <asm/errno.h>
12 #include <asm/ia32_unistd.h>    
13 #include <asm/thread_info.h>    
14 #include <asm/segment.h>
15 #include <asm/vsyscall32.h>
16 #include <linux/linkage.h>
17
18         .macro IA32_ARG_FIXUP noebp=0
19         movl    %edi,%r8d
20         .if \noebp
21         .else
22         movl    %ebp,%r9d
23         .endif
24         xchg    %ecx,%esi
25         movl    %ebx,%edi
26         movl    %edx,%edx       /* zero extension */
27         .endm 
28
29         /* clobbers %eax */     
30         .macro  CLEAR_RREGS
31         xorl    %eax,%eax
32         movq    %rax,R11(%rsp)
33         movq    %rax,R10(%rsp)
34         movq    %rax,R9(%rsp)
35         movq    %rax,R8(%rsp)
36         .endm
37
38 /*
39  * 32bit SYSENTER instruction entry.
40  *
41  * Arguments:
42  * %eax System call number.
43  * %ebx Arg1
44  * %ecx Arg2
45  * %edx Arg3
46  * %esi Arg4
47  * %edi Arg5
48  * %ebp user stack
49  * 0(%ebp) Arg6 
50  *      
51  * Interrupts off.
52  *      
53  * This is purely a fast path. For anything complicated we use the int 0x80
54  * path below.  Set up a complete hardware stack frame to share code
55  * with the int 0x80 path.
56  */     
57 ENTRY(ia32_sysenter_target)
58         CFI_STARTPROC
59         swapgs
60         movq    %gs:pda_kernelstack, %rsp
61         addq    $(PDA_STACKOFFSET),%rsp 
62         sti     
63         movl    %ebp,%ebp               /* zero extension */
64         pushq   $__USER32_DS
65         pushq   %rbp
66         pushfq
67         movl    $VSYSCALL32_SYSEXIT, %r10d
68         pushq   $__USER32_CS
69         movl    %eax, %eax
70         pushq   %r10
71         pushq   %rax
72         cld
73         SAVE_ARGS 0,0,1
74         /* no need to do an access_ok check here because rbp has been
75            32bit zero extended */ 
76 1:      movl    (%rbp),%r9d
77         .section __ex_table,"a"
78         .quad 1b,ia32_badarg
79         .previous       
80         GET_THREAD_INFO(%r10)
81         testl  $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT),threadinfo_flags(%r10)
82         jnz  sysenter_tracesys
83 sysenter_do_call:       
84         cmpl    $(IA32_NR_syscalls),%eax
85         jae     ia32_badsys
86         IA32_ARG_FIXUP 1
87         call    *ia32_sys_call_table(,%rax,8)
88         movq    %rax,RAX-ARGOFFSET(%rsp)
89         GET_THREAD_INFO(%r10)
90         cli
91         testl   $_TIF_ALLWORK_MASK,threadinfo_flags(%r10)
92         jnz     int_ret_from_sys_call
93         /* clear IF, that popfq doesn't enable interrupts early */
94         andl  $~0x200,EFLAGS-R11(%rsp) 
95         RESTORE_ARGS 1,24,1,1,1,1
96         popfq
97         popq    %rcx                            /* User %esp */
98         movl    $VSYSCALL32_SYSEXIT,%edx        /* User %eip */
99         swapgs
100         sti             /* sti only takes effect after the next instruction */
101         /* sysexit */
102         .byte   0xf, 0x35
103
104 sysenter_tracesys:
105         SAVE_REST
106         CLEAR_RREGS
107         movq    $-ENOSYS,RAX(%rsp)      /* really needed? */
108         movq    %rsp,%rdi        /* &pt_regs -> arg1 */
109         call    syscall_trace_enter
110         LOAD_ARGS ARGOFFSET  /* reload args from stack in case ptrace changed it */
111         RESTORE_REST
112         movl    %ebp, %ebp
113         /* no need to do an access_ok check here because rbp has been
114            32bit zero extended */ 
115 1:      movl    (%rbp),%r9d
116         .section __ex_table,"a"
117         .quad 1b,ia32_badarg
118         .previous
119         jmp     sysenter_do_call
120         CFI_ENDPROC
121
122 /*
123  * 32bit SYSCALL instruction entry.
124  *
125  * Arguments:
126  * %eax System call number.
127  * %ebx Arg1
128  * %ecx return EIP 
129  * %edx Arg3
130  * %esi Arg4
131  * %edi Arg5
132  * %ebp Arg2    [note: not saved in the stack frame, should not be touched]
133  * %esp user stack 
134  * 0(%esp) Arg6
135  *      
136  * Interrupts off.
137  *      
138  * This is purely a fast path. For anything complicated we use the int 0x80
139  * path below.  Set up a complete hardware stack frame to share code
140  * with the int 0x80 path.      
141  */     
142 ENTRY(ia32_cstar_target)
143         CFI_STARTPROC
144         swapgs
145         movl    %esp,%r8d
146         movq    %gs:pda_kernelstack,%rsp
147         sti
148         SAVE_ARGS 8,1,1
149         movl    %eax,%eax       /* zero extension */
150         movq    %rax,ORIG_RAX-ARGOFFSET(%rsp)
151         movq    %rcx,RIP-ARGOFFSET(%rsp)
152         movq    %rbp,RCX-ARGOFFSET(%rsp) /* this lies slightly to ptrace */
153         movl    %ebp,%ecx
154         movq    $__USER32_CS,CS-ARGOFFSET(%rsp)
155         movq    $__USER32_DS,SS-ARGOFFSET(%rsp)
156         movq    %r11,EFLAGS-ARGOFFSET(%rsp)
157         movq    %r8,RSP-ARGOFFSET(%rsp) 
158         /* no need to do an access_ok check here because r8 has been
159            32bit zero extended */ 
160         /* hardware stack frame is complete now */      
161 1:      movl    (%r8),%r9d
162         .section __ex_table,"a"
163         .quad 1b,ia32_badarg
164         .previous       
165         GET_THREAD_INFO(%r10)
166         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT),threadinfo_flags(%r10)
167         jnz   cstar_tracesys
168 cstar_do_call:  
169         cmpl $IA32_NR_syscalls,%eax
170         jae  ia32_badsys
171         IA32_ARG_FIXUP 1
172         call *ia32_sys_call_table(,%rax,8)
173         movq %rax,RAX-ARGOFFSET(%rsp)
174         GET_THREAD_INFO(%r10)
175         cli
176         testl $_TIF_ALLWORK_MASK,threadinfo_flags(%r10)
177         jnz  int_ret_from_sys_call
178         RESTORE_ARGS 1,-ARG_SKIP,1,1,1
179         movl RIP-ARGOFFSET(%rsp),%ecx
180         movl EFLAGS-ARGOFFSET(%rsp),%r11d       
181         movl RSP-ARGOFFSET(%rsp),%esp
182         swapgs
183         sysretl
184         
185 cstar_tracesys: 
186         SAVE_REST
187         CLEAR_RREGS
188         movq $-ENOSYS,RAX(%rsp) /* really needed? */
189         movq %rsp,%rdi        /* &pt_regs -> arg1 */
190         call syscall_trace_enter
191         LOAD_ARGS ARGOFFSET  /* reload args from stack in case ptrace changed it */
192         RESTORE_REST
193         movl RSP-ARGOFFSET(%rsp), %r8d
194         /* no need to do an access_ok check here because r8 has been
195            32bit zero extended */ 
196 1:      movl    (%r8),%r9d
197         .section __ex_table,"a"
198         .quad 1b,ia32_badarg
199         .previous
200         jmp cstar_do_call
201                                 
202 ia32_badarg:
203         movq $-EFAULT,%rax
204         jmp ia32_sysret
205         CFI_ENDPROC
206
207 /* 
208  * Emulated IA32 system calls via int 0x80. 
209  *
210  * Arguments:    
211  * %eax System call number.
212  * %ebx Arg1
213  * %ecx Arg2
214  * %edx Arg3
215  * %esi Arg4
216  * %edi Arg5
217  * %ebp Arg6    [note: not saved in the stack frame, should not be touched]
218  *
219  * Notes:
220  * Uses the same stack frame as the x86-64 version.     
221  * All registers except %eax must be saved (but ptrace may violate that)
222  * Arguments are zero extended. For system calls that want sign extension and
223  * take long arguments a wrapper is needed. Most calls can just be called
224  * directly.
225  * Assumes it is only called from user space and entered with interrupts off.   
226  */                             
227
228 ENTRY(ia32_syscall)
229         CFI_STARTPROC
230         swapgs  
231         sti
232         movl %eax,%eax
233         pushq %rax
234         cld
235         /* note the registers are not zero extended to the sf.
236            this could be a problem. */
237         SAVE_ARGS 0,0,1
238         GET_THREAD_INFO(%r10)
239         testl $(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT),threadinfo_flags(%r10)
240         jnz ia32_tracesys
241 ia32_do_syscall:        
242         cmpl $(IA32_NR_syscalls),%eax
243         jae  ia32_badsys
244         IA32_ARG_FIXUP
245         call *ia32_sys_call_table(,%rax,8) # xxx: rip relative
246 ia32_sysret:
247         movq %rax,RAX-ARGOFFSET(%rsp)
248         jmp int_ret_from_sys_call 
249
250 ia32_tracesys:                   
251         SAVE_REST
252         movq $-ENOSYS,RAX(%rsp) /* really needed? */
253         movq %rsp,%rdi        /* &pt_regs -> arg1 */
254         call syscall_trace_enter
255         LOAD_ARGS ARGOFFSET  /* reload args from stack in case ptrace changed it */
256         RESTORE_REST
257         jmp ia32_do_syscall
258
259 ia32_badsys:
260         movq $0,ORIG_RAX-ARGOFFSET(%rsp)
261         movq $-ENOSYS,RAX-ARGOFFSET(%rsp)
262         jmp int_ret_from_sys_call
263
264 ni_syscall:
265         movq %rax,%rdi
266         jmp  sys32_ni_syscall                   
267
268 quiet_ni_syscall:
269         movq $-ENOSYS,%rax
270         ret
271         CFI_ENDPROC
272         
273         .macro PTREGSCALL label, func
274         .globl \label
275 \label:
276         leaq \func(%rip),%rax
277         jmp  ia32_ptregs_common 
278         .endm
279
280         PTREGSCALL stub32_rt_sigreturn, sys32_rt_sigreturn
281         PTREGSCALL stub32_sigreturn, sys32_sigreturn
282         PTREGSCALL stub32_sigaltstack, sys32_sigaltstack
283         PTREGSCALL stub32_sigsuspend, sys32_sigsuspend
284         PTREGSCALL stub32_execve, sys32_execve
285         PTREGSCALL stub32_fork, sys_fork
286         PTREGSCALL stub32_clone, sys32_clone
287         PTREGSCALL stub32_vfork, sys_vfork
288         PTREGSCALL stub32_iopl, sys_iopl
289         PTREGSCALL stub32_rt_sigsuspend, sys_rt_sigsuspend
290
291 ENTRY(ia32_ptregs_common)
292         CFI_STARTPROC
293         popq %r11
294         SAVE_REST
295         movq %r11, %r15
296         call *%rax
297         movq %r15, %r11
298         RESTORE_REST
299         leaq ia32_sysret(%rip),%r11
300         pushq %r11
301         ret
302         CFI_ENDPROC
303
304         .data
305         .align 8
306         .globl ia32_sys_call_table
307 ia32_sys_call_table:
308         .quad sys_restart_syscall
309         .quad sys_exit
310         .quad stub32_fork
311         .quad sys_read
312         .quad sys_write
313         .quad sys32_open                /* 5 */
314         .quad sys_close
315         .quad sys32_waitpid
316         .quad sys_creat
317         .quad sys_link
318         .quad sys_unlink                /* 10 */
319         .quad stub32_execve
320         .quad sys_chdir
321         .quad sys32_time
322         .quad sys_mknod
323         .quad sys_chmod         /* 15 */
324         .quad sys_lchown16
325         .quad quiet_ni_syscall                  /* old break syscall holder */
326         .quad sys_stat
327         .quad sys32_lseek
328         .quad sys_getpid                /* 20 */
329         .quad compat_sys_mount  /* mount  */
330         .quad sys_oldumount     /* old_umount  */
331         .quad sys_setuid16
332         .quad sys_getuid16
333         .quad sys_stime         /* stime */             /* 25 */
334         .quad sys32_ptrace      /* ptrace */
335         .quad sys_alarm         /* XXX sign extension??? */ 
336         .quad sys_fstat /* (old)fstat */
337         .quad sys_pause
338         .quad compat_sys_utime  /* 30 */
339         .quad quiet_ni_syscall  /* old stty syscall holder */
340         .quad quiet_ni_syscall  /* old gtty syscall holder */
341         .quad sys_access
342         .quad sys_nice  
343         .quad quiet_ni_syscall  /* 35 */        /* old ftime syscall holder */
344         .quad sys_sync
345         .quad sys32_kill
346         .quad sys_rename
347         .quad sys_mkdir
348         .quad sys_rmdir         /* 40 */
349         .quad sys_dup
350         .quad sys32_pipe
351         .quad compat_sys_times
352         .quad quiet_ni_syscall                  /* old prof syscall holder */
353         .quad sys_brk           /* 45 */
354         .quad sys_setgid16
355         .quad sys_getgid16
356         .quad sys_signal
357         .quad sys_geteuid16
358         .quad sys_getegid16     /* 50 */
359         .quad sys_acct
360         .quad sys_umount                        /* new_umount */
361         .quad quiet_ni_syscall                  /* old lock syscall holder */
362         .quad compat_sys_ioctl
363         .quad compat_sys_fcntl64                /* 55 */
364         .quad quiet_ni_syscall                  /* old mpx syscall holder */
365         .quad sys_setpgid
366         .quad quiet_ni_syscall                  /* old ulimit syscall holder */
367         .quad sys32_olduname
368         .quad sys_umask         /* 60 */
369         .quad sys_chroot
370         .quad sys32_ustat
371         .quad sys_dup2
372         .quad sys_getppid
373         .quad sys_getpgrp               /* 65 */
374         .quad sys_setsid
375         .quad sys32_sigaction
376         .quad sys_sgetmask
377         .quad sys_ssetmask
378         .quad sys_setreuid16    /* 70 */
379         .quad sys_setregid16
380         .quad stub32_sigsuspend
381         .quad compat_sys_sigpending
382         .quad sys_sethostname
383         .quad compat_sys_setrlimit      /* 75 */
384         .quad compat_sys_old_getrlimit  /* old_getrlimit */
385         .quad compat_sys_getrusage
386         .quad sys32_gettimeofday
387         .quad sys32_settimeofday
388         .quad sys_getgroups16   /* 80 */
389         .quad sys_setgroups16
390         .quad sys32_old_select
391         .quad sys_symlink
392         .quad sys_lstat
393         .quad sys_readlink              /* 85 */
394         .quad sys_uselib
395         .quad sys_swapon
396         .quad sys_reboot
397         .quad sys32_oldreaddir
398         .quad sys32_mmap                /* 90 */
399         .quad sys_munmap
400         .quad sys_truncate
401         .quad sys_ftruncate
402         .quad sys_fchmod
403         .quad sys_fchown16              /* 95 */
404         .quad sys_getpriority
405         .quad sys_setpriority
406         .quad quiet_ni_syscall                  /* old profil syscall holder */
407         .quad compat_sys_statfs
408         .quad compat_sys_fstatfs                /* 100 */
409         .quad sys_ioperm
410         .quad compat_sys_socketcall
411         .quad sys_syslog
412         .quad compat_sys_setitimer
413         .quad compat_sys_getitimer      /* 105 */
414         .quad compat_sys_newstat
415         .quad compat_sys_newlstat
416         .quad compat_sys_newfstat
417         .quad sys32_uname
418         .quad stub32_iopl               /* 110 */
419         .quad sys_vhangup
420         .quad quiet_ni_syscall  /* old "idle" system call */
421         .quad sys32_vm86_warning        /* vm86old */ 
422         .quad compat_sys_wait4
423         .quad sys_swapoff               /* 115 */
424         .quad sys32_sysinfo
425         .quad sys32_ipc
426         .quad sys_fsync
427         .quad stub32_sigreturn
428         .quad stub32_clone              /* 120 */
429         .quad sys_setdomainname
430         .quad sys_uname
431         .quad sys_modify_ldt
432         .quad sys32_adjtimex
433         .quad sys32_mprotect            /* 125 */
434         .quad compat_sys_sigprocmask
435         .quad quiet_ni_syscall          /* create_module */
436         .quad sys_init_module
437         .quad sys_delete_module
438         .quad quiet_ni_syscall          /* 130  get_kernel_syms */
439         .quad sys32_quotactl            /* quotactl */ 
440         .quad sys_getpgid
441         .quad sys_fchdir
442         .quad quiet_ni_syscall  /* bdflush */
443         .quad sys_sysfs         /* 135 */
444         .quad sys_personality
445         .quad quiet_ni_syscall  /* for afs_syscall */
446         .quad sys_setfsuid16
447         .quad sys_setfsgid16
448         .quad sys_llseek                /* 140 */
449         .quad sys32_getdents
450         .quad compat_sys_select
451         .quad sys_flock
452         .quad sys_msync
453         .quad compat_sys_readv          /* 145 */
454         .quad compat_sys_writev
455         .quad sys_getsid
456         .quad sys_fdatasync
457         .quad sys32_sysctl      /* sysctl */
458         .quad sys_mlock         /* 150 */
459         .quad sys_munlock
460         .quad sys_mlockall
461         .quad sys_munlockall
462         .quad sys_sched_setparam
463         .quad sys_sched_getparam   /* 155 */
464         .quad sys_sched_setscheduler
465         .quad sys_sched_getscheduler
466         .quad sys_sched_yield
467         .quad sys_sched_get_priority_max
468         .quad sys_sched_get_priority_min  /* 160 */
469         .quad sys_sched_rr_get_interval
470         .quad compat_sys_nanosleep
471         .quad sys_mremap
472         .quad sys_setresuid16
473         .quad sys_getresuid16   /* 165 */
474         .quad sys32_vm86_warning        /* vm86 */ 
475         .quad quiet_ni_syscall  /* query_module */
476         .quad sys_poll
477         .quad compat_sys_nfsservctl
478         .quad sys_setresgid16   /* 170 */
479         .quad sys_getresgid16
480         .quad sys_prctl
481         .quad stub32_rt_sigreturn
482         .quad sys32_rt_sigaction
483         .quad sys32_rt_sigprocmask      /* 175 */
484         .quad sys32_rt_sigpending
485         .quad sys32_rt_sigtimedwait
486         .quad sys32_rt_sigqueueinfo
487         .quad stub32_rt_sigsuspend
488         .quad sys32_pread               /* 180 */
489         .quad sys32_pwrite
490         .quad sys_chown16
491         .quad sys_getcwd
492         .quad sys_capget
493         .quad sys_capset
494         .quad stub32_sigaltstack
495         .quad sys32_sendfile
496         .quad quiet_ni_syscall          /* streams1 */
497         .quad quiet_ni_syscall          /* streams2 */
498         .quad stub32_vfork            /* 190 */
499         .quad compat_sys_getrlimit
500         .quad sys32_mmap2
501         .quad sys32_truncate64
502         .quad sys32_ftruncate64
503         .quad sys32_stat64              /* 195 */
504         .quad sys32_lstat64
505         .quad sys32_fstat64
506         .quad sys_lchown
507         .quad sys_getuid
508         .quad sys_getgid                /* 200 */
509         .quad sys_geteuid
510         .quad sys_getegid
511         .quad sys_setreuid
512         .quad sys_setregid
513         .quad sys_getgroups     /* 205 */
514         .quad sys_setgroups
515         .quad sys_fchown
516         .quad sys_setresuid
517         .quad sys_getresuid
518         .quad sys_setresgid     /* 210 */
519         .quad sys_getresgid
520         .quad sys_chown
521         .quad sys_setuid
522         .quad sys_setgid
523         .quad sys_setfsuid              /* 215 */
524         .quad sys_setfsgid
525         .quad sys_pivot_root
526         .quad sys_mincore
527         .quad sys_madvise
528         .quad sys_getdents64    /* 220 getdents64 */ 
529         .quad compat_sys_fcntl64        
530         .quad quiet_ni_syscall          /* tux */
531         .quad quiet_ni_syscall          /* security */
532         .quad sys_gettid        
533         .quad sys_readahead     /* 225 */
534         .quad sys_setxattr
535         .quad sys_lsetxattr
536         .quad sys_fsetxattr
537         .quad sys_getxattr
538         .quad sys_lgetxattr     /* 230 */
539         .quad sys_fgetxattr
540         .quad sys_listxattr
541         .quad sys_llistxattr
542         .quad sys_flistxattr
543         .quad sys_removexattr   /* 235 */
544         .quad sys_lremovexattr
545         .quad sys_fremovexattr
546         .quad sys_tkill
547         .quad sys_sendfile64 
548         .quad compat_sys_futex          /* 240 */
549         .quad compat_sys_sched_setaffinity
550         .quad compat_sys_sched_getaffinity
551         .quad sys32_set_thread_area
552         .quad sys32_get_thread_area
553         .quad sys32_io_setup            /* 245 */
554         .quad sys_io_destroy
555         .quad sys32_io_getevents
556         .quad sys32_io_submit
557         .quad sys_io_cancel
558         .quad sys_fadvise64             /* 250 */
559         .quad quiet_ni_syscall  /* free_huge_pages */
560         .quad sys_exit_group
561         .quad sys_lookup_dcookie
562         .quad sys_epoll_create
563         .quad sys_epoll_ctl             /* 255 */
564         .quad sys_epoll_wait
565         .quad sys_remap_file_pages
566         .quad sys_set_tid_address
567         .quad sys32_timer_create
568         .quad compat_timer_settime      /* 260 */
569         .quad compat_timer_gettime
570         .quad sys_timer_getoverrun
571         .quad sys_timer_delete
572         .quad compat_clock_settime
573         .quad compat_clock_gettime      /* 265 */
574         .quad compat_clock_getres
575         .quad compat_clock_nanosleep
576         .quad compat_statfs64
577         .quad compat_fstatfs64
578         .quad sys_tgkill                /* 270 */
579         .quad compat_sys_utimes
580         .quad sys32_fadvise64_64
581         .quad sys_vserver
582         .quad sys_mbind
583         .quad compat_get_mempolicy      /* 275 */
584         .quad sys_set_mempolicy
585         .quad compat_sys_mq_open
586         .quad sys_mq_unlink
587         .quad compat_sys_mq_timedsend
588         .quad compat_sys_mq_timedreceive        /* 280 */
589         .quad compat_sys_mq_notify
590         .quad compat_sys_mq_getsetattr
591         .quad quiet_ni_syscall          /* reserved for kexec */
592         /* don't forget to change IA32_NR_syscalls */
593 ia32_syscall_end:               
594         .rept IA32_NR_syscalls-(ia32_syscall_end-ia32_sys_call_table)/8
595                 .quad ni_syscall
596         .endr