This commit was manufactured by cvs2svn to create tag
[linux-2.6.git] / arch / s390 / kernel / entry64.S
1 /*
2  *  arch/s390/kernel/entry.S
3  *    S390 low-level entry points.
4  *
5  *  S390 version
6  *    Copyright (C) 1999,2000 IBM Deutschland Entwicklung GmbH, IBM Corporation
7  *    Author(s): Martin Schwidefsky (schwidefsky@de.ibm.com),
8  *               Hartmut Penner (hp@de.ibm.com),
9  *               Denis Joseph Barrow (djbarrow@de.ibm.com,barrow_dj@yahoo.com),
10  */
11
12 #include <linux/sys.h>
13 #include <linux/linkage.h>
14 #include <linux/config.h>
15 #include <asm/cache.h>
16 #include <asm/lowcore.h>
17 #include <asm/errno.h>
18 #include <asm/ptrace.h>
19 #include <asm/thread_info.h>
20 #include <asm/offsets.h>
21 #include <asm/unistd.h>
22
23 /*
24  * Stack layout for the system_call stack entry.
25  * The first few entries are identical to the user_regs_struct.
26  */
27 SP_PTREGS    =  STACK_FRAME_OVERHEAD
28 SP_ARGS      =  STACK_FRAME_OVERHEAD + __PT_ARGS
29 SP_PSW       =  STACK_FRAME_OVERHEAD + __PT_PSW
30 SP_R0        =  STACK_FRAME_OVERHEAD + __PT_GPRS
31 SP_R1        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 8
32 SP_R2        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 16
33 SP_R3        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 24
34 SP_R4        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 32
35 SP_R5        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 40
36 SP_R6        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 48
37 SP_R7        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 56
38 SP_R8        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 64
39 SP_R9        =  STACK_FRAME_OVERHEAD + __PT_GPRS + 72
40 SP_R10       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 80
41 SP_R11       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 88
42 SP_R12       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 96
43 SP_R13       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 104
44 SP_R14       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 112
45 SP_R15       =  STACK_FRAME_OVERHEAD + __PT_GPRS + 120
46 SP_ORIG_R2   =  STACK_FRAME_OVERHEAD + __PT_ORIG_GPR2
47 SP_ILC       =  STACK_FRAME_OVERHEAD + __PT_ILC
48 SP_TRAP      =  STACK_FRAME_OVERHEAD + __PT_TRAP
49 SP_SIZE      =  STACK_FRAME_OVERHEAD + __PT_SIZE
50
51 _TIF_WORK_SVC = (_TIF_SIGPENDING | _TIF_NEED_RESCHED | \
52                  _TIF_RESTART_SVC | _TIF_SINGLE_STEP )
53 _TIF_WORK_INT = (_TIF_SIGPENDING | _TIF_NEED_RESCHED)
54
55 /*
56  * Register usage in interrupt handlers:
57  *    R9  - pointer to current task structure
58  *    R13 - pointer to literal pool
59  *    R14 - return register for function calls
60  *    R15 - kernel stack pointer
61  */
62
63         .macro  SAVE_ALL psworg,savearea,sync
64         stmg    %r13,%r15,\savearea
65         .if     \sync
66         tm      \psworg+1,0x01           # test problem state bit
67         jz      1f                       # skip stack setup save
68         lg      %r15,__LC_KERNEL_STACK   # problem state -> load ksp
69         .else
70         tm      \psworg+1,0x01           # test problem state bit
71         jnz     0f                       # from user -> load kernel stack
72         lg      %r14,__LC_ASYNC_STACK    # are we already on the async. stack ?
73         slgr    %r14,%r15
74         srag    %r14,%r14,14
75         jz      1f
76 0:      lg      %r15,__LC_ASYNC_STACK    # load async stack
77         .endif
78 1:      aghi    %r15,-SP_SIZE            # make room for registers & psw
79         lghi    %r14,\psworg
80         slgr    %r13,%r13
81         icm     %r14,12,__LC_SVC_ILC
82         stmg    %r0,%r12,SP_R0(%r15)     # store gprs 0-13 to kernel stack
83         stg     %r2,SP_ORIG_R2(%r15)     # store original content of gpr 2
84         mvc     SP_R13(24,%r15),\savearea # move r13, r14 and r15 to stack
85         mvc     SP_PSW(16,%r15),\psworg  # move user PSW to stack
86         st      %r14,SP_ILC(%r15)
87         stg     %r13,0(%r15)
88         .endm
89
90         .macro  CLEANUP_SAVE_ALL psworg,savearea,sync
91         lg      %r1,SP_PSW+8(%r15)
92         cli     1(%r1),0xdf
93         jne     2f
94         mvc     \savearea(24),SP_R13(%r15)
95 2:      lg      %r1,\savearea+16
96         .if     \sync
97         tm      \psworg+1,0x01
98         jz      1f
99         lg      %r1,__LC_KERNEL_STACK
100         .else
101         tm      \psworg+1,0x01
102         jnz     0f
103         lg      %r0,__LC_ASYNC_STACK
104         slgr    %r0,%r1
105         srag    %r0,%r0,14
106         jz      1f
107 0:      lg      %r1,__LC_ASYNC_STACK
108         .endif
109 1:      aghi    %r1,-SP_SIZE
110         stg     %r1,SP_R15(%r15)
111         lghi    %r0,\psworg
112         xc      SP_R13(8,%r15),SP_R13(%r15)
113         icm     %r0,12,__LC_SVC_ILC
114         stg     %r0,SP_R14(%r15)
115         mvc     SP_R0(104,%r1),SP_R0(%r15)
116         mvc     SP_ORIG_R2(8,%r1),SP_R2(%r15)
117         mvc     SP_R13(24,%r1),\savearea
118         mvc     SP_PSW(16,%r1),\psworg
119         st      %r0,SP_ILC(%r1)
120         xc      0(8,%r1),0(%r1)
121         .endm
122
123         .macro  RESTORE_ALL              # system exit macro
124         mvc     __LC_RETURN_PSW(16),SP_PSW(%r15) # move user PSW to lowcore
125         ni      __LC_RETURN_PSW+1,0xfd   # clear wait state bit
126         lmg     %r0,%r15,SP_R0(%r15)     # load gprs 0-15 of user
127         lpswe   __LC_RETURN_PSW          # back to caller
128         .endm
129
130         .macro  CLEANUP_RESTORE_ALL
131         lg      %r1,SP_PSW+8(%r15)
132         cli     0(%r1),0xb2
133         jne     0f
134         mvc     SP_PSW(16,%r15),__LC_RETURN_PSW
135         j       1f
136 0:      lg      %r1,SP_R15(%r15)
137         mvc     SP_PSW(16,%r15),SP_PSW(%r1)
138         mvc     SP_R0(128,%r15),SP_R0(%r1)
139 1:
140         .endm
141
142         .macro  GET_THREAD_INFO
143         lg      %r9,__LC_THREAD_INFO     # load pointer to thread_info struct
144         .endm
145
146         .macro  CHECK_CRITICAL
147         tm      SP_PSW+1(%r15),0x01      # test problem state bit
148         jnz     0f                       # from user -> not critical
149         larl    %r1,.Lcritical_start
150         clc     SP_PSW+8(8,%r15),8(%r1)  # compare ip with __critical_end
151         jnl     0f
152         clc     SP_PSW+8(8,%r15),0(%r1)  # compare ip with __critical_start
153         jl      0f
154         brasl   %r14,cleanup_critical
155 0:
156         .endm
157
158 /*
159  * Scheduler resume function, called by switch_to
160  *  gpr2 = (task_struct *) prev
161  *  gpr3 = (task_struct *) next
162  * Returns:
163  *  gpr2 = prev
164  */
165         .globl  __switch_to
166 __switch_to:
167         tm      __THREAD_per+4(%r3),0xe8 # is the new process using per ?
168         jz      __switch_to_noper               # if not we're fine
169         stctg   %c9,%c11,48(%r15)       # We are using per stuff
170         clc     __THREAD_per(24,%r3),48(%r15)
171         je      __switch_to_noper            # we got away without bashing TLB's
172         lctlg   %c9,%c11,__THREAD_per(%r3)      # Nope we didn't
173 __switch_to_noper:
174         stmg    %r6,%r15,48(%r15)       # store __switch_to registers of prev task
175         stg     %r15,__THREAD_ksp(%r2)  # store kernel stack to prev->tss.ksp
176         lg      %r15,__THREAD_ksp(%r3)  # load kernel stack from next->tss.ksp
177         lmg     %r6,%r15,48(%r15)       # load __switch_to registers of next task
178         stg     %r3,__LC_CURRENT        # __LC_CURRENT = current task struct
179         lg      %r3,__THREAD_info(%r3)  # load thread_info from task struct
180         stg     %r3,__LC_THREAD_INFO
181         aghi    %r3,16384
182         stg     %r3,__LC_KERNEL_STACK   # __LC_KERNEL_STACK = new kernel stack
183         br      %r14
184
185 /*
186  * do_softirq calling function. We want to run the softirq functions on the
187  * asynchronous interrupt stack.
188  */
189         .global do_call_softirq
190 do_call_softirq:
191         stnsm   48(%r15),0xfc
192         stmg    %r12,%r15,56(%r15)
193         lgr     %r12,%r15
194         lg      %r0,__LC_ASYNC_STACK
195         slgr    %r0,%r15
196         srag    %r0,%r0,14
197         je      0f
198         lg      %r15,__LC_ASYNC_STACK
199 0:      aghi    %r15,-STACK_FRAME_OVERHEAD
200         stg     %r12,0(%r15)            # store back chain
201         brasl   %r14,do_softirq
202         lmg     %r12,%r15,56(%r12)
203         ssm     48(%r15)
204         br      %r14
205
206 __critical_start:
207 /*
208  * SVC interrupt handler routine. System calls are synchronous events and
209  * are executed with interrupts enabled.
210  */
211
212         .globl  system_call
213 system_call:
214         SAVE_ALL __LC_SVC_OLD_PSW,__LC_SAVE_AREA,1
215         llgh    %r7,__LC_SVC_INT_CODE # get svc number from lowcore
216 sysc_enter:
217         GET_THREAD_INFO           # load pointer to task_struct to R9
218 sysc_do_svc:
219         slag    %r7,%r7,2         # *4 and test for svc 0
220         jnz     sysc_nr_ok
221         # svc 0: system call number in %r1
222         lghi    %r0,NR_syscalls
223         clr     %r1,%r0
224         jnl     sysc_nr_ok
225         lgfr    %r7,%r1           # clear high word in r1
226         slag    %r7,%r7,2         # svc 0: system call number in %r1
227 sysc_nr_ok:
228         mvc     SP_ARGS(8,%r15),SP_R7(%r15)
229 sysc_do_restart:
230         larl    %r10,sys_call_table
231 #ifdef CONFIG_S390_SUPPORT
232         tm      SP_PSW+3(%r15),0x01  # are we running in 31 bit mode ?
233         jo      sysc_noemu
234         larl    %r10,sys_call_table_emu  # use 31 bit emulation system calls
235 sysc_noemu:
236 #endif
237         tm      __TI_flags+7(%r9),(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT)
238         lgf     %r8,0(%r7,%r10)   # load address of system call routine
239         jnz     sysc_tracesys
240         basr    %r14,%r8          # call sys_xxxx
241         stg     %r2,SP_R2(%r15)   # store return value (change R2 on stack)
242                                   # ATTENTION: check sys_execve_glue before
243                                   # changing anything here !!
244
245 sysc_return:
246         tm      SP_PSW+1(%r15),0x01    # returning to user ?
247         jno     sysc_leave
248         tm      __TI_flags+7(%r9),_TIF_WORK_SVC
249         jnz     sysc_work         # there is work to do (signals etc.)
250 sysc_leave:
251         RESTORE_ALL
252
253 #
254 # recheck if there is more work to do
255 #
256 sysc_work_loop:
257         GET_THREAD_INFO           # load pointer to task_struct to R9
258         tm      __TI_flags+7(%r9),_TIF_WORK_SVC
259         jz      sysc_leave        # there is no work to do
260 #
261 # One of the work bits is on. Find out which one.
262 #
263 sysc_work:
264         tm      __TI_flags+7(%r9),_TIF_NEED_RESCHED
265         jo      sysc_reschedule
266         tm      __TI_flags+7(%r9),_TIF_SIGPENDING
267         jo      sysc_sigpending
268         tm      __TI_flags+7(%r9),_TIF_RESTART_SVC
269         jo      sysc_restart
270         tm      __TI_flags+7(%r9),_TIF_SINGLE_STEP
271         jo      sysc_singlestep
272         j       sysc_leave
273
274 #
275 # _TIF_NEED_RESCHED is set, call schedule
276 #       
277 sysc_reschedule:        
278         larl    %r14,sysc_work_loop
279         jg      schedule            # return point is sysc_return
280
281 #
282 # _TIF_SIGPENDING is set, call do_signal
283 #
284 sysc_sigpending:     
285         ni      __TI_flags+7(%r9),255-_TIF_SINGLE_STEP # clear TIF_SINGLE_STEP
286         la      %r2,SP_PTREGS(%r15) # load pt_regs
287         sgr     %r3,%r3           # clear *oldset
288         brasl   %r14,do_signal    # call do_signal
289         tm      __TI_flags+7(%r9),_TIF_RESTART_SVC
290         jo      sysc_restart
291         j       sysc_leave        # out of here, do NOT recheck
292
293 #
294 # _TIF_RESTART_SVC is set, set up registers and restart svc
295 #
296 sysc_restart:
297         ni      __TI_flags+7(%r9),255-_TIF_RESTART_SVC # clear TIF_RESTART_SVC
298         lg      %r7,SP_R2(%r15)        # load new svc number
299         slag    %r7,%r7,2              # *4
300         mvc     SP_R2(8,%r15),SP_ORIG_R2(%r15) # restore first argument
301         lmg     %r2,%r6,SP_R2(%r15)    # load svc arguments
302         j       sysc_do_restart        # restart svc
303
304 #
305 # _TIF_SINGLE_STEP is set, call do_single_step
306 #
307 sysc_singlestep:
308         ni      __TI_flags+7(%r9),255-_TIF_SINGLE_STEP # clear TIF_SINGLE_STEP
309         lhi     %r0,__LC_PGM_OLD_PSW
310         sth     %r0,SP_TRAP(%r15)       # set trap indication to pgm check
311         la      %r2,SP_PTREGS(%r15)     # address of register-save area
312         larl    %r14,sysc_return        # load adr. of system return
313         jg      do_single_step          # branch to do_sigtrap
314
315
316 __critical_end:
317
318 #
319 # call syscall_trace before and after system call
320 # special linkage: %r12 contains the return address for trace_svc
321 #
322 sysc_tracesys:
323         la      %r2,SP_PTREGS(%r15)    # load pt_regs
324         la      %r3,0
325         srl     %r7,2
326         stg     %r7,SP_R2(%r15)
327         brasl   %r14,syscall_trace
328         lghi    %r0,NR_syscalls
329         clg     %r0,SP_R2(%r15)
330         jnh     sysc_tracenogo
331         lg      %r7,SP_R2(%r15)   # strace might have changed the
332         sll     %r7,2             #  system call
333         lgf     %r8,0(%r7,%r10)
334 sysc_tracego:
335         lmg     %r3,%r6,SP_R3(%r15)
336         lg      %r2,SP_ORIG_R2(%r15)
337         basr    %r14,%r8            # call sys_xxx
338         stg     %r2,SP_R2(%r15)     # store return value
339 sysc_tracenogo:
340         tm      __TI_flags+7(%r9),(_TIF_SYSCALL_TRACE|_TIF_SYSCALL_AUDIT)
341         jz      sysc_return
342         la      %r2,SP_PTREGS(%r15)    # load pt_regs
343         la      %r3,1
344         larl    %r14,sysc_return    # return point is sysc_return
345         jg      syscall_trace
346
347 #
348 # a new process exits the kernel with ret_from_fork
349 #
350         .globl  ret_from_fork
351 ret_from_fork:  
352         GET_THREAD_INFO           # load pointer to task_struct to R9
353         brasl   %r14,schedule_tail
354         stosm   24(%r15),0x03     # reenable interrupts
355         j       sysc_return
356
357 #
358 # clone, fork, vfork, exec and sigreturn need glue,
359 # because they all expect pt_regs as parameter,
360 # but are called with different parameter.
361 # return-address is set up above
362 #
363 sys_clone_glue: 
364         la      %r2,SP_PTREGS(%r15)    # load pt_regs
365         jg      sys_clone              # branch to sys_clone
366
367 #ifdef CONFIG_S390_SUPPORT
368 sys32_clone_glue: 
369         la      %r2,SP_PTREGS(%r15)    # load pt_regs
370         jg      sys32_clone            # branch to sys32_clone
371 #endif
372
373 sys_fork_glue:  
374         la      %r2,SP_PTREGS(%r15)    # load pt_regs
375         jg      sys_fork               # branch to sys_fork
376
377 sys_vfork_glue: 
378         la      %r2,SP_PTREGS(%r15)    # load pt_regs
379         jg      sys_vfork              # branch to sys_vfork
380
381 sys_execve_glue:        
382         la      %r2,SP_PTREGS(%r15)   # load pt_regs
383         lgr     %r12,%r14             # save return address
384         brasl   %r14,sys_execve       # call sys_execve
385         ltgr    %r2,%r2               # check if execve failed
386         bnz     0(%r12)               # it did fail -> store result in gpr2
387         b       6(%r12)               # SKIP STG 2,SP_R2(15) in
388                                       # system_call/sysc_tracesys
389 #ifdef CONFIG_S390_SUPPORT
390 sys32_execve_glue:        
391         la      %r2,SP_PTREGS(%r15)   # load pt_regs
392         lgr     %r12,%r14             # save return address
393         brasl   %r14,sys32_execve     # call sys32_execve
394         ltgr    %r2,%r2               # check if execve failed
395         bnz     0(%r12)               # it did fail -> store result in gpr2
396         b       6(%r12)               # SKIP STG 2,SP_R2(15) in
397                                       # system_call/sysc_tracesys
398 #endif
399
400 sys_sigreturn_glue:     
401         la      %r2,SP_PTREGS(%r15)   # load pt_regs as parameter
402         jg      sys_sigreturn         # branch to sys_sigreturn
403
404 #ifdef CONFIG_S390_SUPPORT
405 sys32_sigreturn_glue:     
406         la      %r2,SP_PTREGS(%r15)   # load pt_regs as parameter
407         jg      sys32_sigreturn       # branch to sys32_sigreturn
408 #endif
409
410 sys_rt_sigreturn_glue:     
411         la      %r2,SP_PTREGS(%r15)   # load pt_regs as parameter
412         jg      sys_rt_sigreturn      # branch to sys_sigreturn
413
414 #ifdef CONFIG_S390_SUPPORT
415 sys32_rt_sigreturn_glue:     
416         la      %r2,SP_PTREGS(%r15)   # load pt_regs as parameter
417         jg      sys32_rt_sigreturn    # branch to sys32_sigreturn
418 #endif
419
420 #
421 # sigsuspend and rt_sigsuspend need pt_regs as an additional
422 # parameter and they have to skip the store of %r2 into the
423 # user register %r2 because the return value was set in 
424 # sigsuspend and rt_sigsuspend already and must not be overwritten!
425 #
426
427 sys_sigsuspend_glue:    
428         lgr     %r5,%r4               # move mask back
429         lgr     %r4,%r3               # move history1 parameter
430         lgr     %r3,%r2               # move history0 parameter
431         la      %r2,SP_PTREGS(%r15)   # load pt_regs as first parameter
432         la      %r14,6(%r14)          # skip store of return value
433         jg      sys_sigsuspend        # branch to sys_sigsuspend
434
435 #ifdef CONFIG_S390_SUPPORT
436 sys32_sigsuspend_glue:    
437         llgfr   %r4,%r4               # unsigned long                   
438         lgr     %r5,%r4               # move mask back
439         lgfr    %r3,%r3               # int                     
440         lgr     %r4,%r3               # move history1 parameter
441         lgfr    %r2,%r2               # int                     
442         lgr     %r3,%r2               # move history0 parameter
443         la      %r2,SP_PTREGS(%r15)   # load pt_regs as first parameter
444         la      %r14,6(%r14)          # skip store of return value
445         jg      sys32_sigsuspend      # branch to sys32_sigsuspend
446 #endif
447
448 sys_rt_sigsuspend_glue: 
449         lgr     %r4,%r3               # move sigsetsize parameter
450         lgr     %r3,%r2               # move unewset parameter
451         la      %r2,SP_PTREGS(%r15)   # load pt_regs as first parameter
452         la      %r14,6(%r14)          # skip store of return value
453         jg      sys_rt_sigsuspend     # branch to sys_rt_sigsuspend
454
455 #ifdef CONFIG_S390_SUPPORT
456 sys32_rt_sigsuspend_glue: 
457         llgfr   %r3,%r3               # size_t                  
458         lgr     %r4,%r3               # move sigsetsize parameter
459         llgtr   %r2,%r2               # sigset_emu31_t *
460         lgr     %r3,%r2               # move unewset parameter
461         la      %r2,SP_PTREGS(%r15)   # load pt_regs as first parameter
462         la      %r14,6(%r14)          # skip store of return value
463         jg      sys32_rt_sigsuspend   # branch to sys32_rt_sigsuspend
464 #endif
465
466 sys_sigaltstack_glue:
467         la      %r4,SP_PTREGS(%r15)   # load pt_regs as parameter
468         jg      sys_sigaltstack       # branch to sys_sigreturn
469
470 #ifdef CONFIG_S390_SUPPORT
471 sys32_sigaltstack_glue:
472         la      %r4,SP_PTREGS(%r15)   # load pt_regs as parameter
473         jg      sys32_sigaltstack_wrapper # branch to sys_sigreturn
474 #endif
475
476 /*
477  * Program check handler routine
478  */
479
480         .globl  pgm_check_handler
481 pgm_check_handler:
482 /*
483  * First we need to check for a special case:
484  * Single stepping an instruction that disables the PER event mask will
485  * cause a PER event AFTER the mask has been set. Example: SVC or LPSW.
486  * For a single stepped SVC the program check handler gets control after
487  * the SVC new PSW has been loaded. But we want to execute the SVC first and
488  * then handle the PER event. Therefore we update the SVC old PSW to point
489  * to the pgm_check_handler and branch to the SVC handler after we checked
490  * if we have to load the kernel stack register.
491  * For every other possible cause for PER event without the PER mask set
492  * we just ignore the PER event (FIXME: is there anything we have to do
493  * for LPSW?).
494  */
495         tm      __LC_PGM_INT_CODE+1,0x80 # check whether we got a per exception
496         jnz     pgm_per                  # got per exception -> special case
497         SAVE_ALL __LC_PGM_OLD_PSW,__LC_SAVE_AREA,1
498         lgf     %r3,__LC_PGM_ILC         # load program interruption code
499         lghi    %r8,0x7f
500         ngr     %r8,%r3
501 pgm_do_call:
502         sll     %r8,3
503         GET_THREAD_INFO
504         larl    %r1,pgm_check_table
505         lg      %r1,0(%r8,%r1)           # load address of handler routine
506         la      %r2,SP_PTREGS(%r15)      # address of register-save area
507         larl    %r14,sysc_return
508         br      %r1                      # branch to interrupt-handler
509
510 #
511 # handle per exception
512 #
513 pgm_per:
514         tm      __LC_PGM_OLD_PSW,0x40    # test if per event recording is on
515         jnz     pgm_per_std              # ok, normal per event from user space
516 # ok its one of the special cases, now we need to find out which one
517         clc     __LC_PGM_OLD_PSW(16),__LC_SVC_NEW_PSW
518         je      pgm_svcper
519 # no interesting special case, ignore PER event
520         lpswe   __LC_PGM_OLD_PSW
521
522 #
523 # Normal per exception
524 #
525 pgm_per_std:
526         SAVE_ALL __LC_PGM_OLD_PSW,__LC_SAVE_AREA,1
527         GET_THREAD_INFO
528         lg      %r1,__TI_task(%r9)
529         mvc     __THREAD_per+__PER_atmid(2,%r1),__LC_PER_ATMID
530         mvc     __THREAD_per+__PER_address(8,%r1),__LC_PER_ADDRESS
531         mvc     __THREAD_per+__PER_access_id(1,%r1),__LC_PER_ACCESS_ID
532         oi      __TI_flags+7(%r9),_TIF_SINGLE_STEP # set TIF_SINGLE_STEP
533         lgf     %r3,__LC_PGM_ILC         # load program interruption code
534         lghi    %r8,0x7f
535         ngr     %r8,%r3                  # clear per-event-bit and ilc
536         je      sysc_return
537         j       pgm_do_call
538
539 #
540 # it was a single stepped SVC that is causing all the trouble
541 #
542 pgm_svcper:
543         SAVE_ALL __LC_SVC_OLD_PSW,__LC_SAVE_AREA,1
544         llgh    %r7,__LC_SVC_INT_CODE   # get svc number from lowcore
545         GET_THREAD_INFO                 # load pointer to task_struct to R9
546         lg      %r1,__TI_task(%r9)
547         mvc     __THREAD_per+__PER_atmid(2,%r1),__LC_PER_ATMID
548         mvc     __THREAD_per+__PER_address(8,%r1),__LC_PER_ADDRESS
549         mvc     __THREAD_per+__PER_access_id(1,%r1),__LC_PER_ACCESS_ID
550         oi      __TI_flags+7(%r9),_TIF_SINGLE_STEP # set TIF_SINGLE_STEP
551         stosm   48(%r15),0x03           # reenable interrupts
552         j       sysc_do_svc
553
554 /*
555  * IO interrupt handler routine
556  */
557         .globl io_int_handler
558 io_int_handler:
559         SAVE_ALL __LC_IO_OLD_PSW,__LC_SAVE_AREA+32,0
560         stck    __LC_INT_CLOCK
561         CHECK_CRITICAL
562         GET_THREAD_INFO                # load pointer to task_struct to R9
563         la      %r2,SP_PTREGS(%r15)    # address of register-save area
564         brasl   %r14,do_IRQ            # call standard irq handler
565
566 io_return:
567         tm      SP_PSW+1(%r15),0x01    # returning to user ?
568 #ifdef CONFIG_PREEMPT
569         jno     io_preempt             # no -> check for preemptive scheduling
570 #else
571         jno     io_leave               # no-> skip resched & signal
572 #endif
573         tm      __TI_flags+7(%r9),_TIF_WORK_INT
574         jnz     io_work                # there is work to do (signals etc.)
575 io_leave:
576         RESTORE_ALL
577
578 #ifdef CONFIG_PREEMPT
579 io_preempt:
580         icm     %r0,15,__TI_precount(%r9)       
581         jnz     io_leave
582         # switch to kernel stack
583         lg      %r1,SP_R15(%r15)
584         aghi    %r1,-SP_SIZE
585         mvc     SP_PTREGS(__PT_SIZE,%r1),SP_PTREGS(%r15)
586         xc      0(8,%r1),0(%r1)        # clear back chain
587         lgr     %r15,%r1
588 io_resume_loop:
589         tm      __TI_flags+7(%r9),_TIF_NEED_RESCHED
590         jno     io_leave
591         larl    %r1,.Lc_pactive
592         mvc     __TI_precount(4,%r9),0(%r1)
593         stosm   48(%r15),0x03          # reenable interrupts
594         brasl   %r14,schedule          # call schedule
595         stnsm   48(%r15),0xfc          # disable I/O and ext. interrupts
596         GET_THREAD_INFO                # load pointer to task_struct to R9
597         xc      __TI_precount(4,%r9),__TI_precount(%r9)
598         j       io_resume_loop
599 #endif
600
601 #
602 # switch to kernel stack, then check TIF bits
603 #
604 io_work:
605         lg      %r1,__LC_KERNEL_STACK
606         aghi    %r1,-SP_SIZE
607         mvc     SP_PTREGS(__PT_SIZE,%r1),SP_PTREGS(%r15)
608         xc      0(8,%r1),0(%r1)        # clear back chain
609         lgr     %r15,%r1
610 #
611 # One of the work bits is on. Find out which one.
612 # Checked are: _TIF_SIGPENDING and _TIF_NEED_RESCHED
613 #
614 io_work_loop:
615         tm      __TI_flags+7(%r9),_TIF_NEED_RESCHED
616         jo      io_reschedule
617         tm      __TI_flags+7(%r9),_TIF_SIGPENDING
618         jo      io_sigpending
619         j       io_leave
620
621 #
622 # _TIF_NEED_RESCHED is set, call schedule
623 #       
624 io_reschedule:        
625         stosm   48(%r15),0x03       # reenable interrupts
626         brasl   %r14,schedule       # call scheduler
627         stnsm   48(%r15),0xfc       # disable I/O and ext. interrupts
628         GET_THREAD_INFO             # load pointer to task_struct to R9
629         tm      __TI_flags+7(%r9),_TIF_WORK_INT
630         jz      io_leave               # there is no work to do
631         j       io_work_loop
632
633 #
634 # _TIF_SIGPENDING is set, call do_signal
635 #
636 io_sigpending:     
637         stosm   48(%r15),0x03       # reenable interrupts
638         la      %r2,SP_PTREGS(%r15) # load pt_regs
639         slgr    %r3,%r3             # clear *oldset
640         brasl   %r14,do_signal      # call do_signal
641         stnsm   48(%r15),0xfc       # disable I/O and ext. interrupts
642         j       sysc_leave          # out of here, do NOT recheck
643
644 /*
645  * External interrupt handler routine
646  */
647         .globl  ext_int_handler
648 ext_int_handler:
649         SAVE_ALL __LC_EXT_OLD_PSW,__LC_SAVE_AREA+32,0
650         CHECK_CRITICAL
651         GET_THREAD_INFO                # load pointer to task_struct to R9
652         stck    __LC_INT_CLOCK
653         la      %r2,SP_PTREGS(%r15)    # address of register-save area
654         llgh    %r3,__LC_EXT_INT_CODE  # get interruption code
655         brasl   %r14,do_extint
656         j       io_return
657
658 /*
659  * Machine check handler routines
660  */
661         .globl mcck_int_handler
662 mcck_int_handler:
663         SAVE_ALL __LC_MCK_OLD_PSW,__LC_SAVE_AREA+64,0
664         brasl   %r14,s390_do_machine_check
665 mcck_return:
666         RESTORE_ALL
667
668 #ifdef CONFIG_SMP
669 /*
670  * Restart interruption handler, kick starter for additional CPUs
671  */
672         .globl restart_int_handler
673 restart_int_handler:
674         lg      %r15,__LC_SAVE_AREA+120 # load ksp
675         lghi    %r10,__LC_CREGS_SAVE_AREA
676         lctlg   %c0,%c15,0(%r10) # get new ctl regs
677         lghi    %r10,__LC_AREGS_SAVE_AREA
678         lam     %a0,%a15,0(%r10)
679         stosm   0(%r15),0x04           # now we can turn dat on
680         lmg     %r6,%r15,48(%r15)      # load registers from clone
681         jg      start_secondary
682 #else
683 /*
684  * If we do not run with SMP enabled, let the new CPU crash ...
685  */
686         .globl restart_int_handler
687 restart_int_handler:
688         basr    %r1,0
689 restart_base:
690         lpswe   restart_crash-restart_base(%r1)
691         .align 8
692 restart_crash:
693         .long  0x000a0000,0x00000000,0x00000000,0x00000000
694 restart_go:
695 #endif
696
697 cleanup_table:
698         .quad   system_call, sysc_enter, cleanup_sysc_enter
699         .quad   sysc_return, sysc_leave, cleanup_sysc_return
700         .quad   sysc_leave, sysc_work_loop, cleanup_sysc_leave
701         .quad   sysc_work_loop, sysc_reschedule, cleanup_sysc_return
702 cleanup_table_entries=(.-cleanup_table) / 24
703
704 cleanup_critical:
705         lghi    %r0,cleanup_table_entries
706         larl    %r1,cleanup_table
707         lg      %r2,SP_PSW+8(%r15)
708 cleanup_loop:
709         clg     %r2,0(%r1)
710         jl      cleanup_cont
711         clg     %r2,8(%r1)
712         jl      cleanup_found
713 cleanup_cont:
714         la      %r1,24(%r1)
715         brct    %r0,cleanup_loop
716         br      %r14
717 cleanup_found:
718         lg      %r1,16(%r1)
719         br      %r1
720
721 cleanup_sysc_enter:
722         CLEANUP_SAVE_ALL __LC_SVC_OLD_PSW,__LC_SAVE_AREA,1
723         llgh    %r0,0x8a
724         stg     %r0,SP_R7(%r15)
725         larl    %r1,sysc_enter
726         stg     %r1,SP_PSW+8(%r15)
727         br      %r14
728
729 cleanup_sysc_return:
730         larl    %r1,sysc_return
731         stg     %r1,SP_PSW+8(%r15)
732         br      %r14
733
734 cleanup_sysc_leave:
735         CLEANUP_RESTORE_ALL
736         br      %r14
737
738 /*
739  * Integer constants
740  */
741                .align 4
742 .Lconst:
743 .Lc_pactive:   .long  PREEMPT_ACTIVE
744 .Lcritical_start:
745                .quad  __critical_start
746 .Lcritical_end:
747                .quad  __critical_end
748
749 #define SYSCALL(esa,esame,emu)  .long esame
750         .globl  sys_call_table
751 sys_call_table:
752 #include "syscalls.S"
753 #undef SYSCALL
754
755 #ifdef CONFIG_S390_SUPPORT
756
757 #define SYSCALL(esa,esame,emu)  .long emu
758         .globl  sys_call_table_emu
759 sys_call_table_emu:
760 #include "syscalls.S"
761 #undef SYSCALL
762 #endif