|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
.macro transpose_q_8x8 rq0, rq1, rq2, rq3, r0, r1, r2, r3, r4, r5, r6, r7 |
|
vtrn.32 \rq0, \rq2 |
|
vtrn.32 \rq1, \rq3 |
|
vtrn.16 \rq0, \rq1 |
|
vtrn.16 \rq2, \rq3 |
|
vtrn.8 \r0, \r1 |
|
vtrn.8 \r2, \r3 |
|
vtrn.8 \r4, \r5 |
|
vtrn.8 \r6, \r7 |
|
.endm |
|
|
|
|
|
|
|
|
|
.macro transpose_q_4x4 rq0, rq1, r0, r1, r2, r3 |
|
vtrn.16 \rq0, \rq1 |
|
vtrn.8 \r0, \r1 |
|
vtrn.8 \r2, \r3 |
|
.endm |
|
|
|
|
|
|
|
|
|
.macro loop_filter_q |
|
vdup.u8 d0, r2 |
|
lsr r2, r2, #8 |
|
vdup.u8 d2, r3 |
|
lsr r3, r3, #8 |
|
vdup.u8 d1, r2 |
|
vdup.u8 d3, r3 |
|
|
|
vabd.u8 q2, q8, q9 |
|
vabd.u8 q3, q9, q10 |
|
vabd.u8 q4, q10, q11 |
|
vabd.u8 q5, q12, q13 |
|
vabd.u8 q6, q13, q14 |
|
vabd.u8 q7, q14, q15 |
|
vmax.u8 q2, q2, q3 |
|
vmax.u8 q3, q4, q5 |
|
vmax.u8 q4, q6, q7 |
|
vabd.u8 q5, q11, q12 |
|
vmax.u8 q2, q2, q3 |
|
vqadd.u8 q5, q5, q5 |
|
vabd.u8 q7, q10, q13 |
|
vmax.u8 q2, q2, q4 |
|
vshr.u8 q7, q7, #1 |
|
vcle.u8 q2, q2, q1 |
|
vqadd.u8 q5, q5, q7 |
|
vcle.u8 q5, q5, q0 |
|
vand q2, q2, q5 |
|
|
|
vshrn.u16 d10, q2, #4 |
|
vmov r2, r3, d10 |
|
orrs r2, r2, r3 |
|
|
|
beq 9f |
|
|
|
|
|
ldr r3, [sp, #64] |
|
vabd.u8 q3, q10, q11 |
|
vabd.u8 q4, q13, q12 |
|
|
|
vsubl.u8 q5, d20, d26 |
|
vsubl.u8 q6, d21, d27 |
|
vmax.u8 q3, q3, q4 |
|
vqmovn.s16 d10, q5 |
|
vqmovn.s16 d11, q6 |
|
vdup.u8 d8, r3 |
|
lsr r3, r3, #8 |
|
vdup.u8 d9, r3 |
|
vsubl.u8 q6, d24, d22 |
|
vsubl.u8 q7, d25, d23 |
|
vcle.u8 q3, q3, q4 |
|
vmov.s16 q0, #3 |
|
vand q3, q3, q2 |
|
|
|
vmul.s16 q6, q6, q0 |
|
vmul.s16 q7, q7, q0 |
|
vbic q5, q5, q3 |
|
vaddw.s8 q6, q6, d10 |
|
vaddw.s8 q7, q7, d11 |
|
vmov.s8 q5, #4 |
|
vqmovn.s16 d12, q6 |
|
vqmovn.s16 d13, q7 |
|
vmov.s8 q0, #3 |
|
|
|
vqadd.s8 q5, q6, q5 |
|
vqadd.s8 q0, q6, q0 |
|
vmovl.u8 q6, d22 |
|
vmovl.u8 q7, d23 |
|
vshr.s8 q5, q5, #3 |
|
vshr.s8 q0, q0, #3 |
|
|
|
vaddw.s8 q6, q6, d0 |
|
vaddw.s8 q7, q7, d1 |
|
vqmovun.s16 d0, q6 |
|
vmovl.u8 q6, d24 |
|
vqmovun.s16 d1, q7 |
|
vmovl.u8 q7, d25 |
|
vsubw.s8 q6, q6, d10 |
|
vsubw.s8 q7, q7, d11 |
|
vqmovun.s16 d12, q6 |
|
vqmovun.s16 d13, q7 |
|
vrshr.s8 q5, q5, #1 |
|
vbit q11, q0, q2 |
|
vbit q12, q6, q2 |
|
|
|
vmovl.u8 q0, d20 |
|
vmovl.u8 q2, d21 |
|
vmovl.u8 q6, d26 |
|
vmovl.u8 q7, d27 |
|
vaddw.s8 q0, q0, d10 |
|
vaddw.s8 q2, q2, d11 |
|
vsubw.s8 q6, q6, d10 |
|
vsubw.s8 q7, q7, d11 |
|
vqmovun.s16 d0, q0 |
|
vqmovun.s16 d1, q2 |
|
vqmovun.s16 d12, q6 |
|
vqmovun.s16 d13, q7 |
|
vbit q10, q0, q3 |
|
vbit q13, q6, q3 |
|
.endm |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
.macro loop_filter wd, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7, tmp8, tmpq1, tmpq2, tmpq3, tmpq4 |
|
vdup.u8 d0, r2 |
|
vdup.u8 d2, r3 |
|
ldr r3, [sp] |
|
|
|
vabd.u8 d4, d20, d21 |
|
vabd.u8 d5, d21, d22 |
|
vabd.u8 d6, d22, d23 |
|
vabd.u8 d7, d24, d25 |
|
vabd.u8 \tmp1, d25, d26 |
|
vabd.u8 \tmp2, d26, d27 |
|
vmax.u8 d4, d4, d5 |
|
vmax.u8 d5, d6, d7 |
|
vmax.u8 \tmp1, \tmp1, \tmp2 |
|
vabd.u8 d6, d23, d24 |
|
vmax.u8 d4, d4, d5 |
|
vqadd.u8 d6, d6, d6 |
|
vabd.u8 d5, d22, d25 |
|
vmax.u8 d4, d4, \tmp1 |
|
vshr.u8 d5, d5, #1 |
|
vcle.u8 d4, d4, d2 |
|
vqadd.u8 d6, d6, d5 |
|
vcle.u8 d5, d6, d0 |
|
vand d4, d4, d5 |
|
|
|
vdup.u8 d3, r3 |
|
vmov r2, r3, d4 |
|
orrs r2, r2, r3 |
|
|
|
beq 9f |
|
|
|
.if \wd >= 8 |
|
vmov.u8 d0, #1 |
|
|
|
vabd.u8 d6, d20, d23 |
|
vabd.u8 d2, d21, d23 |
|
vabd.u8 d1, d22, d23 |
|
vabd.u8 \tmp1, d25, d24 |
|
vabd.u8 \tmp2, d26, d24 |
|
vabd.u8 \tmp3, d27, d24 |
|
vmax.u8 d6, d6, d2 |
|
vmax.u8 d1, d1, \tmp1 |
|
vmax.u8 \tmp2, \tmp2, \tmp3 |
|
.if \wd == 16 |
|
vabd.u8 d7, d16, d23 |
|
vmax.u8 d6, d6, d1 |
|
vabd.u8 d2, d17, d23 |
|
vmax.u8 d6, d6, \tmp2 |
|
vabd.u8 d1, d18, d23 |
|
vcle.u8 d6, d6, d0 |
|
vabd.u8 d8, d19, d23 |
|
vand d6, d6, d4 |
|
vabd.u8 d9, d28, d24 |
|
vbic d4, d4, d6 |
|
vabd.u8 d10, d29, d24 |
|
vabd.u8 d11, d30, d24 |
|
vabd.u8 d12, d31, d24 |
|
|
|
vmax.u8 d7, d7, d2 |
|
vmax.u8 d1, d1, d8 |
|
vmax.u8 d9, d9, d10 |
|
vmax.u8 d11, d11, d12 |
|
|
|
.else |
|
|
|
.endif |
|
.endif |
|
|
|
|
|
vabd.u8 d5, d22, d23 |
|
.if \wd == 16 |
|
vmax.u8 d7, d7, d1 |
|
vmax.u8 d9, d9, d11 |
|
.elseif \wd == 8 |
|
vmax.u8 d6, d6, d1 |
|
.endif |
|
vabd.u8 d1, d25, d24 |
|
.if \wd == 16 |
|
vmax.u8 d7, d7, d9 |
|
.elseif \wd == 8 |
|
vmax.u8 d6, d6, \tmp2 |
|
.endif |
|
vsubl.u8 \tmpq1, d22, d25 |
|
vmax.u8 d5, d5, d1 |
|
vsubl.u8 \tmpq2, d24, d23 |
|
vmov.s16 \tmpq3, #3 |
|
.if \wd == 8 |
|
vcle.u8 d6, d6, d0 |
|
.endif |
|
vcle.u8 d5, d5, d3 |
|
.if \wd == 8 |
|
vand d6, d6, d4 |
|
.endif |
|
vqmovn.s16 \tmp1, \tmpq1 |
|
.if \wd == 16 |
|
vcle.u8 d7, d7, d0 |
|
.elseif \wd == 8 |
|
vbic d4, d4, d6 |
|
.endif |
|
vand d5, d5, d4 |
|
.if \wd == 16 |
|
vand d7, d7, d6 |
|
.endif |
|
|
|
vmul.s16 \tmpq2, \tmpq2, \tmpq3 |
|
vbic \tmp1, \tmp1, d5 |
|
vmov.s8 d2, #4 |
|
vaddw.s8 \tmpq2, \tmpq2, \tmp1 |
|
vmov.s8 d3, #3 |
|
vqmovn.s16 \tmp1, \tmpq2 |
|
.if \wd == 16 |
|
vbic d6, d6, d7 |
|
.endif |
|
|
|
vqadd.s8 \tmp3, \tmp1, d2 |
|
vqadd.s8 \tmp4, \tmp1, d3 |
|
vmovl.u8 q0, d23 |
|
vshr.s8 \tmp3, \tmp3, #3 |
|
vshr.s8 \tmp4, \tmp4, #3 |
|
|
|
vmovl.u8 q1, d24 |
|
vaddw.s8 q0, q0, \tmp4 |
|
vsubw.s8 q1, q1, \tmp3 |
|
vqmovun.s16 d0, q0 |
|
vqmovun.s16 d1, q1 |
|
vrshr.s8 \tmp3, \tmp3, #1 |
|
vbit d23, d0, d4 |
|
vbit d24, d1, d4 |
|
|
|
vmovl.u8 q0, d22 |
|
vmovl.u8 q1, d25 |
|
.if \wd >= 8 |
|
vmov r2, r3, d6 |
|
.endif |
|
vaddw.s8 q0, q0, \tmp3 |
|
vsubw.s8 q1, q1, \tmp3 |
|
.if \wd >= 8 |
|
orrs r2, r2, r3 |
|
.endif |
|
vqmovun.s16 d0, q0 |
|
vqmovun.s16 d2, q1 |
|
vbit d22, d0, d5 |
|
vbit d25, d2, d5 |
|
|
|
.if \wd >= 8 |
|
|
|
|
|
beq 6f |
|
|
|
|
|
vaddl.u8 \tmpq1, d20, d21 |
|
vaddl.u8 \tmpq2, d22, d25 |
|
vaddl.u8 \tmpq3, d20, d22 |
|
vaddl.u8 \tmpq4, d23, d26 |
|
vadd.u16 q0, \tmpq1, \tmpq1 |
|
vaddw.u8 q0, q0, d23 |
|
vaddw.u8 q0, q0, d24 |
|
vadd.u16 q0, q0, \tmpq3 |
|
vsub.s16 \tmpq2, \tmpq2, \tmpq1 |
|
vsub.s16 \tmpq4, \tmpq4, \tmpq3 |
|
vrshrn.u16 d2, q0, #3 |
|
|
|
vadd.u16 q0, q0, \tmpq2 |
|
vaddl.u8 \tmpq1, d20, d23 |
|
vaddl.u8 \tmpq2, d24, d27 |
|
vrshrn.u16 d3, q0, #3 |
|
|
|
vadd.u16 q0, q0, \tmpq4 |
|
vsub.s16 \tmpq2, \tmpq2, \tmpq1 |
|
vaddl.u8 \tmpq3, d21, d24 |
|
vaddl.u8 \tmpq4, d25, d27 |
|
vrshrn.u16 d4, q0, #3 |
|
|
|
vadd.u16 q0, q0, \tmpq2 |
|
vsub.s16 \tmpq4, \tmpq4, \tmpq3 |
|
vaddl.u8 \tmpq1, d22, d25 |
|
vaddl.u8 \tmpq2, d26, d27 |
|
vrshrn.u16 d5, q0, #3 |
|
|
|
vadd.u16 q0, q0, \tmpq4 |
|
vsub.s16 \tmpq2, \tmpq2, \tmpq1 |
|
vrshrn.u16 \tmp5, q0, #3 |
|
|
|
vadd.u16 q0, q0, \tmpq2 |
|
|
|
|
|
|
|
vbit d21, d2, d6 |
|
vbit d22, d3, d6 |
|
vbit d23, d4, d6 |
|
vrshrn.u16 \tmp6, q0, #3 |
|
vbit d24, d5, d6 |
|
vbit d25, \tmp5, d6 |
|
vbit d26, \tmp6, d6 |
|
.endif |
|
.if \wd == 16 |
|
6: |
|
vorr d2, d6, d7 |
|
vmov r2, r3, d2 |
|
orrs r2, r2, r3 |
|
|
|
|
|
beq 7f |
|
vmov r2, r3, d7 |
|
orrs r2, r2, r3 |
|
|
|
beq 8f |
|
|
|
|
|
|
|
|
|
|
|
vshll.u8 q0, d16, #3 |
|
vsubw.u8 q0, q0, d16 |
|
vaddw.u8 q0, q0, d17 |
|
vaddl.u8 q4, d17, d18 |
|
vaddl.u8 q5, d19, d20 |
|
vadd.s16 q0, q0, q4 |
|
vaddl.u8 q4, d16, d17 |
|
vaddl.u8 q6, d21, d22 |
|
vadd.s16 q0, q0, q5 |
|
vaddl.u8 q5, d18, d25 |
|
vaddl.u8 q7, d23, d24 |
|
vsub.s16 q5, q5, q4 |
|
vadd.s16 q0, q0, q6 |
|
vadd.s16 q0, q0, q7 |
|
vaddl.u8 q6, d16, d18 |
|
vaddl.u8 q7, d19, d26 |
|
vrshrn.u16 d2, q0, #4 |
|
|
|
vadd.s16 q0, q0, q5 |
|
vaddl.u8 q4, d16, d19 |
|
vaddl.u8 q5, d20, d27 |
|
vsub.s16 q7, q7, q6 |
|
vbif d2, d17, d7 |
|
vrshrn.u16 d3, q0, #4 |
|
|
|
vadd.s16 q0, q0, q7 |
|
vaddl.u8 q6, d16, d20 |
|
vaddl.u8 q7, d21, d28 |
|
vsub.s16 q5, q5, q4 |
|
vbif d3, d18, d7 |
|
vrshrn.u16 d4, q0, #4 |
|
|
|
vadd.s16 q0, q0, q5 |
|
vaddl.u8 q4, d16, d21 |
|
vaddl.u8 q5, d22, d29 |
|
vsub.s16 q7, q7, q6 |
|
vbif d4, d19, d7 |
|
vrshrn.u16 d5, q0, #4 |
|
|
|
vadd.s16 q0, q0, q7 |
|
vaddl.u8 q6, d16, d22 |
|
vaddl.u8 q7, d23, d30 |
|
vsub.s16 q5, q5, q4 |
|
vbif d5, d20, d7 |
|
vrshrn.u16 d6, q0, #4 |
|
|
|
vadd.s16 q0, q0, q5 |
|
vaddl.u8 q5, d16, d23 |
|
vsub.s16 q7, q7, q6 |
|
vaddl.u8 q6, d24, d31 |
|
vbif d6, d21, d7 |
|
vrshrn.u16 d8, q0, #4 |
|
|
|
vadd.s16 q0, q0, q7 |
|
vsub.s16 q5, q6, q5 |
|
vaddl.u8 q6, d17, d24 |
|
vaddl.u8 q7, d25, d31 |
|
vbif d8, d22, d7 |
|
vrshrn.u16 d9, q0, #4 |
|
|
|
vadd.s16 q0, q0, q5 |
|
vsub.s16 q7, q7, q6 |
|
vaddl.u8 q6, d26, d31 |
|
vbif d9, d23, d7 |
|
vrshrn.u16 d10, q0, #4 |
|
|
|
vadd.s16 q0, q0, q7 |
|
vaddl.u8 q7, d18, d25 |
|
vaddl.u8 q9, d19, d26 |
|
vsub.s16 q6, q6, q7 |
|
vaddl.u8 q7, d27, d31 |
|
vbif d10, d24, d7 |
|
vrshrn.u16 d11, q0, #4 |
|
|
|
vadd.s16 q0, q0, q6 |
|
vaddl.u8 q6, d20, d27 |
|
vsub.s16 q7, q7, q9 |
|
vaddl.u8 q9, d28, d31 |
|
vbif d11, d25, d7 |
|
vsub.s16 q9, q9, q6 |
|
vrshrn.u16 d12, q0, #4 |
|
|
|
vadd.s16 q0, q0, q7 |
|
vaddl.u8 q7, d21, d28 |
|
vaddl.u8 q10, d29, d31 |
|
vbif d12, d26, d7 |
|
vrshrn.u16 d13, q0, #4 |
|
|
|
vadd.s16 q0, q0, q9 |
|
vsub.s16 q10, q10, q7 |
|
vaddl.u8 q9, d22, d29 |
|
vaddl.u8 q11, d30, d31 |
|
vbif d13, d27, d7 |
|
vrshrn.u16 d14, q0, #4 |
|
|
|
vadd.s16 q0, q0, q10 |
|
vsub.s16 q11, q11, q9 |
|
vbif d14, d28, d7 |
|
vrshrn.u16 d15, q0, #4 |
|
|
|
vadd.s16 q0, q0, q11 |
|
vbif d15, d29, d7 |
|
vrshrn.u16 d17, q0, #4 |
|
vbif d17, d30, d7 |
|
.endif |
|
.endm |
|
|
|
|
|
|
|
|
|
.macro loop_filter_4 |
|
loop_filter 4, d16, d17, d18, d19, d28, d29, d30, d31, q8, q9, q14, q15 |
|
.endm |
|
|
|
.macro loop_filter_8 |
|
loop_filter 8, d16, d17, d18, d19, d28, d29, d30, d31, q8, q9, q14, q15 |
|
.endm |
|
|
|
.macro loop_filter_16 |
|
loop_filter 16, d8, d9, d10, d11, d12, d13, d14, d15, q4, q5, q6, q7 |
|
.endm |
|
|
|
|
|
|
|
|
|
|
|
function ff_vp9_loop_filter_v_4_8_neon, export=1 |
|
sub r12, r0, r1, lsl #2 |
|
vld1.8 {d20}, [r12,:64], r1 |
|
vld1.8 {d24}, [r0, :64], r1 |
|
vld1.8 {d21}, [r12,:64], r1 |
|
vld1.8 {d25}, [r0, :64], r1 |
|
vld1.8 {d22}, [r12,:64], r1 |
|
vld1.8 {d26}, [r0, :64], r1 |
|
vld1.8 {d23}, [r12,:64], r1 |
|
vld1.8 {d27}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #2 |
|
sub r12, r12, r1, lsl #1 |
|
|
|
loop_filter_4 |
|
|
|
vst1.8 {d22}, [r12,:64], r1 |
|
vst1.8 {d24}, [r0, :64], r1 |
|
vst1.8 {d23}, [r12,:64], r1 |
|
vst1.8 {d25}, [r0, :64], r1 |
|
9: |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_h_4_8_neon, export=1 |
|
sub r12, r0, #4 |
|
add r0, r12, r1, lsl #2 |
|
vld1.8 {d20}, [r12], r1 |
|
vld1.8 {d24}, [r0], r1 |
|
vld1.8 {d21}, [r12], r1 |
|
vld1.8 {d25}, [r0], r1 |
|
vld1.8 {d22}, [r12], r1 |
|
vld1.8 {d26}, [r0], r1 |
|
vld1.8 {d23}, [r12], r1 |
|
vld1.8 {d27}, [r0], r1 |
|
|
|
sub r12, r12, r1, lsl #2 |
|
sub r0, r0, r1, lsl #2 |
|
|
|
|
|
add r12, r12, #2 |
|
add r0, r0, #2 |
|
|
|
|
|
|
|
transpose_q_8x8 q10, q11, q12, q13, d20, d21, d22, d23, d24, d25, d26, d27 |
|
|
|
loop_filter_4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
transpose_q_4x4 q11, q12, d22, d23, d24, d25 |
|
|
|
vst1.32 {d22[0]}, [r12], r1 |
|
vst1.32 {d22[1]}, [r0], r1 |
|
vst1.32 {d23[0]}, [r12], r1 |
|
vst1.32 {d23[1]}, [r0], r1 |
|
vst1.32 {d24[0]}, [r12], r1 |
|
vst1.32 {d24[1]}, [r0], r1 |
|
vst1.32 {d25[0]}, [r12], r1 |
|
vst1.32 {d25[1]}, [r0], r1 |
|
9: |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_v_44_16_neon, export=1 |
|
vpush {q4-q7} |
|
sub r12, r0, r1, lsl #2 |
|
vld1.8 {q8}, [r12,:128], r1 |
|
vld1.8 {q12}, [r0, :128], r1 |
|
vld1.8 {q9}, [r12,:128], r1 |
|
vld1.8 {q13}, [r0, :128], r1 |
|
vld1.8 {q10}, [r12,:128], r1 |
|
vld1.8 {q14}, [r0, :128], r1 |
|
vld1.8 {q11}, [r12,:128], r1 |
|
vld1.8 {q15}, [r0, :128], r1 |
|
sub r0, r0, r1, lsl #2 |
|
sub r12, r12, r1, lsl #1 |
|
|
|
loop_filter_q |
|
|
|
vst1.8 {q10}, [r12,:128], r1 |
|
vst1.8 {q12}, [r0, :128], r1 |
|
vst1.8 {q11}, [r12,:128], r1 |
|
vst1.8 {q13}, [r0, :128], r1 |
|
9: |
|
vpop {q4-q7} |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_h_44_16_neon, export=1 |
|
vpush {q4-q7} |
|
sub r12, r0, #4 |
|
add r0, r12, r1, lsl #2 |
|
vld1.8 {d16}, [r12], r1 |
|
vld1.8 {d24}, [r0], r1 |
|
vld1.8 {d18}, [r12], r1 |
|
vld1.8 {d26}, [r0], r1 |
|
vld1.8 {d20}, [r12], r1 |
|
vld1.8 {d28}, [r0], r1 |
|
vld1.8 {d22}, [r12], r1 |
|
vld1.8 {d30}, [r0], r1 |
|
mov r12, r0 |
|
add r0, r0, r1, lsl #2 |
|
vld1.8 {d17}, [r12], r1 |
|
vld1.8 {d25}, [r0], r1 |
|
vld1.8 {d19}, [r12], r1 |
|
vld1.8 {d27}, [r0], r1 |
|
vld1.8 {d21}, [r12], r1 |
|
vld1.8 {d29}, [r0], r1 |
|
vld1.8 {d23}, [r12], r1 |
|
vld1.8 {d31}, [r0], r1 |
|
|
|
|
|
transpose_8x8 q8, q9, q10, q11, q12, q13, q14, q15 |
|
|
|
loop_filter_q |
|
|
|
sub r12, r0, r1, lsl #4 |
|
add r0, r12, r1, lsl #3 |
|
|
|
|
|
add r12, r12, #2 |
|
add r0, r0, #2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
transpose_4x4 q10, q11, q12, q13 |
|
|
|
vst1.32 {d20[0]}, [r12], r1 |
|
vst1.32 {d21[0]}, [r0], r1 |
|
vst1.32 {d22[0]}, [r12], r1 |
|
vst1.32 {d23[0]}, [r0], r1 |
|
vst1.32 {d24[0]}, [r12], r1 |
|
vst1.32 {d25[0]}, [r0], r1 |
|
vst1.32 {d26[0]}, [r12], r1 |
|
vst1.32 {d27[0]}, [r0], r1 |
|
vst1.32 {d20[1]}, [r12], r1 |
|
vst1.32 {d21[1]}, [r0], r1 |
|
vst1.32 {d22[1]}, [r12], r1 |
|
vst1.32 {d23[1]}, [r0], r1 |
|
vst1.32 {d24[1]}, [r12], r1 |
|
vst1.32 {d25[1]}, [r0], r1 |
|
vst1.32 {d26[1]}, [r12], r1 |
|
vst1.32 {d27[1]}, [r0], r1 |
|
9: |
|
vpop {q4-q7} |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_v_8_8_neon, export=1 |
|
sub r12, r0, r1, lsl #2 |
|
vld1.8 {d20}, [r12,:64], r1 |
|
vld1.8 {d24}, [r0, :64], r1 |
|
vld1.8 {d21}, [r12,:64], r1 |
|
vld1.8 {d25}, [r0, :64], r1 |
|
vld1.8 {d22}, [r12,:64], r1 |
|
vld1.8 {d26}, [r0, :64], r1 |
|
vld1.8 {d23}, [r12,:64], r1 |
|
vld1.8 {d27}, [r0, :64], r1 |
|
sub r12, r12, r1, lsl #2 |
|
sub r0, r0, r1, lsl #2 |
|
add r12, r12, r1 |
|
|
|
loop_filter_8 |
|
|
|
vst1.8 {d21}, [r12,:64], r1 |
|
vst1.8 {d24}, [r0, :64], r1 |
|
vst1.8 {d22}, [r12,:64], r1 |
|
vst1.8 {d25}, [r0, :64], r1 |
|
vst1.8 {d23}, [r12,:64], r1 |
|
vst1.8 {d26}, [r0, :64], r1 |
|
9: |
|
bx lr |
|
6: |
|
sub r12, r0, r1, lsl #1 |
|
vst1.8 {d22}, [r12,:64], r1 |
|
vst1.8 {d24}, [r0, :64], r1 |
|
vst1.8 {d23}, [r12,:64], r1 |
|
vst1.8 {d25}, [r0, :64], r1 |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_h_8_8_neon, export=1 |
|
sub r12, r0, #4 |
|
add r0, r12, r1, lsl #2 |
|
vld1.8 {d20}, [r12], r1 |
|
vld1.8 {d24}, [r0], r1 |
|
vld1.8 {d21}, [r12], r1 |
|
vld1.8 {d25}, [r0], r1 |
|
vld1.8 {d22}, [r12], r1 |
|
vld1.8 {d26}, [r0], r1 |
|
vld1.8 {d23}, [r12], r1 |
|
vld1.8 {d27}, [r0], r1 |
|
|
|
sub r12, r12, r1, lsl #2 |
|
sub r0, r0, r1, lsl #2 |
|
|
|
transpose_q_8x8 q10, q11, q12, q13, d20, d21, d22, d23, d24, d25, d26, d27 |
|
|
|
loop_filter_8 |
|
|
|
|
|
|
|
transpose_q_8x8 q10, q11, q12, q13, d20, d21, d22, d23, d24, d25, d26, d27 |
|
|
|
vst1.8 {d20}, [r12], r1 |
|
vst1.8 {d24}, [r0], r1 |
|
vst1.8 {d21}, [r12], r1 |
|
vst1.8 {d25}, [r0], r1 |
|
vst1.8 {d22}, [r12], r1 |
|
vst1.8 {d26}, [r0], r1 |
|
vst1.8 {d23}, [r12], r1 |
|
vst1.8 {d27}, [r0], r1 |
|
9: |
|
bx lr |
|
6: |
|
|
|
|
|
add r12, r12, #2 |
|
add r0, r0, #2 |
|
transpose_q_4x4 q11, q12, d22, d23, d24, d25 |
|
vst1.32 {d22[0]}, [r12], r1 |
|
vst1.32 {d22[1]}, [r0], r1 |
|
vst1.32 {d23[0]}, [r12], r1 |
|
vst1.32 {d23[1]}, [r0], r1 |
|
vst1.32 {d24[0]}, [r12], r1 |
|
vst1.32 {d24[1]}, [r0], r1 |
|
vst1.32 {d25[0]}, [r12], r1 |
|
vst1.32 {d25[1]}, [r0], r1 |
|
bx lr |
|
endfunc |
|
|
|
function vp9_loop_filter_v_16_neon |
|
sub r12, r0, r1, lsl #3 |
|
|
|
vld1.8 {d16}, [r12,:64], r1 |
|
vld1.8 {d24}, [r0, :64], r1 |
|
vld1.8 {d17}, [r12,:64], r1 |
|
vld1.8 {d25}, [r0, :64], r1 |
|
vld1.8 {d18}, [r12,:64], r1 |
|
vld1.8 {d26}, [r0, :64], r1 |
|
vld1.8 {d19}, [r12,:64], r1 |
|
vld1.8 {d27}, [r0, :64], r1 |
|
vld1.8 {d20}, [r12,:64], r1 |
|
vld1.8 {d28}, [r0, :64], r1 |
|
vld1.8 {d21}, [r12,:64], r1 |
|
vld1.8 {d29}, [r0, :64], r1 |
|
vld1.8 {d22}, [r12,:64], r1 |
|
vld1.8 {d30}, [r0, :64], r1 |
|
vld1.8 {d23}, [r12,:64], r1 |
|
vld1.8 {d31}, [r0, :64], r1 |
|
sub r12, r12, r1, lsl #3 |
|
sub r0, r0, r1, lsl #3 |
|
add r12, r12, r1 |
|
|
|
loop_filter_16 |
|
|
|
|
|
|
|
|
|
vst1.8 {d2}, [r12,:64], r1 |
|
vst1.8 {d10}, [r0, :64], r1 |
|
vst1.8 {d3}, [r12,:64], r1 |
|
vst1.8 {d11}, [r0, :64], r1 |
|
vst1.8 {d4}, [r12,:64], r1 |
|
vst1.8 {d12}, [r0, :64], r1 |
|
vst1.8 {d5}, [r12,:64], r1 |
|
vst1.8 {d13}, [r0, :64], r1 |
|
vst1.8 {d6}, [r12,:64], r1 |
|
vst1.8 {d14}, [r0, :64], r1 |
|
vst1.8 {d8}, [r12,:64], r1 |
|
vst1.8 {d15}, [r0, :64], r1 |
|
vst1.8 {d9}, [r12,:64], r1 |
|
vst1.8 {d17}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #3 |
|
add r0, r0, r1 |
|
|
|
9: |
|
bx lr |
|
|
|
8: |
|
add r12, r12, r1, lsl #2 |
|
|
|
|
|
vst1.8 {d21}, [r12,:64], r1 |
|
vst1.8 {d24}, [r0, :64], r1 |
|
vst1.8 {d22}, [r12,:64], r1 |
|
vst1.8 {d25}, [r0, :64], r1 |
|
vst1.8 {d23}, [r12,:64], r1 |
|
vst1.8 {d26}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #1 |
|
sub r0, r0, r1 |
|
bx lr |
|
7: |
|
sub r12, r0, r1, lsl #1 |
|
vst1.8 {d22}, [r12,:64], r1 |
|
vst1.8 {d24}, [r0, :64], r1 |
|
vst1.8 {d23}, [r12,:64], r1 |
|
vst1.8 {d25}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #1 |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_v_16_8_neon, export=1 |
|
ldr r12, [sp] |
|
push {lr} |
|
vpush {q4-q7} |
|
push {r12} |
|
bl vp9_loop_filter_v_16_neon |
|
add sp, sp, #4 |
|
vpop {q4-q7} |
|
pop {pc} |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_v_16_16_neon, export=1 |
|
ldr r12, [sp] |
|
|
|
push {r2, r3, lr} |
|
vpush {q4-q7} |
|
push {r12} |
|
bl vp9_loop_filter_v_16_neon |
|
add r0, #8 |
|
ldr r2, [sp, #68] |
|
ldr r3, [sp, #72] |
|
bl vp9_loop_filter_v_16_neon |
|
add sp, sp, #4 |
|
vpop {q4-q7} |
|
pop {r2, r3, pc} |
|
endfunc |
|
|
|
function vp9_loop_filter_h_16_neon |
|
sub r12, r0, #8 |
|
vld1.8 {d16}, [r12,:64], r1 |
|
vld1.8 {d24}, [r0, :64], r1 |
|
vld1.8 {d17}, [r12,:64], r1 |
|
vld1.8 {d25}, [r0, :64], r1 |
|
vld1.8 {d18}, [r12,:64], r1 |
|
vld1.8 {d26}, [r0, :64], r1 |
|
vld1.8 {d19}, [r12,:64], r1 |
|
vld1.8 {d27}, [r0, :64], r1 |
|
vld1.8 {d20}, [r12,:64], r1 |
|
vld1.8 {d28}, [r0, :64], r1 |
|
vld1.8 {d21}, [r12,:64], r1 |
|
vld1.8 {d29}, [r0, :64], r1 |
|
vld1.8 {d22}, [r12,:64], r1 |
|
vld1.8 {d30}, [r0, :64], r1 |
|
vld1.8 {d23}, [r12,:64], r1 |
|
vld1.8 {d31}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #3 |
|
sub r12, r12, r1, lsl #3 |
|
|
|
|
|
|
|
|
|
|
|
transpose16_4x4 q8, q9, q10, q11, q12, q13, q14, q15 |
|
vtrn.8 d16, d17 |
|
vtrn.8 d18, d19 |
|
vtrn.8 d20, d21 |
|
vtrn.8 d22, d23 |
|
vtrn.8 d24, d25 |
|
vtrn.8 d26, d27 |
|
vtrn.8 d28, d29 |
|
vtrn.8 d30, d31 |
|
|
|
loop_filter_16 |
|
|
|
|
|
|
|
|
|
transpose_8x8 d16, d2, d3, d4, d5, d6, d8, d9 |
|
transpose_8x8 d10, d11, d12, d13, d14, d15, d17, d31 |
|
|
|
vst1.8 {d16}, [r12,:64], r1 |
|
vst1.8 {d10}, [r0, :64], r1 |
|
|
|
vst1.8 {d2}, [r12,:64], r1 |
|
vst1.8 {d11}, [r0, :64], r1 |
|
|
|
vst1.8 {d3}, [r12,:64], r1 |
|
vst1.8 {d12}, [r0, :64], r1 |
|
|
|
vst1.8 {d4}, [r12,:64], r1 |
|
vst1.8 {d13}, [r0, :64], r1 |
|
|
|
vst1.8 {d5}, [r12,:64], r1 |
|
vst1.8 {d14}, [r0, :64], r1 |
|
|
|
vst1.8 {d6}, [r12,:64], r1 |
|
vst1.8 {d15}, [r0, :64], r1 |
|
|
|
vst1.8 {d8}, [r12,:64], r1 |
|
vst1.8 {d17}, [r0, :64], r1 |
|
|
|
vst1.8 {d9}, [r12,:64], r1 |
|
vst1.8 {d31}, [r0, :64], r1 |
|
sub r0, r0, r1, lsl #3 |
|
9: |
|
bx lr |
|
8: |
|
|
|
sub r12, r0, #4 |
|
add r0, r12, r1, lsl #2 |
|
transpose_q_8x8 q10, q11, q12, q13, d20, d21, d22, d23, d24, d25, d26, d27 |
|
|
|
vst1.8 {d20}, [r12], r1 |
|
vst1.8 {d24}, [r0], r1 |
|
vst1.8 {d21}, [r12], r1 |
|
vst1.8 {d25}, [r0], r1 |
|
vst1.8 {d22}, [r12], r1 |
|
vst1.8 {d26}, [r0], r1 |
|
vst1.8 {d23}, [r12], r1 |
|
vst1.8 {d27}, [r0], r1 |
|
sub r0, r0, r1, lsl #3 |
|
add r0, r0, #4 |
|
bx lr |
|
7: |
|
|
|
sub r12, r0, #2 |
|
add r0, r12, r1, lsl #2 |
|
transpose_q_4x4 q11, q12, d22, d23, d24, d25 |
|
vst1.32 {d22[0]}, [r12], r1 |
|
vst1.32 {d22[1]}, [r0], r1 |
|
vst1.32 {d23[0]}, [r12], r1 |
|
vst1.32 {d23[1]}, [r0], r1 |
|
vst1.32 {d24[0]}, [r12], r1 |
|
vst1.32 {d24[1]}, [r0], r1 |
|
vst1.32 {d25[0]}, [r12], r1 |
|
vst1.32 {d25[1]}, [r0], r1 |
|
sub r0, r0, r1, lsl #3 |
|
add r0, r0, #2 |
|
bx lr |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_h_16_8_neon, export=1 |
|
ldr r12, [sp] |
|
push {lr} |
|
vpush {q4-q7} |
|
push {r12} |
|
bl vp9_loop_filter_h_16_neon |
|
add sp, sp, #4 |
|
vpop {q4-q7} |
|
pop {pc} |
|
endfunc |
|
|
|
function ff_vp9_loop_filter_h_16_16_neon, export=1 |
|
ldr r12, [sp] |
|
|
|
push {r2, r3, lr} |
|
vpush {q4-q7} |
|
push {r12} |
|
bl vp9_loop_filter_h_16_neon |
|
add r0, r0, r1, lsl #3 |
|
ldr r2, [sp, #68] |
|
ldr r3, [sp, #72] |
|
bl vp9_loop_filter_h_16_neon |
|
add sp, sp, #4 |
|
vpop {q4-q7} |
|
pop {r2, r3, pc} |
|
endfunc |
|
|