blob: 47cbb96186bb3c9366ab9a66b7979c0371ce2f12 [file] [log] [blame]
Denys Vlasenko11d00962017-01-15 00:12:42 +01001/*
2 * Copyright (C) 2017 Denys Vlasenko
3 *
4 * Licensed under GPLv2, see file LICENSE in this source tree.
5 */
6#include "tls.h"
7
Denys Vlasenko3f8ecd92017-01-15 14:16:51 +01008/* The file is taken almost verbatim from matrixssl-3-7-2b-open/crypto/math/.
Denys Vlasenko6b1b0042017-01-19 15:51:00 +01009 * Changes are flagged with //bbox
Denys Vlasenko3f8ecd92017-01-15 14:16:51 +010010 */
11
Denys Vlasenko11d00962017-01-15 00:12:42 +010012/**
13 * @file pstm_mul_comba.c
14 * @version 33ef80f (HEAD, tag: MATRIXSSL-3-7-2-OPEN, tag: MATRIXSSL-3-7-2-COMM, origin/master, origin/HEAD, master)
15 *
16 * Multiprecision multiplication with Comba technique.
17 */
18/*
19 * Copyright (c) 2013-2015 INSIDE Secure Corporation
20 * Copyright (c) PeerSec Networks, 2002-2011
21 * All Rights Reserved
22 *
23 * The latest version of this code is available at http://www.matrixssl.org
24 *
25 * This software is open source; you can redistribute it and/or modify
26 * it under the terms of the GNU General Public License as published by
27 * the Free Software Foundation; either version 2 of the License, or
28 * (at your option) any later version.
29 *
30 * This General Public License does NOT permit incorporating this software
31 * into proprietary programs. If you are unable to comply with the GPL, a
32 * commercial license for this software may be purchased from INSIDE at
33 * http://www.insidesecure.com/eng/Company/Locations
34 *
35 * This program is distributed in WITHOUT ANY WARRANTY; without even the
36 * implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
37 * See the GNU General Public License for more details.
38 *
39 * You should have received a copy of the GNU General Public License
40 * along with this program; if not, write to the Free Software
41 * Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA 02111-1307 USA
42 * http://www.gnu.org/copyleft/gpl.html
43 */
44/******************************************************************************/
45
Denys Vlasenko6b1b0042017-01-19 15:51:00 +010046//bbox
Denys Vlasenko11d00962017-01-15 00:12:42 +010047//#include "../cryptoApi.h"
48#ifndef DISABLE_PSTM
49
50/******************************************************************************/
51#if defined(PSTM_X86)
52/* x86-32 optimized for 32 bit platforms. For 64 bit mode use X86_64 instead */
53#if !defined(__GNUC__) || !defined(__i386__) || !defined(PSTM_32BIT)
54#error "PSTM_X86 option requires GCC and 32 bit mode x86 processor"
55#endif
56//#pragma message ("Using 32 bit x86 Assembly Optimizations")
57
58/* anything you need at the start */
59#define COMBA_START
60
61/* clear the chaining variables */
62#define COMBA_CLEAR \
63 c0 = c1 = c2 = 0;
64
65/* forward the carry to the next digit */
66#define COMBA_FORWARD \
67 do { c0 = c1; c1 = c2; c2 = 0; } while (0);
68
69/* store the first sum */
70#define COMBA_STORE(x) \
71 x = c0;
72
73/* store the second sum [carry] */
74#define COMBA_STORE2(x) \
75 x = c1;
76
77/* anything you need at the end */
78#define COMBA_FINI
79
80/* this should multiply i and j */
81#define MULADD(i, j) \
82asm( \
83 "movl %6,%%eax \n\t" \
84 "mull %7 \n\t" \
85 "addl %%eax,%0 \n\t" \
86 "adcl %%edx,%1 \n\t" \
87 "adcl $0,%2 \n\t" \
88 :"=r"(c0), "=r"(c1), "=r"(c2): "0"(c0), "1"(c1), "2"(c2), "m"(i), "m"(j) :"%eax","%edx","%cc");
89
90/******************************************************************************/
91#elif defined(PSTM_X86_64)
92/* x86-64 optimized */
93#if !defined(__GNUC__) || !defined(__x86_64__) || !defined(PSTM_64BIT)
94#error "PSTM_X86_64 option requires PSTM_64BIT, GCC and 64 bit mode x86 processor"
95#endif
96//#pragma message ("Using 64 bit x86_64 Assembly Optimizations")
97
98/* anything you need at the start */
99#define COMBA_START
100
101/* clear the chaining variables */
102#define COMBA_CLEAR \
103c0 = c1 = c2 = 0;
104
105/* forward the carry to the next digit */
106#define COMBA_FORWARD \
107do { c0 = c1; c1 = c2; c2 = 0; } while (0);
108
109/* store the first sum */
110#define COMBA_STORE(x) \
111x = c0;
112
113/* store the second sum [carry] */
114#define COMBA_STORE2(x) \
115x = c1;
116
117/* anything you need at the end */
118#define COMBA_FINI
119
120/* this should multiply i and j */
121#define MULADD(i, j) \
122asm ( \
123 "movq %6,%%rax \n\t" \
124 "mulq %7 \n\t" \
125 "addq %%rax,%0 \n\t" \
126 "adcq %%rdx,%1 \n\t" \
127 "adcq $0,%2 \n\t" \
128 :"=r"(c0), "=r"(c1), "=r"(c2): "0"(c0), "1"(c1), "2"(c2), "g"(i), "g"(j) :"%rax","%rdx","cc");
129
130/******************************************************************************/
131#elif defined(PSTM_ARM)
132/* ARM code */
133//#pragma message ("Using 32 bit ARM Assembly Optimizations")
134
135#define COMBA_START
136
137#define COMBA_CLEAR \
138c0 = c1 = c2 = 0;
139
140#define COMBA_FORWARD \
141do { c0 = c1; c1 = c2; c2 = 0; } while (0);
142
143#define COMBA_STORE(x) \
144x = c0;
145
146#define COMBA_STORE2(x) \
147x = c1;
148
149#define COMBA_FINI
150
151#define MULADD(i, j) \
152asm( \
153 " UMULL r0,r1,%6,%7 \n\t" \
154 " ADDS %0,%0,r0 \n\t" \
155 " ADCS %1,%1,r1 \n\t" \
156 " ADC %2,%2,#0 \n\t" \
157 :"=r"(c0), "=r"(c1), "=r"(c2) : "0"(c0), "1"(c1), "2"(c2), "r"(i), "r"(j) : "r0", "r1", "%cc");
158
159/******************************************************************************/
160#elif defined(PSTM_MIPS)
161/* MIPS32 code */
162//#pragma message ("Using 32 bit MIPS Assembly Optimizations")
163
164#define COMBA_START
165
166#define COMBA_CLEAR \
167c0 = c1 = c2 = 0;
168
169#define COMBA_FORWARD \
170do { c0 = c1; c1 = c2; c2 = 0; } while (0);
171
172#define COMBA_STORE(x) \
173x = c0;
174
175#define COMBA_STORE2(x) \
176x = c1;
177
178#define COMBA_FINI
179
180#define MULADD(i, j) \
181asm( \
182 " multu %6,%7 \n\t" \
183 " mflo $12 \n\t" \
184 " mfhi $13 \n\t" \
185 " addu %0,%0,$12 \n\t" \
186 " sltu $12,%0,$12 \n\t" \
187 " addu %1,%1,$13 \n\t" \
188 " sltu $13,%1,$13 \n\t" \
189 " addu %1,%1,$12 \n\t" \
190 " sltu $12,%1,$12 \n\t" \
191 " addu %2,%2,$13 \n\t" \
192 " addu %2,%2,$12 \n\t" \
193 :"=r"(c0), "=r"(c1), "=r"(c2):"0"(c0), "1"(c1), "2"(c2), "r"(i), "r"(j):"$12","$13");
194
195/******************************************************************************/
196#else
197
198#define COMBA_START
199
200#define COMBA_CLEAR \
201 c0 = c1 = c2 = 0;
202
203#define COMBA_FORWARD \
204 do { c0 = c1; c1 = c2; c2 = 0; } while (0);
205
206#define COMBA_STORE(x) \
207 x = c0;
208
209#define COMBA_STORE2(x) \
210 x = c1;
211
212#define COMBA_FINI
213
214#define MULADD(i, j) \
215 do { pstm_word t; \
216 t = (pstm_word)c0 + ((pstm_word)i) * ((pstm_word)j); c0 = (pstm_digit)t; \
217 t = (pstm_word)c1 + (t >> DIGIT_BIT); \
218 c1 = (pstm_digit)t; c2 += (pstm_digit)(t >> DIGIT_BIT); \
219 } while (0);
220
221#endif
222
223/******************************************************************************/
224/* generic PxQ multiplier */
Denys Vlasenko6b1b0042017-01-19 15:51:00 +0100225//bbox: pool unused
Denys Vlasenko11d00962017-01-15 00:12:42 +0100226#define pstm_mul_comba_gen(pool, A, B, C, paD, paDlen) \
227 pstm_mul_comba_gen( A, B, C, paD, paDlen)
228static int32 pstm_mul_comba_gen(psPool_t *pool, pstm_int *A, pstm_int *B,
229 pstm_int *C, pstm_digit *paD, uint32 paDlen)
230{
231 int16 paDfail, pa;
232 int32 ix, iy, iz, tx, ty;
233 pstm_digit c0, c1, c2, *tmpx, *tmpy, *dst;
234
235 COMBA_START;
236 COMBA_CLEAR;
237
238 paDfail = 0;
239 /* get size of output and trim */
240 pa = A->used + B->used;
241
242/*
243 If c is not large enough grow it and continue
244*/
245 if (C->alloc < pa) {
246 if (pstm_grow(C, pa) != PSTM_OKAY) {
247 return PS_MEM_FAIL;
248 }
249 }
250 if (paD != NULL) {
251 if (paDlen < (sizeof(pstm_digit) * pa)) {
252 paDfail = 1; /* have a paD but it's not large enough */
Denys Vlasenko6b1b0042017-01-19 15:51:00 +0100253 dst = xzalloc(sizeof(pstm_digit) * pa);//bbox
Denys Vlasenko11d00962017-01-15 00:12:42 +0100254 } else {
255 dst = paD;
256 memset(dst, 0x0, paDlen);
257 }
258 } else {
Denys Vlasenko6b1b0042017-01-19 15:51:00 +0100259 dst = xzalloc(sizeof(pstm_digit) * pa);//bbox
Denys Vlasenko11d00962017-01-15 00:12:42 +0100260 }
261
262 for (ix = 0; ix < pa; ix++) {
263 /* get offsets into the two bignums */
264 ty = min(ix, B->used-1);
265 tx = ix - ty;
266
267 /* setup temp aliases */
268 tmpx = A->dp + tx;
269 tmpy = B->dp + ty;
270/*
271 This is the number of times the loop will iterate, essentially it's
272 while (tx++ < a->used && ty-- >= 0) { ... }
273*/
274 iy = min(A->used-tx, ty+1);
275
276 /* execute loop */
277 COMBA_FORWARD;
278 for (iz = 0; iz < iy; ++iz) {
279 MULADD(*tmpx++, *tmpy--);
280 }
281
282 /* store term */
283 COMBA_STORE(dst[ix]);
284 }
285 COMBA_FINI;
286/*
287 setup dest
288 */
289 iy = C->used;
290 C->used = pa;
291 C->sign = A->sign ^ B->sign;
292 {
293 pstm_digit *tmpc;
294 tmpc = C->dp;
295 for (ix = 0; ix < pa; ix++) {
296 *tmpc++ = dst[ix];
297 }
298/*
299 clear unused digits [that existed in the old copy of c]
300 */
301 for (; ix < iy; ix++) {
302 *tmpc++ = 0;
303 }
304 }
305 pstm_clamp(C);
306
307 if ((paD == NULL) || (paDfail == 1)) {
308 psFree(dst, pool);
309 }
310
311 return PS_SUCCESS;
312}
313
314/******************************************************************************/
315#ifdef USE_1024_KEY_SPEED_OPTIMIZATIONS
316static int32 pstm_mul_comba16(pstm_int *A, pstm_int *B, pstm_int *C)
317{
318 pstm_digit c0, c1, c2, at[32];
319
320 if (C->alloc < 32) {
321 if (pstm_grow(C, 32) != PSTM_OKAY) {
322 return PS_MEM_FAIL;
323 }
324 }
325 memcpy(at, A->dp, 16 * sizeof(pstm_digit));
326 memcpy(at+16, B->dp, 16 * sizeof(pstm_digit));
327
328 COMBA_START;
329
330 COMBA_CLEAR;
331 /* 0 */
332 MULADD(at[0], at[16]);
333 COMBA_STORE(C->dp[0]);
334 /* 1 */
335 COMBA_FORWARD;
336 MULADD(at[0], at[17]); MULADD(at[1], at[16]);
337 COMBA_STORE(C->dp[1]);
338 /* 2 */
339 COMBA_FORWARD;
340 MULADD(at[0], at[18]); MULADD(at[1], at[17]); MULADD(at[2], at[16]);
341 COMBA_STORE(C->dp[2]);
342 /* 3 */
343 COMBA_FORWARD;
344 MULADD(at[0], at[19]); MULADD(at[1], at[18]); MULADD(at[2], at[17]); MULADD(at[3], at[16]);
345 COMBA_STORE(C->dp[3]);
346 /* 4 */
347 COMBA_FORWARD;
348 MULADD(at[0], at[20]); MULADD(at[1], at[19]); MULADD(at[2], at[18]); MULADD(at[3], at[17]); MULADD(at[4], at[16]);
349 COMBA_STORE(C->dp[4]);
350 /* 5 */
351 COMBA_FORWARD;
352 MULADD(at[0], at[21]); MULADD(at[1], at[20]); MULADD(at[2], at[19]); MULADD(at[3], at[18]); MULADD(at[4], at[17]); MULADD(at[5], at[16]);
353 COMBA_STORE(C->dp[5]);
354 /* 6 */
355 COMBA_FORWARD;
356 MULADD(at[0], at[22]); MULADD(at[1], at[21]); MULADD(at[2], at[20]); MULADD(at[3], at[19]); MULADD(at[4], at[18]); MULADD(at[5], at[17]); MULADD(at[6], at[16]);
357 COMBA_STORE(C->dp[6]);
358 /* 7 */
359 COMBA_FORWARD;
360 MULADD(at[0], at[23]); MULADD(at[1], at[22]); MULADD(at[2], at[21]); MULADD(at[3], at[20]); MULADD(at[4], at[19]); MULADD(at[5], at[18]); MULADD(at[6], at[17]); MULADD(at[7], at[16]);
361 COMBA_STORE(C->dp[7]);
362 /* 8 */
363 COMBA_FORWARD;
364 MULADD(at[0], at[24]); MULADD(at[1], at[23]); MULADD(at[2], at[22]); MULADD(at[3], at[21]); MULADD(at[4], at[20]); MULADD(at[5], at[19]); MULADD(at[6], at[18]); MULADD(at[7], at[17]); MULADD(at[8], at[16]);
365 COMBA_STORE(C->dp[8]);
366 /* 9 */
367 COMBA_FORWARD;
368 MULADD(at[0], at[25]); MULADD(at[1], at[24]); MULADD(at[2], at[23]); MULADD(at[3], at[22]); MULADD(at[4], at[21]); MULADD(at[5], at[20]); MULADD(at[6], at[19]); MULADD(at[7], at[18]); MULADD(at[8], at[17]); MULADD(at[9], at[16]);
369 COMBA_STORE(C->dp[9]);
370 /* 10 */
371 COMBA_FORWARD;
372 MULADD(at[0], at[26]); MULADD(at[1], at[25]); MULADD(at[2], at[24]); MULADD(at[3], at[23]); MULADD(at[4], at[22]); MULADD(at[5], at[21]); MULADD(at[6], at[20]); MULADD(at[7], at[19]); MULADD(at[8], at[18]); MULADD(at[9], at[17]); MULADD(at[10], at[16]);
373 COMBA_STORE(C->dp[10]);
374 /* 11 */
375 COMBA_FORWARD;
376 MULADD(at[0], at[27]); MULADD(at[1], at[26]); MULADD(at[2], at[25]); MULADD(at[3], at[24]); MULADD(at[4], at[23]); MULADD(at[5], at[22]); MULADD(at[6], at[21]); MULADD(at[7], at[20]); MULADD(at[8], at[19]); MULADD(at[9], at[18]); MULADD(at[10], at[17]); MULADD(at[11], at[16]);
377 COMBA_STORE(C->dp[11]);
378 /* 12 */
379 COMBA_FORWARD;
380 MULADD(at[0], at[28]); MULADD(at[1], at[27]); MULADD(at[2], at[26]); MULADD(at[3], at[25]); MULADD(at[4], at[24]); MULADD(at[5], at[23]); MULADD(at[6], at[22]); MULADD(at[7], at[21]); MULADD(at[8], at[20]); MULADD(at[9], at[19]); MULADD(at[10], at[18]); MULADD(at[11], at[17]); MULADD(at[12], at[16]);
381 COMBA_STORE(C->dp[12]);
382 /* 13 */
383 COMBA_FORWARD;
384 MULADD(at[0], at[29]); MULADD(at[1], at[28]); MULADD(at[2], at[27]); MULADD(at[3], at[26]); MULADD(at[4], at[25]); MULADD(at[5], at[24]); MULADD(at[6], at[23]); MULADD(at[7], at[22]); MULADD(at[8], at[21]); MULADD(at[9], at[20]); MULADD(at[10], at[19]); MULADD(at[11], at[18]); MULADD(at[12], at[17]); MULADD(at[13], at[16]);
385 COMBA_STORE(C->dp[13]);
386 /* 14 */
387 COMBA_FORWARD;
388 MULADD(at[0], at[30]); MULADD(at[1], at[29]); MULADD(at[2], at[28]); MULADD(at[3], at[27]); MULADD(at[4], at[26]); MULADD(at[5], at[25]); MULADD(at[6], at[24]); MULADD(at[7], at[23]); MULADD(at[8], at[22]); MULADD(at[9], at[21]); MULADD(at[10], at[20]); MULADD(at[11], at[19]); MULADD(at[12], at[18]); MULADD(at[13], at[17]); MULADD(at[14], at[16]);
389 COMBA_STORE(C->dp[14]);
390 /* 15 */
391 COMBA_FORWARD;
392 MULADD(at[0], at[31]); MULADD(at[1], at[30]); MULADD(at[2], at[29]); MULADD(at[3], at[28]); MULADD(at[4], at[27]); MULADD(at[5], at[26]); MULADD(at[6], at[25]); MULADD(at[7], at[24]); MULADD(at[8], at[23]); MULADD(at[9], at[22]); MULADD(at[10], at[21]); MULADD(at[11], at[20]); MULADD(at[12], at[19]); MULADD(at[13], at[18]); MULADD(at[14], at[17]); MULADD(at[15], at[16]);
393 COMBA_STORE(C->dp[15]);
394 /* 16 */
395 COMBA_FORWARD;
396 MULADD(at[1], at[31]); MULADD(at[2], at[30]); MULADD(at[3], at[29]); MULADD(at[4], at[28]); MULADD(at[5], at[27]); MULADD(at[6], at[26]); MULADD(at[7], at[25]); MULADD(at[8], at[24]); MULADD(at[9], at[23]); MULADD(at[10], at[22]); MULADD(at[11], at[21]); MULADD(at[12], at[20]); MULADD(at[13], at[19]); MULADD(at[14], at[18]); MULADD(at[15], at[17]);
397 COMBA_STORE(C->dp[16]);
398 /* 17 */
399 COMBA_FORWARD;
400 MULADD(at[2], at[31]); MULADD(at[3], at[30]); MULADD(at[4], at[29]); MULADD(at[5], at[28]); MULADD(at[6], at[27]); MULADD(at[7], at[26]); MULADD(at[8], at[25]); MULADD(at[9], at[24]); MULADD(at[10], at[23]); MULADD(at[11], at[22]); MULADD(at[12], at[21]); MULADD(at[13], at[20]); MULADD(at[14], at[19]); MULADD(at[15], at[18]);
401 COMBA_STORE(C->dp[17]);
402 /* 18 */
403 COMBA_FORWARD;
404 MULADD(at[3], at[31]); MULADD(at[4], at[30]); MULADD(at[5], at[29]); MULADD(at[6], at[28]); MULADD(at[7], at[27]); MULADD(at[8], at[26]); MULADD(at[9], at[25]); MULADD(at[10], at[24]); MULADD(at[11], at[23]); MULADD(at[12], at[22]); MULADD(at[13], at[21]); MULADD(at[14], at[20]); MULADD(at[15], at[19]);
405 COMBA_STORE(C->dp[18]);
406 /* 19 */
407 COMBA_FORWARD;
408 MULADD(at[4], at[31]); MULADD(at[5], at[30]); MULADD(at[6], at[29]); MULADD(at[7], at[28]); MULADD(at[8], at[27]); MULADD(at[9], at[26]); MULADD(at[10], at[25]); MULADD(at[11], at[24]); MULADD(at[12], at[23]); MULADD(at[13], at[22]); MULADD(at[14], at[21]); MULADD(at[15], at[20]);
409 COMBA_STORE(C->dp[19]);
410 /* 20 */
411 COMBA_FORWARD;
412 MULADD(at[5], at[31]); MULADD(at[6], at[30]); MULADD(at[7], at[29]); MULADD(at[8], at[28]); MULADD(at[9], at[27]); MULADD(at[10], at[26]); MULADD(at[11], at[25]); MULADD(at[12], at[24]); MULADD(at[13], at[23]); MULADD(at[14], at[22]); MULADD(at[15], at[21]);
413 COMBA_STORE(C->dp[20]);
414 /* 21 */
415 COMBA_FORWARD;
416 MULADD(at[6], at[31]); MULADD(at[7], at[30]); MULADD(at[8], at[29]); MULADD(at[9], at[28]); MULADD(at[10], at[27]); MULADD(at[11], at[26]); MULADD(at[12], at[25]); MULADD(at[13], at[24]); MULADD(at[14], at[23]); MULADD(at[15], at[22]);
417 COMBA_STORE(C->dp[21]);
418 /* 22 */
419 COMBA_FORWARD;
420 MULADD(at[7], at[31]); MULADD(at[8], at[30]); MULADD(at[9], at[29]); MULADD(at[10], at[28]); MULADD(at[11], at[27]); MULADD(at[12], at[26]); MULADD(at[13], at[25]); MULADD(at[14], at[24]); MULADD(at[15], at[23]);
421 COMBA_STORE(C->dp[22]);
422 /* 23 */
423 COMBA_FORWARD;
424 MULADD(at[8], at[31]); MULADD(at[9], at[30]); MULADD(at[10], at[29]); MULADD(at[11], at[28]); MULADD(at[12], at[27]); MULADD(at[13], at[26]); MULADD(at[14], at[25]); MULADD(at[15], at[24]);
425 COMBA_STORE(C->dp[23]);
426 /* 24 */
427 COMBA_FORWARD;
428 MULADD(at[9], at[31]); MULADD(at[10], at[30]); MULADD(at[11], at[29]); MULADD(at[12], at[28]); MULADD(at[13], at[27]); MULADD(at[14], at[26]); MULADD(at[15], at[25]);
429 COMBA_STORE(C->dp[24]);
430 /* 25 */
431 COMBA_FORWARD;
432 MULADD(at[10], at[31]); MULADD(at[11], at[30]); MULADD(at[12], at[29]); MULADD(at[13], at[28]); MULADD(at[14], at[27]); MULADD(at[15], at[26]);
433 COMBA_STORE(C->dp[25]);
434 /* 26 */
435 COMBA_FORWARD;
436 MULADD(at[11], at[31]); MULADD(at[12], at[30]); MULADD(at[13], at[29]); MULADD(at[14], at[28]); MULADD(at[15], at[27]);
437 COMBA_STORE(C->dp[26]);
438 /* 27 */
439 COMBA_FORWARD;
440 MULADD(at[12], at[31]); MULADD(at[13], at[30]); MULADD(at[14], at[29]); MULADD(at[15], at[28]);
441 COMBA_STORE(C->dp[27]);
442 /* 28 */
443 COMBA_FORWARD;
444 MULADD(at[13], at[31]); MULADD(at[14], at[30]); MULADD(at[15], at[29]);
445 COMBA_STORE(C->dp[28]);
446 /* 29 */
447 COMBA_FORWARD;
448 MULADD(at[14], at[31]); MULADD(at[15], at[30]);
449 COMBA_STORE(C->dp[29]);
450 /* 30 */
451 COMBA_FORWARD;
452 MULADD(at[15], at[31]);
453 COMBA_STORE(C->dp[30]);
454 COMBA_STORE2(C->dp[31]);
455 C->used = 32;
456 C->sign = A->sign ^ B->sign;
457 pstm_clamp(C);
458 COMBA_FINI;
459 return PSTM_OKAY;
460}
461#endif /* USE_1024_KEY_SPEED_OPTIMIZATIONS */
462
463
464#ifdef USE_2048_KEY_SPEED_OPTIMIZATIONS
465static int32 pstm_mul_comba32(pstm_int *A, pstm_int *B, pstm_int *C)
466{
467 pstm_digit c0, c1, c2, at[64];
468 int32 out_size;
469
470 if (C->alloc < 64) {
471 if (pstm_grow(C, 64) != PSTM_OKAY) {
472 return PS_MEM_FAIL;
473 }
474 }
475
476 out_size = A->used + B->used;
477 memcpy(at, A->dp, 32 * sizeof(pstm_digit));
478 memcpy(at+32, B->dp, 32 * sizeof(pstm_digit));
479 COMBA_START;
480
481 COMBA_CLEAR;
482 /* 0 */
483 MULADD(at[0], at[32]);
484 COMBA_STORE(C->dp[0]);
485 /* 1 */
486 COMBA_FORWARD;
487 MULADD(at[0], at[33]); MULADD(at[1], at[32]);
488 COMBA_STORE(C->dp[1]);
489 /* 2 */
490 COMBA_FORWARD;
491 MULADD(at[0], at[34]); MULADD(at[1], at[33]); MULADD(at[2], at[32]);
492 COMBA_STORE(C->dp[2]);
493 /* 3 */
494 COMBA_FORWARD;
495 MULADD(at[0], at[35]); MULADD(at[1], at[34]); MULADD(at[2], at[33]); MULADD(at[3], at[32]);
496 COMBA_STORE(C->dp[3]);
497 /* 4 */
498 COMBA_FORWARD;
499 MULADD(at[0], at[36]); MULADD(at[1], at[35]); MULADD(at[2], at[34]); MULADD(at[3], at[33]); MULADD(at[4], at[32]);
500 COMBA_STORE(C->dp[4]);
501 /* 5 */
502 COMBA_FORWARD;
503 MULADD(at[0], at[37]); MULADD(at[1], at[36]); MULADD(at[2], at[35]); MULADD(at[3], at[34]); MULADD(at[4], at[33]); MULADD(at[5], at[32]);
504 COMBA_STORE(C->dp[5]);
505 /* 6 */
506 COMBA_FORWARD;
507 MULADD(at[0], at[38]); MULADD(at[1], at[37]); MULADD(at[2], at[36]); MULADD(at[3], at[35]); MULADD(at[4], at[34]); MULADD(at[5], at[33]); MULADD(at[6], at[32]);
508 COMBA_STORE(C->dp[6]);
509 /* 7 */
510 COMBA_FORWARD;
511 MULADD(at[0], at[39]); MULADD(at[1], at[38]); MULADD(at[2], at[37]); MULADD(at[3], at[36]); MULADD(at[4], at[35]); MULADD(at[5], at[34]); MULADD(at[6], at[33]); MULADD(at[7], at[32]);
512 COMBA_STORE(C->dp[7]);
513 /* 8 */
514 COMBA_FORWARD;
515 MULADD(at[0], at[40]); MULADD(at[1], at[39]); MULADD(at[2], at[38]); MULADD(at[3], at[37]); MULADD(at[4], at[36]); MULADD(at[5], at[35]); MULADD(at[6], at[34]); MULADD(at[7], at[33]); MULADD(at[8], at[32]);
516 COMBA_STORE(C->dp[8]);
517 /* 9 */
518 COMBA_FORWARD;
519 MULADD(at[0], at[41]); MULADD(at[1], at[40]); MULADD(at[2], at[39]); MULADD(at[3], at[38]); MULADD(at[4], at[37]); MULADD(at[5], at[36]); MULADD(at[6], at[35]); MULADD(at[7], at[34]); MULADD(at[8], at[33]); MULADD(at[9], at[32]);
520 COMBA_STORE(C->dp[9]);
521 /* 10 */
522 COMBA_FORWARD;
523 MULADD(at[0], at[42]); MULADD(at[1], at[41]); MULADD(at[2], at[40]); MULADD(at[3], at[39]); MULADD(at[4], at[38]); MULADD(at[5], at[37]); MULADD(at[6], at[36]); MULADD(at[7], at[35]); MULADD(at[8], at[34]); MULADD(at[9], at[33]); MULADD(at[10], at[32]);
524 COMBA_STORE(C->dp[10]);
525 /* 11 */
526 COMBA_FORWARD;
527 MULADD(at[0], at[43]); MULADD(at[1], at[42]); MULADD(at[2], at[41]); MULADD(at[3], at[40]); MULADD(at[4], at[39]); MULADD(at[5], at[38]); MULADD(at[6], at[37]); MULADD(at[7], at[36]); MULADD(at[8], at[35]); MULADD(at[9], at[34]); MULADD(at[10], at[33]); MULADD(at[11], at[32]);
528 COMBA_STORE(C->dp[11]);
529 /* 12 */
530 COMBA_FORWARD;
531 MULADD(at[0], at[44]); MULADD(at[1], at[43]); MULADD(at[2], at[42]); MULADD(at[3], at[41]); MULADD(at[4], at[40]); MULADD(at[5], at[39]); MULADD(at[6], at[38]); MULADD(at[7], at[37]); MULADD(at[8], at[36]); MULADD(at[9], at[35]); MULADD(at[10], at[34]); MULADD(at[11], at[33]); MULADD(at[12], at[32]);
532 COMBA_STORE(C->dp[12]);
533 /* 13 */
534 COMBA_FORWARD;
535 MULADD(at[0], at[45]); MULADD(at[1], at[44]); MULADD(at[2], at[43]); MULADD(at[3], at[42]); MULADD(at[4], at[41]); MULADD(at[5], at[40]); MULADD(at[6], at[39]); MULADD(at[7], at[38]); MULADD(at[8], at[37]); MULADD(at[9], at[36]); MULADD(at[10], at[35]); MULADD(at[11], at[34]); MULADD(at[12], at[33]); MULADD(at[13], at[32]);
536 COMBA_STORE(C->dp[13]);
537 /* 14 */
538 COMBA_FORWARD;
539 MULADD(at[0], at[46]); MULADD(at[1], at[45]); MULADD(at[2], at[44]); MULADD(at[3], at[43]); MULADD(at[4], at[42]); MULADD(at[5], at[41]); MULADD(at[6], at[40]); MULADD(at[7], at[39]); MULADD(at[8], at[38]); MULADD(at[9], at[37]); MULADD(at[10], at[36]); MULADD(at[11], at[35]); MULADD(at[12], at[34]); MULADD(at[13], at[33]); MULADD(at[14], at[32]);
540 COMBA_STORE(C->dp[14]);
541 /* 15 */
542 COMBA_FORWARD;
543 MULADD(at[0], at[47]); MULADD(at[1], at[46]); MULADD(at[2], at[45]); MULADD(at[3], at[44]); MULADD(at[4], at[43]); MULADD(at[5], at[42]); MULADD(at[6], at[41]); MULADD(at[7], at[40]); MULADD(at[8], at[39]); MULADD(at[9], at[38]); MULADD(at[10], at[37]); MULADD(at[11], at[36]); MULADD(at[12], at[35]); MULADD(at[13], at[34]); MULADD(at[14], at[33]); MULADD(at[15], at[32]);
544 COMBA_STORE(C->dp[15]);
545 /* 16 */
546 COMBA_FORWARD;
547 MULADD(at[0], at[48]); MULADD(at[1], at[47]); MULADD(at[2], at[46]); MULADD(at[3], at[45]); MULADD(at[4], at[44]); MULADD(at[5], at[43]); MULADD(at[6], at[42]); MULADD(at[7], at[41]); MULADD(at[8], at[40]); MULADD(at[9], at[39]); MULADD(at[10], at[38]); MULADD(at[11], at[37]); MULADD(at[12], at[36]); MULADD(at[13], at[35]); MULADD(at[14], at[34]); MULADD(at[15], at[33]); MULADD(at[16], at[32]);
548 COMBA_STORE(C->dp[16]);
549 /* 17 */
550 COMBA_FORWARD;
551 MULADD(at[0], at[49]); MULADD(at[1], at[48]); MULADD(at[2], at[47]); MULADD(at[3], at[46]); MULADD(at[4], at[45]); MULADD(at[5], at[44]); MULADD(at[6], at[43]); MULADD(at[7], at[42]); MULADD(at[8], at[41]); MULADD(at[9], at[40]); MULADD(at[10], at[39]); MULADD(at[11], at[38]); MULADD(at[12], at[37]); MULADD(at[13], at[36]); MULADD(at[14], at[35]); MULADD(at[15], at[34]); MULADD(at[16], at[33]); MULADD(at[17], at[32]);
552 COMBA_STORE(C->dp[17]);
553 /* 18 */
554 COMBA_FORWARD;
555 MULADD(at[0], at[50]); MULADD(at[1], at[49]); MULADD(at[2], at[48]); MULADD(at[3], at[47]); MULADD(at[4], at[46]); MULADD(at[5], at[45]); MULADD(at[6], at[44]); MULADD(at[7], at[43]); MULADD(at[8], at[42]); MULADD(at[9], at[41]); MULADD(at[10], at[40]); MULADD(at[11], at[39]); MULADD(at[12], at[38]); MULADD(at[13], at[37]); MULADD(at[14], at[36]); MULADD(at[15], at[35]); MULADD(at[16], at[34]); MULADD(at[17], at[33]); MULADD(at[18], at[32]);
556 COMBA_STORE(C->dp[18]);
557 /* 19 */
558 COMBA_FORWARD;
559 MULADD(at[0], at[51]); MULADD(at[1], at[50]); MULADD(at[2], at[49]); MULADD(at[3], at[48]); MULADD(at[4], at[47]); MULADD(at[5], at[46]); MULADD(at[6], at[45]); MULADD(at[7], at[44]); MULADD(at[8], at[43]); MULADD(at[9], at[42]); MULADD(at[10], at[41]); MULADD(at[11], at[40]); MULADD(at[12], at[39]); MULADD(at[13], at[38]); MULADD(at[14], at[37]); MULADD(at[15], at[36]); MULADD(at[16], at[35]); MULADD(at[17], at[34]); MULADD(at[18], at[33]); MULADD(at[19], at[32]);
560 COMBA_STORE(C->dp[19]);
561 /* 20 */
562 COMBA_FORWARD;
563 MULADD(at[0], at[52]); MULADD(at[1], at[51]); MULADD(at[2], at[50]); MULADD(at[3], at[49]); MULADD(at[4], at[48]); MULADD(at[5], at[47]); MULADD(at[6], at[46]); MULADD(at[7], at[45]); MULADD(at[8], at[44]); MULADD(at[9], at[43]); MULADD(at[10], at[42]); MULADD(at[11], at[41]); MULADD(at[12], at[40]); MULADD(at[13], at[39]); MULADD(at[14], at[38]); MULADD(at[15], at[37]); MULADD(at[16], at[36]); MULADD(at[17], at[35]); MULADD(at[18], at[34]); MULADD(at[19], at[33]); MULADD(at[20], at[32]);
564 COMBA_STORE(C->dp[20]);
565 /* 21 */
566 COMBA_FORWARD;
567 MULADD(at[0], at[53]); MULADD(at[1], at[52]); MULADD(at[2], at[51]); MULADD(at[3], at[50]); MULADD(at[4], at[49]); MULADD(at[5], at[48]); MULADD(at[6], at[47]); MULADD(at[7], at[46]); MULADD(at[8], at[45]); MULADD(at[9], at[44]); MULADD(at[10], at[43]); MULADD(at[11], at[42]); MULADD(at[12], at[41]); MULADD(at[13], at[40]); MULADD(at[14], at[39]); MULADD(at[15], at[38]); MULADD(at[16], at[37]); MULADD(at[17], at[36]); MULADD(at[18], at[35]); MULADD(at[19], at[34]); MULADD(at[20], at[33]); MULADD(at[21], at[32]);
568 COMBA_STORE(C->dp[21]);
569 /* 22 */
570 COMBA_FORWARD;
571 MULADD(at[0], at[54]); MULADD(at[1], at[53]); MULADD(at[2], at[52]); MULADD(at[3], at[51]); MULADD(at[4], at[50]); MULADD(at[5], at[49]); MULADD(at[6], at[48]); MULADD(at[7], at[47]); MULADD(at[8], at[46]); MULADD(at[9], at[45]); MULADD(at[10], at[44]); MULADD(at[11], at[43]); MULADD(at[12], at[42]); MULADD(at[13], at[41]); MULADD(at[14], at[40]); MULADD(at[15], at[39]); MULADD(at[16], at[38]); MULADD(at[17], at[37]); MULADD(at[18], at[36]); MULADD(at[19], at[35]); MULADD(at[20], at[34]); MULADD(at[21], at[33]); MULADD(at[22], at[32]);
572 COMBA_STORE(C->dp[22]);
573 /* 23 */
574 COMBA_FORWARD;
575 MULADD(at[0], at[55]); MULADD(at[1], at[54]); MULADD(at[2], at[53]); MULADD(at[3], at[52]); MULADD(at[4], at[51]); MULADD(at[5], at[50]); MULADD(at[6], at[49]); MULADD(at[7], at[48]); MULADD(at[8], at[47]); MULADD(at[9], at[46]); MULADD(at[10], at[45]); MULADD(at[11], at[44]); MULADD(at[12], at[43]); MULADD(at[13], at[42]); MULADD(at[14], at[41]); MULADD(at[15], at[40]); MULADD(at[16], at[39]); MULADD(at[17], at[38]); MULADD(at[18], at[37]); MULADD(at[19], at[36]); MULADD(at[20], at[35]); MULADD(at[21], at[34]); MULADD(at[22], at[33]); MULADD(at[23], at[32]);
576 COMBA_STORE(C->dp[23]);
577 /* 24 */
578 COMBA_FORWARD;
579 MULADD(at[0], at[56]); MULADD(at[1], at[55]); MULADD(at[2], at[54]); MULADD(at[3], at[53]); MULADD(at[4], at[52]); MULADD(at[5], at[51]); MULADD(at[6], at[50]); MULADD(at[7], at[49]); MULADD(at[8], at[48]); MULADD(at[9], at[47]); MULADD(at[10], at[46]); MULADD(at[11], at[45]); MULADD(at[12], at[44]); MULADD(at[13], at[43]); MULADD(at[14], at[42]); MULADD(at[15], at[41]); MULADD(at[16], at[40]); MULADD(at[17], at[39]); MULADD(at[18], at[38]); MULADD(at[19], at[37]); MULADD(at[20], at[36]); MULADD(at[21], at[35]); MULADD(at[22], at[34]); MULADD(at[23], at[33]); MULADD(at[24], at[32]);
580 COMBA_STORE(C->dp[24]);
581 /* 25 */
582 COMBA_FORWARD;
583 MULADD(at[0], at[57]); MULADD(at[1], at[56]); MULADD(at[2], at[55]); MULADD(at[3], at[54]); MULADD(at[4], at[53]); MULADD(at[5], at[52]); MULADD(at[6], at[51]); MULADD(at[7], at[50]); MULADD(at[8], at[49]); MULADD(at[9], at[48]); MULADD(at[10], at[47]); MULADD(at[11], at[46]); MULADD(at[12], at[45]); MULADD(at[13], at[44]); MULADD(at[14], at[43]); MULADD(at[15], at[42]); MULADD(at[16], at[41]); MULADD(at[17], at[40]); MULADD(at[18], at[39]); MULADD(at[19], at[38]); MULADD(at[20], at[37]); MULADD(at[21], at[36]); MULADD(at[22], at[35]); MULADD(at[23], at[34]); MULADD(at[24], at[33]); MULADD(at[25], at[32]);
584 COMBA_STORE(C->dp[25]);
585 /* 26 */
586 COMBA_FORWARD;
587 MULADD(at[0], at[58]); MULADD(at[1], at[57]); MULADD(at[2], at[56]); MULADD(at[3], at[55]); MULADD(at[4], at[54]); MULADD(at[5], at[53]); MULADD(at[6], at[52]); MULADD(at[7], at[51]); MULADD(at[8], at[50]); MULADD(at[9], at[49]); MULADD(at[10], at[48]); MULADD(at[11], at[47]); MULADD(at[12], at[46]); MULADD(at[13], at[45]); MULADD(at[14], at[44]); MULADD(at[15], at[43]); MULADD(at[16], at[42]); MULADD(at[17], at[41]); MULADD(at[18], at[40]); MULADD(at[19], at[39]); MULADD(at[20], at[38]); MULADD(at[21], at[37]); MULADD(at[22], at[36]); MULADD(at[23], at[35]); MULADD(at[24], at[34]); MULADD(at[25], at[33]); MULADD(at[26], at[32]);
588 COMBA_STORE(C->dp[26]);
589 /* 27 */
590 COMBA_FORWARD;
591 MULADD(at[0], at[59]); MULADD(at[1], at[58]); MULADD(at[2], at[57]); MULADD(at[3], at[56]); MULADD(at[4], at[55]); MULADD(at[5], at[54]); MULADD(at[6], at[53]); MULADD(at[7], at[52]); MULADD(at[8], at[51]); MULADD(at[9], at[50]); MULADD(at[10], at[49]); MULADD(at[11], at[48]); MULADD(at[12], at[47]); MULADD(at[13], at[46]); MULADD(at[14], at[45]); MULADD(at[15], at[44]); MULADD(at[16], at[43]); MULADD(at[17], at[42]); MULADD(at[18], at[41]); MULADD(at[19], at[40]); MULADD(at[20], at[39]); MULADD(at[21], at[38]); MULADD(at[22], at[37]); MULADD(at[23], at[36]); MULADD(at[24], at[35]); MULADD(at[25], at[34]); MULADD(at[26], at[33]); MULADD(at[27], at[32]);
592 COMBA_STORE(C->dp[27]);
593 /* 28 */
594 COMBA_FORWARD;
595 MULADD(at[0], at[60]); MULADD(at[1], at[59]); MULADD(at[2], at[58]); MULADD(at[3], at[57]); MULADD(at[4], at[56]); MULADD(at[5], at[55]); MULADD(at[6], at[54]); MULADD(at[7], at[53]); MULADD(at[8], at[52]); MULADD(at[9], at[51]); MULADD(at[10], at[50]); MULADD(at[11], at[49]); MULADD(at[12], at[48]); MULADD(at[13], at[47]); MULADD(at[14], at[46]); MULADD(at[15], at[45]); MULADD(at[16], at[44]); MULADD(at[17], at[43]); MULADD(at[18], at[42]); MULADD(at[19], at[41]); MULADD(at[20], at[40]); MULADD(at[21], at[39]); MULADD(at[22], at[38]); MULADD(at[23], at[37]); MULADD(at[24], at[36]); MULADD(at[25], at[35]); MULADD(at[26], at[34]); MULADD(at[27], at[33]); MULADD(at[28], at[32]);
596 COMBA_STORE(C->dp[28]);
597 /* 29 */
598 COMBA_FORWARD;
599 MULADD(at[0], at[61]); MULADD(at[1], at[60]); MULADD(at[2], at[59]); MULADD(at[3], at[58]); MULADD(at[4], at[57]); MULADD(at[5], at[56]); MULADD(at[6], at[55]); MULADD(at[7], at[54]); MULADD(at[8], at[53]); MULADD(at[9], at[52]); MULADD(at[10], at[51]); MULADD(at[11], at[50]); MULADD(at[12], at[49]); MULADD(at[13], at[48]); MULADD(at[14], at[47]); MULADD(at[15], at[46]); MULADD(at[16], at[45]); MULADD(at[17], at[44]); MULADD(at[18], at[43]); MULADD(at[19], at[42]); MULADD(at[20], at[41]); MULADD(at[21], at[40]); MULADD(at[22], at[39]); MULADD(at[23], at[38]); MULADD(at[24], at[37]); MULADD(at[25], at[36]); MULADD(at[26], at[35]); MULADD(at[27], at[34]); MULADD(at[28], at[33]); MULADD(at[29], at[32]);
600 COMBA_STORE(C->dp[29]);
601 /* 30 */
602 COMBA_FORWARD;
603 MULADD(at[0], at[62]); MULADD(at[1], at[61]); MULADD(at[2], at[60]); MULADD(at[3], at[59]); MULADD(at[4], at[58]); MULADD(at[5], at[57]); MULADD(at[6], at[56]); MULADD(at[7], at[55]); MULADD(at[8], at[54]); MULADD(at[9], at[53]); MULADD(at[10], at[52]); MULADD(at[11], at[51]); MULADD(at[12], at[50]); MULADD(at[13], at[49]); MULADD(at[14], at[48]); MULADD(at[15], at[47]); MULADD(at[16], at[46]); MULADD(at[17], at[45]); MULADD(at[18], at[44]); MULADD(at[19], at[43]); MULADD(at[20], at[42]); MULADD(at[21], at[41]); MULADD(at[22], at[40]); MULADD(at[23], at[39]); MULADD(at[24], at[38]); MULADD(at[25], at[37]); MULADD(at[26], at[36]); MULADD(at[27], at[35]); MULADD(at[28], at[34]); MULADD(at[29], at[33]); MULADD(at[30], at[32]);
604 COMBA_STORE(C->dp[30]);
605 /* 31 */
606 COMBA_FORWARD;
607 MULADD(at[0], at[63]); MULADD(at[1], at[62]); MULADD(at[2], at[61]); MULADD(at[3], at[60]); MULADD(at[4], at[59]); MULADD(at[5], at[58]); MULADD(at[6], at[57]); MULADD(at[7], at[56]); MULADD(at[8], at[55]); MULADD(at[9], at[54]); MULADD(at[10], at[53]); MULADD(at[11], at[52]); MULADD(at[12], at[51]); MULADD(at[13], at[50]); MULADD(at[14], at[49]); MULADD(at[15], at[48]); MULADD(at[16], at[47]); MULADD(at[17], at[46]); MULADD(at[18], at[45]); MULADD(at[19], at[44]); MULADD(at[20], at[43]); MULADD(at[21], at[42]); MULADD(at[22], at[41]); MULADD(at[23], at[40]); MULADD(at[24], at[39]); MULADD(at[25], at[38]); MULADD(at[26], at[37]); MULADD(at[27], at[36]); MULADD(at[28], at[35]); MULADD(at[29], at[34]); MULADD(at[30], at[33]); MULADD(at[31], at[32]);
608 COMBA_STORE(C->dp[31]);
609 /* 32 */
610 COMBA_FORWARD;
611 MULADD(at[1], at[63]); MULADD(at[2], at[62]); MULADD(at[3], at[61]); MULADD(at[4], at[60]); MULADD(at[5], at[59]); MULADD(at[6], at[58]); MULADD(at[7], at[57]); MULADD(at[8], at[56]); MULADD(at[9], at[55]); MULADD(at[10], at[54]); MULADD(at[11], at[53]); MULADD(at[12], at[52]); MULADD(at[13], at[51]); MULADD(at[14], at[50]); MULADD(at[15], at[49]); MULADD(at[16], at[48]); MULADD(at[17], at[47]); MULADD(at[18], at[46]); MULADD(at[19], at[45]); MULADD(at[20], at[44]); MULADD(at[21], at[43]); MULADD(at[22], at[42]); MULADD(at[23], at[41]); MULADD(at[24], at[40]); MULADD(at[25], at[39]); MULADD(at[26], at[38]); MULADD(at[27], at[37]); MULADD(at[28], at[36]); MULADD(at[29], at[35]); MULADD(at[30], at[34]); MULADD(at[31], at[33]);
612 COMBA_STORE(C->dp[32]);
613 /* 33 */
614 COMBA_FORWARD;
615 MULADD(at[2], at[63]); MULADD(at[3], at[62]); MULADD(at[4], at[61]); MULADD(at[5], at[60]); MULADD(at[6], at[59]); MULADD(at[7], at[58]); MULADD(at[8], at[57]); MULADD(at[9], at[56]); MULADD(at[10], at[55]); MULADD(at[11], at[54]); MULADD(at[12], at[53]); MULADD(at[13], at[52]); MULADD(at[14], at[51]); MULADD(at[15], at[50]); MULADD(at[16], at[49]); MULADD(at[17], at[48]); MULADD(at[18], at[47]); MULADD(at[19], at[46]); MULADD(at[20], at[45]); MULADD(at[21], at[44]); MULADD(at[22], at[43]); MULADD(at[23], at[42]); MULADD(at[24], at[41]); MULADD(at[25], at[40]); MULADD(at[26], at[39]); MULADD(at[27], at[38]); MULADD(at[28], at[37]); MULADD(at[29], at[36]); MULADD(at[30], at[35]); MULADD(at[31], at[34]);
616 COMBA_STORE(C->dp[33]);
617 /* 34 */
618 COMBA_FORWARD;
619 MULADD(at[3], at[63]); MULADD(at[4], at[62]); MULADD(at[5], at[61]); MULADD(at[6], at[60]); MULADD(at[7], at[59]); MULADD(at[8], at[58]); MULADD(at[9], at[57]); MULADD(at[10], at[56]); MULADD(at[11], at[55]); MULADD(at[12], at[54]); MULADD(at[13], at[53]); MULADD(at[14], at[52]); MULADD(at[15], at[51]); MULADD(at[16], at[50]); MULADD(at[17], at[49]); MULADD(at[18], at[48]); MULADD(at[19], at[47]); MULADD(at[20], at[46]); MULADD(at[21], at[45]); MULADD(at[22], at[44]); MULADD(at[23], at[43]); MULADD(at[24], at[42]); MULADD(at[25], at[41]); MULADD(at[26], at[40]); MULADD(at[27], at[39]); MULADD(at[28], at[38]); MULADD(at[29], at[37]); MULADD(at[30], at[36]); MULADD(at[31], at[35]);
620 COMBA_STORE(C->dp[34]);
621 /* 35 */
622 COMBA_FORWARD;
623 MULADD(at[4], at[63]); MULADD(at[5], at[62]); MULADD(at[6], at[61]); MULADD(at[7], at[60]); MULADD(at[8], at[59]); MULADD(at[9], at[58]); MULADD(at[10], at[57]); MULADD(at[11], at[56]); MULADD(at[12], at[55]); MULADD(at[13], at[54]); MULADD(at[14], at[53]); MULADD(at[15], at[52]); MULADD(at[16], at[51]); MULADD(at[17], at[50]); MULADD(at[18], at[49]); MULADD(at[19], at[48]); MULADD(at[20], at[47]); MULADD(at[21], at[46]); MULADD(at[22], at[45]); MULADD(at[23], at[44]); MULADD(at[24], at[43]); MULADD(at[25], at[42]); MULADD(at[26], at[41]); MULADD(at[27], at[40]); MULADD(at[28], at[39]); MULADD(at[29], at[38]); MULADD(at[30], at[37]); MULADD(at[31], at[36]);
624 COMBA_STORE(C->dp[35]);
625 /* 36 */
626 COMBA_FORWARD;
627 MULADD(at[5], at[63]); MULADD(at[6], at[62]); MULADD(at[7], at[61]); MULADD(at[8], at[60]); MULADD(at[9], at[59]); MULADD(at[10], at[58]); MULADD(at[11], at[57]); MULADD(at[12], at[56]); MULADD(at[13], at[55]); MULADD(at[14], at[54]); MULADD(at[15], at[53]); MULADD(at[16], at[52]); MULADD(at[17], at[51]); MULADD(at[18], at[50]); MULADD(at[19], at[49]); MULADD(at[20], at[48]); MULADD(at[21], at[47]); MULADD(at[22], at[46]); MULADD(at[23], at[45]); MULADD(at[24], at[44]); MULADD(at[25], at[43]); MULADD(at[26], at[42]); MULADD(at[27], at[41]); MULADD(at[28], at[40]); MULADD(at[29], at[39]); MULADD(at[30], at[38]); MULADD(at[31], at[37]);
628 COMBA_STORE(C->dp[36]);
629 /* 37 */
630 COMBA_FORWARD;
631 MULADD(at[6], at[63]); MULADD(at[7], at[62]); MULADD(at[8], at[61]); MULADD(at[9], at[60]); MULADD(at[10], at[59]); MULADD(at[11], at[58]); MULADD(at[12], at[57]); MULADD(at[13], at[56]); MULADD(at[14], at[55]); MULADD(at[15], at[54]); MULADD(at[16], at[53]); MULADD(at[17], at[52]); MULADD(at[18], at[51]); MULADD(at[19], at[50]); MULADD(at[20], at[49]); MULADD(at[21], at[48]); MULADD(at[22], at[47]); MULADD(at[23], at[46]); MULADD(at[24], at[45]); MULADD(at[25], at[44]); MULADD(at[26], at[43]); MULADD(at[27], at[42]); MULADD(at[28], at[41]); MULADD(at[29], at[40]); MULADD(at[30], at[39]); MULADD(at[31], at[38]);
632 COMBA_STORE(C->dp[37]);
633 /* 38 */
634 COMBA_FORWARD;
635 MULADD(at[7], at[63]); MULADD(at[8], at[62]); MULADD(at[9], at[61]); MULADD(at[10], at[60]); MULADD(at[11], at[59]); MULADD(at[12], at[58]); MULADD(at[13], at[57]); MULADD(at[14], at[56]); MULADD(at[15], at[55]); MULADD(at[16], at[54]); MULADD(at[17], at[53]); MULADD(at[18], at[52]); MULADD(at[19], at[51]); MULADD(at[20], at[50]); MULADD(at[21], at[49]); MULADD(at[22], at[48]); MULADD(at[23], at[47]); MULADD(at[24], at[46]); MULADD(at[25], at[45]); MULADD(at[26], at[44]); MULADD(at[27], at[43]); MULADD(at[28], at[42]); MULADD(at[29], at[41]); MULADD(at[30], at[40]); MULADD(at[31], at[39]);
636 COMBA_STORE(C->dp[38]);
637
638 /* early out at 40 digits, 40*32==1280, or two 640 bit operands */
639 if (out_size <= 40) { COMBA_STORE2(C->dp[39]); C->used = 40; C->sign = A->sign ^ B->sign; pstm_clamp(C); COMBA_FINI; return PSTM_OKAY; }
640
641 /* 39 */
642 COMBA_FORWARD;
643 MULADD(at[8], at[63]); MULADD(at[9], at[62]); MULADD(at[10], at[61]); MULADD(at[11], at[60]); MULADD(at[12], at[59]); MULADD(at[13], at[58]); MULADD(at[14], at[57]); MULADD(at[15], at[56]); MULADD(at[16], at[55]); MULADD(at[17], at[54]); MULADD(at[18], at[53]); MULADD(at[19], at[52]); MULADD(at[20], at[51]); MULADD(at[21], at[50]); MULADD(at[22], at[49]); MULADD(at[23], at[48]); MULADD(at[24], at[47]); MULADD(at[25], at[46]); MULADD(at[26], at[45]); MULADD(at[27], at[44]); MULADD(at[28], at[43]); MULADD(at[29], at[42]); MULADD(at[30], at[41]); MULADD(at[31], at[40]);
644 COMBA_STORE(C->dp[39]);
645 /* 40 */
646 COMBA_FORWARD;
647 MULADD(at[9], at[63]); MULADD(at[10], at[62]); MULADD(at[11], at[61]); MULADD(at[12], at[60]); MULADD(at[13], at[59]); MULADD(at[14], at[58]); MULADD(at[15], at[57]); MULADD(at[16], at[56]); MULADD(at[17], at[55]); MULADD(at[18], at[54]); MULADD(at[19], at[53]); MULADD(at[20], at[52]); MULADD(at[21], at[51]); MULADD(at[22], at[50]); MULADD(at[23], at[49]); MULADD(at[24], at[48]); MULADD(at[25], at[47]); MULADD(at[26], at[46]); MULADD(at[27], at[45]); MULADD(at[28], at[44]); MULADD(at[29], at[43]); MULADD(at[30], at[42]); MULADD(at[31], at[41]);
648 COMBA_STORE(C->dp[40]);
649 /* 41 */
650 COMBA_FORWARD;
651 MULADD(at[10], at[63]); MULADD(at[11], at[62]); MULADD(at[12], at[61]); MULADD(at[13], at[60]); MULADD(at[14], at[59]); MULADD(at[15], at[58]); MULADD(at[16], at[57]); MULADD(at[17], at[56]); MULADD(at[18], at[55]); MULADD(at[19], at[54]); MULADD(at[20], at[53]); MULADD(at[21], at[52]); MULADD(at[22], at[51]); MULADD(at[23], at[50]); MULADD(at[24], at[49]); MULADD(at[25], at[48]); MULADD(at[26], at[47]); MULADD(at[27], at[46]); MULADD(at[28], at[45]); MULADD(at[29], at[44]); MULADD(at[30], at[43]); MULADD(at[31], at[42]);
652 COMBA_STORE(C->dp[41]);
653 /* 42 */
654 COMBA_FORWARD;
655 MULADD(at[11], at[63]); MULADD(at[12], at[62]); MULADD(at[13], at[61]); MULADD(at[14], at[60]); MULADD(at[15], at[59]); MULADD(at[16], at[58]); MULADD(at[17], at[57]); MULADD(at[18], at[56]); MULADD(at[19], at[55]); MULADD(at[20], at[54]); MULADD(at[21], at[53]); MULADD(at[22], at[52]); MULADD(at[23], at[51]); MULADD(at[24], at[50]); MULADD(at[25], at[49]); MULADD(at[26], at[48]); MULADD(at[27], at[47]); MULADD(at[28], at[46]); MULADD(at[29], at[45]); MULADD(at[30], at[44]); MULADD(at[31], at[43]);
656 COMBA_STORE(C->dp[42]);
657 /* 43 */
658 COMBA_FORWARD;
659 MULADD(at[12], at[63]); MULADD(at[13], at[62]); MULADD(at[14], at[61]); MULADD(at[15], at[60]); MULADD(at[16], at[59]); MULADD(at[17], at[58]); MULADD(at[18], at[57]); MULADD(at[19], at[56]); MULADD(at[20], at[55]); MULADD(at[21], at[54]); MULADD(at[22], at[53]); MULADD(at[23], at[52]); MULADD(at[24], at[51]); MULADD(at[25], at[50]); MULADD(at[26], at[49]); MULADD(at[27], at[48]); MULADD(at[28], at[47]); MULADD(at[29], at[46]); MULADD(at[30], at[45]); MULADD(at[31], at[44]);
660 COMBA_STORE(C->dp[43]);
661 /* 44 */
662 COMBA_FORWARD;
663 MULADD(at[13], at[63]); MULADD(at[14], at[62]); MULADD(at[15], at[61]); MULADD(at[16], at[60]); MULADD(at[17], at[59]); MULADD(at[18], at[58]); MULADD(at[19], at[57]); MULADD(at[20], at[56]); MULADD(at[21], at[55]); MULADD(at[22], at[54]); MULADD(at[23], at[53]); MULADD(at[24], at[52]); MULADD(at[25], at[51]); MULADD(at[26], at[50]); MULADD(at[27], at[49]); MULADD(at[28], at[48]); MULADD(at[29], at[47]); MULADD(at[30], at[46]); MULADD(at[31], at[45]);
664 COMBA_STORE(C->dp[44]);
665 /* 45 */
666 COMBA_FORWARD;
667 MULADD(at[14], at[63]); MULADD(at[15], at[62]); MULADD(at[16], at[61]); MULADD(at[17], at[60]); MULADD(at[18], at[59]); MULADD(at[19], at[58]); MULADD(at[20], at[57]); MULADD(at[21], at[56]); MULADD(at[22], at[55]); MULADD(at[23], at[54]); MULADD(at[24], at[53]); MULADD(at[25], at[52]); MULADD(at[26], at[51]); MULADD(at[27], at[50]); MULADD(at[28], at[49]); MULADD(at[29], at[48]); MULADD(at[30], at[47]); MULADD(at[31], at[46]);
668 COMBA_STORE(C->dp[45]);
669 /* 46 */
670 COMBA_FORWARD;
671 MULADD(at[15], at[63]); MULADD(at[16], at[62]); MULADD(at[17], at[61]); MULADD(at[18], at[60]); MULADD(at[19], at[59]); MULADD(at[20], at[58]); MULADD(at[21], at[57]); MULADD(at[22], at[56]); MULADD(at[23], at[55]); MULADD(at[24], at[54]); MULADD(at[25], at[53]); MULADD(at[26], at[52]); MULADD(at[27], at[51]); MULADD(at[28], at[50]); MULADD(at[29], at[49]); MULADD(at[30], at[48]); MULADD(at[31], at[47]);
672 COMBA_STORE(C->dp[46]);
673
674 /* early out at 48 digits, 48*32==1536, or two 768 bit operands */
675 if (out_size <= 48) { COMBA_STORE2(C->dp[47]); C->used = 48; C->sign = A->sign ^ B->sign; pstm_clamp(C); COMBA_FINI; return PSTM_OKAY; }
676
677 /* 47 */
678 COMBA_FORWARD;
679 MULADD(at[16], at[63]); MULADD(at[17], at[62]); MULADD(at[18], at[61]); MULADD(at[19], at[60]); MULADD(at[20], at[59]); MULADD(at[21], at[58]); MULADD(at[22], at[57]); MULADD(at[23], at[56]); MULADD(at[24], at[55]); MULADD(at[25], at[54]); MULADD(at[26], at[53]); MULADD(at[27], at[52]); MULADD(at[28], at[51]); MULADD(at[29], at[50]); MULADD(at[30], at[49]); MULADD(at[31], at[48]);
680 COMBA_STORE(C->dp[47]);
681 /* 48 */
682 COMBA_FORWARD;
683 MULADD(at[17], at[63]); MULADD(at[18], at[62]); MULADD(at[19], at[61]); MULADD(at[20], at[60]); MULADD(at[21], at[59]); MULADD(at[22], at[58]); MULADD(at[23], at[57]); MULADD(at[24], at[56]); MULADD(at[25], at[55]); MULADD(at[26], at[54]); MULADD(at[27], at[53]); MULADD(at[28], at[52]); MULADD(at[29], at[51]); MULADD(at[30], at[50]); MULADD(at[31], at[49]);
684 COMBA_STORE(C->dp[48]);
685 /* 49 */
686 COMBA_FORWARD;
687 MULADD(at[18], at[63]); MULADD(at[19], at[62]); MULADD(at[20], at[61]); MULADD(at[21], at[60]); MULADD(at[22], at[59]); MULADD(at[23], at[58]); MULADD(at[24], at[57]); MULADD(at[25], at[56]); MULADD(at[26], at[55]); MULADD(at[27], at[54]); MULADD(at[28], at[53]); MULADD(at[29], at[52]); MULADD(at[30], at[51]); MULADD(at[31], at[50]);
688 COMBA_STORE(C->dp[49]);
689 /* 50 */
690 COMBA_FORWARD;
691 MULADD(at[19], at[63]); MULADD(at[20], at[62]); MULADD(at[21], at[61]); MULADD(at[22], at[60]); MULADD(at[23], at[59]); MULADD(at[24], at[58]); MULADD(at[25], at[57]); MULADD(at[26], at[56]); MULADD(at[27], at[55]); MULADD(at[28], at[54]); MULADD(at[29], at[53]); MULADD(at[30], at[52]); MULADD(at[31], at[51]);
692 COMBA_STORE(C->dp[50]);
693 /* 51 */
694 COMBA_FORWARD;
695 MULADD(at[20], at[63]); MULADD(at[21], at[62]); MULADD(at[22], at[61]); MULADD(at[23], at[60]); MULADD(at[24], at[59]); MULADD(at[25], at[58]); MULADD(at[26], at[57]); MULADD(at[27], at[56]); MULADD(at[28], at[55]); MULADD(at[29], at[54]); MULADD(at[30], at[53]); MULADD(at[31], at[52]);
696 COMBA_STORE(C->dp[51]);
697 /* 52 */
698 COMBA_FORWARD;
699 MULADD(at[21], at[63]); MULADD(at[22], at[62]); MULADD(at[23], at[61]); MULADD(at[24], at[60]); MULADD(at[25], at[59]); MULADD(at[26], at[58]); MULADD(at[27], at[57]); MULADD(at[28], at[56]); MULADD(at[29], at[55]); MULADD(at[30], at[54]); MULADD(at[31], at[53]);
700 COMBA_STORE(C->dp[52]);
701 /* 53 */
702 COMBA_FORWARD;
703 MULADD(at[22], at[63]); MULADD(at[23], at[62]); MULADD(at[24], at[61]); MULADD(at[25], at[60]); MULADD(at[26], at[59]); MULADD(at[27], at[58]); MULADD(at[28], at[57]); MULADD(at[29], at[56]); MULADD(at[30], at[55]); MULADD(at[31], at[54]);
704 COMBA_STORE(C->dp[53]);
705 /* 54 */
706 COMBA_FORWARD;
707 MULADD(at[23], at[63]); MULADD(at[24], at[62]); MULADD(at[25], at[61]); MULADD(at[26], at[60]); MULADD(at[27], at[59]); MULADD(at[28], at[58]); MULADD(at[29], at[57]); MULADD(at[30], at[56]); MULADD(at[31], at[55]);
708 COMBA_STORE(C->dp[54]);
709
710 /* early out at 56 digits, 56*32==1792, or two 896 bit operands */
711 if (out_size <= 56) { COMBA_STORE2(C->dp[55]); C->used = 56; C->sign = A->sign ^ B->sign; pstm_clamp(C); COMBA_FINI; return PSTM_OKAY; }
712
713 /* 55 */
714 COMBA_FORWARD;
715 MULADD(at[24], at[63]); MULADD(at[25], at[62]); MULADD(at[26], at[61]); MULADD(at[27], at[60]); MULADD(at[28], at[59]); MULADD(at[29], at[58]); MULADD(at[30], at[57]); MULADD(at[31], at[56]);
716 COMBA_STORE(C->dp[55]);
717 /* 56 */
718 COMBA_FORWARD;
719 MULADD(at[25], at[63]); MULADD(at[26], at[62]); MULADD(at[27], at[61]); MULADD(at[28], at[60]); MULADD(at[29], at[59]); MULADD(at[30], at[58]); MULADD(at[31], at[57]);
720 COMBA_STORE(C->dp[56]);
721 /* 57 */
722 COMBA_FORWARD;
723 MULADD(at[26], at[63]); MULADD(at[27], at[62]); MULADD(at[28], at[61]); MULADD(at[29], at[60]); MULADD(at[30], at[59]); MULADD(at[31], at[58]);
724 COMBA_STORE(C->dp[57]);
725 /* 58 */
726 COMBA_FORWARD;
727 MULADD(at[27], at[63]); MULADD(at[28], at[62]); MULADD(at[29], at[61]); MULADD(at[30], at[60]); MULADD(at[31], at[59]);
728 COMBA_STORE(C->dp[58]);
729 /* 59 */
730 COMBA_FORWARD;
731 MULADD(at[28], at[63]); MULADD(at[29], at[62]); MULADD(at[30], at[61]); MULADD(at[31], at[60]);
732 COMBA_STORE(C->dp[59]);
733 /* 60 */
734 COMBA_FORWARD;
735 MULADD(at[29], at[63]); MULADD(at[30], at[62]); MULADD(at[31], at[61]);
736 COMBA_STORE(C->dp[60]);
737 /* 61 */
738 COMBA_FORWARD;
739 MULADD(at[30], at[63]); MULADD(at[31], at[62]);
740 COMBA_STORE(C->dp[61]);
741 /* 62 */
742 COMBA_FORWARD;
743 MULADD(at[31], at[63]);
744 COMBA_STORE(C->dp[62]);
745 COMBA_STORE2(C->dp[63]);
746 C->used = 64;
747 C->sign = A->sign ^ B->sign;
748 pstm_clamp(C);
749 COMBA_FINI;
750 return PSTM_OKAY;
751}
752#endif /* USE_2048_KEY_SPEED_OPTIMIZATIONS */
753
754/******************************************************************************/
755
756int32 pstm_mul_comba(psPool_t *pool, pstm_int *A, pstm_int *B, pstm_int *C,
757 pstm_digit *paD, uint32 paDlen)
758{
759#ifdef USE_1024_KEY_SPEED_OPTIMIZATIONS
760 if (A->used == 16 && B->used == 16) {
761 return pstm_mul_comba16(A, B, C);
762 } else {
763#ifdef USE_2048_KEY_SPEED_OPTIMIZATIONS
764 if (A->used == 32 && B->used == 32) {
765 return pstm_mul_comba32(A, B, C);
766 }
767#endif /* USE_2048_KEY_SPEED_OPTIMIZATIONS */
768 return pstm_mul_comba_gen(pool, A, B, C, paD, paDlen);
769 }
770#else
771#ifdef USE_2048_KEY_SPEED_OPTIMIZATIONS
772 if (A->used == 32 && B->used == 32) {
773 return pstm_mul_comba32(A, B, C);
774 }
775#endif /* USE_2048_KEY_SPEED_OPTIMIZATIONS */
776 return pstm_mul_comba_gen(pool, A, B, C, paD, paDlen);
777#endif
778}
779
780#endif /* !DISABLE_PSTM */
781/******************************************************************************/