bb0f9bb3479fc863e42244d08e9a3bc33885b9cf
[tinc] / src / gcrypt / rsa.c
1 /*
2     rsa.c -- RSA key handling
3     Copyright (C) 2007 Guus Sliepen <guus@tinc-vpn.org>
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19     $Id$
20 */
21
22 #include "system.h"
23
24 #include <gcrypt.h>
25
26 #include "logger.h"
27 #include "rsa.h"
28
29 // Base64 encoding/decoding tables
30
31 static const uint8_t b64d[128] = {
32   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
33   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
34   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
35   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
36   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
37   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
38   0xff, 0xff, 0xff, 0xff, 0xff, 0xff,
39   0xff, 0x3e, 0xff, 0xff, 0xff, 0x3f,
40   0x34, 0x35, 0x36, 0x37, 0x38, 0x39,
41   0x3a, 0x3b, 0x3c, 0x3d, 0xff, 0xff,
42   0xff, 0xff, 0xff, 0xff, 0xff, 0x00,
43   0x01, 0x02, 0x03, 0x04, 0x05, 0x06,
44   0x07, 0x08, 0x09, 0x0a, 0x0b, 0x0c,
45   0x0d, 0x0e, 0x0f, 0x10, 0x11, 0x12,
46   0x13, 0x14, 0x15, 0x16, 0x17, 0x18,
47   0x19, 0xff, 0xff, 0xff, 0xff, 0xff,
48   0xff, 0x1a, 0x1b, 0x1c, 0x1d, 0x1e,
49   0x1f, 0x20, 0x21, 0x22, 0x23, 0x24,
50   0x25, 0x26, 0x27, 0x28, 0x29, 0x2a,
51   0x2b, 0x2c, 0x2d, 0x2e, 0x2f, 0x30,
52   0x31, 0x32, 0x33, 0xff, 0xff, 0xff,
53   0xff, 0xff
54 };
55
56 static const char b64e[64] = "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789+/";
57
58 // PEM encoding/decoding functions
59
60 static bool pem_decode(FILE *fp, const char *header, uint8_t *buf, size_t size, size_t *outsize) {
61         bool decode = false;
62         char line[1024];
63         uint16_t word = 0;
64         int shift = 10;
65         size_t i, j = 0;
66
67         while(!feof(fp)) {
68                 if(!fgets(line, sizeof line, fp))
69                         return false;
70
71                 if(!decode && !strncmp(line, "-----BEGIN ", 11)) {
72                         if(!strncmp(line + 11, header, strlen(header)))
73                                 decode = true;
74                         continue;
75                 }
76
77                 if(decode && !strncmp(line, "-----END", 8)) {
78                         break;
79                 }
80
81                 if(!decode)
82                         continue;
83
84                 for(i = 0; line[i] >= ' '; i++) {
85                         if((signed char)line[i] < 0 || b64d[(int)line[i]] == 0xff)
86                                 break;
87                         word |= b64d[(int)line[i]] << shift;
88                         shift -= 6;
89                         if(shift <= 2) {
90                                 if(j > size) {
91                                         errno = ENOMEM;
92                                         return false;
93                                 }
94
95                                 buf[j++] = word >> 8;
96                                 word <<= 8;
97                                 shift += 8;
98                         }
99                 }
100         }
101
102         if(outsize)
103                 *outsize = j;
104         return true;
105 }
106
107
108 // BER decoding functions
109
110 static int ber_read_id(unsigned char **p, size_t *buflen) {
111         if(*buflen <= 0)
112                 return -1;
113
114         if((**p & 0x1f) == 0x1f) {
115                 int id = 0;
116                 bool more;
117                 while(*buflen > 0) {
118                         id <<= 7;
119                         id |= **p & 0x7f;
120                         more = *(*p)++ & 0x80;
121                         (*buflen)--;
122                         if(!more)
123                                 break;
124                 }
125                 return id;
126         } else {
127                 (*buflen)--;
128                 return *(*p)++ & 0x1f;
129         }
130 }
131
132 static size_t ber_read_len(unsigned char **p, size_t *buflen) {
133         if(*buflen <= 0)
134                 return -1;
135
136         if(**p & 0x80) {
137                 size_t result = 0;
138                 int len = *(*p)++ & 0x7f;
139                 (*buflen)--;
140                 if(len > *buflen)
141                         return 0;
142
143                 while(len--) {
144                         result <<= 8;
145                         result |= *(*p)++;
146                         (*buflen)--;
147                 }
148
149                 return result;
150         } else {
151                 (*buflen)--;
152                 return *(*p)++;
153         }
154 }
155         
156
157 static bool ber_read_sequence(unsigned char **p, size_t *buflen, size_t *result) {
158         int tag = ber_read_id(p, buflen);
159         size_t len = ber_read_len(p, buflen);
160
161         if(tag == 0x10) {
162                 if(result)
163                         *result = len;
164                 return true;
165         } else {
166                 return false;
167         }
168 }
169
170 static bool ber_read_mpi(unsigned char **p, size_t *buflen, gcry_mpi_t *mpi) {
171         int tag = ber_read_id(p, buflen);
172         size_t len = ber_read_len(p, buflen);
173         gcry_error_t err = 0;
174
175         if(tag != 0x02 || len > *buflen)
176                 return false;
177
178         if(mpi)
179                 err = gcry_mpi_scan(mpi, GCRYMPI_FMT_USG, *p, len, NULL);
180         
181         *p += len;
182         *buflen -= len;
183
184         return mpi ? !err : true;
185 }
186
187 bool rsa_set_hex_public_key(rsa_t *rsa, char *n, char *e) {
188         gcry_error_t err = 0;
189
190         err = gcry_mpi_scan(&rsa->n, GCRYMPI_FMT_HEX, n, 0, NULL)
191                 ?: gcry_mpi_scan(&rsa->e, GCRYMPI_FMT_HEX, n, 0, NULL);
192
193         if(err) {
194                 logger(LOG_ERR, _("Error while reading RSA public key: %s"), gcry_strerror(errno));
195                 return false;
196         }
197
198         return true;
199 }
200
201 bool rsa_set_hex_private_key(rsa_t *rsa, char *n, char *e, char *d) {
202         gcry_error_t err = 0;
203
204         err = gcry_mpi_scan(&rsa->n, GCRYMPI_FMT_HEX, n, 0, NULL)
205                 ?: gcry_mpi_scan(&rsa->e, GCRYMPI_FMT_HEX, n, 0, NULL)
206                 ?: gcry_mpi_scan(&rsa->d, GCRYMPI_FMT_HEX, n, 0, NULL);
207
208         if(err) {
209                 logger(LOG_ERR, _("Error while reading RSA public key: %s"), gcry_strerror(errno));
210                 return false;
211         }
212
213         return true;
214 }
215
216 // Read PEM RSA keys
217
218 bool rsa_read_pem_public_key(rsa_t *rsa, FILE *fp) {
219         uint8_t derbuf[8096], *derp = derbuf;
220         size_t derlen;
221
222         if(!pem_decode(fp, "RSA PUBLIC KEY", derbuf, sizeof derbuf, &derlen)) {
223                 logger(LOG_ERR, _("Unable to read RSA public key: %s"), strerror(errno));
224                 return NULL;
225         }
226
227         if(!ber_read_sequence(&derp, &derlen, NULL)
228                         || !ber_read_mpi(&derp, &derlen, &rsa->n)
229                         || !ber_read_mpi(&derp, &derlen, &rsa->e)
230                         || derlen) {
231                 logger(LOG_ERR, _("Error while decoding RSA public key"));
232                 return NULL;
233         }
234
235         return true;
236 }
237
238 bool rsa_read_pem_private_key(rsa_t *rsa, FILE *fp) {
239         uint8_t derbuf[8096], *derp = derbuf;
240         size_t derlen;
241
242         if(!pem_decode(fp, "RSA PRIVATE KEY", derbuf, sizeof derbuf, &derlen)) {
243                 logger(LOG_ERR, _("Unable to read RSA private key: %s"), strerror(errno));
244                 return NULL;
245         }
246
247         if(!ber_read_sequence(&derp, &derlen, NULL)
248                         || !ber_read_mpi(&derp, &derlen, NULL)
249                         || !ber_read_mpi(&derp, &derlen, &rsa->n)
250                         || !ber_read_mpi(&derp, &derlen, &rsa->e)
251                         || !ber_read_mpi(&derp, &derlen, &rsa->d)
252                         || !ber_read_mpi(&derp, &derlen, NULL) // p
253                         || !ber_read_mpi(&derp, &derlen, NULL) // q
254                         || !ber_read_mpi(&derp, &derlen, NULL)
255                         || !ber_read_mpi(&derp, &derlen, NULL)
256                         || !ber_read_mpi(&derp, &derlen, NULL) // u
257                         || derlen) {
258                 logger(LOG_ERR, _("Error while decoding RSA private key"));
259                 return NULL;
260         }
261
262         return true;
263 }
264
265 size_t rsa_size(rsa_t *rsa) {
266         return (gcry_mpi_get_nbits(rsa->n) + 7) / 8;
267 }
268
269 /* Well, libgcrypt has functions to handle RSA keys, but they suck.
270  * So we just use libgcrypt's mpi functions, and do the math ourselves.
271  */
272
273 // TODO: get rid of this macro, properly clean up gcry_ structures after use
274 #define check(foo) { gcry_error_t err = (foo); if(err) {logger(LOG_ERR, "gcrypt error %s/%s at %s:%d\n", gcry_strsource(err), gcry_strerror(err), __FILE__, __LINE__); return false; }}
275
276 bool rsa_public_encrypt(rsa_t *rsa, void *in, size_t len, void *out) {
277         gcry_mpi_t inmpi;
278         check(gcry_mpi_scan(&inmpi, GCRYMPI_FMT_USG, in, len, NULL));
279
280         gcry_mpi_t outmpi = gcry_mpi_new(len * 8);
281         gcry_mpi_powm(outmpi, inmpi, rsa->e, rsa->n);
282
283         check(gcry_mpi_print(GCRYMPI_FMT_USG, out,len, NULL, outmpi));
284
285         return true;
286 }
287
288 bool rsa_private_decrypt(rsa_t *rsa, void *in, size_t len, void *out) {
289         gcry_mpi_t inmpi;
290         check(gcry_mpi_scan(&inmpi, GCRYMPI_FMT_USG, in, len, NULL));
291
292         gcry_mpi_t outmpi = gcry_mpi_new(len * 8);
293         gcry_mpi_powm(outmpi, inmpi, rsa->d, rsa->n);
294
295         check(gcry_mpi_print(GCRYMPI_FMT_USG, out,len, NULL, outmpi));
296
297         return true;
298 }