source: proto/RE2PBS/src/demo.cpp @ 1471

Last change on this file since 1471 was 1471, checked in by ksherdy, 8 years ago

Centralized typedefs.

File size: 12.8 KB
Line 
1#include <stdio.h>
2#include <stdlib.h>
3#include <errno.h>
4#include <sys/types.h>
5#include <sys/stat.h>
6#include "../lib/lib_simd.h"
7
8#define BLOCK_SIZE (sizeof(SIMD_type) * 8)
9#define SEGMENT_BLOCKS 12
10#define BUFFER_SIZE (BLOCK_SIZE * SEGMENT_BLOCKS)
11#define OVERLAP_BUFSIZE (sizeof(SIMD_type))
12
13#include "../lib/carryQ.h"
14#include "../lib/perflib/perfsec.h"
15#include "../lib/s2p.h"
16//#include "LineColTracker.h"
17
18#ifdef BUFFER_PROFILING
19        BOM_Table * parser_timer;
20
21#elif CODE_CLOCKER
22        #define NUM_EVENTS 1
23        int Events[NUM_EVENTS] = {PAPI_TOT_CYC};
24        //int Events[NUM_EVENTS] = {PAPI_L2_DCM};
25        //int Events[NUM_EVENTS] = {PAPI_TOT_CYC, PAPI_BR_MSP};
26        int cal_size = 20;
27        CC * parser_timer = new CC(Events,NUM_EVENTS,cal_size);
28#else
29        void * parser_timer;
30#endif
31
32int block_base=0;
33int buffer_base=0;
34int buffer_last;
35char * source;
36LineColTracker tracker;
37BitBlock EOF_mask = simd_const_1(1);
38
39static inline int StreamScan(ScanBlock * stream, int blk_count, int ProcessPos(int)) {
40        int blk;
41        int block_pos = 0;
42
43        for (blk = 0; blk < blk_count; blk++) {
44                ScanBlock s = stream[blk];
45                while(s) {
46                        int code = (ProcessPos(cfzl(s) + block_pos));
47                        if (code) return code;
48                        s = s & (s-1);  // clear rightmost bit.
49                }
50                block_pos += 8 * sizeof(ScanBlock);
51        }
52        return 0;
53}
54
55static inline void ReportError(const char * error_msg, int error_pos_in_block) {
56  int error_line, error_column;
57  tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
58  fprintf(stderr, "%s at line %i, column %i\n", error_msg, error_line, error_column);
59}
60
61  struct Basis_bits {
62  BitBlock bit_0;
63  BitBlock bit_1;
64  BitBlock bit_2;
65  BitBlock bit_3;
66  BitBlock bit_4;
67  BitBlock bit_5;
68  BitBlock bit_6;
69  BitBlock bit_7;
70};
71
72  struct Lex {
73  BitBlock s35;
74  BitBlock s48__57;
75  BitBlock s120;
76  BitBlock s38;
77  BitBlock s59;
78};
79
80  struct Classify_bytes {
81 
82  void do_block(Basis_bits & basis_bits, Lex & lex) {
83                BitBlock temp1, temp2, temp3, temp4, temp5, temp6, temp7, temp8, temp9, temp10;
84                BitBlock temp11, temp12, temp13, temp14, temp15, temp16, temp17, temp18;
85                BitBlock temp19;
86
87
88        temp1 = simd_or(basis_bits.bit_0, basis_bits.bit_1);
89        temp2 = simd_andc(basis_bits.bit_2, basis_bits.bit_3);
90        temp3 = simd_andc(temp2, temp1);
91        temp4 = simd_or(basis_bits.bit_4, basis_bits.bit_5);
92        temp5 = simd_and(basis_bits.bit_6, basis_bits.bit_7);
93        temp6 = simd_andc(temp5, temp4);
94        lex.s35 = simd_and(temp3, temp6);
95        temp7 = simd_and(basis_bits.bit_2, basis_bits.bit_3);
96        temp8 = simd_andc(temp7, temp1);
97        temp9 = simd_or(basis_bits.bit_5, basis_bits.bit_6);
98        temp10 = simd_and(basis_bits.bit_4, temp9);
99        lex.s48__57 = simd_andc(temp8, temp10);
100        temp11 = simd_andc(basis_bits.bit_1, basis_bits.bit_0);
101        temp12 = simd_and(temp11, temp7);
102        temp13 = simd_andc(basis_bits.bit_4, basis_bits.bit_5);
103        temp14 = simd_or(basis_bits.bit_6, basis_bits.bit_7);
104        temp15 = simd_andc(temp13, temp14);
105        lex.s120 = simd_and(temp12, temp15);
106        temp16 = simd_andc(basis_bits.bit_5, basis_bits.bit_4);
107        temp17 = simd_andc(basis_bits.bit_6, basis_bits.bit_7);
108        temp18 = simd_and(temp16, temp17);
109        lex.s38 = simd_and(temp3, temp18);
110        temp19 = simd_and(temp13, temp5);
111        lex.s59 = simd_and(temp8, temp19);
112        return lex;
113  }
114  void do_final_block(Basis_bits & basis_bits, Lex & lex, BitBlock EOF_mask) {
115                BitBlock temp1, temp2, temp3, temp4, temp5, temp6, temp7, temp8, temp9, temp10;
116                BitBlock temp11, temp12, temp13, temp14, temp15, temp16, temp17, temp18;
117                BitBlock temp19;
118
119
120        temp1 = simd_or(basis_bits.bit_0, basis_bits.bit_1);
121        temp2 = simd_andc(basis_bits.bit_2, basis_bits.bit_3);
122        temp3 = simd_andc(temp2, temp1);
123        temp4 = simd_or(basis_bits.bit_4, basis_bits.bit_5);
124        temp5 = simd_and(basis_bits.bit_6, basis_bits.bit_7);
125        temp6 = simd_andc(temp5, temp4);
126        lex.s35 = simd_and(temp3, temp6);
127        temp7 = simd_and(basis_bits.bit_2, basis_bits.bit_3);
128        temp8 = simd_andc(temp7, temp1);
129        temp9 = simd_or(basis_bits.bit_5, basis_bits.bit_6);
130        temp10 = simd_and(basis_bits.bit_4, temp9);
131        lex.s48__57 = simd_andc(temp8, temp10);
132        temp11 = simd_andc(basis_bits.bit_1, basis_bits.bit_0);
133        temp12 = simd_and(temp11, temp7);
134        temp13 = simd_andc(basis_bits.bit_4, basis_bits.bit_5);
135        temp14 = simd_or(basis_bits.bit_6, basis_bits.bit_7);
136        temp15 = simd_andc(temp13, temp14);
137        lex.s120 = simd_and(temp12, temp15);
138        temp16 = simd_andc(basis_bits.bit_5, basis_bits.bit_4);
139        temp17 = simd_andc(basis_bits.bit_6, basis_bits.bit_7);
140        temp18 = simd_and(temp16, temp17);
141        lex.s38 = simd_and(temp3, temp18);
142        temp19 = simd_and(temp13, temp5);
143        lex.s59 = simd_and(temp8, temp19);
144        return lex;
145  }
146  void do_segment(Basis_bits basis_bits[], Lex lex[]) {
147  for (int i = 0; i < SEGMENT_BLOCKS; i++)
148    do_block(basis_bits[i], lex[i]);
149  }
150 
151  };
152
153  struct Demo {
154  Demo() { CarryInit(carryQ, 7); }
155  void do_block(U8data & u8data, Lex & lex) {
156                BitBlock error_1_0, cursor_1_0, error_1_1, cursor_1_1, cursor_1_2, error_1_2;
157                BitBlock cursor_1_3, cursor_1_4, error_1_3, cursor_1_5, cursor_1_6, error_1_4;
158                BitBlock cursor_1_7, cursor_1_8, cursor_1_9, error_1_5, cursor_1_10;
159                BitBlock cursor_1_11, error_1_6;
160
161
162        error_1_0 = simd_const_1(0);
163        cursor_1_0 = simd_andc(lex.s38, BitBlock_advance_ci_co(lex.s38, carryQ, 0));
164        error_1_1 = simd_andc(cursor_1_0, lex.s38);
165        cursor_1_1 = simd_andc(cursor_1_0, error_1_1);
166        cursor_1_2 = BitBlock_advance_ci_co(cursor_1_1, carryQ, 1);
167        error_1_2 = simd_andc(cursor_1_2, lex.s35);
168        cursor_1_3 = simd_andc(cursor_1_2, error_1_2);
169        cursor_1_4 = BitBlock_advance_ci_co(cursor_1_3, carryQ, 2);
170        error_1_3 = simd_andc(cursor_1_4, lex.s120);
171        cursor_1_5 = simd_andc(cursor_1_4, error_1_3);
172        cursor_1_6 = BitBlock_advance_ci_co(cursor_1_5, carryQ, 3);
173        error_1_4 = simd_andc(cursor_1_6, lex.s48__57);
174        cursor_1_7 = simd_andc(cursor_1_6, error_1_4);
175        cursor_1_8 = BitBlock_advance_ci_co(cursor_1_7, carryQ, 4);
176        cursor_1_9 = BitBlock_scanthru_ci_co(cursor_1_8, lex.s48__57, carryQ, 5);
177        error_1_5 = simd_andc(cursor_1_9, lex.s59);
178        cursor_1_10 = simd_andc(cursor_1_9, error_1_5);
179        cursor_1_11 = BitBlock_advance_ci_co(cursor_1_10, carryQ, 6);
180        error_1_6 = error_1_0;
181        error_1_6 = simd_or(error_1_6, error_1_1);
182        error_1_6 = simd_or(error_1_6, error_1_2);
183        error_1_6 = simd_or(error_1_6, error_1_3);
184        error_1_6 = simd_or(error_1_6, error_1_4);
185        error_1_6 = simd_or(error_1_6, error_1_5);
186        return;
187        CarryQ_Adjust(carryQ, 7);
188  }
189  void do_final_block(U8data & u8data, Lex & lex, BitBlock EOF_mask) {
190                BitBlock error_1_0, cursor_1_0, error_1_1, cursor_1_1, cursor_1_2, error_1_2;
191                BitBlock cursor_1_3, cursor_1_4, error_1_3, cursor_1_5, cursor_1_6, error_1_4;
192                BitBlock cursor_1_7, cursor_1_8, cursor_1_9, error_1_5, cursor_1_10;
193                BitBlock cursor_1_11, error_1_6;
194
195
196        error_1_0 = simd_const_1(0);
197        cursor_1_0 = simd_andc(lex.s38, BitBlock_advance_ci(lex.s38, carryQ, 0));
198        error_1_1 = simd_andc(cursor_1_0, lex.s38);
199        cursor_1_1 = simd_andc(cursor_1_0, error_1_1);
200        cursor_1_2 = BitBlock_advance_ci(cursor_1_1, carryQ, 1);
201        error_1_2 = simd_andc(cursor_1_2, lex.s35);
202        cursor_1_3 = simd_andc(cursor_1_2, error_1_2);
203        cursor_1_4 = BitBlock_advance_ci(cursor_1_3, carryQ, 2);
204        error_1_3 = simd_andc(cursor_1_4, lex.s120);
205        cursor_1_5 = simd_andc(cursor_1_4, error_1_3);
206        cursor_1_6 = BitBlock_advance_ci(cursor_1_5, carryQ, 3);
207        error_1_4 = simd_andc(cursor_1_6, lex.s48__57);
208        cursor_1_7 = simd_andc(cursor_1_6, error_1_4);
209        cursor_1_8 = BitBlock_advance_ci(cursor_1_7, carryQ, 4);
210        cursor_1_9 = BitBlock_scanthru_ci(cursor_1_8, lex.s48__57, carryQ, 5);
211        error_1_5 = simd_andc(cursor_1_9, lex.s59);
212        cursor_1_10 = simd_andc(cursor_1_9, error_1_5);
213        cursor_1_11 = BitBlock_advance_ci(cursor_1_10, carryQ, 6);
214        error_1_6 = error_1_0;
215        error_1_6 = simd_or(error_1_6, error_1_1);
216        error_1_6 = simd_or(error_1_6, error_1_2);
217        error_1_6 = simd_or(error_1_6, error_1_3);
218        error_1_6 = simd_or(error_1_6, error_1_4);
219        error_1_6 = simd_or(error_1_6, error_1_5);
220        return;
221  }
222  void do_segment(U8data u8data[], Lex lex[]) {
223  for (int i = 0; i < SEGMENT_BLOCKS; i++)
224    do_block(u8data[i], lex[i]);
225  }
226  CarryDeclare(carryQ, 7);
227  };
228
229
230
231static inline void s2p_do_block(BytePack U8[], Basis_bits & basis_bits) {
232  s2p(U8[0], U8[1], U8[2], U8[3], U8[4], U8[5], U8[6], U8[7],
233        basis_bits.bit_0, basis_bits.bit_1, basis_bits.bit_2, basis_bits.bit_3, basis_bits.bit_4, basis_bits.bit_5, basis_bits.bit_6, basis_bits.bit_7);
234}
235
236static inline void s2p_do_final_block(BytePack U8[], Basis_bits & basis_bits, BitBlock EOF_mask) {
237  s2p_do_block(U8, basis_bits);
238  basis_bits.bit_0 = simd_and(basis_bits.bit_0, EOF_mask);
239  basis_bits.bit_1 = simd_and(basis_bits.bit_1, EOF_mask);
240  basis_bits.bit_2 = simd_and(basis_bits.bit_2, EOF_mask);
241  basis_bits.bit_3 = simd_and(basis_bits.bit_3, EOF_mask);
242  basis_bits.bit_4 = simd_and(basis_bits.bit_4, EOF_mask);
243  basis_bits.bit_5 = simd_and(basis_bits.bit_5, EOF_mask);
244  basis_bits.bit_6 = simd_and(basis_bits.bit_6, EOF_mask);
245  basis_bits.bit_7 = simd_and(basis_bits.bit_7, EOF_mask);
246}
247
248void do_process(FILE *infile, FILE *outfile) {
249
250  struct Basis_bits basis_bits;
251
252  struct Lex lex;
253
254
255
256  int buf_pos = 0;
257  int block_pos = 0;
258  int errpos = 0;
259  int chars_avail = 0;
260  int check_pos = 0;
261  int chars_read = 0;
262  BytePack buf[(BUFFER_SIZE+BLOCK_SIZE+OVERLAP_BUFSIZE*2)/sizeof(SIMD_type)];
263
264  char * srcbuf = ((char *) buf) + OVERLAP_BUFSIZE;
265  buffer_base = buf_pos;
266  source = srcbuf;
267
268  chars_read = fread((void *)srcbuf, 1, BUFFER_SIZE + OVERLAP_BUFSIZE, infile);
269  chars_avail = chars_read;
270  if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
271
272  Classify_bytes classify_bytes;
273  Demo demo;
274
275
276/* Full Buffers */
277
278    while (chars_avail == BUFFER_SIZE) {
279      PERF_SEC_START(parser_timer);
280      for (int blk = 0; blk < SEGMENT_BLOCKS; blk++) {
281          block_base = blk*BLOCK_SIZE;
282          s2p_do_block((BytePack *) &srcbuf[block_base], basis_bits);
283         
284  classify_bytes.do_block(basis_bits, lex);
285  demo.do_block(lex, scope1);
286          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
287      }
288      tracker.Advance_buffer();
289      PERF_SEC_END(parser_timer, chars_avail);
290           
291      int bytes_left = chars_read - chars_avail;
292      memmove(srcbuf, &srcbuf[BUFFER_SIZE], bytes_left);
293      chars_read = fread(&srcbuf[bytes_left],1, BUFFER_SIZE + OVERLAP_BUFSIZE - bytes_left, infile) + bytes_left;
294      chars_avail = chars_read;
295      if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
296      buf_pos += chars_avail;
297      buffer_base = buf_pos;
298    }
299/* Final Partial Buffer */
300    PERF_SEC_START(parser_timer);
301
302    block_pos = 0;
303    int remaining = chars_avail;
304/* Full Blocks */
305    while (remaining >= BLOCK_SIZE) {
306          block_base = block_pos;
307          s2p_do_block((BytePack *) &srcbuf[block_pos], basis_bits);
308         
309  classify_bytes.do_block(basis_bits, lex);
310  demo.do_block(lex, scope1);
311          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
312          block_pos += BLOCK_SIZE;
313          remaining -= BLOCK_SIZE;
314    }
315    block_base = block_pos;
316    if (remaining > 0 || CarryTest(demo.carryQ, 0, 7)) {
317          EOF_mask = sisd_srl(simd_const_1(1),sisd_from_int(BLOCK_SIZE-remaining));
318          s2p_do_final_block((BytePack *) &srcbuf[block_pos], basis_bits, EOF_mask);
319         
320  classify_bytes.do_final_block(basis_bits, lex, EOF_mask);
321  demo.do_final_block(lex, scope1, EOF_mask);
322          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
323    }
324    buf_pos += chars_avail;
325    buffer_base = buf_pos;
326    tracker.Advance_buffer();
327
328    PERF_SEC_END(parser_timer, chars_avail);
329}
330
331int
332main(int argc, char * argv[]) {
333        char * infilename, * outfilename;
334        FILE *infile, *outfile;
335        struct stat fileinfo;
336
337        if (argc < 2) {
338                printf("Usage: %s <filename> [<outputfile>]\n", argv[0]);
339                exit(-1);
340        }
341
342        infilename = argv[1];
343        stat(infilename, &fileinfo);
344        infile = fopen(infilename, "rb");
345        if (!infile) {
346                fprintf(stderr, "Error: cannot open %s for input.\n", infilename);
347                exit(-1);
348        }
349
350        if (argc < 3) outfile = stdout;
351        else {
352                outfilename = argv[2];
353                outfile = fopen(outfilename, "wb");
354                if (!outfile) {
355                        fprintf(stderr, "Error: cannot open %s for writing.\n", outfilename);
356                        exit(-1);
357                }
358        }
359
360//      PERF_SEC_BIND(1);
361
362        PERF_SEC_INIT(parser_timer);
363
364        do_process(infile, outfile);
365
366        PERF_SEC_DUMP(parser_timer);
367
368        PERF_SEC_DESTROY(parser_timer);
369
370        fclose(infile);
371        fclose(outfile);
372        return(0);
373}
Note: See TracBrowser for help on using the repository browser.