source: proto/RE2PBS/re2pbs_demo_template.cpp @ 1495

Last change on this file since 1495 was 1470, checked in by ksherdy, 8 years ago

Centralized typedefs.

File size: 5.5 KB
Line 
1#include <stdio.h>
2#include <stdlib.h>
3#include <errno.h>
4#include <sys/types.h>
5#include <sys/stat.h>
6#include "../lib/lib_simd.h"
7
8#define BLOCK_SIZE (sizeof(SIMD_type) * 8)
9#define SEGMENT_BLOCKS 12
10#define BUFFER_SIZE (BLOCK_SIZE * SEGMENT_BLOCKS)
11#define OVERLAP_BUFSIZE (sizeof(SIMD_type))
12
13#include "../lib/carryQ.h"
14#include "../lib/perflib/perfsec.h"
15#include "../lib/s2p.h"
16//#include "LineColTracker.h"
17
18#ifdef BUFFER_PROFILING
19        BOM_Table * parser_timer;
20
21#elif CODE_CLOCKER
22        #define NUM_EVENTS 1
23        int Events[NUM_EVENTS] = {PAPI_TOT_CYC};
24        //int Events[NUM_EVENTS] = {PAPI_L2_DCM};
25        //int Events[NUM_EVENTS] = {PAPI_TOT_CYC, PAPI_BR_MSP};
26        int cal_size = 20;
27        CC * parser_timer = new CC(Events,NUM_EVENTS,cal_size);
28#else
29        void * parser_timer;
30#endif
31
32int block_base=0;
33int buffer_base=0;
34int buffer_last;
35char * source;
36LineColTracker tracker;
37BitBlock EOF_mask = simd_const_1(1);
38
39static inline int StreamScan(ScanBlock * stream, int blk_count, int ProcessPos(int)) {
40        int blk;
41        int block_pos = 0;
42
43        for (blk = 0; blk < blk_count; blk++) {
44                ScanBlock s = stream[blk];
45                while(s) {
46                        int code = (ProcessPos(cfzl(s) + block_pos));
47                        if (code) return code;
48                        s = s & (s-1);  // clear rightmost bit.
49                }
50                block_pos += 8 * sizeof(ScanBlock);
51        }
52        return 0;
53}
54
55static inline void ReportError(const char * error_msg, int error_pos_in_block) {
56  int error_line, error_column;
57  tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
58  fprintf(stderr, "%s at line %i, column %i\n", error_msg, error_line, error_column);
59}
60
61@global
62
63static inline void s2p_do_block(BytePack U8[], Basis_bits & basis_bits) {
64  s2p(U8[0], U8[1], U8[2], U8[3], U8[4], U8[5], U8[6], U8[7],
65        basis_bits.bit_0, basis_bits.bit_1, basis_bits.bit_2, basis_bits.bit_3, basis_bits.bit_4, basis_bits.bit_5, basis_bits.bit_6, basis_bits.bit_7);
66}
67
68static inline void s2p_do_final_block(BytePack U8[], Basis_bits & basis_bits, BitBlock EOF_mask) {
69  s2p_do_block(U8, basis_bits);
70  basis_bits.bit_0 = simd_and(basis_bits.bit_0, EOF_mask);
71  basis_bits.bit_1 = simd_and(basis_bits.bit_1, EOF_mask);
72  basis_bits.bit_2 = simd_and(basis_bits.bit_2, EOF_mask);
73  basis_bits.bit_3 = simd_and(basis_bits.bit_3, EOF_mask);
74  basis_bits.bit_4 = simd_and(basis_bits.bit_4, EOF_mask);
75  basis_bits.bit_5 = simd_and(basis_bits.bit_5, EOF_mask);
76  basis_bits.bit_6 = simd_and(basis_bits.bit_6, EOF_mask);
77  basis_bits.bit_7 = simd_and(basis_bits.bit_7, EOF_mask);
78}
79
80void do_process(FILE *infile, FILE *outfile) {
81
82@decl
83
84  int buf_pos = 0;
85  int block_pos = 0;
86  int errpos = 0;
87  int chars_avail = 0;
88  int check_pos = 0;
89  int chars_read = 0;
90  BytePack buf[(BUFFER_SIZE+BLOCK_SIZE+OVERLAP_BUFSIZE*2)/sizeof(SIMD_type)];
91
92  char * srcbuf = ((char *) buf) + OVERLAP_BUFSIZE;
93  buffer_base = buf_pos;
94  source = srcbuf;
95
96  chars_read = fread((void *)srcbuf, 1, BUFFER_SIZE + OVERLAP_BUFSIZE, infile);
97  chars_avail = chars_read;
98  if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
99
100@stream_stmts
101
102/* Full Buffers */
103
104    while (chars_avail == BUFFER_SIZE) {
105      PERF_SEC_START(parser_timer);
106      for (int blk = 0; blk < SEGMENT_BLOCKS; blk++) {
107          block_base = blk*BLOCK_SIZE;
108          s2p_do_block((BytePack *) &srcbuf[block_base], basis_bits);
109          @block_stmts
110          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
111      }
112      tracker.Advance_buffer();
113      PERF_SEC_END(parser_timer, chars_avail);
114           
115      int bytes_left = chars_read - chars_avail;
116      memmove(srcbuf, &srcbuf[BUFFER_SIZE], bytes_left);
117      chars_read = fread(&srcbuf[bytes_left],1, BUFFER_SIZE + OVERLAP_BUFSIZE - bytes_left, infile) + bytes_left;
118      chars_avail = chars_read;
119      if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
120      buf_pos += chars_avail;
121      buffer_base = buf_pos;
122    }
123/* Final Partial Buffer */
124    PERF_SEC_START(parser_timer);
125
126    block_pos = 0;
127    int remaining = chars_avail;
128/* Full Blocks */
129    while (remaining >= BLOCK_SIZE) {
130          block_base = block_pos;
131          s2p_do_block((BytePack *) &srcbuf[block_pos], basis_bits);
132          @block_stmts
133          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
134          block_pos += BLOCK_SIZE;
135          remaining -= BLOCK_SIZE;
136    }
137    block_base = block_pos;
138    if (remaining > 0 || @any_carry) {
139          EOF_mask = sisd_srl(simd_const_1(1),sisd_from_int(BLOCK_SIZE-remaining));
140          s2p_do_final_block((BytePack *) &srcbuf[block_pos], basis_bits, EOF_mask);
141          @final_block_stmts
142          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
143    }
144    buf_pos += chars_avail;
145    buffer_base = buf_pos;
146    tracker.Advance_buffer();
147
148    PERF_SEC_END(parser_timer, chars_avail);
149}
150
151int
152main(int argc, char * argv[]) {
153        char * infilename, * outfilename;
154        FILE *infile, *outfile;
155        struct stat fileinfo;
156
157        if (argc < 2) {
158                printf("Usage: %s <filename> [<outputfile>]\n", argv[0]);
159                exit(-1);
160        }
161
162        infilename = argv[1];
163        stat(infilename, &fileinfo);
164        infile = fopen(infilename, "rb");
165        if (!infile) {
166                fprintf(stderr, "Error: cannot open %s for input.\n", infilename);
167                exit(-1);
168        }
169
170        if (argc < 3) outfile = stdout;
171        else {
172                outfilename = argv[2];
173                outfile = fopen(outfilename, "wb");
174                if (!outfile) {
175                        fprintf(stderr, "Error: cannot open %s for writing.\n", outfilename);
176                        exit(-1);
177                }
178        }
179
180//      PERF_SEC_BIND(1);
181
182        PERF_SEC_INIT(parser_timer);
183
184        do_process(infile, outfile);
185
186        PERF_SEC_DUMP(parser_timer);
187
188        PERF_SEC_DESTROY(parser_timer);
189
190        fclose(infile);
191        fclose(outfile);
192        return(0);
193}
Note: See TracBrowser for help on using the repository browser.