source: proto/RE2PBS/re2pbs_demo_template.cpp @ 1906

Last change on this file since 1906 was 1906, checked in by cameron, 7 years ago

Clear out cfzl/cfbl.

File size: 5.5 KB
Line 
1#include <stdio.h>
2#include <stdlib.h>
3#include <errno.h>
4#include <sys/types.h>
5#include <sys/stat.h>
6#include "../lib/lib_simd.h"
7
8#define BLOCK_SIZE (sizeof(SIMD_type) * 8)
9#define SEGMENT_BLOCKS 12
10#define BUFFER_SIZE (BLOCK_SIZE * SEGMENT_BLOCKS)
11#define OVERLAP_BUFSIZE (sizeof(SIMD_type))
12
13#include "../lib/builtins.hpp"
14#include "../lib/carryQ.h"
15#include "../lib/perflib/perfsec.h"
16#include "../lib/s2p.h"
17//#include "LineColTracker.h"
18
19#ifdef BUFFER_PROFILING
20        BOM_Table * parser_timer;
21
22#elif CODE_CLOCKER
23        #define NUM_EVENTS 1
24        int Events[NUM_EVENTS] = {PAPI_TOT_CYC};
25        //int Events[NUM_EVENTS] = {PAPI_L2_DCM};
26        //int Events[NUM_EVENTS] = {PAPI_TOT_CYC, PAPI_BR_MSP};
27        int cal_size = 20;
28        CC * parser_timer = new CC(Events,NUM_EVENTS,cal_size);
29#else
30        void * parser_timer;
31#endif
32
33int block_base=0;
34int buffer_base=0;
35int buffer_last;
36char * source;
37LineColTracker tracker;
38BitBlock EOF_mask = simd_const_1(1);
39
40static inline int StreamScan(ScanBlock * stream, int blk_count, int ProcessPos(int)) {
41        int blk;
42        int block_pos = 0;
43
44        for (blk = 0; blk < blk_count; blk++) {
45                scanword_t s = stream[blk];
46                while(s) {
47                        int code = (ProcessPos(scan_forward_zeroes(s) + block_pos));
48                        if (code) return code;
49                        s = s & (s-1);  // clear rightmost bit.
50                }
51                block_pos += 8 * sizeof(ScanBlock);
52        }
53        return 0;
54}
55
56static inline void ReportError(const char * error_msg, int error_pos_in_block) {
57  int error_line, error_column;
58  tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
59  fprintf(stderr, "%s at line %i, column %i\n", error_msg, error_line, error_column);
60}
61
62@global
63
64static inline void s2p_do_block(BytePack U8[], Basis_bits & basis_bits) {
65  s2p(U8[0], U8[1], U8[2], U8[3], U8[4], U8[5], U8[6], U8[7],
66        basis_bits.bit_0, basis_bits.bit_1, basis_bits.bit_2, basis_bits.bit_3, basis_bits.bit_4, basis_bits.bit_5, basis_bits.bit_6, basis_bits.bit_7);
67}
68
69static inline void s2p_do_final_block(BytePack U8[], Basis_bits & basis_bits, BitBlock EOF_mask) {
70  s2p_do_block(U8, basis_bits);
71  basis_bits.bit_0 = simd_and(basis_bits.bit_0, EOF_mask);
72  basis_bits.bit_1 = simd_and(basis_bits.bit_1, EOF_mask);
73  basis_bits.bit_2 = simd_and(basis_bits.bit_2, EOF_mask);
74  basis_bits.bit_3 = simd_and(basis_bits.bit_3, EOF_mask);
75  basis_bits.bit_4 = simd_and(basis_bits.bit_4, EOF_mask);
76  basis_bits.bit_5 = simd_and(basis_bits.bit_5, EOF_mask);
77  basis_bits.bit_6 = simd_and(basis_bits.bit_6, EOF_mask);
78  basis_bits.bit_7 = simd_and(basis_bits.bit_7, EOF_mask);
79}
80
81void do_process(FILE *infile, FILE *outfile) {
82
83@decl
84
85  int buf_pos = 0;
86  int block_pos = 0;
87  int errpos = 0;
88  int chars_avail = 0;
89  int check_pos = 0;
90  int chars_read = 0;
91  BytePack buf[(BUFFER_SIZE+BLOCK_SIZE+OVERLAP_BUFSIZE*2)/sizeof(SIMD_type)];
92
93  char * srcbuf = ((char *) buf) + OVERLAP_BUFSIZE;
94  buffer_base = buf_pos;
95  source = srcbuf;
96
97  chars_read = fread((void *)srcbuf, 1, BUFFER_SIZE + OVERLAP_BUFSIZE, infile);
98  chars_avail = chars_read;
99  if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
100
101@stream_stmts
102
103/* Full Buffers */
104
105    while (chars_avail == BUFFER_SIZE) {
106      PERF_SEC_START(parser_timer);
107      for (int blk = 0; blk < SEGMENT_BLOCKS; blk++) {
108          block_base = blk*BLOCK_SIZE;
109          s2p_do_block((BytePack *) &srcbuf[block_base], basis_bits);
110          @block_stmts
111          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
112      }
113      tracker.Advance_buffer();
114      PERF_SEC_END(parser_timer, chars_avail);
115           
116      int bytes_left = chars_read - chars_avail;
117      memmove(srcbuf, &srcbuf[BUFFER_SIZE], bytes_left);
118      chars_read = fread(&srcbuf[bytes_left],1, BUFFER_SIZE + OVERLAP_BUFSIZE - bytes_left, infile) + bytes_left;
119      chars_avail = chars_read;
120      if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
121      buf_pos += chars_avail;
122      buffer_base = buf_pos;
123    }
124/* Final Partial Buffer */
125    PERF_SEC_START(parser_timer);
126
127    block_pos = 0;
128    int remaining = chars_avail;
129/* Full Blocks */
130    while (remaining >= BLOCK_SIZE) {
131          block_base = block_pos;
132          s2p_do_block((BytePack *) &srcbuf[block_pos], basis_bits);
133          @block_stmts
134          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
135          block_pos += BLOCK_SIZE;
136          remaining -= BLOCK_SIZE;
137    }
138    block_base = block_pos;
139    if (remaining > 0 || @any_carry) {
140          EOF_mask = sisd_srl(simd_const_1(1),sisd_from_int(BLOCK_SIZE-remaining));
141          s2p_do_final_block((BytePack *) &srcbuf[block_pos], basis_bits, EOF_mask);
142          @final_block_stmts
143          //postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, chars_avail);
144    }
145    buf_pos += chars_avail;
146    buffer_base = buf_pos;
147    tracker.Advance_buffer();
148
149    PERF_SEC_END(parser_timer, chars_avail);
150}
151
152int
153main(int argc, char * argv[]) {
154        char * infilename, * outfilename;
155        FILE *infile, *outfile;
156        struct stat fileinfo;
157
158        if (argc < 2) {
159                printf("Usage: %s <filename> [<outputfile>]\n", argv[0]);
160                exit(-1);
161        }
162
163        infilename = argv[1];
164        stat(infilename, &fileinfo);
165        infile = fopen(infilename, "rb");
166        if (!infile) {
167                fprintf(stderr, "Error: cannot open %s for input.\n", infilename);
168                exit(-1);
169        }
170
171        if (argc < 3) outfile = stdout;
172        else {
173                outfilename = argv[2];
174                outfile = fopen(outfilename, "wb");
175                if (!outfile) {
176                        fprintf(stderr, "Error: cannot open %s for writing.\n", outfilename);
177                        exit(-1);
178                }
179        }
180
181//      PERF_SEC_BIND(1);
182
183        PERF_SEC_INIT(parser_timer);
184
185        do_process(infile, outfile);
186
187        PERF_SEC_DUMP(parser_timer);
188
189        PERF_SEC_DESTROY(parser_timer);
190
191        fclose(infile);
192        fclose(outfile);
193        return(0);
194}
Note: See TracBrowser for help on using the repository browser.