source: proto/SymbolTable/symtab_identity_template.cpp @ 1457

Last change on this file since 1457 was 1457, checked in by vla24, 8 years ago

SymbolTable?: updated implementation after Ken's refactoring

File size: 19.7 KB
Line 
1#define TEMPLATED_SIMD_LIB
2
3#include <stdio.h>
4#include <stdlib.h>
5#include <errno.h>
6#include <sys/types.h>
7#include <sys/stat.h>
8#include <../lib_simd.h>
9#include <pbgs_identity_symbol_table.h>
10#include <queue>
11#include <string>
12
13typedef long ScanBlock;
14typedef SIMD_type BytePack;
15typedef SIMD_type BitBlock;
16
17using namespace std;
18
19#define DEBUG 0
20#define BLOCK_SIZE (sizeof(SIMD_type) * 8)
21#define SEGMENT_BLOCKS 12
22#define BUFFER_SIZE (BLOCK_SIZE * SEGMENT_BLOCKS)
23#define OVERLAP_BUFSIZE 2*(sizeof(SIMD_type))
24
25#include <../carryQ.h>
26#include <xmldecl.h>
27#include <namechars.h>
28#include <../perflib/perfsec.h>
29#include <../s2p.h>
30
31#include <TagMatcher.h>
32#include <LineColTracker.h>
33#include <ErrorUtil.h>
34#include <ErrorTracker.h>
35#include <XMLTestSuiteError.h>
36
37#include <xml_error.c>
38#include <ErrorUtil.cpp>
39#include <ErrorTracker.cpp>
40#include <XMLTestSuiteError.cpp>
41
42#ifdef BUFFER_PROFILING
43        BOM_Table * parser_timer;
44
45#elif CODE_CLOCKER
46        #define NUM_EVENTS 1
47        int Events[NUM_EVENTS] = {PAPI_TOT_CYC};
48        //int Events[NUM_EVENTS] = {PAPI_L2_DCM};
49        //int Events[NUM_EVENTS] = {PAPI_TOT_CYC, PAPI_BR_MSP};
50        int cal_size = 20;
51        CC * parser_timer = new CC(Events,NUM_EVENTS,cal_size);
52#else
53        void * parser_timer;
54#endif
55
56int block_base=0;
57int buffer_base=0;
58int buffer_last;
59char * source;
60LineColTracker tracker;
61TagMatcher matcher;
62ErrorTracker error_tracker;
63BitBlock EOF_mask = simd_const_1(1);
64
65BitBlock elem_ends;
66int last_elem_start;
67bool block_boundary_case = false;
68BytePack hashvalues[2];
69
70vector <int> gids;
71PBGSIdentitySymbolTable pbgs_symbol_table;
72
73/* StreamScan & Post Process Declarations */
74//      static inline int StreamScanToFirst(ScanBlock * stream, int blk_count, int ProcessPos(int), int * error_pos_in_block)
75static inline int StreamScan(ScanBlock * stream, int blk_count, int ProcessPos(int), int * error_pos_in_block);
76
77static inline int NameStrt_check(int pos);
78static inline int Name_check(int pos);
79static inline int PIName_check(int pos);
80static inline int CD_check(int pos);
81static inline int GenRef_check(int pos);
82static inline int HexRef_check(int pos);
83static inline int DecRef_check(int pos);
84static inline int AttRef_check(int pos);
85
86@global
87
88static inline void s2p_do_block(BytePack U8[], Basis_bits & basis_bits);
89static inline void s2p_do_final_block(BytePack U8[], Basis_bits & basis_bits, BitBlock EOF_mask);
90static inline void postprocess_do_block(Lex & lex, CtCDPI_Callouts & ctCDPI_Callouts, Ref_Callouts & ref_Callouts, Check_streams & check_streams, Tag_Callouts & tag_Callouts, int chars_avail);
91void do_process(FILE *infile, FILE *outfile);
92static inline int ElemStart_grouping(int start_pos, int L) ;
93static inline int StreamScanLengthGrouping(ScanBlock * stream, int blk_count);
94static inline int ScanForwardPos(BitBlock * block, int pos);
95static inline int compute_hash_value (int lgth, int start);
96
97int main(int argc, char * argv[]) {
98        char * infilename, * outfilename;
99        FILE *infile, *outfile;
100        struct stat fileinfo;
101
102        if (argc < 2) {
103                printf("Usage: %s <filename> [<outputfile>]\n", argv[0]);
104                exit(-1);
105        }
106
107        infilename = argv[1];
108        stat(infilename, &fileinfo);
109        infile = fopen(infilename, "rb");
110        if (!infile) {
111                fprintf(stderr, "Error: cannot open %s for input.\n", infilename);
112                exit(-1);
113        }
114
115        if (argc < 3) outfile = stdout;
116        else {
117                outfilename = argv[2];
118                outfile = fopen(outfilename, "wb");
119                if (!outfile) {
120                        fprintf(stderr, "Error: cannot open %s for writing.\n", outfilename);
121                        exit(-1);
122                }
123        }
124
125//      PERF_SEC_BIND(1);
126
127        PERF_SEC_INIT(parser_timer);
128
129        do_process(infile, outfile);
130
131        PERF_SEC_DUMP(parser_timer);
132
133        PERF_SEC_DESTROY(parser_timer);
134
135        fclose(infile);
136        fclose(outfile);
137
138        return(0);
139}
140
141/* s2p Definitions */
142static inline void s2p_do_block(BytePack U8[], Basis_bits & basis_bits) {
143  s2p(U8[0], U8[1], U8[2], U8[3], U8[4], U8[5], U8[6], U8[7],
144        basis_bits.bit_0, basis_bits.bit_1, basis_bits.bit_2, basis_bits.bit_3, basis_bits.bit_4, basis_bits.bit_5, basis_bits.bit_6, basis_bits.bit_7);
145}
146
147static inline void s2p_do_final_block(BytePack U8[], Basis_bits & basis_bits, BitBlock EOF_mask) {
148  s2p_do_block(U8, basis_bits);
149  basis_bits.bit_0 = simd_and(basis_bits.bit_0, EOF_mask);
150  basis_bits.bit_1 = simd_and(basis_bits.bit_1, EOF_mask);
151  basis_bits.bit_2 = simd_and(basis_bits.bit_2, EOF_mask);
152  basis_bits.bit_3 = simd_and(basis_bits.bit_3, EOF_mask);
153  basis_bits.bit_4 = simd_and(basis_bits.bit_4, EOF_mask);
154  basis_bits.bit_5 = simd_and(basis_bits.bit_5, EOF_mask);
155  basis_bits.bit_6 = simd_and(basis_bits.bit_6, EOF_mask);
156  basis_bits.bit_7 = simd_and(basis_bits.bit_7, EOF_mask);
157}
158
159static inline int ScanForwardPos(BitBlock * block, int pos)
160{
161    BitBlock s = block[0];
162    BitBlock temp = simd_and(s, simd<128>::sll(simd<2>::constant<3>(), sisd_from_int(pos)));
163
164    if (bitblock_has_bit(temp))
165    {
166        return count_forward_zeroes (temp);
167    }
168    else
169    {
170        //handle boundary case
171        block_boundary_case = true;
172        last_elem_start = pos - BLOCK_SIZE;
173        return 0;
174    }
175}
176
177/* StreamScan & Post Process Definitions */
178static inline int StreamScan(ScanBlock * stream, int blk_count, int ProcessPos(int), int * error_pos_in_block) {
179
180        int blk;
181        int block_pos = 0;
182        int pos;
183
184        for (blk = 0; blk < blk_count; blk++) {
185                ScanBlock s = stream[blk];
186                while(s) {
187                        pos = (cfzl(s) + block_pos);
188                        int code = (ProcessPos(pos));
189                        if (code) {
190                                *error_pos_in_block = pos;
191                                return code; // error code
192                        }
193                        s = s & (s-1);  // clear rightmost bit.
194                }
195                block_pos += 8 * sizeof(ScanBlock);
196        }
197        return 0;
198}
199
200static inline int compute_hash_value (int lgth, int start)
201{
202    unsigned int offset_bit = start + 128;
203    uint64_t stream = *((uint64_t*)(((uint32_t*)hashvalues)+(offset_bit>>5)));
204    return stream >> (offset_bit & 0x1F) & ~(~0 << lgth);
205}
206
207static inline int ElemStart_grouping(int start_pos, int L) {
208    int start = block_base + start_pos;
209    int end = start + L;
210    int hashvalue = compute_hash_value(L, start - block_base);
211    int gid = 0;
212
213    switch (L)
214    {
215    case 1:
216        gid = pbgs_symbol_table.Lookup_or_Insert_Name<1>(source + start, hashvalue);
217        break;
218    case 2:
219        gid = pbgs_symbol_table.Lookup_or_Insert_Name<2>(source + start, hashvalue);
220        break;
221    case 3:
222        gid = pbgs_symbol_table.Lookup_or_Insert_Name<3>(source + start, hashvalue);
223        break;
224    case 4:
225        gid = pbgs_symbol_table.Lookup_or_Insert_Name<4>(source + start, hashvalue);
226        break;
227    case 5:
228        gid = pbgs_symbol_table.Lookup_or_Insert_Name<5>(source + start, hashvalue);
229        break;
230    case 6:
231        gid = pbgs_symbol_table.Lookup_or_Insert_Name<6>(source + start, hashvalue);
232        break;
233    case 7:
234        gid = pbgs_symbol_table.Lookup_or_Insert_Name<7>(source + start, hashvalue);
235        break;
236    case 8:
237        gid = pbgs_symbol_table.Lookup_or_Insert_Name<8>(source + start, hashvalue);
238        break;
239    case 9:
240        gid = pbgs_symbol_table.Lookup_or_Insert_Name<9>(source + start, hashvalue);
241        break;
242    case 10:
243        gid = pbgs_symbol_table.Lookup_or_Insert_Name<10>(source + start, hashvalue);
244        break;
245    case 11:
246        gid = pbgs_symbol_table.Lookup_or_Insert_Name<11>(source + start, hashvalue);
247        break;
248    case 12:
249        gid = pbgs_symbol_table.Lookup_or_Insert_Name<12>(source + start, hashvalue);
250        break;
251    case 13:
252        gid = pbgs_symbol_table.Lookup_or_Insert_Name<13>(source + start, hashvalue);
253        break;
254    case 14:
255        gid = pbgs_symbol_table.Lookup_or_Insert_Name<14>(source + start, hashvalue);
256        break;
257    case 15:
258        gid = pbgs_symbol_table.Lookup_or_Insert_Name<15>(source + start, hashvalue);
259        break;
260    case 16:
261        gid = pbgs_symbol_table.Lookup_or_Insert_Name<16>(source + start, hashvalue);
262        break;
263    default:
264        gid = pbgs_symbol_table.Lookup_or_Insert_Name(source + start, hashvalue, L);
265        break;
266    }
267
268    gids.push_back(gid);
269#if DEBUG
270    char* symbol = new char[L+1];
271    strncpy ( symbol, source + start, L );
272    symbol[L] ='\0';
273    printf ("%s | L: %i | start: %i[%i] | end: %i[%i] | gid: %i | hashvalue: %i | symbol: %s\n", __FUNCTION__, L, start, start-buffer_base, end, end-buffer_base, gid, hashvalue, symbol );
274    delete symbol; symbol = 0;
275#endif
276    return 0;
277}
278
279static inline int StreamScanLengthGrouping(ScanBlock * stream, int blk_count) {
280    int blk;
281    int block_pos = 0;
282    for (blk = 0; blk < blk_count; blk++) {
283        ScanBlock s = stream[blk];
284        while(s) {
285            int start_pos = cfzl(s) + block_pos;
286            int end_pos = ScanForwardPos (&elem_ends, start_pos);
287            if (end_pos)
288            {
289                ElemStart_grouping(start_pos, end_pos - start_pos);
290            }
291            s = s & (s-1);  // clear rightmost bit.
292        }
293        block_pos += 8 * sizeof(ScanBlock);
294    }
295    return 0;
296}
297
298static inline int NameStrt_check(int pos) {
299        int block_pos = block_base + pos;
300        if(XML_10_UTF8_NameStrt_bytes((unsigned char*)&source[block_pos]) == 0){
301              return XMLTestSuiteError::NAME_START;
302        }
303        return 0;
304}
305
306static inline int Name_check(int pos) {
307        int block_pos = block_base + pos;
308        if(XML_10_UTF8_NameChar_bytes((unsigned char*)&source[block_pos]) == 0){
309                  return XMLTestSuiteError::NAME;
310        }
311        return 0;
312}
313
314static inline int PIName_check(int pos) {
315        int block_pos = block_base + pos;
316        int file_pos = block_pos+buffer_base;
317        if (at_XxMmLll<ASCII>((unsigned char*)&source[block_pos]) && (source[block_pos+3]=='?' || source[block_pos+3]<= ' ')) {
318              // "<?xml" legal at start of file.
319              if (!((file_pos == 2) && at_XmlDecl_start<ASCII>((unsigned char*)&source[0]))) {
320                  return XMLTestSuiteError::XMLPINAME;
321              }
322        }
323        return 0;
324}
325
326static inline int CD_check(int pos) {
327        int block_pos = block_base + pos;
328        if (!at_CDATA1<ASCII>((unsigned char*)&source[block_pos])){
329                  return XMLTestSuiteError::CDATA;
330        }
331        return 0;
332}
333
334static inline int GenRef_check(int pos) {
335        int block_pos = block_base + pos;
336        unsigned char* s = (unsigned char*)&source[block_pos];
337        if (!(at_Ref_gt<ASCII>(s)||at_Ref_lt<ASCII>(s)||at_Ref_amp<ASCII>(s)||at_Ref_quot<ASCII>(s)||at_Ref_apos<ASCII>(s))){
338              return XMLTestSuiteError::UNDEFREF;
339        }
340        return 0;
341}
342
343static inline int HexRef_check(int pos) {
344        int block_pos = block_base + pos;
345        unsigned char* s = (unsigned char*)&source[block_pos];
346        int ch_val = 0;
347        while(at_HexDigit<ASCII>(s)){
348          ch_val = HexVal<ASCII>(s[0]) + (ch_val<<4);
349          if (ch_val> 0x10FFFF ){
350                return XMLTestSuiteError::CHARREF;
351          }
352          s++;
353        }
354        if ((ch_val == 0x0) || ((ch_val | 0x7FF) == 0xDFFF)|| ((ch_val | 0x1) == 0xFFFF)){
355          return XMLTestSuiteError::CHARREF;
356        }
357        else if (((ch_val < 0x20) && (ch_val != 0x9) && (ch_val != 0xD) && (ch_val != 0xA))){
358          return XMLTestSuiteError::XML10CHARREF;
359        }
360        return 0;
361}
362
363static inline int DecRef_check(int pos) {
364        int block_pos = block_base + pos;
365        unsigned char* s = (unsigned char*)&source[block_pos];
366        int ch_val = 0;
367        while(at_HexDigit<ASCII>(s)){
368          ch_val = DigitVal<ASCII>(s[0]) + ch_val*10;
369          if (ch_val> 0x10FFFF ){
370                        return XMLTestSuiteError::CHARREF;
371          }
372          s++;
373        }
374        if ((ch_val == 0x0) || ((ch_val | 0x7FF) == 0xDFFF)|| ((ch_val | 0x1) == 0xFFFF)){
375                  return XMLTestSuiteError::CHARREF;
376        }
377        else if (((ch_val < 0x20) && (ch_val != 0x9) && (ch_val != 0xD) && (ch_val != 0xA))){
378                  return XMLTestSuiteError::XML10CHARREF;
379        }
380        return 0;
381}
382
383static inline int AttRef_check(int pos) {
384        int block_pos = block_base + pos;
385        unsigned char* s = (unsigned char*)&source[block_pos];
386        int ch_val = 0;
387        if(s[0]=='#'){
388          s++;
389          if(s[0]=='x' || s[0]=='X'){
390            s++;
391            while(at_HexDigit<ASCII>(s)){
392              ch_val = HexVal<ASCII>(s[0]) + (ch_val<<4);
393              s++;
394            }
395          }
396          else{
397            while(at_HexDigit<ASCII>(s)){
398              ch_val = DigitVal<ASCII>(s[0]) + ch_val*10;
399              s++;
400            }
401          }
402          if (ch_val==60){
403            return XMLTestSuiteError::ATTREF;
404          }
405        }
406        else if(at_Ref_lt<ASCII>(s)){
407          return XMLTestSuiteError::ATTREF;
408        }
409        return 0;
410}
411
412static inline void postprocess_do_block(Lex & lex, CtCDPI_Callouts & ctCDPI_Callouts, Ref_Callouts & ref_Callouts, Check_streams & check_streams, Tag_Callouts & tag_Callouts, Hash_data & hash_data, int chars_avail){
413
414    tracker.StoreNewlines(lex.LF);
415    int rv, error_pos_in_block, error_line, error_column;
416    elem_ends = tag_Callouts.ElemName_ends;
417    hashvalues[1] = hash_data.Hash_value;
418
419    if (block_boundary_case)
420    {
421        int end_pos = count_forward_zeroes(elem_ends);
422        ElemStart_grouping (last_elem_start, end_pos-last_elem_start);
423        block_boundary_case = false;
424    }
425
426    if ( bitblock_has_bit(tag_Callouts.ElemName_starts) )
427    {
428        StreamScanLengthGrouping((ScanBlock *) &tag_Callouts.ElemName_starts, sizeof(BitBlock)/sizeof(ScanBlock));
429    }
430
431    //copy current hash value data as previous one.
432    memmove (&hashvalues[0], &hashvalues[1], 16);
433
434    if (bitblock_has_bit(simd_or(check_streams.non_ascii_name_starts, check_streams.non_ascii_names))) {
435      rv = StreamScan((ScanBlock *) &check_streams.non_ascii_name_starts, sizeof(BitBlock)/sizeof(ScanBlock), NameStrt_check, &error_pos_in_block);
436      if (rv) {
437              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
438              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
439              exit(-1);
440      }
441
442      rv = StreamScan((ScanBlock *) &check_streams.non_ascii_names, sizeof(BitBlock)/sizeof(ScanBlock), Name_check, &error_pos_in_block);
443      if (rv) {
444              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
445              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
446              exit(-1);
447      }
448    }
449
450    if (bitblock_has_bit(ctCDPI_Callouts.PI_name_starts)){
451      rv = StreamScan((ScanBlock *) &ctCDPI_Callouts.PI_name_starts, sizeof(BitBlock)/sizeof(ScanBlock), PIName_check, &error_pos_in_block);
452      if (rv) {
453              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
454              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
455              exit(-1);
456      }
457    }
458
459    if (bitblock_has_bit(ctCDPI_Callouts.CD_starts)){
460      rv = StreamScan((ScanBlock *) &ctCDPI_Callouts.CD_starts, sizeof(BitBlock)/sizeof(ScanBlock), CD_check, &error_pos_in_block);
461      if (rv) {
462              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
463              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
464              exit(-1);
465      }
466    }
467
468    if (bitblock_has_bit(ref_Callouts.GenRef_starts)){
469      rv = StreamScan((ScanBlock *) &ref_Callouts.GenRef_starts, sizeof(BitBlock)/sizeof(ScanBlock), GenRef_check, &error_pos_in_block);
470      if (rv) {
471              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
472              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
473              exit(-1);
474      }
475    }
476
477    if (bitblock_has_bit(ref_Callouts.DecRef_starts)){
478      rv = StreamScan((ScanBlock *) &ref_Callouts.DecRef_starts, sizeof(BitBlock)/sizeof(ScanBlock), DecRef_check, &error_pos_in_block);
479      if (rv) {
480              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
481              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
482              exit(-1);
483      }
484    }
485
486    if (bitblock_has_bit(ref_Callouts.HexRef_starts)){
487      rv = StreamScan((ScanBlock *) &ref_Callouts.HexRef_starts, sizeof(BitBlock)/sizeof(ScanBlock), HexRef_check, &error_pos_in_block);
488      if (rv) {
489              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
490              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
491              exit(-1);
492      }
493    }
494
495    if (bitblock_has_bit(check_streams.att_refs)){
496      rv = StreamScan((ScanBlock *) &check_streams.att_refs, sizeof(BitBlock)/sizeof(ScanBlock), AttRef_check, &error_pos_in_block);
497      if (rv) {
498              tracker.get_Line_and_Column(error_pos_in_block, error_line, error_column);
499              ReportError(XMLTestSuiteError::get_msg(rv), error_line, error_column);
500              exit(-1);
501      }
502    }
503
504    if(error_tracker.Has_Noted_Error()){
505            tracker.get_Line_and_Column(error_tracker.Noted_Pos_In_Block(), error_line, error_column);
506            ReportError(error_tracker.Noted_Error_Msg(), error_line, error_column);
507            exit(-1);
508    }
509
510    matcher.store_streams(check_streams.tag_marks, check_streams.name_follows, check_streams.misc_mask, chars_avail);
511    tracker.AdvanceBlock();
512}
513
514
515static inline void print_GIDS()
516{
517    int span_count = gids.size();
518    for(int i=0;i<span_count;i++) {
519             cout << gids[i] << " ";
520    }
521    cout << endl;
522}
523
524void do_process(FILE *infile, FILE *outfile) {   
525@decl
526  int buf_pos = 0;
527  int block_pos = 0;
528  int errpos = 0;
529  int chars_avail = 0;
530  int check_pos = 0;
531  int chars_read = 0;
532  BytePack buf[(BUFFER_SIZE+BLOCK_SIZE+OVERLAP_BUFSIZE*2)/sizeof(SIMD_type)];
533
534  char * srcbuf = ((char *) buf) + OVERLAP_BUFSIZE;
535  buffer_base = buf_pos;
536  source = srcbuf;
537  chars_read = fread((void *)srcbuf, 1, BUFFER_SIZE + OVERLAP_BUFSIZE, infile);
538  chars_avail = chars_read;
539  if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
540
541  matcher.setSrc(srcbuf);
542
543  if(chars_read<4){
544    fprintf(stderr,"File is too short. Not well formed.\n");
545    exit(-1);
546  }
547
548  Entity_Info * e = new Entity_Info;
549  e->AnalyzeSignature((unsigned char *)srcbuf);
550
551  if (e->code_unit_base == ASCII) {
552
553    XML_Decl_Parser<ASCII> decl_parser((unsigned char *)srcbuf);
554
555    decl_parser.ReadXMLInfo(*e);
556
557    if (e->code_unit_size != SingleByte || (e->has_encoding_decl && (!at_UTF_8(e->encoding)))){
558        fprintf(stderr,"Sorry, this xmlwf demo only works for UTF-8.\n");
559        exit(-1);
560    }
561  }
562  else {
563    fprintf(stderr,"Sorry, this xmlwf demo does not process EBCDIC.\n");
564        exit(-1);
565  }
566
567  if (e->content_start != 0) {
568        memmove(&srcbuf[0], &srcbuf[e->content_start], chars_read - e->content_start);
569        buf_pos = e->content_start;
570        buffer_base = buf_pos;
571        if (chars_avail == BUFFER_SIZE) {
572                chars_read = chars_read - e->content_start +
573                             fread(&srcbuf[chars_read-e->content_start], 1, e->content_start, infile);
574                chars_avail = chars_read;
575                if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
576        }
577        else {
578          chars_read -=e->content_start;
579          chars_avail -=e->content_start;
580        }
581  }
582
583@stream_stmts
584
585/* Full Buffers */
586    while (chars_avail == BUFFER_SIZE) {
587      PERF_SEC_START(parser_timer);
588      for (int blk = 0; blk < SEGMENT_BLOCKS; blk++) {
589          block_base = blk*BLOCK_SIZE;
590          s2p_do_block((BytePack *) &srcbuf[block_base], basis_bits);
591          @block_stmts
592          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, tag_Callouts, hash_data, chars_avail);
593      }
594      matcher.StreamScan(chars_avail);
595      matcher.Advance_buffer();
596      tracker.Advance_buffer();
597      PERF_SEC_END(parser_timer, chars_avail);
598
599      int bytes_left = chars_read - chars_avail;
600      memmove(buf, &srcbuf[BUFFER_SIZE - OVERLAP_BUFSIZE], bytes_left + OVERLAP_BUFSIZE);
601      chars_read = fread(&srcbuf[bytes_left],1, BUFFER_SIZE + OVERLAP_BUFSIZE - bytes_left, infile) + bytes_left;
602
603      chars_avail = chars_read;
604      if (chars_avail > BUFFER_SIZE) chars_avail = BUFFER_SIZE;
605      buf_pos += chars_avail;
606      buffer_base = buf_pos;
607
608  }
609/* Final Partial Buffer */
610    PERF_SEC_START(parser_timer);
611
612    block_pos = 0;
613    int remaining = chars_avail;
614/* Full Blocks */
615    while (remaining >= BLOCK_SIZE) {
616          block_base = block_pos;
617          s2p_do_block((BytePack *) &srcbuf[block_pos], basis_bits);
618          @block_stmts
619          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, tag_Callouts, hash_data, chars_avail);
620          block_pos += BLOCK_SIZE;
621          remaining -= BLOCK_SIZE;
622    }
623    block_base = block_pos;
624    if (remaining > 0 || @any_carry) {
625          EOF_mask = sisd_srl(simd_const_1(1),sisd_from_int(BLOCK_SIZE-remaining));
626          s2p_do_final_block((BytePack *) &srcbuf[block_pos], basis_bits, EOF_mask);
627          @final_block_stmts
628          postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, tag_Callouts, hash_data, chars_avail);
629    }
630    buf_pos += chars_avail;
631    buffer_base = buf_pos;
632
633    matcher.StreamScan(chars_avail);
634    matcher.Advance_buffer();
635    tracker.Advance_buffer();
636
637    PERF_SEC_END(parser_timer, chars_avail);
638    if (matcher.depth != 0) {
639      fprintf(stderr, "tag matching error (depth %i) at position %i\n", matcher.depth, buffer_base);
640      exit(-1);
641    }
642//  print_GIDS();
643//    pbgs_symbol_table.Print_Symbol_Table_Distribution();
644}
Note: See TracBrowser for help on using the repository browser.