Changeset 2186 for proto/parabix2


Ignore:
Timestamp:
May 29, 2012, 5:00:09 PM (7 years ago)
Author:
ksherdy
Message:

Added initial XMLWF symbol table port. Known bug wrt boundary/memory/buffer. Exact cause TBD.

Location:
proto/parabix2
Files:
1 added
3 edited

Legend:

Unmodified
Added
Removed
  • proto/parabix2/Makefile

    r2180 r2186  
    11OUTFILE=src/xmlwf.cpp
    2 PABLO_SRCFILE=parabix2_pablo.py
     2
     3PABLO_SRC=parabix2_pablo.py
    34PABLO_TEMPLATE=pablo_template.cpp
    4 PABLO_TEMPLATE_SYMBOL_TABLE=pablo_template.cpp
     5PABLO_TEMPLATE_SYMBOL_TABLE=pablo_template_symbol_table.cpp
    56PABLO_COMPILER=../Compiler/pablomain.py
     7PABLO_ADD_DEBUG = #-a -b
    68
     9# SYMBOL TABLE
     10SYMBOL_TABLE_PABLO_SRC_DIR=lib/symbol_table/pablo
     11SYMBOL_TABLE_TEMPLATES_DIR=lib/symbol_table/templates
    712
    8 pablo:  $(PABLO_SRCFILE)
    9         python $(PABLO_COMPILER) $(PABLO_SRCFILE) -t $(PABLO_TEMPLATE) -o $(OUTFILE)
     13# Markers
     14MARKER_PREFIX=@marker_strms_
     15MARKER_PABLO_SRC=$(SYMBOL_TABLE_PABLO_SRC_DIR)/xmlwf_marker_strms.py # glue
    1016
    11 avx:    $(PABLO_SRCFILE)
    12         python $(PABLO_COMPILER) $(PABLO_SRCFILE) -t pablo_template_avx.cpp -o $(OUTFILE)
     17# Hash
     18HASH_PREFIX=@hash_strms_
     19HASH_PABLO_SRC=$(SYMBOL_TABLE_PABLO_SRC_DIR)/hash_strms.py
    1320
    14 symbol_table: $(PABLO_SRCFILE) $(PABLO_TEMPLATE_SYMBOL_TABLE)
    15         python $(PABLO_COMPILER) $(PABLO_SRCFILE) -t $(PABLO_TEMPLATE_SYMBOL_TABLE) -o $(OUTFILE)
     21# Groups
     22GROUP_PREFIX=@group_strms_
    1623
    17 #threads:       $(PABLO_SRCFILE)
    18 #       python $(PABLO_COMPILER) $(PABLO_SRCFILE) parabix2_pablo2.py -t pablo_template_multithreads.cpp -o $(OUTFILE)
     24ID_GROUP_STRMS_SRC = $(SYMBOL_TABLE_PABLO_SRC_DIR)/id_group_strms.py
     25DIV2_GROUP_STRMS_SRC = $(SYMBOL_TABLE_PABLO_SRC_DIR)/div2_group_strms.py
     26LOGBASE2_GROUP_STRMS_SRC = $(SYMBOL_TABLE_PABLO_SRC_DIR)/logbase2_group_strms.py
     27DIV2_LOGBASE2_GROUP_STRMS_SRC = $(SYMBOL_TABLE_PABLO_SRC_DIR)/div2_logbase2_group_strms.py
     28BIT_BYTE_GROUP_STRMS_SRC = $(SYMBOL_TABLE_PABLO_SRC_DIR)/bit_byte_group_strms.py
     29
     30TEMP=t.tmp
     31
     32pablo:  $(PABLO_SRC)
     33        python $(PABLO_COMPILER) $(PABLO_SRC) -t $(PABLO_TEMPLATE) -o $(OUTFILE)
     34
     35avx:    $(PABLO_SRC)
     36        python $(PABLO_COMPILER) $(PABLO_SRC) -t pablo_template_avx.cpp -o $(OUTFILE)
     37
     38id: template
     39        python $(PABLO_COMPILER) $(ID_GROUP_STRMS_SRC) -t $(TEMP) -l $(GROUP_PREFIX) -o $(OUTFILE) $(PABLO_ADD_DEBUG)
     40
     41div2: template
     42        python $(PABLO_COMPILER) $(DIV2_GROUP_STRMS_SRC) -t $(TEMP) -l $(GROUP_PREFIX) -o $(OUTFILE) $(PABLO_ADD_DEBUG)
     43
     44logbase2: template
     45        python $(PABLO_COMPILER) $(LOGBASE2_GROUP_STRMS_SRC) -t $(TEMP) -l $(GROUP_PREFIX) -o $(OUTFILE) $(PABLO_ADD_DEBUG)
     46
     47div2_logbase2: template
     48        python $(PABLO_COMPILER) $(DIV2_LOGBASE2_GROUP_STRMS_SRC) -t $(TEMP) -l $(GROUP_PREFIX) -o $(OUTFILE) $(PABLO_ADD_DEBUG)
     49
     50bit_byte: template
     51        python $(PABLO_COMPILER) $(BIT_BYTE_GROUP_STRMS_SRC) -t $(TEMP) -l $(GROUP_PREFIX) -o $(OUTFILE) $(PABLO_ADD_DEBUG)
     52
     53template: $(PABLO_SRC) $(PABLO_TEMPLATE_SYMBOL_TABLE)
     54        python $(PABLO_COMPILER) $(PABLO_SRC) -t $(PABLO_TEMPLATE_SYMBOL_TABLE) -o $(TEMP)
     55        python $(PABLO_COMPILER) $(MARKER_PABLO_SRC) -t $(TEMP) -l $(MARKER_PREFIX) -o $(TEMP) $(PABLO_ADD_DEBUG)
     56        python $(PABLO_COMPILER) $(HASH_PABLO_SRC) -t $(TEMP) -l $(HASH_PREFIX) -o $(TEMP) $(PABLO_ADD_DEBUG)
     57
     58#threads:       $(PABLO_SRC)
     59#       python $(PABLO_COMPILER) $(PABLO_SRC) parabix2_pablo2.py -t pablo_template_multithreads.cpp -o $(OUTFILE)
    1960
    2061pablo_help:
  • proto/parabix2/pablo_template.cpp

    r2180 r2186  
    200200
    201201          tracker.StoreNewlines(lex.LF);
    202                   postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, (char *)src_buffer, buffer_base, block_base, chars_avail+2, tracker);
     202                  postprocess_do_block(lex, ctCDPI_Callouts, ref_Callouts, check_streams, (char *)src_buffer, buffer_base, block_base, chars_avail, tracker);
    203203          matcher.store_streams(check_streams.tag_marks, check_streams.name_follows, check_streams.misc_mask, chars_avail);
    204204          tracker.AdvanceBlock();
  • proto/parabix2/src/Makefile

    r2171 r2186  
    3636
    3737buffer_profiling_perf: $(SRCFILE)
    38         $(CC) -o $(OUTFILE) $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DBUFFER_PROFILING  -DPERF_SCRIPT
    39 
    40 asm:  $(SRCFILE)
    41         $(CC) -o $(OUTFILE).s $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -S -fverbose-asm
     38        $(CC) -o $(OUTFILE) $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DBUFFER_PROFILING  -DPERF_SCRIPT
    4239       
    4340as: $(OUTFILE).s
     
    5552clean: 
    5653        rm -f $(OUTFILE) $(OUTFILE).s $(OUTFILE).o
     54
     55id: $(SRCFILE)
     56        $(CC) -o id $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DID_STRATEGY -DBUFFER_PROFILING -DPERF_SCRIPT
     57
     58div2: $(SRCFILE)
     59        $(CC) -o div2 $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DDIV2_STRATEGY -DBUFFER_PROFILING -DPERF_SCRIPT
     60
     61logbase2: $(SRCFILE)
     62        $(CC) -o logbase2 $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DLOGBASE2_STRATEGY -DBUFFER_PROFILING # -DPERF_SCRIPT
     63
     64div2_logbase2: $(SRCFILE)
     65        $(CC) -o div2_logbase2 $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DDIV2_LOGBASE2_STRATEGY -DBUFFER_PROFILING -DPERF_SCRIPT
     66
     67bit_byte: $(SRCFILE)
     68        $(CC) -o bit_byte $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -DBIT_BYTE_STRATEGY -DBUFFER_PROFILING  -DPERF_SCRIPT
     69
     70asm:  $(SRCFILE)
     71        $(CC) -o $(OUTFILE).s $(SRCFILE) -I$(INCLUDES) $(AFLAGS) -S -fverbose-asm
     72
Note: See TracChangeset for help on using the changeset viewer.