source: icGREP/icgrep-devel/icgrep/kernels/delmask_kernel.cpp @ 5682

Last change on this file since 5682 was 5625, checked in by xuedongx, 23 months ago

add ExpandStream? kernel and small fix.

File size: 5.4 KB
Line 
1/*
2 *  Copyright (c) 2016 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 */
5
6#include "delmask_kernel.h"
7#include <re/re_cc.h>
8#include <pablo/pe_ones.h>          // for Ones
9#include <pablo/pe_var.h>           // for Var
10#include <pablo/pe_zeroes.h>        // for Zeroes
11#include <cc/cc_compiler.h>
12#include <pablo/builder.hpp>
13#include <llvm/IR/Module.h>
14#include <pablo/pablo_toolchain.h>
15
16using namespace kernel;
17using namespace pablo;
18using namespace llvm;
19
20void DelMaskKernelBuilder::generatePabloMethod() {
21    //  input: 8 basis bit streams
22   
23    const auto u8bitSet = this->getInputStreamVar("u8bit");
24   
25    //  output: delmask stream + error stream
26   
27    cc::CC_Compiler ccc(this, u8bitSet);
28   
29    PabloBuilder & main = ccc.getBuilder();
30    const auto u8_bits = ccc.getBasisBits();
31    Zeroes * zeroes = main.createZeroes();
32
33    // Outputs
34    Var * delmask = main.createVar("delmask", zeroes);
35    Var * neg_delmask = main.createVar("neg_delmask", zeroes);
36    Var * error_mask = main.createVar("error_mask", zeroes);
37   
38    PabloAST * ASCII = ccc.compileCC("ASCII", re::makeCC(0x0, 0x7F), main);
39    PabloBuilder ascii = PabloBuilder::Create(main);
40    main.createIf(ASCII, ascii);
41    PabloAST * u8pfx = ccc.compileCC("u8pfx", re::makeCC(0xC0, 0xFF), main);
42    PabloAST * nonASCII = ccc.compileCC("u8pfx", re::makeCC(0x80, 0xFF), main);
43    PabloBuilder it = PabloBuilder::Create(main);
44    main.createIf(nonASCII, it);
45    Var * u8invalid = it.createVar("u8invalid", zeroes);
46    PabloAST * u8pfx2 = ccc.compileCC(re::makeCC(0xC2, 0xDF), it);
47    PabloAST * u8pfx3 = ccc.compileCC(re::makeCC(0xE0, 0xEF), it);
48    PabloAST * u8pfx4 = ccc.compileCC(re::makeCC(0xF0, 0xF4), it);
49    PabloAST * u8suffix = ccc.compileCC("u8suffix", re::makeCC(0x80, 0xBF), it);
50    //
51    // Two-byte sequences
52    Var * u8scope22 = it.createVar("u8scope22", zeroes);
53    PabloBuilder it2 = PabloBuilder::Create(it);
54    it.createIf(u8pfx2, it2);
55    it2.createAssign(u8scope22, it2.createAdvance(u8pfx2, 1));
56    //
57    // Three-byte sequences
58    Var * u8scope3X = it.createVar("u8scope3X", zeroes);
59    Var * EX_invalid = it.createVar("EX_invalid", zeroes);
60    Var * del3 = it.createVar("del3", zeroes);
61    PabloBuilder it3 = PabloBuilder::Create(it);
62    it.createIf(u8pfx3, it3);
63    PabloAST * u8scope32 = it3.createAdvance(u8pfx3, 1, "u8scope32");
64    PabloAST * u8scope33 = it3.createAdvance(u8scope32, 1, "u8scope33");
65    it3.createAssign(u8scope3X, it3.createOr(u8scope32, u8scope33));
66    PabloAST * E0_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeCC(0xE0), it3), 1), ccc.compileCC(re::makeCC(0x80, 0x9F), it3));
67    PabloAST * ED_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeCC(0xED), it3), 1), ccc.compileCC(re::makeCC(0xA0, 0xBF), it3));
68    it3.createAssign(EX_invalid, it3.createOr(E0_invalid, ED_invalid));
69    it3.createAssign(del3, u8scope32);
70    //
71    // Four-byte sequences
72    Var * u8scope4nonfinal = it.createVar("u8scope4nonfinal", zeroes);
73    Var * u8scope4X = it.createVar("u8scope4X", zeroes);
74    Var * FX_invalid = it.createVar("FX_invalid", zeroes);
75    Var * del4 = it.createVar("del4", zeroes);
76    PabloBuilder it4 = PabloBuilder::Create(it);
77    it.createIf(u8pfx4, it4);
78    PabloAST * u8scope42 = it4.createAdvance(u8pfx4, 1, "u8scope42");
79    PabloAST * u8scope43 = it4.createAdvance(u8scope42, 1, "u8scope43");
80    PabloAST * u8scope44 = it4.createAdvance(u8scope43, 1, "u8scope44");
81    it4.createAssign(u8scope4nonfinal, it4.createOr(u8scope42, u8scope43));
82    it4.createAssign(u8scope4X, it4.createOr(u8scope4nonfinal, u8scope44));
83    PabloAST * F0_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeCC(0xF0), it4), 1), ccc.compileCC(re::makeCC(0x80, 0x8F), it4));
84    PabloAST * F4_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeCC(0xF4), it4), 1), ccc.compileCC(re::makeCC(0x90, 0xBF), it4));
85    it4.createAssign(FX_invalid, it4.createOr(F0_invalid, F4_invalid));
86    it4.createAssign(del4, it4.createOr(u8scope42, u8scope43));
87    //
88    // Invalid cases
89    PabloAST * anyscope = it.createOr(u8scope22, it.createOr(u8scope3X, u8scope4X), "anyscope");
90    PabloAST * legalpfx = it.createOr(it.createOr(u8pfx2, u8pfx3), u8pfx4);
91    //  Any scope that does not have a suffix byte, and any suffix byte that is not in
92    //  a scope is a mismatch, i.e., invalid UTF-8.
93    PabloAST * mismatch = it.createXor(anyscope, u8suffix);
94    PabloAST * EF_invalid = it.createOr(EX_invalid, FX_invalid);
95    PabloAST * pfx_invalid = it.createXor(u8pfx, legalpfx);
96    it.createAssign(u8invalid, it.createOr(pfx_invalid, it.createOr(mismatch, EF_invalid)));
97    //PabloAST * u8valid = it.createNot(u8invalid, "u8valid");
98    it.createAssign(error_mask, u8invalid);
99   
100    it.createAssign(delmask, it.createInFile(it.createOr(it.createOr(del3, del4), ccc.compileCC(re::makeCC(0xC0, 0xFF), it))));
101    it.createAssign(neg_delmask, it.createInFile(it.createNot(delmask)));
102   
103    Var * delmask_out = this->getOutputStreamVar("delMask");
104    Var * neg_delmask_out = this->getOutputStreamVar("neg_delMask");
105    Var * error_mask_out = this->getOutputStreamVar("errMask");
106   
107    main.createAssign(main.createExtract(delmask_out, main.getInteger(0)), delmask);
108    main.createAssign(main.createExtract(neg_delmask_out, main.getInteger(0)), neg_delmask);
109    main.createAssign(main.createExtract(error_mask_out,  main.getInteger(0)), error_mask);
110
111}
Note: See TracBrowser for help on using the repository browser.