source: icGREP/icgrep-devel/icgrep/kernels/u8u32_kernel.cpp @ 5757

Last change on this file since 5757 was 5549, checked in by xuedongx, 2 years ago

add u8u32 kernel

File size: 8.6 KB
Line 
1/*
2 *  Copyright (c) 2016 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 */
5
6#include "u8u32_kernel.h"
7#include <re/re_cc.h>
8#include <pablo/pe_ones.h>          // for Ones
9#include <pablo/pe_var.h>           // for Var
10#include <pablo/pe_zeroes.h>        // for Zeroes
11#include <cc/cc_compiler.h>
12#include <pablo/builder.hpp>
13#include <llvm/IR/Module.h>
14#include <pablo/pablo_toolchain.h>                 // for pablo_function_passes
15
16using namespace kernel;
17using namespace pablo;
18using namespace llvm;
19
20void U8U32KernelBuilder::generatePabloMethod() {
21    //  input: 8 basis bit streams
22   
23    const auto u8bitSet = this->getInputStreamVar("u8bit");
24   
25    //  output: 32 u8-indexed streams, + delmask stream + error stream
26   
27    cc::CC_Compiler ccc(this, u8bitSet);
28   
29    PabloBuilder & main = ccc.getBuilder();
30    const auto u8_bits = ccc.getBasisBits();
31   
32    Zeroes * zeroes = main.createZeroes();
33
34    // Outputs
35    // The first 11 bits of u32 are always 0s.
36
37    Var * u32_0[8];
38    for (int i = 0; i < 8; i++) {
39        u32_0[i] = main.createVar("u32_0" + std::to_string(i), zeroes);
40    }
41
42    Var * u32_1[8];
43    for (int i = 0; i < 8; i++) {
44        u32_1[i] = main.createVar("u32_1" + std::to_string(i), zeroes);
45    }
46   
47    Var * u32_2[8];
48    for (int i = 0; i < 8; i++) {
49        u32_2[i] = main.createVar("u32_2" + std::to_string(i), zeroes);
50    }
51   
52    Var * delmask = main.createVar("delmask", zeroes);
53    Var * error_mask = main.createVar("error_mask", zeroes);
54   
55    PabloAST * ASCII = ccc.compileCC("ASCII", re::makeCC(0x0, 0x7F), main);
56    PabloBuilder ascii = PabloBuilder::Create(main);
57    for (int i = 1; i <= 7; i++) {
58        ascii.createAssign(u32_2[i], ascii.createOr(u32_2[i], ascii.createAnd(ASCII, u8_bits[i])));
59    }
60    main.createIf(ASCII, ascii);
61   
62    PabloAST * u8pfx = ccc.compileCC("u8pfx", re::makeCC(0xC0, 0xFF), main);
63    PabloAST * nonASCII = ccc.compileCC("u8pfx", re::makeCC(0x80, 0xFF), main);
64    PabloBuilder it = PabloBuilder::Create(main);
65    main.createIf(nonASCII, it);
66   
67    Var * u8invalid = it.createVar("u8invalid", zeroes);
68    PabloAST * u8pfx2 = ccc.compileCC(re::makeCC(0xC2, 0xDF), it);
69    PabloAST * u8pfx3 = ccc.compileCC(re::makeCC(0xE0, 0xEF), it);
70    PabloAST * u8pfx4 = ccc.compileCC(re::makeCC(0xF0, 0xF4), it);
71    PabloAST * u8suffix = ccc.compileCC("u8suffix", re::makeCC(0x80, 0xBF), it);
72   
73    //
74   
75    //
76    // Two-byte sequences
77    Var * u8scope22 = it.createVar("u8scope22", zeroes);
78    PabloBuilder it2 = PabloBuilder::Create(it);
79    it.createIf(u8pfx2, it2);
80    it2.createAssign(u8scope22, it2.createAdvance(u8pfx2, 1));
81    //PabloAST * u8scope22 = it2.createAdvance(u8pfx2, 1, "u8scope22");
82    for (int i = 2; i <= 7; i++) {
83        it2.createAssign(u32_2[i], it2.createOr(u32_2[i], it2.createAnd(u8scope22, u8_bits[i])));
84    }
85    it2.createAssign(u32_2[1], it2.createOr(u32_2[1], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[7], 1))));
86    it2.createAssign(u32_2[0], it2.createOr(u32_2[0], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[6], 1))));
87    for (int i = 3; i <= 5; i++) {
88        it2.createAssign(u32_1[i + 2], it2.createOr(u32_1[i + 2], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[i], 1))));
89    }
90   
91    //
92    // Three-byte sequences
93    Var * u8scope3X = it.createVar("u8scope3X", zeroes);
94    Var * EX_invalid = it.createVar("EX_invalid", zeroes);
95    Var * del3 = it.createVar("del3", zeroes);
96
97    PabloBuilder it3 = PabloBuilder::Create(it);
98    it.createIf(u8pfx3, it3);
99   
100    PabloAST * u8scope32 = it3.createAdvance(u8pfx3, 1, "u8scope32");
101    PabloAST * u8scope33 = it3.createAdvance(u8scope32, 1, "u8scope33");
102    it3.createAssign(u8scope3X, it3.createOr(u8scope32, u8scope33));
103    PabloAST * E0_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeCC(0xE0), it3), 1), ccc.compileCC(re::makeCC(0x80, 0x9F), it3));
104    PabloAST * ED_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeCC(0xED), it3), 1), ccc.compileCC(re::makeCC(0xA0, 0xBF), it3));
105    it3.createAssign(EX_invalid, it3.createOr(E0_invalid, ED_invalid));
106   
107    for (int i = 2; i <= 7; i++) {
108        it3.createAssign(u32_2[i], it3.createOr(u32_2[i], it3.createAnd(u8scope33, u8_bits[i])));
109    }
110    it3.createAssign(u32_2[1], it3.createOr(u32_2[1], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[7], 1))));
111    it3.createAssign(u32_2[0], it3.createOr(u32_2[0], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[6], 1))));
112    for (int i = 2; i <= 5; i++) {
113        it3.createAssign(u32_1[i + 2], it3.createOr(u32_1[i + 2], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[i], 1))));
114    }
115    for (int i = 4; i <= 7; i++) {
116        it3.createAssign(u32_1[i - 4], it3.createOr(u32_1[i - 4], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[i], 2))));
117    }
118    it3.createAssign(del3, u8scope32);
119
120    //
121    // Four-byte sequences
122    Var * u8scope4nonfinal = it.createVar("u8scope4nonfinal", zeroes);
123    Var * u8scope4X = it.createVar("u8scope4X", zeroes);
124    Var * FX_invalid = it.createVar("FX_invalid", zeroes);
125    Var * del4 = it.createVar("del4", zeroes);
126   
127    PabloBuilder it4 = PabloBuilder::Create(it);
128    it.createIf(u8pfx4, it4);
129    PabloAST * u8scope42 = it4.createAdvance(u8pfx4, 1, "u8scope42");
130    PabloAST * u8scope43 = it4.createAdvance(u8scope42, 1, "u8scope43");
131    PabloAST * u8scope44 = it4.createAdvance(u8scope43, 1, "u8scope44");
132
133   
134    it4.createAssign(u8scope4nonfinal, it4.createOr(u8scope42, u8scope43));
135    it4.createAssign(u8scope4X, it4.createOr(u8scope4nonfinal, u8scope44));
136    PabloAST * F0_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeCC(0xF0), it4), 1), ccc.compileCC(re::makeCC(0x80, 0x8F), it4));
137    PabloAST * F4_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeCC(0xF4), it4), 1), ccc.compileCC(re::makeCC(0x90, 0xBF), it4));
138    it4.createAssign(FX_invalid, it4.createOr(F0_invalid, F4_invalid));
139
140
141    for (int i = 2; i <= 7; i++) {
142        it4.createAssign(u32_2[i], it4.createOr(u32_2[i], it4.createAnd(u8scope44, u8_bits[i])));
143    }
144    it4.createAssign(u32_2[1], it4.createOr(u32_2[1], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[7], 1))));
145    it4.createAssign(u32_2[0], it4.createOr(u32_2[0], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[6], 1))));
146    for (int i = 2; i <= 5; i++) {
147        it4.createAssign(u32_1[i + 2], it4.createOr(u32_1[i + 2], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 1))));
148    }
149    for (int i = 4; i <= 7; i++) {
150        it4.createAssign(u32_1[i - 4], it4.createOr(u32_1[i - 4], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 2))));
151    }
152    it4.createAssign(u32_0[7], it4.createOr(u32_0[7], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[3], 2))));
153    it4.createAssign(u32_0[6], it4.createOr(u32_0[6], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[2], 2))));
154    for (int i = 5; i <= 7; i++) {
155        it4.createAssign(u32_0[i - 2], it4.createOr(u32_0[i - 2], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 3))));
156    }
157       
158    it4.createAssign(del4, it4.createOr(u8scope42, u8scope43));
159   
160    //
161    // Invalid cases
162    PabloAST * anyscope = it.createOr(u8scope22, it.createOr(u8scope3X, u8scope4X), "anyscope");
163    PabloAST * legalpfx = it.createOr(it.createOr(u8pfx2, u8pfx3), u8pfx4);
164    //  Any scope that does not have a suffix byte, and any suffix byte that is not in
165    //  a scope is a mismatch, i.e., invalid UTF-8.
166    PabloAST * mismatch = it.createXor(anyscope, u8suffix);
167    //
168    PabloAST * EF_invalid = it.createOr(EX_invalid, FX_invalid);
169    PabloAST * pfx_invalid = it.createXor(u8pfx, legalpfx);
170    it.createAssign(u8invalid, it.createOr(pfx_invalid, it.createOr(mismatch, EF_invalid)));
171    //PabloAST * u8valid = it.createNot(u8invalid, "u8valid");
172    it.createAssign(error_mask, u8invalid);
173   
174    it.createAssign(delmask, it.createOr(it.createOr(del3, del4), ccc.compileCC(re::makeCC(0xC0, 0xFF), it)));
175   
176    Var * output = this->getOutputStreamVar("u32bit");
177    Var * delmask_out = this->getOutputStreamVar("delMask");
178    Var * error_mask_out = this->getOutputStreamVar("errMask");
179   
180
181    for (unsigned i = 0; i < 8; i++) {
182        main.createAssign(main.createExtract(output, i), u32_0[i]);
183    }
184    for (unsigned i = 0; i < 8; i++) {
185        main.createAssign(main.createExtract(output, i + 8), u32_1[i]);
186    }
187    for (unsigned i = 0; i < 8; i++) {
188        main.createAssign(main.createExtract(output, i + 16), u32_2[i]);
189    }
190    main.createAssign(main.createExtract(delmask_out, main.getInteger(0)), delmask);
191    main.createAssign(main.createExtract(error_mask_out,  main.getInteger(0)), error_mask);
192
193}
Note: See TracBrowser for help on using the repository browser.