source: icGREP/icgrep-devel/icgrep/kernels/u8u32_kernel.cpp @ 5842

Last change on this file since 5842 was 5842, checked in by cameron, 15 months ago

Decoupling PabloKernels? from CC_compiler

File size: 8.6 KB
Line 
1/*
2 *  Copyright (c) 2016 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 */
5
6#include "u8u32_kernel.h"
7#include <re/re_cc.h>
8#include <pablo/pe_ones.h>          // for Ones
9#include <pablo/pe_var.h>           // for Var
10#include <pablo/pe_zeroes.h>        // for Zeroes
11#include <cc/cc_compiler.h>
12#include <pablo/builder.hpp>
13#include <llvm/IR/Module.h>
14#include <pablo/pablo_toolchain.h>                 // for pablo_function_passes
15
16using namespace kernel;
17using namespace pablo;
18using namespace llvm;
19
20void U8U32KernelBuilder::generatePabloMethod() {
21    PabloBuilder main(getEntryScope());
22   
23    //  input: 8 basis bit streams
24    const auto u8bitSet = this->getInputStreamVar("u8bit");
25    PabloAST * u8_bits[8];
26    for (int i = 0; i < 8; ++i) {
27        u8_bits[i] = main.createExtract(u8bitSet, main.getInteger(i));
28    }
29    //  output: 32 u8-indexed streams, + delmask stream + error stream
30   
31    cc::CC_Compiler ccc(this, u8bitSet);
32   
33    Zeroes * zeroes = main.createZeroes();
34
35    // Outputs
36    // The first 11 bits of u32 are always 0s.
37
38    Var * u32_0[8];
39    for (int i = 0; i < 8; i++) {
40        u32_0[i] = main.createVar("u32_0" + std::to_string(i), zeroes);
41    }
42
43    Var * u32_1[8];
44    for (int i = 0; i < 8; i++) {
45        u32_1[i] = main.createVar("u32_1" + std::to_string(i), zeroes);
46    }
47   
48    Var * u32_2[8];
49    for (int i = 0; i < 8; i++) {
50        u32_2[i] = main.createVar("u32_2" + std::to_string(i), zeroes);
51    }
52   
53    Var * delmask = main.createVar("delmask", zeroes);
54    Var * error_mask = main.createVar("error_mask", zeroes);
55   
56    PabloAST * ASCII = ccc.compileCC("ASCII", re::makeByte(0x0, 0x7F), main);
57    auto ascii = main.createScope();
58    for (int i = 1; i <= 7; i++) {
59        ascii.createAssign(u32_2[i], ascii.createOr(u32_2[i], ascii.createAnd(ASCII, u8_bits[i])));
60    }
61    main.createIf(ASCII, ascii);
62   
63    PabloAST * u8pfx = ccc.compileCC("u8pfx", re::makeByte(0xC0, 0xFF), main);
64    PabloAST * nonASCII = ccc.compileCC("u8pfx", re::makeByte(0x80, 0xFF), main);
65    auto it = main.createScope();
66    main.createIf(nonASCII, it);
67   
68    Var * u8invalid = it.createVar("u8invalid", zeroes);
69    PabloAST * u8pfx2 = ccc.compileCC(re::makeByte(0xC2, 0xDF), it);
70    PabloAST * u8pfx3 = ccc.compileCC(re::makeByte(0xE0, 0xEF), it);
71    PabloAST * u8pfx4 = ccc.compileCC(re::makeByte(0xF0, 0xF4), it);
72    PabloAST * u8suffix = ccc.compileCC("u8suffix", re::makeByte(0x80, 0xBF), it);
73   
74    //
75   
76    //
77    // Two-byte sequences
78    Var * u8scope22 = it.createVar("u8scope22", zeroes);
79    auto it2 = it.createScope();
80    it.createIf(u8pfx2, it2);
81    it2.createAssign(u8scope22, it2.createAdvance(u8pfx2, 1));
82    //PabloAST * u8scope22 = it2.createAdvance(u8pfx2, 1, "u8scope22");
83    for (int i = 2; i <= 7; i++) {
84        it2.createAssign(u32_2[i], it2.createOr(u32_2[i], it2.createAnd(u8scope22, u8_bits[i])));
85    }
86    it2.createAssign(u32_2[1], it2.createOr(u32_2[1], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[7], 1))));
87    it2.createAssign(u32_2[0], it2.createOr(u32_2[0], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[6], 1))));
88    for (int i = 3; i <= 5; i++) {
89        it2.createAssign(u32_1[i + 2], it2.createOr(u32_1[i + 2], it2.createAnd(u8scope22, it2.createAdvance(u8_bits[i], 1))));
90    }
91   
92    //
93    // Three-byte sequences
94    Var * u8scope3X = it.createVar("u8scope3X", zeroes);
95    Var * EX_invalid = it.createVar("EX_invalid", zeroes);
96    Var * del3 = it.createVar("del3", zeroes);
97
98    auto it3 = it.createScope();
99    it.createIf(u8pfx3, it3);
100   
101    PabloAST * u8scope32 = it3.createAdvance(u8pfx3, 1, "u8scope32");
102    PabloAST * u8scope33 = it3.createAdvance(u8scope32, 1, "u8scope33");
103    it3.createAssign(u8scope3X, it3.createOr(u8scope32, u8scope33));
104    PabloAST * E0_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeByte(0xE0), it3), 1), ccc.compileCC(re::makeByte(0x80, 0x9F), it3));
105    PabloAST * ED_invalid = it3.createAnd(it3.createAdvance(ccc.compileCC(re::makeByte(0xED), it3), 1), ccc.compileCC(re::makeByte(0xA0, 0xBF), it3));
106    it3.createAssign(EX_invalid, it3.createOr(E0_invalid, ED_invalid));
107   
108    for (int i = 2; i <= 7; i++) {
109        it3.createAssign(u32_2[i], it3.createOr(u32_2[i], it3.createAnd(u8scope33, u8_bits[i])));
110    }
111    it3.createAssign(u32_2[1], it3.createOr(u32_2[1], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[7], 1))));
112    it3.createAssign(u32_2[0], it3.createOr(u32_2[0], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[6], 1))));
113    for (int i = 2; i <= 5; i++) {
114        it3.createAssign(u32_1[i + 2], it3.createOr(u32_1[i + 2], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[i], 1))));
115    }
116    for (int i = 4; i <= 7; i++) {
117        it3.createAssign(u32_1[i - 4], it3.createOr(u32_1[i - 4], it3.createAnd(u8scope33, it3.createAdvance(u8_bits[i], 2))));
118    }
119    it3.createAssign(del3, u8scope32);
120
121    //
122    // Four-byte sequences
123    Var * u8scope4nonfinal = it.createVar("u8scope4nonfinal", zeroes);
124    Var * u8scope4X = it.createVar("u8scope4X", zeroes);
125    Var * FX_invalid = it.createVar("FX_invalid", zeroes);
126    Var * del4 = it.createVar("del4", zeroes);
127   
128    auto it4 = it.createScope();
129    it.createIf(u8pfx4, it4);
130    PabloAST * u8scope42 = it4.createAdvance(u8pfx4, 1, "u8scope42");
131    PabloAST * u8scope43 = it4.createAdvance(u8scope42, 1, "u8scope43");
132    PabloAST * u8scope44 = it4.createAdvance(u8scope43, 1, "u8scope44");
133
134   
135    it4.createAssign(u8scope4nonfinal, it4.createOr(u8scope42, u8scope43));
136    it4.createAssign(u8scope4X, it4.createOr(u8scope4nonfinal, u8scope44));
137    PabloAST * F0_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeByte(0xF0), it4), 1), ccc.compileCC(re::makeByte(0x80, 0x8F), it4));
138    PabloAST * F4_invalid = it4.createAnd(it4.createAdvance(ccc.compileCC(re::makeByte(0xF4), it4), 1), ccc.compileCC(re::makeByte(0x90, 0xBF), it4));
139    it4.createAssign(FX_invalid, it4.createOr(F0_invalid, F4_invalid));
140
141
142    for (int i = 2; i <= 7; i++) {
143        it4.createAssign(u32_2[i], it4.createOr(u32_2[i], it4.createAnd(u8scope44, u8_bits[i])));
144    }
145    it4.createAssign(u32_2[1], it4.createOr(u32_2[1], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[7], 1))));
146    it4.createAssign(u32_2[0], it4.createOr(u32_2[0], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[6], 1))));
147    for (int i = 2; i <= 5; i++) {
148        it4.createAssign(u32_1[i + 2], it4.createOr(u32_1[i + 2], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 1))));
149    }
150    for (int i = 4; i <= 7; i++) {
151        it4.createAssign(u32_1[i - 4], it4.createOr(u32_1[i - 4], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 2))));
152    }
153    it4.createAssign(u32_0[7], it4.createOr(u32_0[7], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[3], 2))));
154    it4.createAssign(u32_0[6], it4.createOr(u32_0[6], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[2], 2))));
155    for (int i = 5; i <= 7; i++) {
156        it4.createAssign(u32_0[i - 2], it4.createOr(u32_0[i - 2], it4.createAnd(u8scope44, it4.createAdvance(u8_bits[i], 3))));
157    }
158       
159    it4.createAssign(del4, it4.createOr(u8scope42, u8scope43));
160   
161    //
162    // Invalid cases
163    PabloAST * anyscope = it.createOr(u8scope22, it.createOr(u8scope3X, u8scope4X), "anyscope");
164    PabloAST * legalpfx = it.createOr(it.createOr(u8pfx2, u8pfx3), u8pfx4);
165    //  Any scope that does not have a suffix byte, and any suffix byte that is not in
166    //  a scope is a mismatch, i.e., invalid UTF-8.
167    PabloAST * mismatch = it.createXor(anyscope, u8suffix);
168    //
169    PabloAST * EF_invalid = it.createOr(EX_invalid, FX_invalid);
170    PabloAST * pfx_invalid = it.createXor(u8pfx, legalpfx);
171    it.createAssign(u8invalid, it.createOr(pfx_invalid, it.createOr(mismatch, EF_invalid)));
172    //PabloAST * u8valid = it.createNot(u8invalid, "u8valid");
173    it.createAssign(error_mask, u8invalid);
174   
175    it.createAssign(delmask, it.createOr(it.createOr(del3, del4), ccc.compileCC(re::makeByte(0xC0, 0xFF), it)));
176   
177    Var * output = this->getOutputStreamVar("u32bit");
178    Var * delmask_out = this->getOutputStreamVar("delMask");
179    Var * error_mask_out = this->getOutputStreamVar("errMask");
180   
181
182    for (unsigned i = 0; i < 8; i++) {
183        main.createAssign(main.createExtract(output, i), u32_0[i]);
184    }
185    for (unsigned i = 0; i < 8; i++) {
186        main.createAssign(main.createExtract(output, i + 8), u32_1[i]);
187    }
188    for (unsigned i = 0; i < 8; i++) {
189        main.createAssign(main.createExtract(output, i + 16), u32_2[i]);
190    }
191    main.createAssign(main.createExtract(delmask_out, main.getInteger(0)), delmask);
192    main.createAssign(main.createExtract(error_mask_out,  main.getInteger(0)), error_mask);
193
194}
Note: See TracBrowser for help on using the repository browser.