source: icGREP/icgrep-devel/icgrep/cc/cc_compiler.cpp @ 5872

Last change on this file since 5872 was 5872, checked in by cameron, 20 months ago

Decoupling CC compilers from Pablo Kernel

File size: 10.7 KB
Line 
1/*
2 *  Copyright (c) 2018 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 *  icgrep is a trademark of International Characters.
5 */
6
7#include "cc_compiler.h"
8#include <cc/alphabet.h>
9#include <pablo/codegenstate.h>
10#include <pablo/boolean.h>
11#include <pablo/pe_zeroes.h>
12#include <pablo/pe_ones.h>
13#include <pablo/builder.hpp>
14#include <pablo/pablo_kernel.h>
15#include <llvm/IR/DerivedTypes.h>
16#include <llvm/Support/ErrorHandling.h>
17#include <llvm/Support/raw_ostream.h>
18
19using namespace re;
20using namespace pablo;
21using namespace llvm;
22
23namespace cc {
24    CC_Compiler::CC_Compiler(pablo::PabloBlock * scope)
25    : mBuilder(scope) {
26    }
27   
28
29Parabix_CC_Compiler::Parabix_CC_Compiler(pablo::PabloBlock * scope, std::vector<pablo::PabloAST *> basisBitSet)
30: CC_Compiler(scope)
31, mEncodingBits(basisBitSet.size())
32, mBasisBit(basisBitSet) {
33    mEncodingMask = (static_cast<unsigned>(1) << mEncodingBits) - static_cast<unsigned>(1);
34}
35
36PabloAST * Parabix_CC_Compiler::compileCC(const std::string & canonicalName, const CC *cc, PabloBlock & block) {
37    PabloAST * const var = charset_expr(cc, block);
38    if (LLVM_LIKELY(isa<Statement>(var))) {
39        cast<Statement>(var)->setName(block.makeName(canonicalName));
40    }
41    return var;
42}
43
44PabloAST * Parabix_CC_Compiler::compileCC(const std::string & canonicalName, const CC *cc, PabloBuilder & builder) {
45    PabloAST * const var = charset_expr(cc, builder);
46    if (LLVM_LIKELY(isa<Statement>(var))) {
47        cast<Statement>(var)->setName(builder.makeName(canonicalName));
48    }
49    return var;
50}
51   
52template<typename PabloBlockOrBuilder>
53PabloAST * Parabix_CC_Compiler::charset_expr(const CC * cc, PabloBlockOrBuilder & pb) {
54    if (cc->empty()) {
55        return pb.createZeroes();
56    }
57    if (cc->size() > 2) {
58        bool combine = true;
59        for (const interval_t & i : *cc) {
60            if (lo_codepoint(i) != hi_codepoint(i)) {
61                combine = false;
62                break;
63            }
64        }
65        if (combine) {
66            auto i = cc->begin(), e = cc->end();
67            for (auto j = i; ++j != e; i = j) {
68                if ((lo_codepoint(i) + 2) != lo_codepoint(j)) {
69                    combine  = false;
70                    break;
71                }
72            }
73            if (combine) {
74                codepoint_t lo = lo_codepoint(cc->front());
75                codepoint_t hi = lo_codepoint(cc->back());
76                lo &= (mEncodingMask - 1);
77                hi |= (mEncodingMask ^ (mEncodingMask - 1));
78                PabloAST * expr = make_range(lo, hi, pb);
79                PabloAST * bit0 = getBasisVar(0);
80                if ((lo & 1) == 0) {
81                    bit0 = pb.createNot(bit0);
82                }
83                return pb.createAnd(expr, bit0);
84            }
85        }
86    }
87    PabloAST * expr = nullptr;
88    for (const interval_t & i : *cc) {
89        PabloAST * temp = char_or_range_expr(lo_codepoint(i), hi_codepoint(i), pb);
90        expr = (expr == nullptr) ? temp : pb.createOr(expr, temp);
91    }
92    return expr;
93   
94}
95
96template<typename PabloBlockOrBuilder>
97PabloAST * Parabix_CC_Compiler::bit_pattern_expr(const unsigned pattern, unsigned selected_bits, PabloBlockOrBuilder & pb) {
98    if (LLVM_UNLIKELY(selected_bits == 0)) {
99        return pb.createOnes();
100    } else {
101        std::vector<PabloAST*> terms;
102        for (unsigned i = 0; selected_bits; ++i) {
103            unsigned test_bit = static_cast<unsigned>(1) << i;
104            PabloAST * term = pb.createOnes();
105            if (selected_bits & test_bit) {
106                term = getBasisVar(i);
107                if ((pattern & test_bit) == 0) {
108                    term = pb.createNot(term);
109                }
110                selected_bits ^= test_bit;
111            }
112            terms.push_back(term);
113        }
114        if (terms.size() > 1) {
115            //Reduce the list so that all of the expressions are contained within a single expression.
116            std::vector<PabloAST*> temp;
117            temp.reserve(terms.size());
118            do {
119                for (unsigned i = 0; i < (terms.size() / 2); i++) {
120                    temp.push_back(pb.createAnd(terms[2 * i], terms[(2 * i) + 1]));
121                }
122                if (terms.size() % 2 == 1) {
123                    temp.push_back(terms.back());
124                }
125                terms.swap(temp);
126                temp.clear();
127            }
128            while (terms.size() > 1);
129        }
130        assert (terms.size() == 1);
131        return terms.front();
132    }
133}
134
135template<typename PabloBlockOrBuilder>
136inline PabloAST * Parabix_CC_Compiler::char_test_expr(const codepoint_t ch, PabloBlockOrBuilder &pb) {
137    return bit_pattern_expr(ch, mEncodingMask, pb);
138}
139
140template<typename PabloBlockOrBuilder>
141PabloAST * Parabix_CC_Compiler::make_range(const codepoint_t n1, const codepoint_t n2, PabloBlockOrBuilder & pb) {
142    codepoint_t diff_count = 0;
143
144    for (codepoint_t diff_bits = n1 ^ n2; diff_bits; diff_count++, diff_bits >>= 1);
145
146    if ((n2 < n1) || (diff_count > mEncodingBits)) {
147        llvm::report_fatal_error("Bad Range: [" + std::to_string(n1) + "," +
148                                 std::to_string(n2) + "] for " +
149                                 std::to_string(mEncodingBits) + "-bit encoding");
150    }
151
152    const codepoint_t mask0 = (static_cast<codepoint_t>(1) << diff_count) - 1;
153
154    PabloAST * common = bit_pattern_expr(n1 & ~mask0, mEncodingMask ^ mask0, pb);
155
156    if (diff_count == 0) return common;
157
158    const codepoint_t mask1 = (static_cast<codepoint_t>(1) << (diff_count - 1)) - 1;
159
160    PabloAST* lo_test = GE_Range(diff_count - 1, n1 & mask1, pb);
161    PabloAST* hi_test = LE_Range(diff_count - 1, n2 & mask1, pb);
162
163    return pb.createAnd(common, pb.createSel(getBasisVar(diff_count - 1), hi_test, lo_test));
164}
165
166template<typename PabloBlockOrBuilder>
167PabloAST * Parabix_CC_Compiler::GE_Range(const unsigned N, const unsigned n, PabloBlockOrBuilder &pb) {
168    if (N == 0) {
169        return pb.createOnes(); //Return a true literal.
170    }
171    else if (((N % 2) == 0) && ((n >> (N - 2)) == 0)) {
172        return pb.createOr(pb.createOr(getBasisVar(N - 1), getBasisVar(N - 2)), GE_Range(N - 2, n, pb));
173    }
174    else if (((N % 2) == 0) && ((n >> (N - 2)) == 3)) {
175        return pb.createAnd(pb.createAnd(getBasisVar(N - 1), getBasisVar(N - 2)), GE_Range(N - 2, n - (3 << (N - 2)), pb));
176    }
177    else if (N >= 1)
178    {
179        int hi_bit = n & (1 << (N - 1));
180        int lo_bits = n - hi_bit;
181        PabloAST * lo_range = GE_Range(N - 1, lo_bits, pb);
182        if (hi_bit == 0)
183        {
184            /*
185              If the hi_bit of n is not set, then whenever the corresponding bit
186              is set in the target, the target will certaily be >=.  Otherwise,
187              the value of GE_range(N-1), lo_range) is required.
188            */
189            return pb.createOr(getBasisVar(N - 1), lo_range);
190        }
191        else
192        {
193            /*
194              If the hi_bit of n is set, then the corresponding bit must be set
195              in the target for >= and GE_range(N-1, lo_bits) must also be true.
196            */
197            return pb.createAnd(getBasisVar(N - 1), lo_range);
198        }
199    }
200    throw std::runtime_error("Unexpected input given to ge_range: " + std::to_string(N) + ", " + std::to_string(n));
201}
202
203template<typename PabloBlockOrBuilder>
204PabloAST * Parabix_CC_Compiler::LE_Range(const unsigned N, const unsigned n, PabloBlockOrBuilder & pb) {
205    /*
206      If an N-bit pattern is all ones, then it is always true that any n-bit value is LE this pattern.
207      Handling this as a special case avoids an overflow issue with n+1 requiring more than N bits.
208    */
209    if ((n + 1) == (1UL << N)) {
210        return pb.createOnes(); //True.
211    } else {
212        return pb.createNot(GE_Range(N, n + 1, pb));
213    }
214}
215
216template<typename PabloBlockOrBuilder>
217inline PabloAST * Parabix_CC_Compiler::char_or_range_expr(const codepoint_t lo, const codepoint_t hi, PabloBlockOrBuilder &pb) {
218    if (lo == hi) {
219        return char_test_expr(lo, pb);
220    } else if (lo < hi) {
221        return make_range(lo, hi, pb);
222    }
223    llvm::report_fatal_error(std::string("Invalid Character Set Range: [") + std::to_string(lo) + "," + std::to_string(hi) + "]");
224}
225
226inline PabloAST * Parabix_CC_Compiler::getBasisVar(const unsigned i) const {
227    assert (i < mEncodingBits);
228    const unsigned index = mEncodingBits - i - 1; assert (index < mEncodingBits);
229    assert (mBasisBit[index]);
230    return mBasisBit[index];
231}
232
233   
234PabloAST * compileCCfromCodeUnitStream(const CC * cc, PabloAST * codeUnitStream, PabloBuilder & pb) {
235    const Alphabet * a = cc->getAlphabet();
236    if (!isa<CodeUnitAlphabet>(a)) {
237        llvm::report_fatal_error("compileCCfromCodeUnitStream must be applied to a CC with a CodeUnitAlphabet");
238    }
239    unsigned codeUnitWidth = cast<const CodeUnitAlphabet>(a)->getCodeUnitBitWidth();
240    unsigned topBit = 1 << (codeUnitWidth - 1);
241    unsigned maxCodeVal = (topBit - 1) | topBit;
242    PabloAST * ccStrm = pb.createZeroes();
243    for (const auto & interval : *cc) {
244        unsigned lo = re::lo_codepoint(interval);
245        unsigned hi = re::hi_codepoint(interval);
246        if (lo == hi) {
247            PabloAST * testVal = pb.createRepeat(codeUnitWidth, lo);
248            ccStrm = pb.createOr(ccStrm, pb.createEquals(codeUnitStream, testVal));
249        } else if (lo == 0) {
250            if (hi == maxCodeVal) {
251                // All code units
252                ccStrm = pb.createOnes();
253            } else {
254                PabloAST * testVal = pb.createRepeat(codeUnitWidth, hi+1);
255                ccStrm = pb.createOr(ccStrm, pb.createLessThan(codeUnitStream, testVal));
256            }
257        } else if (hi == maxCodeVal) {
258            PabloAST * testVal = pb.createRepeat(codeUnitWidth, lo);
259            ccStrm = pb.createOr(ccStrm, pb.createNot(pb.createLessThan(codeUnitStream, testVal)));
260        } else {
261            PabloAST * testVal_lo = pb.createRepeat(codeUnitWidth, lo);
262            PabloAST * testVal_hi = pb.createRepeat(codeUnitWidth, hi + 1);
263            ccStrm = pb.createOr(ccStrm, pb.createAnd(pb.createNot(pb.createLessThan(codeUnitStream, testVal_lo)),
264                                                      pb.createLessThan(codeUnitStream, testVal_hi)));
265        }
266    }
267    return ccStrm;
268}
269   
270Direct_CC_Compiler::Direct_CC_Compiler(pablo::PabloBlock * scope, pablo::PabloAST * codeUnitStream)
271: CC_Compiler(scope)
272, mCodeUnitStream(codeUnitStream) {
273}
274
275pablo::PabloAST * Direct_CC_Compiler::compileCC(const std::string & name, const re::CC *cc, pablo::PabloBlock & block) {
276    PabloBuilder pb(&block);
277    return compileCC(name, cc, pb);
278}
279
280pablo::PabloAST * Direct_CC_Compiler::compileCC(const std::string & name, const re::CC *cc, pablo::PabloBuilder & b) {
281    return compileCCfromCodeUnitStream(cc, mCodeUnitStream, b);
282}
283
284} // end of namespace cc
Note: See TracBrowser for help on using the repository browser.