source: icGREP/icgrep-devel/icgrep/pablo/pablo_compiler.cpp @ 5361

Last change on this file since 5361 was 5361, checked in by nmedfort, 2 years ago

Work on non-carry collapsing mode.

File size: 27.2 KB
Line 
1/*
2 *  Copyright (c) 2014-16 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 *  icgrep is a trademark of International Characters.
5 */
6
7#include "pablo_compiler.h"
8#include <pablo/pablo_kernel.h>
9#include <pablo/pablo_toolchain.h>
10#include <pablo/codegenstate.h>
11#include <pablo/boolean.h>
12#include <pablo/arithmetic.h>
13#include <pablo/branch.h>
14#include <pablo/pe_advance.h>
15#include <pablo/pe_lookahead.h>
16#include <pablo/pe_matchstar.h>
17#include <pablo/pe_scanthru.h>
18#include <pablo/pe_infile.h>
19#include <pablo/pe_count.h>
20#include <pablo/pe_integer.h>
21#include <pablo/pe_string.h>
22#include <pablo/pe_zeroes.h>
23#include <pablo/pe_ones.h>
24#include <pablo/pe_var.h>
25#include <pablo/ps_assign.h>
26#include <pablo/carry_manager.h>
27#include <IR_Gen/idisa_builder.h>
28#include <kernels/streamset.h>
29#include <llvm/IR/Module.h>
30#include <llvm/Support/raw_os_ostream.h>
31
32using namespace llvm;
33
34namespace pablo {
35
36using TypeId = PabloAST::ClassTypeId;
37
38inline static unsigned getAlignment(const Value * const ptr) {
39    return ptr->getType()->getPrimitiveSizeInBits() / 8;
40}
41
42inline static unsigned getPointerElementAlignment(const Value * const ptr) {
43    return ptr->getType()->getPointerElementType()->getPrimitiveSizeInBits() / 8;
44}
45
46void PabloCompiler::compile() {
47
48    mCarryManager->initializeCodeGen();
49     
50    PabloBlock * const entryBlock = mKernel->getEntryBlock(); assert (entryBlock);
51    mMarker.emplace(entryBlock->createZeroes(), iBuilder->allZeroes());
52    mMarker.emplace(entryBlock->createOnes(), iBuilder->allOnes());
53
54    compileBlock(entryBlock);
55
56    mCarryManager->finalizeCodeGen();
57
58}
59
60void PabloCompiler::initializeKernelData() {
61    examineBlock(mKernel->getEntryBlock());
62    mCarryManager->initializeCarryData(mKernel);
63}
64
65void PabloCompiler::examineBlock(const PabloBlock * const block) {
66    for (const Statement * stmt : *block) {
67        if (LLVM_UNLIKELY(isa<Lookahead>(stmt))) {
68            const Lookahead * const la = cast<Lookahead>(stmt);
69            assert (isa<Var>(la->getExpr()));
70            if (LLVM_LIKELY(la->getAmount() > mKernel->getLookAhead())) {
71                mKernel->setLookAhead(la->getAmount());
72            }
73        } else if (LLVM_UNLIKELY(isa<Branch>(stmt))) {
74            examineBlock(cast<Branch>(stmt)->getBody());
75        } else if (LLVM_UNLIKELY(isa<Count>(stmt))) {
76            mAccumulator.insert(std::make_pair(stmt, iBuilder->getInt32(mKernel->addUnnamedScalar(stmt->getType()))));
77        }
78    }   
79}
80
81inline void PabloCompiler::compileBlock(const PabloBlock * const block) {
82    for (const Statement * statement : *block) {
83        compileStatement(statement);
84    }
85}
86
87void PabloCompiler::compileIf(const If * const ifStatement) {
88    //
89    //  The If-ElseZero stmt:
90    //  if <predicate:expr> then <body:stmt>* elsezero <defined:var>* endif
91    //  If the value of the predicate is nonzero, then determine the values of variables
92    //  <var>* by executing the given statements.  Otherwise, the value of the
93    //  variables are all zero.  Requirements: (a) no variable that is defined within
94    //  the body of the if may be accessed outside unless it is explicitly
95    //  listed in the variable list, (b) every variable in the defined list receives
96    //  a value within the body, and (c) the logical consequence of executing
97    //  the statements in the event that the predicate is zero is that the
98    //  values of all defined variables indeed work out to be 0.
99    //
100    //  Simple Implementation with Phi nodes:  a phi node in the if exit block
101    //  is inserted for each variable in the defined variable list.  It receives
102    //  a zero value from the ifentry block and the defined value from the if
103    //  body.
104    //
105
106    BasicBlock * const ifEntryBlock = iBuilder->GetInsertBlock();
107    BasicBlock * const ifBodyBlock = mKernel->CreateBasicBlock("if.body");
108    BasicBlock * const ifEndBlock = mKernel->CreateBasicBlock("if.end");
109   
110    std::vector<std::pair<const Var *, Value *>> incoming;
111
112    for (const Var * var : ifStatement->getEscaped()) {
113        if (LLVM_UNLIKELY(var->isKernelParameter())) {
114            Value * marker = nullptr;
115            if (var->isScalar()) {
116                marker = mKernel->getScalarFieldPtr(var->getName());
117            } else if (var->isReadOnly()) {
118                marker = mKernel->getInputStreamBlockPtr(var->getName(), iBuilder->getInt32(0));
119            } else if (var->isReadNone()) {
120                marker = mKernel->getOutputStreamBlockPtr(var->getName(), iBuilder->getInt32(0));
121            }
122            mMarker[var] = marker;
123        } else {
124            auto f = mMarker.find(var);
125            if (LLVM_UNLIKELY(f == mMarker.end())) {
126                std::string tmp;
127                raw_string_ostream out(tmp);
128                var->print(out);
129                out << " is uninitialized prior to entering ";
130                ifStatement->print(out);
131                report_fatal_error(out.str());
132            }
133            incoming.emplace_back(var, f->second);
134        }
135    }
136
137    const PabloBlock * ifBody = ifStatement->getBody();
138   
139    mCarryManager->enterIfScope(ifBody);
140
141    Value * condition = compileExpression(ifStatement->getCondition());
142    if (condition->getType() == iBuilder->getBitBlockType()) {
143        condition = iBuilder->bitblock_any(mCarryManager->generateSummaryTest(condition));
144    }
145   
146    iBuilder->CreateCondBr(condition, ifBodyBlock, ifEndBlock);
147   
148    // Entry processing is complete, now handle the body of the if.
149    iBuilder->SetInsertPoint(ifBodyBlock);
150
151    mCarryManager->enterIfBody(ifEntryBlock);
152
153    compileBlock(ifBody);
154
155    mCarryManager->leaveIfBody(iBuilder->GetInsertBlock());
156
157    BasicBlock * ifExitBlock = iBuilder->GetInsertBlock();
158
159    iBuilder->CreateBr(ifEndBlock);
160
161    ifEndBlock->moveAfter(ifExitBlock);
162
163    //End Block
164    iBuilder->SetInsertPoint(ifEndBlock);
165
166    mCarryManager->leaveIfScope(ifEntryBlock, ifExitBlock);
167
168    for (const auto i : incoming) {
169        const Var * var; Value * incoming;
170        std::tie(var, incoming) = i;
171
172        auto f = mMarker.find(var);
173        if (LLVM_UNLIKELY(f == mMarker.end())) {
174            std::string tmp;
175            raw_string_ostream out(tmp);
176            out << "PHINode creation error: ";
177            var->print(out);
178            out << " was not assigned an outgoing value.";
179            report_fatal_error(out.str());
180        }
181
182        Value * const outgoing = f->second;
183        if (LLVM_UNLIKELY(incoming == outgoing)) {
184            continue;
185        }
186
187        if (LLVM_UNLIKELY(incoming->getType() != outgoing->getType())) {
188            std::string tmp;
189            raw_string_ostream out(tmp);
190            out << "PHINode creation error: incoming type of ";
191            var->print(out);
192            out << " (";
193            incoming->getType()->print(out);
194            out << ") differs from the outgoing type (";
195            outgoing->getType()->print(out);
196            out << ") within ";
197            ifStatement->print(out);
198            report_fatal_error(out.str());
199        }
200
201        PHINode * phi = iBuilder->CreatePHI(incoming->getType(), 2, var->getName());
202        phi->addIncoming(incoming, ifEntryBlock);
203        phi->addIncoming(outgoing, ifExitBlock);
204        f->second = phi;
205    }   
206}
207
208void PabloCompiler::compileWhile(const While * const whileStatement) {
209
210    const PabloBlock * const whileBody = whileStatement->getBody();
211
212    BasicBlock * whileEntryBlock = iBuilder->GetInsertBlock();
213
214    const auto escaped = whileStatement->getEscaped();
215
216#ifdef ENABLE_BOUNDED_WHILE
217    PHINode * bound_phi = nullptr;  // Needed for bounded while loops.
218#endif
219    // On entry to the while structure, proceed to execute the first iteration
220    // of the loop body unconditionally. The while condition is tested at the end of
221    // the loop.
222
223    for (const Var * var : escaped) {
224        if (LLVM_UNLIKELY(var->isKernelParameter())) {
225            Value * marker = nullptr;
226            if (var->isScalar()) {
227                marker = mKernel->getScalarFieldPtr(var->getName());
228            } else if (var->isReadOnly()) {
229                marker = mKernel->getInputStreamBlockPtr(var->getName(), iBuilder->getInt32(0));
230            } else if (var->isReadNone()) {
231                marker = mKernel->getOutputStreamBlockPtr(var->getName(), iBuilder->getInt32(0));
232            }
233            mMarker[var] = marker;
234        }
235    }
236
237    mCarryManager->enterLoopScope(whileBody);
238
239    BasicBlock * whileBodyBlock = mKernel->CreateBasicBlock("while.body");
240
241    iBuilder->CreateBr(whileBodyBlock);
242
243    iBuilder->SetInsertPoint(whileBodyBlock);
244
245    //
246    // There are 3 sets of Phi nodes for the while loop.
247    // (1) Carry-ins: (a) incoming carry data first iterations, (b) zero thereafter
248    // (2) Carry-out accumulators: (a) zero first iteration, (b) |= carry-out of each iteration
249    // (3) Next nodes: (a) values set up before loop, (b) modified values calculated in loop.
250#ifdef ENABLE_BOUNDED_WHILE
251    // (4) The loop bound, if any.
252#endif
253
254    std::vector<std::pair<const Var *, PHINode *>> variants;
255
256    // for any Next nodes in the loop body, initialize to (a) pre-loop value.
257    for (const auto var : escaped) {
258        auto f = mMarker.find(var);
259        if (LLVM_UNLIKELY(f == mMarker.end())) {
260            std::string tmp;
261            raw_string_ostream out(tmp);
262            out << "PHINode creation error: ";
263            var->print(out);
264            out << " is uninitialized prior to entering ";
265            whileStatement->print(out);
266            report_fatal_error(out.str());
267        }
268        Value * entryValue = f->second;
269        PHINode * phi = iBuilder->CreatePHI(entryValue->getType(), 2, var->getName());
270        phi->addIncoming(entryValue, whileEntryBlock);
271        f->second = phi;
272        assert(mMarker[var] == phi);
273        variants.emplace_back(var, phi);
274    }
275#ifdef ENABLE_BOUNDED_WHILE
276    if (whileStatement->getBound()) {
277        bound_phi = iBuilder->CreatePHI(iBuilder->getSizeTy(), 2, "while_bound");
278        bound_phi->addIncoming(iBuilder->getSize(whileStatement->getBound()), whileEntryBlock);
279    }
280#endif
281
282    mCarryManager->enterLoopBody(whileEntryBlock);
283
284    compileBlock(whileBody);
285
286    // After the whileBody has been compiled, we may be in a different basic block.
287
288    mCarryManager->leaveLoopBody(iBuilder->GetInsertBlock());
289
290
291#ifdef ENABLE_BOUNDED_WHILE
292    if (whileStatement->getBound()) {
293        Value * new_bound = iBuilder->CreateSub(bound_phi, iBuilder->getSize(1));
294        bound_phi->addIncoming(new_bound, whileExitBlock);
295        condition = iBuilder->CreateAnd(condition, iBuilder->CreateICmpUGT(new_bound, ConstantInt::getNullValue(iBuilder->getSizeTy())));
296    }
297#endif
298
299    BasicBlock * const whileExitBlock = iBuilder->GetInsertBlock();
300
301    // and for any variant nodes in the loop body
302    for (const auto variant : variants) {
303        const Var * var; PHINode * incomingPhi;
304        std::tie(var, incomingPhi) = variant;
305        const auto f = mMarker.find(var);
306        if (LLVM_UNLIKELY(f == mMarker.end())) {
307            std::string tmp;
308            raw_string_ostream out(tmp);
309            out << "PHINode creation error: ";
310            var->print(out);
311            out << " is no longer assigned a value.";
312            report_fatal_error(out.str());
313        }
314
315        Value * const outgoingValue = f->second;
316
317        if (LLVM_UNLIKELY(incomingPhi->getType() != outgoingValue->getType())) {
318            std::string tmp;
319            raw_string_ostream out(tmp);
320            out << "PHINode creation error: incoming type of ";
321            var->print(out);
322            out << " (";
323            incomingPhi->getType()->print(out);
324            out << ") differs from the outgoing type (";
325            outgoingValue->getType()->print(out);
326            out << ") within ";
327            whileStatement->print(out);
328            report_fatal_error(out.str());
329        }
330
331        incomingPhi->addIncoming(outgoingValue, whileExitBlock);
332    }
333
334    BasicBlock * whileEndBlock = mKernel->CreateBasicBlock("while.end");
335
336    // Terminate the while loop body with a conditional branch back.
337    Value * condition = compileExpression(whileStatement->getCondition());
338    if (condition->getType() == iBuilder->getBitBlockType()) {
339        condition = iBuilder->bitblock_any(mCarryManager->generateSummaryTest(condition));
340    }
341
342    iBuilder->CreateCondBr(condition, whileBodyBlock, whileEndBlock);
343
344    iBuilder->SetInsertPoint(whileEndBlock);
345
346    mCarryManager->leaveLoopScope(whileEntryBlock, whileExitBlock);
347
348}
349
350void PabloCompiler::compileStatement(const Statement * const stmt) {
351
352    if (LLVM_UNLIKELY(isa<If>(stmt))) {
353        compileIf(cast<If>(stmt));
354    } else if (LLVM_UNLIKELY(isa<While>(stmt))) {
355        compileWhile(cast<While>(stmt));
356    } else {
357        const PabloAST * expr = stmt;
358        Value * value = nullptr;
359        if (LLVM_UNLIKELY(isa<Assign>(stmt))) {
360            value = compileExpression(cast<Assign>(stmt)->getValue());
361            expr = cast<Assign>(stmt)->getVariable();
362            Value * ptr = nullptr;
363            if (LLVM_LIKELY(isa<Var>(expr))) {
364                const Var * var = cast<Var>(expr);
365                if (LLVM_UNLIKELY(var->isReadOnly())) {
366                    std::string tmp;
367                    raw_string_ostream out(tmp);
368                    out << mKernel->getName();
369                    out << " cannot assign value to ";
370                    var->print(out);
371                    out << ": ";
372                    var->print(out);
373                    out << " is read only";
374                    report_fatal_error(out.str());
375                }
376                if (var->isKernelParameter()) {
377                    if (var->isScalar()) {
378                        ptr = mKernel->getScalarFieldPtr(var->getName());
379                    } else {
380                        ptr = mKernel->getOutputStreamBlockPtr(var->getName(), iBuilder->getInt32(0));
381                    }
382                }
383            } else if (isa<Extract>(expr)) {
384                const auto f = mMarker.find(expr);
385                if (LLVM_UNLIKELY(f == mMarker.end())) {
386                    std::string tmp;
387                    raw_string_ostream out(tmp);
388                    out << mKernel->getName();
389                    out << " cannot assign value to ";
390                    expr->print(out);
391                    out << ": ";
392                    expr->print(out);
393                    out << " does not dominate ";
394                    stmt->print(out);
395                    report_fatal_error(out.str());
396                }
397                ptr = f->second;
398                assert (ptr);
399            }
400            if (ptr) {
401                iBuilder->CreateAlignedStore(value, ptr, getAlignment(value));
402                value = ptr;
403            }
404        } else if (const Extract * extract = dyn_cast<Extract>(stmt)) {
405            Value * index = compileExpression(extract->getIndex());
406            Var * const array = dyn_cast<Var>(extract->getArray());
407            if (LLVM_LIKELY(array && array->isKernelParameter())) {
408                if (array->isReadOnly()) {
409                    value = mKernel->getInputStreamBlockPtr(array->getName(), index);
410                } else if (array->isReadNone()) {
411                    value = mKernel->getOutputStreamBlockPtr(array->getName(), index);
412                } else {
413                    std::string tmp;
414                    raw_string_ostream out(tmp);
415                    out << mKernel->getName();
416                    out << " stream ";
417                    expr->print(out);
418                    out << " cannot be read or written to";
419                    report_fatal_error(out.str());
420                }
421            } else {
422                Value * ptr = compileExpression(extract->getArray(), false);
423                value = iBuilder->CreateGEP(ptr, {ConstantInt::getNullValue(index->getType()), index}, "extract");
424            }
425        } else if (isa<And>(stmt)) {
426            value = compileExpression(stmt->getOperand(0));
427            for (unsigned i = 1; i < stmt->getNumOperands(); ++i) {
428                value = iBuilder->simd_and(value, compileExpression(stmt->getOperand(1)));
429            }
430        } else if (isa<Or>(stmt)) {
431            value = compileExpression(stmt->getOperand(0));
432            for (unsigned i = 1; i < stmt->getNumOperands(); ++i) {
433                value = iBuilder->simd_or(value, compileExpression(stmt->getOperand(1)));
434            }
435        } else if (isa<Xor>(stmt)) {
436            value = compileExpression(stmt->getOperand(0));
437            for (unsigned i = 1; i < stmt->getNumOperands(); ++i) {
438                value = iBuilder->simd_xor(value, compileExpression(stmt->getOperand(1)));
439            }
440        } else if (const Sel * sel = dyn_cast<Sel>(stmt)) {
441            Value* ifMask = compileExpression(sel->getCondition());
442            Value* ifTrue = iBuilder->simd_and(ifMask, compileExpression(sel->getTrueExpr()));
443            Value* ifFalse = iBuilder->simd_and(iBuilder->simd_not(ifMask), compileExpression(sel->getFalseExpr()));
444            value = iBuilder->simd_or(ifTrue, ifFalse);
445        } else if (isa<Not>(stmt)) {
446            value = iBuilder->simd_not(compileExpression(stmt->getOperand(0)));
447        } else if (isa<Advance>(stmt)) {
448            const Advance * const adv = cast<Advance>(stmt);
449            // If our expr is an Extract op on a mutable Var then we need to pass the index value to the carry
450            // manager so that it properly selects the correct carry bit.
451            value = mCarryManager->advanceCarryInCarryOut(adv, compileExpression(adv->getExpression()));
452        } else if (const MatchStar * mstar = dyn_cast<MatchStar>(stmt)) {
453            Value * const marker = compileExpression(mstar->getMarker());
454            Value * const cc = compileExpression(mstar->getCharClass());
455            Value * const marker_and_cc = iBuilder->simd_and(marker, cc);
456            Value * const sum = mCarryManager->addCarryInCarryOut(mstar, marker_and_cc, cc);
457            value = iBuilder->simd_or(iBuilder->simd_xor(sum, cc), marker);
458        } else if (const ScanThru * sthru = dyn_cast<ScanThru>(stmt)) {
459            Value * const from = compileExpression(sthru->getScanFrom());
460            Value * const thru = compileExpression(sthru->getScanThru());
461            Value * const sum = mCarryManager->addCarryInCarryOut(sthru, from, thru);
462            value = iBuilder->simd_and(sum, iBuilder->simd_not(thru));
463        } else if (const ScanTo * sthru = dyn_cast<ScanTo>(stmt)) {
464            Value * const marker_expr = compileExpression(sthru->getScanFrom());
465            Value * const to = iBuilder->simd_xor(compileExpression(sthru->getScanTo()), mKernel->getScalarField("EOFmask"));
466            Value * const sum = mCarryManager->addCarryInCarryOut(sthru, marker_expr, iBuilder->simd_not(to));
467            value = iBuilder->simd_and(sum, to);
468        } else if (const AdvanceThenScanThru * sthru = dyn_cast<AdvanceThenScanThru>(stmt)) {
469            Value * const from = compileExpression(sthru->getScanFrom());
470            Value * const thru = compileExpression(sthru->getScanThru());
471            Value * const sum = mCarryManager->addCarryInCarryOut(sthru, from, iBuilder->simd_or(from, thru));
472            value = iBuilder->simd_and(sum, iBuilder->simd_not(thru));
473        } else if (const AdvanceThenScanTo * sthru = dyn_cast<AdvanceThenScanTo>(stmt)) {
474            Value * const from = compileExpression(sthru->getScanFrom());
475            Value * const to = iBuilder->simd_xor(compileExpression(sthru->getScanTo()), mKernel->getScalarField("EOFmask"));
476            Value * const sum = mCarryManager->addCarryInCarryOut(sthru, from, iBuilder->simd_or(from, iBuilder->simd_not(to)));
477            value = iBuilder->simd_and(sum, to);
478        } else if (const InFile * e = dyn_cast<InFile>(stmt)) {
479            Value * EOFmask = mKernel->getScalarField("EOFmask");
480            value = iBuilder->simd_and(compileExpression(e->getExpr()), iBuilder->simd_not(EOFmask));
481        } else if (const AtEOF * e = dyn_cast<AtEOF>(stmt)) {
482            Value * EOFbit = mKernel->getScalarField("EOFbit");
483            value = iBuilder->simd_and(compileExpression(e->getExpr()), EOFbit);
484        } else if (const Count * c = dyn_cast<Count>(stmt)) {
485            Value * const to_count = compileExpression(c->getExpr());
486            const unsigned counterSize = iBuilder->getSizeTy()->getBitWidth();
487            const auto f = mAccumulator.find(c);
488            if (LLVM_UNLIKELY(f == mAccumulator.end())) {
489                report_fatal_error("Unknown accumulator: " + c->getName().str());
490            }
491            Value * ptr = mKernel->getScalarFieldPtr(f->second);
492            const auto alignment = getPointerElementAlignment(ptr);
493            Value * count = iBuilder->CreateAlignedLoad(ptr, alignment, c->getName() + "_accumulator");
494            Value * const partial = iBuilder->simd_popcount(counterSize, to_count);
495            if (LLVM_UNLIKELY(counterSize <= 1)) {
496                value = partial;
497            } else {
498                value = iBuilder->mvmd_extract(counterSize, partial, 0);
499                const auto fields = (iBuilder->getBitBlockWidth() / counterSize);
500                for (unsigned i = 1; i < fields; ++i) {
501                    Value * temp = iBuilder->mvmd_extract(counterSize, partial, i);
502                    value = iBuilder->CreateAdd(value, temp);
503                }
504            }
505            value = iBuilder->CreateAdd(value, count);
506            iBuilder->CreateAlignedStore(value, ptr, alignment);
507        } else if (const Lookahead * l = dyn_cast<Lookahead>(stmt)) {
508            Var * var = nullptr;
509            PabloAST * stream = l->getExpr();
510            Value * index = iBuilder->getInt32(0);
511
512            if (LLVM_UNLIKELY(isa<Extract>(stream))) {
513                stream = cast<Extract>(stream)->getArray();
514                index = compileExpression(cast<Extract>(stream)->getIndex());
515            }
516            if (LLVM_LIKELY(isa<Var>(stream))) {
517                var = cast<Var>(stream);
518                if (!var->isKernelParameter() || var->isReadNone()) {
519                    std::string tmp;
520                    raw_string_ostream out(tmp);
521                    out << "Lookahead operation cannot be applied to ";
522                    stmt->print(out);
523                    out << ": ";
524                    var->print(out);
525                    out << " is not an input stream";
526                    report_fatal_error(out.str());
527                }
528            }
529
530            const auto bit_shift = (l->getAmount() % iBuilder->getBitBlockWidth());
531            const auto block_shift = (l->getAmount() / iBuilder->getBitBlockWidth());
532
533            Value * ptr = mKernel->getAdjustedInputStreamBlockPtr(iBuilder->getSize(block_shift), var->getName(), index);
534            Value * lookAhead = iBuilder->CreateBlockAlignedLoad(ptr);
535            if (bit_shift == 0) {  // Simple case with no intra-block shifting.
536                value = lookAhead;
537            } else { // Need to form shift result from two adjacent blocks.
538                Value * ptr = mKernel->getAdjustedInputStreamBlockPtr(iBuilder->getSize(block_shift + 1), var->getName(), index);
539                Value * lookAhead1 = iBuilder->CreateBlockAlignedLoad(ptr);
540                if (LLVM_UNLIKELY((bit_shift % 8) == 0)) { // Use a single whole-byte shift, if possible.
541                    value = iBuilder->mvmd_dslli(8, lookAhead1, lookAhead, (bit_shift / 8));
542                } else {
543                    Type  * const streamType = iBuilder->getIntNTy(iBuilder->getBitBlockWidth());
544                    Value * b1 = iBuilder->CreateBitCast(lookAhead1, streamType);
545                    Value * b0 = iBuilder->CreateBitCast(lookAhead, streamType);
546                    Value * result = iBuilder->CreateOr(iBuilder->CreateShl(b1, iBuilder->getBitBlockWidth() - bit_shift), iBuilder->CreateLShr(b0, bit_shift));
547                    value = iBuilder->CreateBitCast(result, iBuilder->getBitBlockType());
548                }
549            }
550
551        } else {
552            std::string tmp;
553            raw_string_ostream out(tmp);
554            out << "PabloCompiler: statement ";
555            stmt->print(out);
556            out << " was not recognized by the compiler";
557            report_fatal_error(out.str());
558        }
559
560        mMarker[expr] = value;
561        if (DebugOptionIsSet(DumpTrace)) {
562            const String & name = isa<Var>(expr) ? cast<Var>(expr)->getName() : cast<Statement>(expr)->getName();
563            if (value->getType()->isPointerTy()) {
564                value = iBuilder->CreateLoad(value);
565            }
566            if (value->getType()->isVectorTy()) {
567                iBuilder->CallPrintRegister(name.str(), value);
568            } else if (value->getType()->isIntegerTy()) {
569                iBuilder->CallPrintInt(name.str(), value);
570            }
571        }
572    }
573}
574
575Value * PabloCompiler::compileExpression(const PabloAST * expr, const bool ensureLoaded) const {
576    if (LLVM_UNLIKELY(isa<Ones>(expr))) {
577        return iBuilder->allOnes();
578    } else if (LLVM_UNLIKELY(isa<Zeroes>(expr))) {
579        return iBuilder->allZeroes();
580    } else if (LLVM_UNLIKELY(isa<Integer>(expr))) {
581        return ConstantInt::get(cast<Integer>(expr)->getType(), cast<Integer>(expr)->value());
582    } else if (LLVM_UNLIKELY(isa<Operator>(expr))) {
583        const Operator * op = cast<Operator>(expr);
584        Value * lh = compileExpression(op->getLH());
585        Value * rh = compileExpression(op->getRH());
586        if (LLVM_UNLIKELY(lh->getType() != rh->getType())) {
587            std::string tmp;
588            raw_string_ostream out(tmp);
589            out << "Operator creation error: left hand type of ";
590            expr->print(out);
591            out << " (";
592            lh->getType()->print(out);
593            out << ") differs from right hand type (";
594            rh->getType()->print(out);
595            out << ")";
596            report_fatal_error(out.str());
597        }
598        switch (op->getClassTypeId()) {
599            case TypeId::Add:
600                return iBuilder->CreateAdd(lh, rh);
601            case TypeId::Subtract:
602                return iBuilder->CreateSub(lh, rh);
603            case TypeId::LessThan:
604                return iBuilder->CreateICmpSLT(lh, rh);
605            case TypeId::LessThanEquals:
606                return iBuilder->CreateICmpSLE(lh, rh);
607            case TypeId::Equals:
608                return iBuilder->CreateICmpEQ(lh, rh);
609            case TypeId::GreaterThanEquals:
610                return iBuilder->CreateICmpSGE(lh, rh);
611            case TypeId::GreaterThan:
612                return iBuilder->CreateICmpSGT(lh, rh);
613            case TypeId::NotEquals:
614                return iBuilder->CreateICmpNE(lh, rh);
615            default: break;
616        }
617        std::string tmp;
618        raw_string_ostream out(tmp);
619        expr->print(out);
620        out << " is not a valid Operator";
621        report_fatal_error(out.str());
622    }
623    const auto f = mMarker.find(expr);
624    if (LLVM_UNLIKELY(f == mMarker.end())) {
625        std::string tmp;
626        raw_string_ostream out(tmp);
627        out << "Compilation error: ";
628        expr->print(out);
629        out << " was used before definition!";
630        report_fatal_error(out.str());
631    }
632    Value * value = f->second;
633    if (LLVM_UNLIKELY(isa<GetElementPtrInst>(value) && ensureLoaded)) {
634        value = iBuilder->CreateAlignedLoad(value, getPointerElementAlignment(value));
635    }
636    return value;
637}
638
639PabloCompiler::PabloCompiler(PabloKernel * kernel)
640: iBuilder(kernel->getBuilder())
641, mKernel(kernel)
642, mCarryManager(new CarryManager(iBuilder)) {
643
644}
645
646PabloCompiler::~PabloCompiler() {
647    delete mCarryManager;
648}
649
650}
Note: See TracBrowser for help on using the repository browser.