source: icGREP/icgrep-devel/icgrep/IR_Gen/CBuilder.cpp @ 5403

Last change on this file since 5403 was 5403, checked in by nmedfort, 2 years ago

Work on the pipeline algorithms.

File size: 23.3 KB
Line 
1/*
2 *  Copyright (c) 2016 International Characters.
3 *  This software is licensed to the public under the Open Software License 3.0.
4 *  icgrep is a trademark of International Characters.
5 */
6
7#include "CBuilder.h"
8#include <llvm/IR/Module.h>
9#include <llvm/IR/Constants.h>
10#include <llvm/IR/Intrinsics.h>
11#include <llvm/IR/TypeBuilder.h>
12#include <llvm/IR/MDBuilder.h>
13#include <llvm/Support/raw_ostream.h>
14#include <kernels/toolchain.h>
15#include <fcntl.h>
16#include <unistd.h>
17#include <sys/mman.h>
18#include <errno.h>
19
20using namespace llvm;
21
22Value * CBuilder::CreateOpenCall(Value * filename, Value * oflag, Value * mode) {
23    Function * openFn = mMod->getFunction("open");
24    if (openFn == nullptr) {
25        IntegerType * int32Ty = getInt32Ty();
26        PointerType * int8PtrTy = getInt8PtrTy();
27        openFn = cast<Function>(mMod->getOrInsertFunction("open",
28                                                         int32Ty, int8PtrTy, int32Ty, int32Ty, nullptr));
29    }
30    return CreateCall(openFn, {filename, oflag, mode});
31}
32
33// ssize_t write(int fildes, const void *buf, size_t nbyte);
34Value * CBuilder::CreateWriteCall(Value * fildes, Value * buf, Value * nbyte) {
35    Function * write = mMod->getFunction("write");
36    if (write == nullptr) {
37        IntegerType * sizeTy = getSizeTy();
38        IntegerType * int32Ty = getInt32Ty();
39        PointerType * int8PtrTy = getInt8PtrTy();
40        write = cast<Function>(mMod->getOrInsertFunction("write",
41                                                        AttributeSet().addAttribute(mMod->getContext(), 2U, Attribute::NoAlias),
42                                                        sizeTy, int32Ty, int8PtrTy, sizeTy, nullptr));
43    }
44    return CreateCall(write, {fildes, buf, nbyte});
45}
46
47Value * CBuilder::CreateReadCall(Value * fildes, Value * buf, Value * nbyte) {
48    Function * readFn = mMod->getFunction("read");
49    if (readFn == nullptr) {
50        IntegerType * sizeTy = getSizeTy();
51        IntegerType * int32Ty = getInt32Ty();
52        PointerType * int8PtrTy = getInt8PtrTy();
53        readFn = cast<Function>(mMod->getOrInsertFunction("read",
54                                                         AttributeSet().addAttribute(mMod->getContext(), 2U, Attribute::NoAlias),
55                                                         sizeTy, int32Ty, int8PtrTy, sizeTy, nullptr));
56    }
57    return CreateCall(readFn, {fildes, buf, nbyte});
58}
59
60Value * CBuilder::CreateCloseCall(Value * fildes) {
61    Function * closeFn = mMod->getFunction("close");
62    if (closeFn == nullptr) {
63        IntegerType * int32Ty = getInt32Ty();
64        FunctionType * fty = FunctionType::get(int32Ty, {int32Ty}, true);
65        closeFn = Function::Create(fty, Function::ExternalLinkage, "close", mMod);
66    }
67    return CreateCall(closeFn, {fildes});
68}
69
70Function * CBuilder::GetPrintf() {
71    Function * printf = mMod->getFunction("printf");
72    if (printf == nullptr) {
73        FunctionType * fty = FunctionType::get(getInt32Ty(), {getInt8PtrTy()}, true);
74        printf = Function::Create(fty, Function::ExternalLinkage, "printf", mMod);
75        printf->addAttribute(1, Attribute::NoAlias);
76    }
77    return printf;
78}
79
80void CBuilder::CallPrintInt(const std::string & name, Value * const value) {
81    Constant * printRegister = mMod->getFunction("PrintInt");
82    if (LLVM_UNLIKELY(printRegister == nullptr)) {
83        FunctionType *FT = FunctionType::get(getVoidTy(), { PointerType::get(getInt8Ty(), 0), getSizeTy() }, false);
84        Function * function = Function::Create(FT, Function::InternalLinkage, "PrintInt", mMod);
85        auto arg = function->arg_begin();
86        std::string out = "%-40s = %" PRIx64 "\n";
87        BasicBlock * entry = BasicBlock::Create(mMod->getContext(), "entry", function);
88        IRBuilder<> builder(entry);
89        std::vector<Value *> args;
90        args.push_back(GetString(out.c_str()));
91        Value * const name = &*(arg++);
92        name->setName("name");
93        args.push_back(name);
94        Value * value = &*arg;
95        value->setName("value");
96        args.push_back(value);
97        builder.CreateCall(GetPrintf(), args);
98        builder.CreateRetVoid();
99
100        printRegister = function;
101    }
102    Value * num = nullptr;
103    if (value->getType()->isPointerTy()) {
104        num = CreatePtrToInt(value, getSizeTy());
105    } else {
106        num = CreateZExtOrBitCast(value, getSizeTy());
107    }
108    assert (num->getType()->isIntegerTy());
109    CreateCall(printRegister, {GetString(name.c_str()), num});
110}
111
112Value * CBuilder::CreateMalloc(Value * size) {
113    Module * const m = getModule();
114    DataLayout DL(m);
115    IntegerType * const intTy = getIntPtrTy(DL);
116    if (size->getType() != intTy) {
117        if (isa<Constant>(size)) {
118            size = ConstantExpr::getIntegerCast(cast<Constant>(size), intTy, false);
119        } else {
120            size = CreateZExtOrTrunc(size, intTy);
121        }
122    }   
123    PointerType * const voidPtrTy = getVoidPtrTy();
124    Function * malloc = m->getFunction("malloc");
125    if (malloc == nullptr) {
126        FunctionType * fty = FunctionType::get(voidPtrTy, {intTy}, false);
127        malloc = Function::Create(fty, Function::ExternalLinkage, "malloc", mMod);
128        malloc->setCallingConv(CallingConv::C);
129        malloc->setDoesNotAlias(0);
130    }
131    assert (size->getType() == intTy);
132    CallInst * ci = CreateCall(malloc, size); assert (ci);
133    ci->setTailCall();
134    ci->setCallingConv(malloc->getCallingConv());
135    Value * ptr = CreatePointerCast(ci, voidPtrTy); assert (ptr);
136    CreateAssert(ptr, "FATAL ERROR: out of memory");
137    return ptr;
138}
139
140Value * CBuilder::CreateAlignedMalloc(Value * size, const unsigned alignment) {
141    if (LLVM_UNLIKELY((alignment & (alignment - 1)) != 0)) {
142        report_fatal_error("CreateAlignedMalloc: alignment must be a power of 2");
143    }
144    DataLayout DL(mMod);
145    IntegerType * const intTy = getIntPtrTy(DL);
146    Function * aligned_malloc = mMod->getFunction("aligned_malloc" + std::to_string(alignment));
147    if (LLVM_UNLIKELY(aligned_malloc == nullptr)) {
148        const auto ip = saveIP();
149        PointerType * const voidPtrTy = getVoidPtrTy();
150        FunctionType * fty = FunctionType::get(voidPtrTy, {intTy}, false);
151        aligned_malloc = Function::Create(fty, Function::InternalLinkage, "aligned_malloc" + std::to_string(alignment), mMod);
152        aligned_malloc->setCallingConv(CallingConv::C);
153        aligned_malloc->setDoesNotAlias(0);
154        aligned_malloc->addFnAttr(Attribute::AlwaysInline);
155        Value * size = &*aligned_malloc->arg_begin();
156        SetInsertPoint(BasicBlock::Create(mMod->getContext(), "entry", aligned_malloc));
157        const auto byteWidth = (intTy->getBitWidth() / 8);
158        Constant * const offset = ConstantInt::get(intTy, alignment + byteWidth - 1);
159        size = CreateAdd(size, offset);
160        Value * unaligned = CreatePtrToInt(CreateMalloc(size), intTy);
161        Value * aligned = CreateAnd(CreateAdd(unaligned, offset), ConstantExpr::getNot(ConstantInt::get(intTy, alignment - 1)));
162        Value * prefix = CreateIntToPtr(CreateSub(aligned, ConstantInt::get(intTy, byteWidth)), intTy->getPointerTo());
163        assert (unaligned->getType() == prefix->getType()->getPointerElementType());
164        CreateAlignedStore(unaligned, prefix, byteWidth);
165        CreateRet(CreateIntToPtr(aligned, voidPtrTy));
166        restoreIP(ip);
167    }
168    return CreateCall(aligned_malloc, {CreateZExtOrTrunc(size, intTy)});
169}
170
171#ifdef __APPLE__
172#define MAP_ANONYMOUS MAP_ANON
173#endif
174
175Value * CBuilder::CreateAnonymousMMap(Value * size) {
176    PointerType * const voidPtrTy = getVoidPtrTy();
177    IntegerType * const intTy = getInt32Ty();
178    IntegerType * const sizeTy = getSizeTy();
179    size = CreateZExtOrTrunc(size, sizeTy);
180    ConstantInt * const prot =  ConstantInt::get(intTy, PROT_READ | PROT_WRITE);
181    ConstantInt * const flags =  ConstantInt::get(intTy, MAP_PRIVATE | MAP_ANONYMOUS);
182    ConstantInt * const fd =  ConstantInt::get(intTy, -1);
183    Constant * const offset = ConstantInt::get(sizeTy, 0);
184    return CreateMMap(Constant::getNullValue(voidPtrTy), size, prot, flags, fd, offset);
185}
186
187Value * CBuilder::CreateFileSourceMMap(Value * const fd, Value * size) {
188    PointerType * const voidPtrTy = getVoidPtrTy();
189    IntegerType * const intTy = getInt32Ty();
190    IntegerType * const sizeTy = getSizeTy();
191    size = CreateZExtOrTrunc(size, sizeTy);
192    ConstantInt * const prot =  ConstantInt::get(intTy, PROT_READ);
193    ConstantInt * const flags =  ConstantInt::get(intTy, MAP_PRIVATE);
194    Constant * const offset = ConstantInt::get(sizeTy, 0);
195    return CreateMMap(Constant::getNullValue(voidPtrTy), size, prot, flags, fd, offset);
196}
197
198Value * CBuilder::CreateMMap(Value * const addr, Value * size, Value * const prot, Value * const flags, Value * const fd, Value * const offset) {
199    Function * fMMap = mMod->getFunction("mmap");
200    if (LLVM_UNLIKELY(fMMap == nullptr)) {
201        PointerType * const voidPtrTy = getVoidPtrTy();
202        IntegerType * const intTy = getInt32Ty();
203        IntegerType * const sizeTy = getSizeTy();
204        FunctionType * fty = FunctionType::get(voidPtrTy, {voidPtrTy, sizeTy, intTy, intTy, intTy, sizeTy}, false);
205        fMMap = Function::Create(fty, Function::ExternalLinkage, "mmap", mMod);
206    }
207    Value * ptr = CreateCall(fMMap, {addr, size, prot, flags, fd, offset});
208    if (codegen::EnableAsserts) {
209        CreateAssert(CheckMMapSuccess(ptr), "CreateMMap: mmap failed to allocate memory");
210    }
211    return ptr;
212}
213
214Value * CBuilder::CheckMMapSuccess(Value * const addr) {
215    DataLayout DL(mMod);
216    IntegerType * const ty = getIntPtrTy(DL);
217    return CreateICmpNE(CreatePtrToInt(addr, ty), ConstantInt::getAllOnesValue(ty)); // MAP_FAILED = -1
218}
219
220#ifndef __APPLE__
221Value * CBuilder::CreateMRemap(Value * addr, Value * oldSize, Value * newSize, const bool mayMove) {
222    DataLayout DL(mMod);
223    PointerType * const voidPtrTy = getVoidPtrTy();
224    IntegerType * const intTy = getIntPtrTy(DL);
225    IntegerType * const sizeTy = getSizeTy();
226    Function * fMRemap = mMod->getFunction("mremap");
227    if (LLVM_UNLIKELY(fMRemap == nullptr)) {
228        FunctionType * fty = FunctionType::get(voidPtrTy, {voidPtrTy, sizeTy, sizeTy, intTy}, false);
229        fMRemap = Function::Create(fty, Function::ExternalLinkage, "mremap", mMod);
230    }   
231    addr = CreatePointerCast(addr, voidPtrTy);
232    oldSize = CreateZExtOrTrunc(oldSize, sizeTy);
233    newSize = CreateZExtOrTrunc(newSize, sizeTy);
234    ConstantInt * const flags = ConstantInt::get(intTy, mayMove ? MREMAP_MAYMOVE : 0);
235    Value * ptr = CreateCall(fMRemap, {addr, oldSize, newSize, flags});
236    if (codegen::EnableAsserts) {
237        CreateAssert(CheckMMapSuccess(ptr), "CreateMRemap: mremap failed to allocate memory");
238    }
239    return ptr;
240}
241#endif
242
243Value * CBuilder::CreateMUnmap(Value * addr, Value * size) {
244    DataLayout DL(mMod);
245    IntegerType * const sizeTy = getSizeTy();
246    PointerType * const voidPtrTy = getVoidPtrTy();
247    Function * fMUnmap = mMod->getFunction("munmap");
248    if (LLVM_UNLIKELY(fMUnmap == nullptr)) {
249        IntegerType * const intTy = getIntPtrTy(DL);
250        FunctionType * fty = FunctionType::get(intTy, {voidPtrTy, sizeTy}, false);
251        fMUnmap = Function::Create(fty, Function::ExternalLinkage, "munmap", mMod);
252    }
253    addr = CreatePointerCast(addr, voidPtrTy);
254    size = CreateZExtOrTrunc(size, sizeTy);
255    return CreateCall(fMUnmap, {addr, size});
256}
257
258void CBuilder::CreateFree(Value * const ptr) {
259    assert (ptr->getType()->isPointerTy());
260    Module * const m = getModule();
261    PointerType * const voidPtrTy = getVoidPtrTy();
262    Function * free = m->getFunction("free");
263    if (free == nullptr) {
264        FunctionType * fty = FunctionType::get(getVoidTy(), {voidPtrTy}, false);
265        free = Function::Create(fty, Function::ExternalLinkage, "free", mMod);
266        free->setCallingConv(CallingConv::C);
267    }
268    CallInst * const ci = CreateCall(free, CreatePointerCast(ptr, voidPtrTy));
269    ci->setTailCall();
270    ci->setCallingConv(free->getCallingConv());
271}
272
273void CBuilder::CreateAlignedFree(Value * const ptr, const bool testForNullAddress) {
274    // WARNING: this will segfault if the value of the ptr at runtime is null but testForNullAddress was not set
275    PointerType * type = cast<PointerType>(ptr->getType());
276    BasicBlock * exit = nullptr;
277    if (testForNullAddress) {
278        LLVMContext & C = getContext();
279        BasicBlock * bb = GetInsertBlock();
280        Function * f = bb->getParent();
281        exit = BasicBlock::Create(C, "", f, bb);
282        BasicBlock * entry = BasicBlock::Create(C, "", f, exit);
283        Value * cond = CreateICmpEQ(ptr, ConstantPointerNull::get(type));
284        CreateCondBr(cond, exit, entry);
285        SetInsertPoint(entry);
286    }
287    DataLayout DL(getModule());
288    IntegerType * const intTy = getIntPtrTy(DL);
289    const auto byteWidth = (intTy->getBitWidth() / 8);
290    Value * prefix = CreatePtrToInt(ptr, intTy);
291    prefix = CreateSub(prefix, ConstantInt::get(intTy, byteWidth));
292    prefix = CreateIntToPtr(prefix, intTy->getPointerTo());
293    prefix = CreateIntToPtr(CreateAlignedLoad(prefix, byteWidth), type);
294    CreateFree(prefix);
295    if (testForNullAddress) {
296        CreateBr(exit);
297        SetInsertPoint(exit);
298    }
299}
300
301Value * CBuilder::CreateRealloc(Value * ptr, Value * size) {
302    DataLayout DL(getModule());
303    IntegerType * const intTy = getIntPtrTy(DL);
304    PointerType * type = cast<PointerType>(ptr->getType());
305    if (size->getType() != intTy) {
306        if (isa<Constant>(size)) {
307            size = ConstantExpr::getIntegerCast(cast<Constant>(size), intTy, false);
308        } else {
309            size = CreateZExtOrTrunc(size, intTy);
310        }
311    }
312    Module * const m = getModule();
313    Function * realloc = m->getFunction("realloc");
314    if (realloc == nullptr) {
315        PointerType * const voidPtrTy = getVoidPtrTy();
316        FunctionType * fty = FunctionType::get(voidPtrTy, {voidPtrTy, intTy}, false);
317        realloc = Function::Create(fty, Function::ExternalLinkage, "realloc", mMod);
318        realloc->setCallingConv(CallingConv::C);
319        realloc->setDoesNotAlias(1);
320    }
321    assert (size->getType() == intTy);
322    CallInst * ci = CreateCall(realloc, {ptr, size});
323    ci->setTailCall();
324    ci->setCallingConv(realloc->getCallingConv());
325    return CreateBitOrPointerCast(ci, type);
326}
327
328PointerType * CBuilder::getVoidPtrTy() const {
329    return TypeBuilder<void *, false>::get(getContext());
330}
331
332LoadInst * CBuilder::CreateAtomicLoadAcquire(Value * ptr) {
333    const auto alignment = ptr->getType()->getPointerElementType()->getPrimitiveSizeInBits() / 8;
334    LoadInst * inst = CreateAlignedLoad(ptr, alignment);
335    inst->setOrdering(AtomicOrdering::Acquire);
336    return inst;
337   
338}
339
340StoreInst * CBuilder::CreateAtomicStoreRelease(Value * val, Value * ptr) {
341    const auto alignment = ptr->getType()->getPointerElementType()->getPrimitiveSizeInBits() / 8;
342    StoreInst * inst = CreateAlignedStore(val, ptr, alignment);
343    inst->setOrdering(AtomicOrdering::Release);
344    return inst;
345}
346
347PointerType * CBuilder::getFILEptrTy() {
348    if (mFILEtype == nullptr) {
349        mFILEtype = StructType::create(getContext(), "struct._IO_FILE");
350    }
351    return mFILEtype->getPointerTo();
352}
353
354Value * CBuilder::CreateFOpenCall(Value * filename, Value * mode) {
355    Function * fOpenFunc = mMod->getFunction("fopen");
356    if (fOpenFunc == nullptr) {
357        FunctionType * fty = FunctionType::get(getFILEptrTy(), {getInt8Ty()->getPointerTo(), getInt8Ty()->getPointerTo()}, false);
358        fOpenFunc = Function::Create(fty, Function::ExternalLinkage, "fopen", mMod);
359        fOpenFunc->setCallingConv(CallingConv::C);
360    }
361    return CreateCall(fOpenFunc, {filename, mode});
362}
363
364Value * CBuilder::CreateFReadCall(Value * ptr, Value * size, Value * nitems, Value * stream) {
365    Function * fReadFunc = mMod->getFunction("fread");
366    if (fReadFunc == nullptr) {
367        FunctionType * fty = FunctionType::get(getSizeTy(), {getVoidPtrTy(), getSizeTy(), getSizeTy(), getFILEptrTy()}, false);
368        fReadFunc = Function::Create(fty, Function::ExternalLinkage, "fread", mMod);
369        fReadFunc->setCallingConv(CallingConv::C);
370    }
371    return CreateCall(fReadFunc, {ptr, size, nitems, stream});
372}
373
374Value * CBuilder::CreateFWriteCall(Value * ptr, Value * size, Value * nitems, Value * stream) {
375    Function * fWriteFunc = mMod->getFunction("fwrite");
376    if (fWriteFunc == nullptr) {
377        FunctionType * fty = FunctionType::get(getSizeTy(), {getVoidPtrTy(), getSizeTy(), getSizeTy(), getFILEptrTy()}, false);
378        fWriteFunc = Function::Create(fty, Function::ExternalLinkage, "fwrite", mMod);
379        fWriteFunc->setCallingConv(CallingConv::C);
380    }
381    return CreateCall(fWriteFunc, {ptr, size, nitems, stream});
382}
383
384Value * CBuilder::CreateFCloseCall(Value * stream) {
385    Function * fCloseFunc = mMod->getFunction("fclose");
386    if (fCloseFunc == nullptr) {
387        FunctionType * fty = FunctionType::get(getInt32Ty(), {getFILEptrTy()}, false);
388        fCloseFunc = Function::Create(fty, Function::ExternalLinkage, "fclose", mMod);
389        fCloseFunc->setCallingConv(CallingConv::C);
390    }
391    return CreateCall(fCloseFunc, {stream});
392}
393
394Value * CBuilder::CreatePThreadCreateCall(Value * thread, Value * attr, Function * start_routine, Value * arg) {
395    Type * const voidPtrTy = getVoidPtrTy();
396    Function * pthreadCreateFunc = mMod->getFunction("pthread_create");
397    if (pthreadCreateFunc == nullptr) {
398        Type * pthreadTy = getSizeTy();
399        FunctionType * funVoidPtrVoidTy = FunctionType::get(getVoidTy(), {getVoidPtrTy()}, false);
400        FunctionType * fty = FunctionType::get(getInt32Ty(), {pthreadTy->getPointerTo(), voidPtrTy, funVoidPtrVoidTy->getPointerTo(), voidPtrTy}, false);
401        pthreadCreateFunc = Function::Create(fty, Function::ExternalLinkage, "pthread_create", mMod);
402        pthreadCreateFunc->setCallingConv(CallingConv::C);
403    }
404    return CreateCall(pthreadCreateFunc, {thread, attr, start_routine, CreatePointerCast(arg, voidPtrTy)});
405}
406
407Value * CBuilder::CreatePThreadExitCall(Value * value_ptr) {
408    Function * pthreadExitFunc = mMod->getFunction("pthread_exit");
409    if (pthreadExitFunc == nullptr) {
410        FunctionType * fty = FunctionType::get(getVoidTy(), {getVoidPtrTy()}, false);
411        pthreadExitFunc = Function::Create(fty, Function::ExternalLinkage, "pthread_exit", mMod);
412        pthreadExitFunc->addFnAttr(Attribute::NoReturn);
413        pthreadExitFunc->setCallingConv(CallingConv::C);
414    }
415    CallInst * exitThread = CreateCall(pthreadExitFunc, {value_ptr});
416    exitThread->setDoesNotReturn();
417    return exitThread;
418}
419
420Value * CBuilder::CreatePThreadJoinCall(Value * thread, Value * value_ptr){
421    Function * pthreadJoinFunc = mMod->getFunction("pthread_join");
422    if (pthreadJoinFunc == nullptr) {
423        Type * pthreadTy = getSizeTy();
424        FunctionType * fty = FunctionType::get(getInt32Ty(), {pthreadTy, getVoidPtrTy()->getPointerTo()}, false);
425        pthreadJoinFunc = Function::Create(fty, Function::ExternalLinkage, "pthread_join", mMod);
426        pthreadJoinFunc->setCallingConv(CallingConv::C);
427    }
428    return CreateCall(pthreadJoinFunc, {thread, value_ptr});
429}
430
431void CBuilder::CreateAssert(Value * const assertion, StringRef failureMessage) {
432    if (codegen::EnableAsserts) {
433        Function * function = mMod->getFunction("__assert");
434        if (LLVM_UNLIKELY(function == nullptr)) {
435            auto ip = saveIP();
436            FunctionType * fty = FunctionType::get(getVoidTy(), { getInt1Ty(), getInt8PtrTy(), getSizeTy() }, false);
437            function = Function::Create(fty, Function::PrivateLinkage, "__assert", mMod);
438            function->setDoesNotThrow();
439            function->setDoesNotAlias(2);
440            BasicBlock * const entry = BasicBlock::Create(getContext(), "", function);
441            BasicBlock * const failure = BasicBlock::Create(getContext(), "", function);
442            BasicBlock * const success = BasicBlock::Create(getContext(), "", function);
443            auto arg = function->arg_begin();
444            arg->setName("assertion");
445            Value * e = &*arg++;
446            arg->setName("msg");
447            Value * msg = &*arg++;
448            arg->setName("sz");
449            Value * sz = &*arg;
450            SetInsertPoint(entry);
451            CreateCondBr(e, failure, success);
452            SetInsertPoint(failure);
453            Value * len = CreateAdd(sz, getSize(21));
454            ConstantInt * _11 = getSize(11);
455            Value * bytes = CreatePointerCast(CreateMalloc(len), getInt8PtrTy());
456            CreateMemCpy(bytes, GetString("Assertion `"), _11, 1);
457            CreateMemCpy(CreateGEP(bytes, _11), msg, sz, 1);
458            CreateMemCpy(CreateGEP(bytes, CreateAdd(sz, _11)), GetString("' failed.\n"), getSize(10), 1);
459            CreateWriteCall(getInt32(2), bytes, len);
460
461
462            CreateExit(-1);
463            CreateBr(success); // necessary to satisfy the LLVM verifier. this is not actually executed.
464            SetInsertPoint(success);
465            CreateRetVoid();
466            restoreIP(ip);
467        }
468        CreateCall(function, {CreateICmpEQ(assertion, Constant::getNullValue(assertion->getType())), GetString(failureMessage), getSize(failureMessage.size())});
469    }
470}
471
472void CBuilder::CreateExit(const int exitCode) {
473    Function * exit = mMod->getFunction("exit");
474    if (LLVM_UNLIKELY(exit == nullptr)) {
475        FunctionType * fty = FunctionType::get(getVoidTy(), {getInt32Ty()}, false);
476        exit = Function::Create(fty, Function::ExternalLinkage, "exit", mMod);
477        exit->setDoesNotReturn();
478        exit->setDoesNotThrow();
479    }
480    CreateCall(exit, getInt32(exitCode));
481}
482
483BranchInst * CBuilder::CreateLikelyCondBr(Value * Cond, BasicBlock * True, BasicBlock * False, const int probability) {
484    MDBuilder mdb(getContext());
485    if (probability < 0 || probability > 100) {
486        report_fatal_error("branch weight probability must be in [0,100]");
487    }
488    return CreateCondBr(Cond, True, False, mdb.createBranchWeights(probability, 100 - probability));
489}
490
491inline static unsigned ceil_log2(const unsigned v) {
492    assert ("log2(0) is undefined!" && v != 0);
493    return 32 - __builtin_clz(v - 1);
494}
495
496Value * CBuilder::CreatePopcount(Value * bits) {
497    Value * ctpopFunc = Intrinsic::getDeclaration(mMod, Intrinsic::ctpop, bits->getType());
498    return CreateCall(ctpopFunc, bits);
499}
500
501Value * CBuilder::CreateCountForwardZeroes(Value * value) {
502    Value * cttzFunc = Intrinsic::getDeclaration(mMod, Intrinsic::cttz, value->getType());
503    return CreateCall(cttzFunc, {value, ConstantInt::getFalse(getContext())});
504}
505
506Value * CBuilder::CreateCountReverseZeroes(Value * value) {
507    Value * ctlzFunc = Intrinsic::getDeclaration(mMod, Intrinsic::ctlz, value->getType());
508    return CreateCall(ctlzFunc, {value, ConstantInt::getFalse(getContext())});
509}
510
511Value * CBuilder::CreateCeilLog2(Value * value) {
512    IntegerType * ty = cast<IntegerType>(value->getType());
513    CreateAssert(value, "CreateCeilLog2: value cannot be zero");
514    Value * m = CreateCountForwardZeroes(CreateSub(value, ConstantInt::get(ty, 1)));
515    return CreateSub(ConstantInt::get(m->getType(), ty->getBitWidth() - 1), m);
516}
517
518Value * CBuilder::GetString(StringRef Str) {
519    Value * ptr = mMod->getGlobalVariable(Str, true);
520    if (ptr == nullptr) {
521        ptr = CreateGlobalString(Str, Str);
522    }
523    Value * zero = getInt32(0);
524    return CreateInBoundsGEP(ptr, { zero, zero });
525}
526
527CBuilder::CBuilder(Module * const m, const unsigned GeneralRegisterWidthInBits, const bool SupportsIndirectBr, const unsigned CacheLineAlignmentInBytes)
528: IRBuilder<>(m->getContext())
529, mMod(m)
530, mCacheLineAlignment(CacheLineAlignmentInBytes)
531, mSizeType(getIntNTy(GeneralRegisterWidthInBits))
532, mFILEtype(nullptr)
533, mSupportsIndirectBr(SupportsIndirectBr) {
534}
Note: See TracBrowser for help on using the repository browser.