source: proto/Compiler/pablo.py @ 880

Last change on this file since 880 was 880, checked in by ksherdy, 8 years ago

Add separate compilation functionality.

File size: 19.4 KB
Line 
1#
2# Pablo.py - parallel bitstream to bitblock
3#  2nd generation compiler
4#
5# Copyright 2010, 2011, Robert D. Cameron
6# All rights reserved.
7#
8import ast, copy, sys
9import Cgen
10
11def is_BuiltIn_Call(fncall, builtin_fnname, builtin_arg_cnt, builtin_fnmod_noprefix='bitutil'):
12        if isinstance(fncall.func, ast.Name): iscall = fncall.func.id == builtin_fnname
13        elif isinstance(fncall.func, ast.Attribute) and isinstance(fncall.func.value, ast.Name):
14                 iscall = fncall.func.value.id == builtin_fnmod_noprefix and fncall.func.attr == builtin_fnname
15        return iscall and len(fncall.args) == builtin_arg_cnt and fncall.kwargs == None and fncall.starargs == None
16
17def is_simd_not(e):
18  return isinstance(e, ast.Call) and isinstance(e.func, ast.Name) and e.func.id == 'simd_not'
19
20def mkQname(obj, field):
21  return ast.Attribute(ast.Name(obj, ast.Load()), field, ast.Load())
22
23def mkCall(fn_name, args):
24  if isinstance(fn_name, str): fn_name = ast.Name(fn_name, ast.Load())
25  return ast.Call(fn_name, args, [], None, None)
26
27def mkCallStmt(fn_name, args):
28  if isinstance(fn_name, str): fn_name = ast.Name(fn_name, ast.Load())
29  return ast.Expr(ast.Call(fn_name, args, [], None, None))
30
31#
32# Reducing AugAssign, e.g.  x |= y becomes x = x | y
33#
34class AugAssignRemoval(ast.NodeTransformer):
35  def xfrm(self, t):
36    return self.generic_visit(t)
37  def visit_AugAssign(self, e):
38    self.generic_visit(e)
39    return ast.Assign([e.target], ast.BinOp(e.target, e.op, e.value))
40
41#
42# Introducing BitBlock logical operations
43#
44class Bitwise_to_SIMD(ast.NodeTransformer):
45  """
46  Make the following substitutions:
47     x & y => simd_and(x, y)
48     x & ~y => simd_andc(x, y)
49     x | y => simd_or(x, y)
50     x ^ y => simd_xor(x, y)
51     ~x    => simd_not(x)
52     0     => simd_const_1(0)
53     -1    => simd_const_1(1)
54     if x: => if bitblock_has_bit(x):
55  while x: => while bitblock_has_bit(x):
56  >>> ast_show(Bitwise_to_SIMD().xfrm(ast.parse("pfx = bit0 & bit1; sfx = bit0 &~ bit1")))
57 
58  pfx = simd_and(bit0, bit1)
59  sfx = simd_and(bit0, simd_not(bit1))
60  >>>
61  """
62  def xfrm(self, t):
63    return self.generic_visit(t)
64  def visit_UnaryOp(self, t):
65    self.generic_visit(t)
66    if isinstance(t.op, ast.Invert):
67      return mkCall('simd_not', [t.operand])
68    else: return t
69  def visit_BinOp(self, t):
70    self.generic_visit(t)
71    if isinstance(t.op, ast.BitOr):
72      return mkCall('simd_or', [t.left, t.right])
73    elif isinstance(t.op, ast.BitAnd):
74      if is_simd_not(t.right): return mkCall('simd_andc', [t.left, t.right.args[0]])
75      elif is_simd_not(t.left): return mkCall('simd_andc', [t.right, t.left.args[0]])
76      else: return mkCall('simd_and', [t.left, t.right])
77    elif isinstance(t.op, ast.BitXor):
78      return mkCall('simd_xor', [t.left, t.right])
79    else: return t
80  def visit_Num(self, numnode):
81    n = numnode.n
82    if n == 0: return mkCall('simd_const_1', [numnode])
83    elif n == -1: return mkCall('simd_const_1', [ast.Num(1)])
84    else: return numnode
85  def visit_If(self, ifNode):
86    self.generic_visit(ifNode)
87    ifNode.test = mkCall('bitblock_has_bit', [ifNode.test])
88    return ifNode
89  def visit_While(self, whileNode):
90    self.generic_visit(whileNode)
91    whileNode.test = mkCall('bitblock_has_bit', [whileNode.test])
92    return whileNode
93  def visit_Subscript(self, numnode):
94    return numnode  # no recursive modifications of index expressions
95
96#
97#  Generating BitBlock declarations for Local Variables
98#
99class FunctionVars(ast.NodeVisitor):
100  def __init__(self,node):
101        self.params = []
102        self.stores = []
103        self.generic_visit(node)
104  def visit_Name(self, nm):
105    if isinstance(nm.ctx, ast.Param):
106      self.params.append(nm.id)
107    if isinstance(nm.ctx, ast.Store):
108      if nm.id not in self.stores: self.stores.append(nm.id)
109  def getLocals(self): 
110    return [v for v in self.stores if not v in self.params]
111
112MAX_LINE_LENGTH = 80
113
114def BitBlock_decls_from_vars(varlist):
115  global MAX_LINE_LENGTH
116  decls =  ""
117  if not len(varlist) == 0:
118          decls = "             BitBlock"
119          pending = ""
120          linelgth = 10
121          for v in varlist:
122            if linelgth + len(v) + 2 <= MAX_LINE_LENGTH:
123              decls += pending + " " + v
124              linelgth += len(pending + v) + 1
125            else:
126              decls += ";\n             BitBlock " + v
127              linelgth = 11 + len(v)
128            pending = ","
129          decls += ";"
130  return decls
131
132def BitBlock_decls_of_fn(fndef):
133  return BitBlock_decls_from_vars(FunctionVars(fndef).getLocals())
134
135def BitBlock_header_of_fn(fndef):
136  Ccode = "static inline void " + fndef.name + "("
137  pending = ""
138  for arg in fndef.args.args:
139    if isinstance(arg, ast.Name):
140      Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
141      pending = ", "
142  if CarryCounter().count(fndef) > 0:
143    Ccode += pending + " CarryQtype & carryQ"
144  Ccode += ")"
145  return Ccode
146
147
148
149#
150#  Stream Initialization Statement Extraction
151#
152#  streamvar = 1 ==> streamvar = sisd_from_int(1) initially.
153class StreamInitializations(ast.NodeTransformer):
154  def xfrm(self, node):
155    self.stream_stmts = []
156    self.loop_post_inits = []
157    self.generic_visit(node)
158    return Cgen.py2C().gen(self.stream_stmts)
159  def visit_Assign(self, node):
160    if isinstance(node.value, ast.Num):
161      if node.value.n == 0: return node
162      elif node.value.n == -1: return node
163      else: 
164        stream_init = copy.deepcopy(node)
165        stream_init.value = mkCall('sisd_from_int', [node.value])
166        loop_init = copy.deepcopy(node)
167        loop_init.value.n = 0
168        self.stream_stmts.append(stream_init)
169        self.loop_post_inits.append(loop_init)
170        return None
171    else: return node
172  def visit_FunctionDef(self, node):
173    self.generic_visit(node)
174    node.body = node.body + self.loop_post_inits
175    return node
176
177#
178# Carry Introduction Transformation
179#
180class CarryCounter(ast.NodeVisitor):
181  def visit_Call(self, callnode):
182    self.generic_visit(callnode)
183    if is_BuiltIn_Call(callnode,'Advance', 1) or is_BuiltIn_Call(callnode,'ScanThru', 2):       
184      self.carry_count += 1
185  def visit_BinOp(self, exprnode):
186    self.generic_visit(exprnode)
187    if isinstance(exprnode.op, ast.Sub):
188      self.carry_count += 1
189    if isinstance(exprnode.op, ast.Add):
190      self.carry_count += 1
191  def count(self, nodeToVisit):
192    self.carry_count = 0
193    self.generic_visit(nodeToVisit)
194    return self.carry_count
195
196class CarryIntro(ast.NodeTransformer):
197  def __init__(self, carryvar="carryQ", mode = "ci_co"):
198    self.carryvar = ast.Name(carryvar, ast.Load())
199    self.mode = mode
200  def xfrm_fndef(self, fndef):
201    self.current_carry = 0
202    carry_count = CarryCounter().count(fndef)
203    if carry_count == 0: return fndef
204    self.generic_visit(fndef)
205#   
206#    fndef.body.insert(0, mkCallStmt('CarryDeclare', [self.carryvar, ast.Num(carry_count)]))
207    return fndef
208  def generic_xfrm(self, node):
209    self.current_carry = 0
210    carry_count = CarryCounter().count(node)
211    if carry_count == 0: return node
212    self.generic_visit(node)
213    return node
214  def visit_Call(self, callnode):
215    self.generic_visit(callnode)
216    if is_BuiltIn_Call(callnode, 'Advance', 1):         
217      rtn = "BitBlock_advance_%s" % self.mode
218      c = mkCall(rtn, [callnode.args[0], self.carryvar, ast.Num(self.current_carry)])
219      self.current_carry += 1
220      return c
221    elif is_BuiltIn_Call(callnode, 'ScanThru', 2):
222      rtn = "BitBlock_scanthru_%s" % self.mode
223      c = mkCall(rtn, [callnode.args[0], callnode.args[1], self.carryvar, ast.Num(self.current_carry)])
224      self.current_carry += 1
225      return c
226    elif is_BuiltIn_Call(callnode, 'StreamScan', 2):
227      rtn = "StreamScan"           
228      c = mkCall(rtn, [ast.Name('(ScanBlock *) &' + callnode.args[0].id, ast.Load()), 
229                                           ast.Name('sizeof(BitBlock)/sizeof(ScanBlock)', ast.Load()),
230                                           ast.Name(callnode.args[1].id, ast.Load())])
231      return c
232    else: return callnode
233  def visit_BinOp(self, exprnode):
234    self.generic_visit(exprnode)
235    if isinstance(exprnode.op, ast.Sub):
236      rtn = "BitBlock_sub_%s" % self.mode
237      c = mkCall(rtn, [exprnode.left, exprnode.right, self.carryvar, ast.Num(self.current_carry)])
238      self.current_carry += 1
239      return c
240    elif isinstance(exprnode.op, ast.Add):
241      rtn = "BitBlock_add_%s" % self.mode
242      c = mkCall(rtn, [exprnode.left, exprnode.right, self.carryvar, ast.Num(self.current_carry)])
243      self.current_carry += 1
244      return c
245    else: return exprnode
246  def visit_If(self, ifNode):
247    carry_base = self.current_carry
248    carries = CarryCounter().count(ifNode)
249    self.generic_visit(ifNode)
250    if carries == 0 or self.mode == "co": return ifNode
251    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
252    new_test = ast.BoolOp(ast.Or(), [ifNode.test, mkCall('CarryTest', carry_arglist)])
253    new_else_part = ifNode.orelse + [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
254    return ast.If(new_test, ifNode.body, new_else_part)
255  def visit_While(self, whileNode):
256    carry_base = self.current_carry
257    carries = CarryCounter().count(whileNode)
258    if carries == 0: return whileNode
259    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
260    local_carryvar = 'sub'+self.carryvar.id
261    inner_while = CarryIntro(local_carryvar, 'co').generic_xfrm(copy.deepcopy(whileNode))
262    self.generic_visit(whileNode)
263    local_decl = mkCallStmt('CarryDeclare', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
264    local_init = mkCallStmt('CarryInit', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
265    inner_while.body.insert(0, local_decl)
266    inner_while.body.insert(1, local_init)
267    final_combine = mkCallStmt('CarryCombine', [self.carryvar, ast.Name(local_carryvar, ast.Load()), ast.Num(carry_base), ast.Num(carries)])
268    inner_while.body.append(final_combine)
269    if self.mode == "co": new_test = whileNode.test
270    else: new_test = ast.BoolOp(ast.Or(), [whileNode.test, mkCall('CarryTest', carry_arglist)])
271    else_part = [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
272    return ast.If(new_test, whileNode.body + [inner_while], else_part)
273
274class StreamStructGen(ast.NodeVisitor):
275  """
276  Given a BitStreamSet subclass, generate the equivalent C struct.
277  >>> obj = ast.parse(r'''
278  ... class S1(BitStreamSet):
279  ...   a1 = 0
280  ...   a2 = 0
281  ...   a3 = 0
282  ...
283  ... class S2(BitStreamSet):
284  ...   x1 = 0
285  ...   x2 = 0
286  ... ''')
287  >>> print StreamStructGen().gen(obj)
288  struct S1 {
289    BitBlock a1;
290    BitBlock a2;
291    BitBlock a3;
292  }
293 
294  struct S2 {
295    BitBlock x1;
296    BitBlock x2;
297  }
298  """
299  def __init__(self, asType=False):
300    self.asType = asType
301  def gen(self, tree):
302    self.Ccode=""
303    self.generic_visit(tree)
304    return self.Ccode
305  def gen_struct_types(self, tree):
306    self.asType = True
307    self.Ccode=""
308    self.generic_visit(tree)
309    return self.Ccode
310  def gen_struct_vars(self, tree):
311    self.asType = False
312    self.Ccode=""
313    self.generic_visit(tree)
314    return self.Ccode
315  def visit_ClassDef(self, node):
316    class_name = node.name[0].upper() + node.name[1:]
317    instance_name = node.name[0].lower() + node.name[1:]
318    self.Ccode += "  struct " + class_name
319    if self.asType:
320            self.Ccode += " {\n"
321            for stmt in node.body:
322              if isinstance(stmt, ast.Assign):
323                for v in stmt.targets:
324                  if isinstance(v, ast.Name):
325                    self.Ccode += "  BitBlock " + v.id + ";\n"
326            self.Ccode += "}" 
327    else: self.Ccode += " " + instance_name
328    self.Ccode += ";\n\n"
329 
330class StreamFunctionDecl(ast.NodeVisitor):
331  def __init__(self):
332    pass
333  def gen(self, tree):
334    self.Ccode=""
335    self.generic_visit(tree)
336    return self.Ccode
337  def visit_FunctionDef(self, node):
338    self.Ccode += "static inline void " + node.name + "("
339    pending = ""
340    for arg in node.args.args:
341      if isinstance(arg, ast.Name):
342        self.Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
343        pending = ", "
344    self.Ccode += ");\n"
345
346#
347# Adding Debugging Statements
348#
349class Add_SIMD_Register_Dump(ast.NodeTransformer):
350  def xfrm(self, t):
351    return self.generic_visit(t)
352  def visit_Assign(self, t):
353    self.generic_visit(t)
354    v = t.targets[0]
355    dump_stmt = mkCallStmt('print_simd_register', [ast.Str(Cgen.py2C().gen(v)), v])
356    return [t, dump_stmt]
357
358class StreamFunctionCarryCounter(ast.NodeVisitor):
359  def __init__(self):
360        self.carry_count = {}
361       
362  def count(self, node):
363        self.generic_visit(node)
364        return self.carry_count
365                                   
366  def visit_FunctionDef(self, node):   
367        type_name = node.name[0].upper() + node.name[1:]                       
368        self.carry_count[type_name] = CarryCounter().count(node)
369     
370class StreamFunctionCallXlator(ast.NodeTransformer):
371  def __init__(self):
372        self.stream_function_type_names = []
373       
374  def xfrm(self, node, stream_function_type_names):
375        self.stream_function_type_names = stream_function_type_names
376        self.generic_visit(node)
377       
378  def visit_Call(self, node):   
379        self.generic_visit(node)
380
381        if isinstance(node, ast.Call) and isinstance(node.func, ast.Name) and node.func.id in self.stream_function_type_names:
382                        node.func.id = node.func.id[0].lower() + node.func.id[1:] + ".do_block"
383        return node     
384               
385class StreamFunctionVisitor(ast.NodeVisitor):
386        def __init__(self,node):
387                self.stream_function_node = {}
388                self.generic_visit(node)
389                                                             
390        def visit_FunctionDef(self, node):                     
391                key = node.name[0].upper() + node.name[1:]
392                self.stream_function_node[key] = node
393               
394class StreamFunction():
395        def __init__(self):
396                self.carry_count = 0 
397                self.type_name = ""
398                self.instance_name = "" 
399                self.parameters = ""
400                self.declarations = "" 
401                self.initializations = "" 
402#
403# TODO Consolidate *all* C code generation into the Emitter class.
404# TODO Implement 'pretty print' indentation.
405# TODO Migrate Emiter() class to Emitter module.               
406class Emitter():
407
408        def definition(self, stream_function, icount=0):
409               
410                constructor = ""
411                carry_declaration = ""
412               
413                if stream_function.carry_count > 0:
414                        constructor = self.constructor(stream_function.type_name, stream_function.carry_count)
415                        carry_declaration = self.carry_declare(stream_function.carry_count)
416
417                do_block_function = self.do_block(self.do_block_parameters(stream_function.parameters), 
418                                                stream_function.declarations, 
419                                                stream_function.initializations, 
420                                                stream_function.statements)             
421                return self.indent(icount) + "struct " + stream_function.type_name + " {" \
422                + "\n" + self.indent(icount) + constructor \
423                + "\n" + self.indent(icount) + do_block_function \
424                + "\n" + self.indent(icount) + carry_declaration \
425                + "\n" + self.indent(icount) + "};\n\n"
426
427        def constructor(self, type_name, carry_count, icount=0):
428                return self.indent(icount) + "%s() { """ % (type_name) + self.carry_init(carry_count) + " }" 
429                       
430        def do_block(self, parameters, declarations, initializations, statements, icount=0):
431                return self.indent(icount) + "void do_block(" + parameters + ") {" \
432            + "\n" + self.indent(icount) + declarations \
433                + "\n" + self.indent(icount) + initializations \
434                + "\n" + self.indent(icount) + statements \
435                + "\n" + self.indent(icount + 2) + "}" 
436
437        def declaration(self, type_name, instance_name, icount=0):     
438                return self.indent(icount) + type_name + " " + instance_name + ";\n"
439               
440        def carry_init(self, carry_count, icount=0):   
441                return self.indent(icount) + "CarryInit(carryQ, %i);" % (carry_count)
442       
443        def carry_declare(self, carry_count, icount=0):
444                return self.indent(icount) + "CarryDeclare(carryQ, %i);" % (carry_count)
445
446        def carry_test(self, carry_variable, carry_count, icount=0):
447                return self.indent(icount) + "CarryTest(%s, 0, %i)" % (carry_variable, carry_count)             
448               
449        def indent(self, icount):
450                s = ""
451                for i in range(0,icount): s += " "
452                return s       
453               
454        def do_block_parameters(self, parameters):
455               
456                do_block_parameters = []
457               
458                for name in parameters:
459                        type_name = name[0].upper() + name[1:]
460                        argument_name = name[0].lower() + name[1:]
461                        do_block_parameters.append(type_name)
462                        do_block_parameters.append(" & ")
463                        do_block_parameters.append(argument_name)
464                        do_block_parameters.append(", ")
465                if len(do_block_parameters) > 0:               
466                        do_block_parameters.pop()
467                                       
468                return "".join(do_block_parameters)             
469               
470def main(infilename, outfile = sys.stdout):
471  t = ast.parse(file(infilename).read())
472  outfile.write(StreamStructGen(True).gen(t))
473  outfile.write(FunctionXlator().xlat(t))
474
475#
476#  Routines for compatibility with the old compiler/template.
477#  Quick and dirty hacks for now - Dec. 2010.
478#
479
480class MainLoopTransformer:
481  def __init__(self, main_module, main_node_id='Main'):
482    self.main_module = main_module
483    self.main_node_id = main_node_id
484   
485        # Gather and partition function definition nodes.
486    stream_function_visitor = StreamFunctionVisitor(self.main_module)
487    self.stream_function_node = stream_function_visitor.stream_function_node
488    self.main_node = self.stream_function_node[main_node_id]
489    self.main_carry_count = CarryCounter().count(self.main_node)
490    del self.stream_function_node[self.main_node_id]
491   
492    self.stream_functions = {}
493    for key, node in self.stream_function_node.iteritems():
494                stream_function = StreamFunction()
495                stream_function.carry_count = CarryCounter().count(node)
496                stream_function.type_name = node.name[0].upper() + node.name[1:]
497                stream_function.instance_name = node.name[0].lower() + node.name[1:]
498                stream_function.parameters = FunctionVars(node).params
499                stream_function.declarations = BitBlock_decls_of_fn(node)
500                stream_function.initializations = StreamInitializations().xfrm(node) 
501               
502                AugAssignRemoval().xfrm(node)
503                Bitwise_to_SIMD().xfrm(node)
504                CarryIntro().xfrm_fndef(node)
505               
506                stream_function.statements = Cgen.py2C(4).gen(node.body)
507                self.stream_functions[stream_function.type_name] = stream_function
508       
509    self.emitter = Emitter()
510   
511  def any_carry_expr(self):
512       
513        carry_test = []
514       
515        if self.main_carry_count > 0:
516                        carry_test.append(self.emitter.carry_test('carryQ', self.main_carry_count))
517                        carry_test.append(" || ")
518
519        for key in self.stream_functions.keys():               
520                if self.stream_functions[key].carry_count > 0:
521                        carry_test.append(self.emitter.carry_test(self.stream_functions[key].instance_name + ".carryQ", self.stream_functions[key].carry_count))
522                        carry_test.append(" || ")
523
524        if len(carry_test) > 0:
525                carry_test.pop()
526        return "".join(carry_test)
527   
528        return "1"
529
530  def gen_globals(self):
531    self.Cglobals = StreamStructGen().gen_struct_types(self.main_module)
532    for key in self.stream_functions.keys():
533                self.Cglobals += Emitter().definition(self.stream_functions[key],2)       
534                       
535  def gen_declarations(self): 
536    self.Cdecls = StreamStructGen().gen_struct_vars(self.main_module)
537    self.Cdecls += BitBlock_decls_of_fn(self.main_node)
538    if self.main_carry_count > 0: 
539        self.Cdecls += self.emitter.carry_declare(self.main_carry_count)
540               
541  def gen_initializations(self):
542    self.Cinits = ""
543    if self.main_carry_count > 0: 
544        self.Cinits += self.emitter.carry_init(self.main_carry_count)
545    self.Cinits += StreamInitializations().xfrm(self.main_module)
546   
547    for key in self.stream_functions.keys():
548                self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
549                       
550  def xfrm_block_stmts(self, add_dump_stmts=False):
551    AugAssignRemoval().xfrm(self.main_node)
552    Bitwise_to_SIMD().xfrm(self.main_node)
553    CarryIntro().xfrm_fndef(self.main_node)
554    if add_dump_stmts: 
555        Add_SIMD_Register_Dump().xfrm(self.main_node)
556               
557    StreamFunctionCallXlator().xfrm(self.main_node, self.stream_function_node.keys())   
558    self.Cstmts = Cgen.py2C().gen(self.main_node.body)
559   
560  def add_loop_carryQ_adjust(self):
561    self.main_node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name('carryQ', ast.Load()), ast.Num(self.main_carry_count)])]
562   
563if __name__ == "__main__":
564                import doctest
565                doctest.testmod()
Note: See TracBrowser for help on using the repository browser.