source: proto/Compiler/pablo.py @ 1526

Last change on this file since 1526 was 1526, checked in by cameron, 8 years ago

Simplify pablo support by eliminating non-co versions; slight speedup actually

File size: 28.8 KB
Line 
1#
2# Pablo.py - parallel bitstream to bitblock
3#  2nd generation compiler
4#
5# Copyright 2010, 2011, Robert D. Cameron, Kenneth S. Herdy
6# All rights reserved.
7#
8import ast, copy, sys
9import Cgen
10
11name_substitution_map = {}
12
13def is_BuiltIn_Call(fncall, builtin_fnname, builtin_arg_cnt, builtin_fnmod_noprefix='pablo'):
14        if isinstance(fncall.func, ast.Name): iscall = fncall.func.id == builtin_fnname
15        elif isinstance(fncall.func, ast.Attribute) and isinstance(fncall.func.value, ast.Name):
16                 iscall = fncall.func.value.id == builtin_fnmod_noprefix and fncall.func.attr == builtin_fnname
17        return iscall and len(fncall.args) == builtin_arg_cnt and fncall.kwargs == None and fncall.starargs == None
18
19def is_simd_not(e):
20  return isinstance(e, ast.Call) and isinstance(e.func, ast.Name) and e.func.id == 'simd_not'
21
22def mkQname(obj, field):
23  return ast.Attribute(ast.Name(obj, ast.Load()), field, ast.Load())
24
25def mkCall(fn_name, args):
26  if isinstance(fn_name, str): 
27        if name_substitution_map.has_key(fn_name): fn_name = name_substitution_map[fn_name]
28        fn_name = ast.Name(fn_name, ast.Load())
29  return ast.Call(fn_name, args, [], None, None)
30
31def mkCallStmt(fn_name, args):
32  if isinstance(fn_name, str): fn_name = ast.Name(fn_name, ast.Load())
33  return ast.Expr(ast.Call(fn_name, args, [], None, None))
34
35#
36# Reducing AugAssign, e.g.  x |= y becomes x = x | y
37#
38class AugAssignRemoval(ast.NodeTransformer):
39  def xfrm(self, t):
40    return self.generic_visit(t)
41  def visit_AugAssign(self, e):
42    self.generic_visit(e)
43    return ast.Assign([e.target], ast.BinOp(e.target, e.op, e.value))
44
45#
46# Introducing BitBlock logical operations
47#
48class Bitwise_to_SIMD(ast.NodeTransformer):
49  """
50  Make the following substitutions:
51     x & y => simd_and(x, y)
52     x & ~y => simd_andc(x, y)
53     x | y => simd_or(x, y)
54     x ^ y => simd_xor(x, y)
55     ~x    => simd_not(x)
56     0     => simd_const_1(0)
57     -1    => simd_const_1(1)
58     if x: => if bitblock_has_bit(x):
59  while x: => while bitblock_has_bit(x):
60  >>> ast_show(Bitwise_to_SIMD().xfrm(ast.parse("pfx = bit0 & bit1; sfx = bit0 &~ bit1")))
61 
62  pfx = simd_and(bit0, bit1)
63  sfx = simd_and(bit0, simd_not(bit1))
64  >>>
65  """
66  def xfrm(self, t):
67    return self.generic_visit(t)
68  def visit_UnaryOp(self, t):
69    self.generic_visit(t)
70    if isinstance(t.op, ast.Invert):
71      return mkCall('simd_not', [t.operand])
72    else: return t
73  def visit_BinOp(self, t):
74    self.generic_visit(t)
75    if isinstance(t.op, ast.BitOr):
76      return mkCall('simd_or', [t.left, t.right])
77    elif isinstance(t.op, ast.BitAnd):
78      if is_simd_not(t.right): return mkCall('simd_andc', [t.left, t.right.args[0]])
79      elif is_simd_not(t.left): return mkCall('simd_andc', [t.right, t.left.args[0]])
80      else: return mkCall('simd_and', [t.left, t.right])
81    elif isinstance(t.op, ast.BitXor):
82      return mkCall('simd_xor', [t.left, t.right])
83    else: return t
84  def visit_Num(self, numnode):
85    n = numnode.n
86    if n == 0: return mkCall('simd_const_1', [numnode])
87    elif n == -1: return mkCall('simd_const_1', [ast.Num(1)])
88    else: return numnode
89  def visit_If(self, ifNode):
90    self.generic_visit(ifNode)
91    ifNode.test = mkCall('bitblock_has_bit', [ifNode.test])
92    return ifNode
93  def visit_While(self, whileNode):
94    self.generic_visit(whileNode)
95    whileNode.test = mkCall('bitblock_has_bit', [whileNode.test])
96    return whileNode
97  def visit_Subscript(self, numnode):
98    return numnode  # no recursive modifications of index expressions
99
100#
101#  Generating BitBlock declarations for Local Variables
102#
103class FunctionVars(ast.NodeVisitor):
104  def __init__(self,node):
105        self.params = []
106        self.stores = []
107        self.generic_visit(node)
108  def visit_Name(self, nm):
109    if isinstance(nm.ctx, ast.Param):
110      self.params.append(nm.id)
111    if isinstance(nm.ctx, ast.Store):
112      if nm.id not in self.stores: self.stores.append(nm.id)
113  def getLocals(self): 
114    return [v for v in self.stores if not v in self.params]
115
116MAX_LINE_LENGTH = 80
117
118def BitBlock_decls_from_vars(varlist):
119  global MAX_LINE_LENGTH
120  decls =  ""
121  if not len(varlist) == 0:
122          decls = "             BitBlock"
123          pending = ""
124          linelgth = 10
125          for v in varlist:
126            if linelgth + len(v) + 2 <= MAX_LINE_LENGTH:
127              decls += pending + " " + v
128              linelgth += len(pending + v) + 1
129            else:
130              decls += ";\n             BitBlock " + v
131              linelgth = 11 + len(v)
132            pending = ","
133          decls += ";"
134  return decls
135
136def BitBlock_decls_of_fn(fndef):
137  return BitBlock_decls_from_vars(FunctionVars(fndef).getLocals())
138
139def BitBlock_header_of_fn(fndef):
140  Ccode = "static inline void " + fndef.name + "("
141  pending = ""
142  for arg in fndef.args.args:
143    if isinstance(arg, ast.Name):
144      Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
145      pending = ", "
146  if CarryCounter().count(fndef) > 0:
147    Ccode += pending + " CarryQtype & carryQ"
148  Ccode += ")"
149  return Ccode
150
151
152
153#
154#  Stream Initialization Statement Extraction
155#
156#  streamvar = 1 ==> streamvar = sisd_from_int(1) initially.
157class StreamInitializations(ast.NodeTransformer):
158  def xfrm(self, node):
159    self.stream_stmts = []
160    self.loop_post_inits = []
161    self.generic_visit(node)
162    return Cgen.py2C().gen(self.stream_stmts)
163  def visit_Assign(self, node):
164    if isinstance(node.value, ast.Num):
165      if node.value.n == 0: return node
166      elif node.value.n == -1: return node
167      else: 
168        stream_init = copy.deepcopy(node)
169        stream_init.value = mkCall('sisd_from_int', [node.value])
170        loop_init = copy.deepcopy(node)
171        loop_init.value.n = 0
172        self.stream_stmts.append(stream_init)
173        self.loop_post_inits.append(loop_init)
174        return None
175    else: return node
176  def visit_FunctionDef(self, node):
177    self.generic_visit(node)
178    node.body = node.body + self.loop_post_inits
179    return node
180
181#
182# Carry Introduction Transformation
183#
184class CarryCounter(ast.NodeVisitor):
185  def visit_Call(self, callnode):
186    self.generic_visit(callnode)
187    if is_BuiltIn_Call(callnode,'Advance', 1) or is_BuiltIn_Call(callnode,'ScanThru', 2) or is_BuiltIn_Call(callnode,'ScanTo', 2) or is_BuiltIn_Call(callnode,'ScanToFirst', 1):       
188      self.carry_count += 1
189  def visit_BinOp(self, exprnode):
190    self.generic_visit(exprnode)
191    if isinstance(exprnode.op, ast.Sub):
192      self.carry_count += 1
193    if isinstance(exprnode.op, ast.Add):
194      self.carry_count += 1
195  def count(self, nodeToVisit):
196    self.carry_count = 0
197    self.generic_visit(nodeToVisit)
198    return self.carry_count
199
200class Adv32Counter(ast.NodeVisitor):
201  def visit_Call(self, callnode):
202    self.generic_visit(callnode)
203    if is_BuiltIn_Call(callnode,'Advance32', 1):       
204      self.adv32_count += 1
205  def count(self, nodeToVisit):
206    self.adv32_count = 0
207    self.generic_visit(nodeToVisit)
208    return self.adv32_count
209
210class CarryIntro(ast.NodeTransformer):
211  def __init__(self, carryvar="carryQ", carryin = "_ci", carryout = "_co"):
212    self.carryvar = ast.Name(carryvar, ast.Load())
213    self.carryin = carryin
214    self.carryout = carryout
215  def xfrm_fndef(self, fndef):
216    self.current_carry = 0
217    self.current_adv32 = 0
218    carry_count = CarryCounter().count(fndef)
219    if carry_count == 0: return fndef
220    self.generic_visit(fndef)
221#   
222#    fndef.body.insert(0, mkCallStmt('CarryDeclare', [self.carryvar, ast.Num(carry_count)]))
223    return fndef
224  def generic_xfrm(self, node):
225    self.current_carry = 0
226    self.current_adv32 = 0
227    carry_count = CarryCounter().count(node)
228    adv32_count = Adv32Counter().count(node)
229    if carry_count == 0 and adv32_count == 0: return node
230    self.generic_visit(node)
231    return node
232  def visit_Call(self, callnode):
233    self.generic_visit(callnode)
234    carry_args = [self.carryvar, ast.Num(self.current_carry)]
235    adv32_args = [ast.Subscript(ast.Name('pending32', ast.Load()), ast.Num(self.current_adv32), ast.Load())]
236    if is_BuiltIn_Call(callnode, 'Advance', 1):         
237      rtn = "BitBlock_advance%s_co" % (self.carryin)
238      c = mkCall(rtn, callnode.args + carry_args)
239      self.current_carry += 1
240      return c
241    elif is_BuiltIn_Call(callnode, 'Advance32', 1):     
242      rtn = "BitBlock_advance32%s_co" % (self.carryin)
243      c = mkCall(rtn, callnode.args + adv32_args)
244      self.current_adv32 += 1
245      return c
246    elif is_BuiltIn_Call(callnode, 'ScanThru', 2):
247      rtn = "BitBlock_scanthru%s_co" % (self.carryin)
248      c = mkCall(rtn, callnode.args + carry_args)
249      self.current_carry += 1
250      return c
251    elif is_BuiltIn_Call(callnode, 'ScanTo', 2):
252      # Modified Oct. 9, 2011 to directly use BitBlock_scanthru, eliminating duplication
253      # in having a separate BitBlock_scanto routine.
254      rtn = "BitBlock_scanthru%s_co" % (self.carryin)
255      if self.carryout == "":  scanclass = mkCall('simd_andc', [ast.Name('EOF_mask', ast.Load()), callnode.args[1]])
256      else: scanclass = mkCall('simd_not', [callnode.args[1]])
257      c = mkCall(rtn, [callnode.args[0], scanclass] + carry_args)
258      self.current_carry += 1
259      return c
260    elif is_BuiltIn_Call(callnode, 'ScanToFirst', 1):
261      rtn = "BitBlock_scantofirst"
262      #if self.carryout == "":  carry_args = [ast.Name('EOF_mask', ast.Load())] + carry_args
263      c = mkCall(rtn, callnode.args + carry_args)
264      self.current_carry += 1
265      return c
266    elif is_BuiltIn_Call(callnode, 'atEOF', 1):
267      if self.carryout != "": 
268        # Non final block: atEOF(x) = 0.
269        return mkCall('simd_const_1', [ast.Num(0)])
270      else: return mkCall('simd_andc', [callnode.args[0], ast.Name('EOF_mask', ast.Load())])
271    elif is_BuiltIn_Call(callnode, 'inFile', 1):
272      if self.carryout != "": 
273        # Non final block: inFile(x) = x.
274        return callnode.args[0]
275      else: return mkCall('simd_and', [callnode.args[0], ast.Name('EOF_mask', ast.Load())])
276    elif is_BuiltIn_Call(callnode, 'StreamScan', 2):
277      rtn = "StreamScan"           
278      c = mkCall(rtn, [ast.Name('(ScanBlock *) &' + callnode.args[0].id, ast.Load()), 
279                                           ast.Name('sizeof(BitBlock)/sizeof(ScanBlock)', ast.Load()),
280                                           ast.Name(callnode.args[1].id, ast.Load())])
281      return c
282    else: return callnode
283  def visit_BinOp(self, exprnode):
284    self.generic_visit(exprnode)
285    if self.carryin == '' and self.carryout == '': carry_args = []
286    else: carry_args = [self.carryvar, ast.Num(self.current_carry)]
287    if isinstance(exprnode.op, ast.Sub):
288      rtn = "BitBlock_sub%s%s" % (self.carryin, self.carryout)
289      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
290      self.current_carry += 1
291      return c
292    elif isinstance(exprnode.op, ast.Add):
293      rtn = "BitBlock_add%s%s" % (self.carryin, self.carryout)
294      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
295      self.current_carry += 1
296      return c
297    else: return exprnode
298  def visit_If(self, ifNode):
299    carry_base = self.current_carry
300    carries = CarryCounter().count(ifNode)
301    assert Adv32Counter().count(ifNode) == 0, "Advance32() within if: illegal\n"
302    self.generic_visit(ifNode)
303    if carries == 0 or self.carryin == "": return ifNode
304    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
305    new_test = ast.BoolOp(ast.Or(), [ifNode.test, mkCall('CarryTest', carry_arglist)])
306    new_else_part = ifNode.orelse + [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
307    return ast.If(new_test, ifNode.body, new_else_part)
308  def visit_While(self, whileNode):
309    if self.carryout == '':
310      whileNode.test.args[0] = mkCall("simd_and", [whileNode.test.args[0], ast.Name('EOF_mask', ast.Load())])
311    carry_base = self.current_carry
312    assert Adv32Counter().count(whileNode) == 0, "Advance32() within while: illegal\n"
313    carries = CarryCounter().count(whileNode)
314    if carries == 0: return whileNode
315    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
316    local_carryvar = 'subcarryQ'
317    inner_while = CarryIntro(local_carryvar, '', self.carryout).generic_xfrm(copy.deepcopy(whileNode))
318    self.generic_visit(whileNode)
319    local_decl = mkCallStmt('CarryDeclare', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
320    local_init = mkCallStmt('CarryInit', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
321    inner_while.body.insert(0, local_decl)
322    inner_while.body.insert(1, local_init)
323    final_combine = mkCallStmt('CarryCombine', [self.carryvar, ast.Name(local_carryvar, ast.Load()), ast.Num(carry_base), ast.Num(carries)])
324    inner_while.body.append(final_combine)
325    if self.carryin == '': new_test = whileNode.test
326    else: new_test = ast.BoolOp(ast.Or(), [whileNode.test, mkCall('CarryTest', carry_arglist)])
327    else_part = [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
328    return ast.If(new_test, whileNode.body + [inner_while], else_part)
329
330class StreamStructGen(ast.NodeVisitor):
331  """
332  Given a BitStreamSet subclass, generate the equivalent C struct.
333  >>> obj = ast.parse(r'''
334  ... class S1(BitStreamSet):
335  ...   a1 = 0
336  ...   a2 = 0
337  ...   a3 = 0
338  ...
339  ... class S2(BitStreamSet):
340  ...   x1 = 0
341  ...   x2 = 0
342  ... ''')
343  >>> print StreamStructGen().gen(obj)
344  struct S1 {
345    BitBlock a1;
346    BitBlock a2;
347    BitBlock a3;
348  }    self.current_adv32 = 0
349
350 
351  struct S2 {
352    BitBlock x1;
353    BitBlock x2;
354  }
355  """
356  def __init__(self, asType=False):
357    self.asType = asType
358  def gen(self, tree):
359    self.Ccode=""
360    self.generic_visit(tree)
361    return self.Ccode
362  def gen_struct_types(self, tree):
363    self.asType = True
364    self.Ccode=""
365    self.generic_visit(tree)
366    return self.Ccode
367  def gen_struct_vars(self, tree):
368    self.asType = False
369    self.Ccode=""
370    self.generic_visit(tree)
371    return self.Ccode
372  def visit_ClassDef(self, node):
373    class_name = node.name[0].upper() + node.name[1:]
374    instance_name = node.name[0].lower() + node.name[1:]
375    self.Ccode += "  struct " + class_name
376    if self.asType:
377            self.Ccode += " {\n"
378            for stmt in node.body:
379              if isinstance(stmt, ast.Assign):
380                for v in stmt.targets:
381                  if isinstance(v, ast.Name):
382                    self.Ccode += "  BitBlock " + v.id + ";\n"
383            self.Ccode += "}" 
384    else: self.Ccode += " " + instance_name
385    self.Ccode += ";\n\n"
386 
387class StreamFunctionDecl(ast.NodeVisitor):
388  def __init__(self):
389    pass
390  def gen(self, tree):
391    self.Ccode=""
392    self.generic_visit(tree)
393    return self.Ccode
394  def visit_FunctionDef(self, node):
395    self.Ccode += "static inline void " + node.name + "("
396    pending = ""
397    for arg in node.args.args:
398      if isinstance(arg, ast.Name):
399        self.Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
400        pending = ", "
401    self.Ccode += ");\n"
402
403#
404# Adding Debugging Statements
405#
406class Add_SIMD_Register_Dump(ast.NodeTransformer):
407  def xfrm(self, t):
408    return self.generic_visit(t)
409  def visit_Assign(self, t):
410    self.generic_visit(t)
411    v = t.targets[0]
412    dump_stmt = mkCallStmt('print_simd_register', [ast.Str(Cgen.py2C().gen(v)), v])
413    return [t, dump_stmt]
414
415class StreamFunctionCarryCounter(ast.NodeVisitor):
416  def __init__(self):
417        self.carry_count = {}
418       
419  def count(self, node):
420        self.generic_visit(node)
421        return self.carry_count
422                                   
423  def visit_FunctionDef(self, node):   
424        type_name = node.name[0].upper() + node.name[1:]                       
425        self.carry_count[type_name] = CarryCounter().count(node)
426     
427class StreamFunctionCallXlator(ast.NodeTransformer):
428  def __init__(self, xlate_type="normal"):
429        self.stream_function_type_names = []
430        self.xlate_type = xlate_type
431
432  def xfrm(self, node, stream_function_type_names, C_syntax):
433        self.stream_function_type_names = stream_function_type_names
434        self.C_syntax = C_syntax
435        self.generic_visit(node)
436       
437  def visit_Call(self, node):   
438        self.generic_visit(node)
439
440        if isinstance(node, ast.Call) and isinstance(node.func, ast.Name) and node.func.id in self.stream_function_type_names:
441             name = lower1(node.func.id)
442             node.func.id = name + ("_" if self.C_syntax else ".") + ("do_final_block" if self.xlate_type == "final" else "do_block")
443             if self.C_syntax:
444                     node.args = [ast.Name(lower1(name), ast.Load())] + node.args
445             if self.xlate_type == "final":
446                   node.args = node.args + [ast.Name("EOF_mask", ast.Load())]
447                     
448        return node     
449               
450class StreamFunctionVisitor(ast.NodeVisitor):
451        def __init__(self,node):
452                self.stream_function_node = {}
453                self.generic_visit(node)
454                                                             
455        def visit_FunctionDef(self, node):                     
456                key = node.name[0].upper() + node.name[1:]
457                self.stream_function_node[key] = node
458               
459class StreamFunction():
460        def __init__(self):
461                self.carry_count = 0 
462                self.adv32_count = 0 
463                self.type_name = ""
464                self.instance_name = "" 
465                self.parameters = ""
466                self.declarations = "" 
467                self.initializations = "" 
468#
469# TODO Consolidate *all* C code generation into the Emitter class.   Medium priority.
470# TODO Implement 'pretty print' indentation.   Low priority.
471# TODO Migrate Emiter() class to Emitter module.  Medium priority.
472
473def lower1(name):
474    return name[0].lower() + name[1:]
475def upper1(name):
476    return name[0].upper() + name[1:]
477
478def escape_newlines(str):
479  return str.replace('\n', '\\\n')
480
481class Emitter():
482        def __init__(self, use_C_syntax):
483                self.use_C_syntax = use_C_syntax
484
485        def definition(self, stream_function, icount=0):
486               
487                constructor = ""
488                carry_declaration = ""
489                self.type_name = stream_function.type_name
490               
491                if stream_function.carry_count > 0 or stream_function.adv32_count > 0:
492                        constructor = self.constructor(stream_function.type_name, stream_function.carry_count, stream_function.adv32_count)
493                        carry_declaration = self.carry_declare(stream_function.carry_count, stream_function.adv32_count)
494
495                do_block_function = self.do_block(self.do_block_parameters(stream_function.parameters), 
496                                                stream_function.declarations, 
497                                                stream_function.initializations, 
498                                                stream_function.statements)             
499
500                do_final_block_function = self.do_final_block(self.do_final_block_parameters(stream_function.parameters), 
501                                                stream_function.declarations, 
502                                                stream_function.initializations, 
503                                                stream_function.final_block_statements)                 
504
505                do_segment_function = self.do_segment(self.do_segment_parameters(stream_function.parameters), 
506                                                self.do_segment_args(stream_function.parameters))       
507
508                if self.use_C_syntax:
509                        return self.indent(icount) + "struct " + stream_function.type_name + " {" \
510                               + "\n" + self.indent(icount) + carry_declaration \
511                               + "\n" + self.indent(icount) + "};\n" \
512                               + "\n" + self.indent(icount) + do_block_function \
513                               + "\n" + self.indent(icount) + do_final_block_function \
514                               + "\n" + self.indent(icount) + do_segment_function + "\n\n"
515                               
516                return self.indent(icount) + "struct " + stream_function.type_name + " {" \
517                + "\n" + self.indent(icount) + constructor \
518                + "\n" + self.indent(icount) + do_block_function \
519                + "\n" + self.indent(icount) + do_final_block_function \
520                + "\n" + self.indent(icount) + do_segment_function \
521                + "\n" + self.indent(icount) + carry_declaration \
522                + "\n" + self.indent(icount) + "};\n\n"
523
524        def constructor(self, type_name, carry_count, adv32_count, icount=0):
525                adv32_decl = ""
526                for i in range(adv32_count): adv32_decl += self.indent(icount+2) + "pending32[%s] = 0;\n" % i   
527                return self.indent(icount) + "%s() { ""\n" % (type_name) + adv32_decl + self.carry_init(carry_count) + " }" 
528                       
529        def do_block(self, parameters, declarations, initializations, statements, icount=0):
530                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
531                if self.use_C_syntax:
532                        return "#define " + pfx + "do_block(" + parameters + ")\\\n do {" \
533                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
534                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
535                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
536                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
537                return self.indent(icount) + "void " + pfx + "do_block(" + parameters + ") {" \
538                + "\n" + self.indent(icount) + declarations \
539                + "\n" + self.indent(icount) + initializations \
540                + "\n" + self.indent(icount) + statements \
541                + "\n" + self.indent(icount + 2) + "}" 
542
543
544
545
546        def do_final_block(self, parameters, declarations, initializations, statements, icount=0):
547                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
548                if self.use_C_syntax:
549                        return "#define " + pfx + "do_final_block(" + parameters + ")\\\n do {" \
550                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
551                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
552                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
553                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
554                return self.indent(icount) + "void " + pfx + "do_final_block(" + parameters + ") {" \
555                + "\n" + self.indent(icount) + declarations \
556                + "\n" + self.indent(icount) + initializations \
557                + "\n" + self.indent(icount) + statements \
558                + "\n" + self.indent(icount + 2) + "}" 
559
560        def do_segment(self, parameters, do_block_call_args, icount=0):
561                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
562                if self.use_C_syntax:
563                        return "#define " + pfx + "do_segment(" + parameters + ")\\\n do {" \
564                        + "\\\n" + self.indent(icount) + "  int i;" \
565                        + "\\\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
566                        + "\\\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
567                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
568                return self.indent(icount) + "void " + pfx + "do_segment(" + parameters + ") {" \
569                + "\n" + self.indent(icount) + "  int i;" \
570                + "\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
571                + "\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
572                + "\n" + self.indent(icount + 2) + "}" 
573
574        def declaration(self, type_name, instance_name, icount=0):
575                if self.use_C_syntax: return self.indent(icount) + "struct " + type_name + " " + instance_name + ";\n"
576                return self.indent(icount) + type_name + " " + instance_name + ";\n"
577               
578        def carry_init(self, carry_count, icount=0):   
579                return self.indent(icount) + "CarryInit(carryQ, %i);" % (carry_count)
580       
581        def carry_declare(self, carry_count, adv32_count=0, icount=0):
582                adv32_decl = ""
583                if adv32_count > 0:
584                        adv32_decl = "\n" + self.indent(icount) + "uint32_t pending32[%s];" % adv32_count
585                return self.indent(icount) + "CarryDeclare(carryQ, %i);" % (carry_count) + adv32_decl
586
587        def carry_test(self, carry_variable, carry_count, icount=0):
588                return self.indent(icount) + "CarryTest(%s, 0, %i)" % (carry_variable, carry_count)             
589               
590        def indent(self, icount):
591                s = ""
592                for i in range(0,icount): s += " "
593                return s       
594               
595        def do_block_parameters(self, parameters):
596                if self.use_C_syntax:
597                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters])
598                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
599                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters])
600               
601        def do_final_block_parameters(self, parameters):
602                if self.use_C_syntax:
603                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
604                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters]+ ["EOF_mask"])
605                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
606               
607        def do_segment_parameters(self, parameters):
608                if self.use_C_syntax:
609                        #return ", ".join([self.type_name + " * " + + self.instance_name] + [upper1(p) + " " + lower1(p) + "[]" for p in parameters])
610                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
611                else: return ", ".join([upper1(p) + " " + lower1(p) + "[]" for p in parameters])
612
613        def do_segment_args(self, parameters):
614                if self.use_C_syntax:
615                        return ", ".join([lower1(self.type_name)] + [lower1(p) + "[i]" for p in parameters])
616                else: return ", ".join([lower1(p) + "[i]" for p in parameters])
617
618def main(infilename, outfile = sys.stdout):
619  t = ast.parse(file(infilename).read())
620  outfile.write(StreamStructGen(True).gen(t))
621  outfile.write(FunctionXlator().xlat(t))
622
623#
624#  Routines for compatibility with the old compiler/template.
625#  Quick and dirty hacks for now - Dec. 2010.
626#
627
628class MainLoopTransformer:
629  def __init__(self, main_module, C_syntax=False, add_dump_stmts=False, main_node_id='Main'):
630       
631    self.main_module = main_module
632    self.main_node_id = main_node_id
633    self.use_C_syntax = C_syntax
634    self.add_dump_stmts = add_dump_stmts
635   
636        # Gather and partition function definition nodes.
637    stream_function_visitor = StreamFunctionVisitor(self.main_module)
638    self.stream_function_node = stream_function_visitor.stream_function_node
639    self.main_node = self.stream_function_node[main_node_id]
640    self.main_carry_count = CarryCounter().count(self.main_node)
641    self.main_adv32_count = Adv32Counter().count(self.main_node)
642    assert self.main_adv32_count == 0, "Advance32() in main not supported.\n"
643    del self.stream_function_node[self.main_node_id]
644   
645    self.stream_functions = {}
646    for key, node in self.stream_function_node.iteritems():
647                stream_function = StreamFunction()
648                stream_function.carry_count = CarryCounter().count(node)
649                stream_function.adv32_count = Adv32Counter().count(node)
650                stream_function.type_name = node.name[0].upper() + node.name[1:]
651                stream_function.instance_name = node.name[0].lower() + node.name[1:]
652                stream_function.parameters = FunctionVars(node).params
653                stream_function.declarations = BitBlock_decls_of_fn(node)
654                stream_function.initializations = StreamInitializations().xfrm(node) 
655               
656                AugAssignRemoval().xfrm(node)
657                Bitwise_to_SIMD().xfrm(node)
658                final_block_node = copy.deepcopy(node)
659                if self.use_C_syntax:
660                        carryQname = stream_function.instance_name + ".carryQ"
661                else: carryQname = "carryQ"
662                CarryIntro(carryQname).xfrm_fndef(node)
663                CarryIntro(carryQname, "_ci", "").xfrm_fndef(final_block_node)
664
665                if self.add_dump_stmts: 
666                        Add_SIMD_Register_Dump().xfrm(node)
667               
668                if stream_function.carry_count > 0:
669                        node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name(carryQname, ast.Load()), ast.Num(stream_function.carry_count)])]
670               
671                stream_function.statements = Cgen.py2C(4).gen(node.body)
672                stream_function.final_block_statements = Cgen.py2C(4).gen(final_block_node.body)
673                self.stream_functions[stream_function.type_name] = stream_function
674       
675    self.emitter = Emitter(self.use_C_syntax)
676   
677  def any_carry_expr(self):
678       
679        carry_test = []
680       
681        if self.main_carry_count > 0:
682                        carry_test.append(self.emitter.carry_test('carryQ', self.main_carry_count))
683                        carry_test.append(" || ")
684
685        for key in self.stream_functions.keys():               
686                if self.stream_functions[key].carry_count > 0:
687                        carry_test.append(self.emitter.carry_test(self.stream_functions[key].instance_name + ".carryQ", self.stream_functions[key].carry_count))
688                        carry_test.append(" || ")
689
690        if len(carry_test) > 0:
691                carry_test.pop()
692                return "".join(carry_test)
693        return "1"
694
695  def gen_globals(self):
696    self.Cglobals = StreamStructGen().gen_struct_types(self.main_module)
697    for key in self.stream_functions.keys():
698                self.Cglobals += Emitter(self.use_C_syntax).definition(self.stream_functions[key],2)       
699                       
700  def gen_declarations(self): 
701    self.Cdecls = StreamStructGen().gen_struct_vars(self.main_module)
702    self.Cdecls += BitBlock_decls_of_fn(self.main_node)
703    if self.main_carry_count > 0: 
704        self.Cdecls += self.emitter.carry_declare(self.main_carry_count)
705               
706  def gen_initializations(self):
707    self.Cinits = ""
708    if self.main_carry_count > 0: 
709        self.Cinits += self.emitter.carry_init(self.main_carry_count)
710    self.Cinits += StreamInitializations().xfrm(self.main_module)
711    if self.use_C_syntax:
712                for key in self.stream_functions.keys():
713                        if self.stream_functions[key].carry_count == 0: continue
714                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
715                        self.Cinits += "CarryInit(" + self.stream_functions[key].instance_name + ".carryQ, %i);\n" % (self.stream_functions[key].carry_count)
716    else:
717                for key in self.stream_functions.keys():
718                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
719
720                       
721  def xfrm_block_stmts(self):
722    AugAssignRemoval().xfrm(self.main_node)
723    Bitwise_to_SIMD().xfrm(self.main_node)
724    final_block_main = copy.deepcopy(self.main_node)
725    CarryIntro().xfrm_fndef(self.main_node)
726    CarryIntro('carryQ', '_ci', '').xfrm_fndef(final_block_main)
727    if self.add_dump_stmts: 
728        Add_SIMD_Register_Dump().xfrm(self.main_node)
729        Add_SIMD_Register_Dump().xfrm(final_block_main)
730               
731    StreamFunctionCallXlator().xfrm(self.main_node, self.stream_function_node.keys(), self.use_C_syntax)
732    StreamFunctionCallXlator('final').xfrm(final_block_main, self.stream_function_node.keys(), self.use_C_syntax)
733   
734    if self.main_carry_count > 0:
735                self.main_node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name('carryQ', ast.Load()), ast.Num(self.main_carry_count)])]
736   
737   
738       
739    self.Cstmts = Cgen.py2C().gen(self.main_node.body)
740    self.Cfinal_stmts = Cgen.py2C().gen(final_block_main.body)
741   
742if __name__ == "__main__":
743                import doctest
744                doctest.testmod()
Note: See TracBrowser for help on using the repository browser.