source: proto/Compiler/pablo.py @ 1520

Last change on this file since 1520 was 1520, checked in by cameron, 8 years ago

Implement pablo.ScanTo? in terms of Bitblock_scanthru

File size: 29.0 KB
Line 
1#
2# Pablo.py - parallel bitstream to bitblock
3#  2nd generation compiler
4#
5# Copyright 2010, 2011, Robert D. Cameron, Kenneth S. Herdy
6# All rights reserved.
7#
8import ast, copy, sys
9import Cgen
10
11name_substitution_map = {}
12
13def is_BuiltIn_Call(fncall, builtin_fnname, builtin_arg_cnt, builtin_fnmod_noprefix='pablo'):
14        if isinstance(fncall.func, ast.Name): iscall = fncall.func.id == builtin_fnname
15        elif isinstance(fncall.func, ast.Attribute) and isinstance(fncall.func.value, ast.Name):
16                 iscall = fncall.func.value.id == builtin_fnmod_noprefix and fncall.func.attr == builtin_fnname
17        return iscall and len(fncall.args) == builtin_arg_cnt and fncall.kwargs == None and fncall.starargs == None
18
19def is_simd_not(e):
20  return isinstance(e, ast.Call) and isinstance(e.func, ast.Name) and e.func.id == 'simd_not'
21
22def mkQname(obj, field):
23  return ast.Attribute(ast.Name(obj, ast.Load()), field, ast.Load())
24
25def mkCall(fn_name, args):
26  if isinstance(fn_name, str): 
27        if name_substitution_map.has_key(fn_name): fn_name = name_substitution_map[fn_name]
28        fn_name = ast.Name(fn_name, ast.Load())
29  return ast.Call(fn_name, args, [], None, None)
30
31def mkCallStmt(fn_name, args):
32  if isinstance(fn_name, str): fn_name = ast.Name(fn_name, ast.Load())
33  return ast.Expr(ast.Call(fn_name, args, [], None, None))
34
35#
36# Reducing AugAssign, e.g.  x |= y becomes x = x | y
37#
38class AugAssignRemoval(ast.NodeTransformer):
39  def xfrm(self, t):
40    return self.generic_visit(t)
41  def visit_AugAssign(self, e):
42    self.generic_visit(e)
43    return ast.Assign([e.target], ast.BinOp(e.target, e.op, e.value))
44
45#
46# Introducing BitBlock logical operations
47#
48class Bitwise_to_SIMD(ast.NodeTransformer):
49  """
50  Make the following substitutions:
51     x & y => simd_and(x, y)
52     x & ~y => simd_andc(x, y)
53     x | y => simd_or(x, y)
54     x ^ y => simd_xor(x, y)
55     ~x    => simd_not(x)
56     0     => simd_const_1(0)
57     -1    => simd_const_1(1)
58     if x: => if bitblock_has_bit(x):
59  while x: => while bitblock_has_bit(x):
60  >>> ast_show(Bitwise_to_SIMD().xfrm(ast.parse("pfx = bit0 & bit1; sfx = bit0 &~ bit1")))
61 
62  pfx = simd_and(bit0, bit1)
63  sfx = simd_and(bit0, simd_not(bit1))
64  >>>
65  """
66  def xfrm(self, t):
67    return self.generic_visit(t)
68  def visit_UnaryOp(self, t):
69    self.generic_visit(t)
70    if isinstance(t.op, ast.Invert):
71      return mkCall('simd_not', [t.operand])
72    else: return t
73  def visit_BinOp(self, t):
74    self.generic_visit(t)
75    if isinstance(t.op, ast.BitOr):
76      return mkCall('simd_or', [t.left, t.right])
77    elif isinstance(t.op, ast.BitAnd):
78      if is_simd_not(t.right): return mkCall('simd_andc', [t.left, t.right.args[0]])
79      elif is_simd_not(t.left): return mkCall('simd_andc', [t.right, t.left.args[0]])
80      else: return mkCall('simd_and', [t.left, t.right])
81    elif isinstance(t.op, ast.BitXor):
82      return mkCall('simd_xor', [t.left, t.right])
83    else: return t
84  def visit_Num(self, numnode):
85    n = numnode.n
86    if n == 0: return mkCall('simd_const_1', [numnode])
87    elif n == -1: return mkCall('simd_const_1', [ast.Num(1)])
88    else: return numnode
89  def visit_If(self, ifNode):
90    self.generic_visit(ifNode)
91    ifNode.test = mkCall('bitblock_has_bit', [ifNode.test])
92    return ifNode
93  def visit_While(self, whileNode):
94    self.generic_visit(whileNode)
95    whileNode.test = mkCall('bitblock_has_bit', [whileNode.test])
96    return whileNode
97  def visit_Subscript(self, numnode):
98    return numnode  # no recursive modifications of index expressions
99
100#
101#  Generating BitBlock declarations for Local Variables
102#
103class FunctionVars(ast.NodeVisitor):
104  def __init__(self,node):
105        self.params = []
106        self.stores = []
107        self.generic_visit(node)
108  def visit_Name(self, nm):
109    if isinstance(nm.ctx, ast.Param):
110      self.params.append(nm.id)
111    if isinstance(nm.ctx, ast.Store):
112      if nm.id not in self.stores: self.stores.append(nm.id)
113  def getLocals(self): 
114    return [v for v in self.stores if not v in self.params]
115
116MAX_LINE_LENGTH = 80
117
118def BitBlock_decls_from_vars(varlist):
119  global MAX_LINE_LENGTH
120  decls =  ""
121  if not len(varlist) == 0:
122          decls = "             BitBlock"
123          pending = ""
124          linelgth = 10
125          for v in varlist:
126            if linelgth + len(v) + 2 <= MAX_LINE_LENGTH:
127              decls += pending + " " + v
128              linelgth += len(pending + v) + 1
129            else:
130              decls += ";\n             BitBlock " + v
131              linelgth = 11 + len(v)
132            pending = ","
133          decls += ";"
134  return decls
135
136def BitBlock_decls_of_fn(fndef):
137  return BitBlock_decls_from_vars(FunctionVars(fndef).getLocals())
138
139def BitBlock_header_of_fn(fndef):
140  Ccode = "static inline void " + fndef.name + "("
141  pending = ""
142  for arg in fndef.args.args:
143    if isinstance(arg, ast.Name):
144      Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
145      pending = ", "
146  if CarryCounter().count(fndef) > 0:
147    Ccode += pending + " CarryQtype & carryQ"
148  Ccode += ")"
149  return Ccode
150
151
152
153#
154#  Stream Initialization Statement Extraction
155#
156#  streamvar = 1 ==> streamvar = sisd_from_int(1) initially.
157class StreamInitializations(ast.NodeTransformer):
158  def xfrm(self, node):
159    self.stream_stmts = []
160    self.loop_post_inits = []
161    self.generic_visit(node)
162    return Cgen.py2C().gen(self.stream_stmts)
163  def visit_Assign(self, node):
164    if isinstance(node.value, ast.Num):
165      if node.value.n == 0: return node
166      elif node.value.n == -1: return node
167      else: 
168        stream_init = copy.deepcopy(node)
169        stream_init.value = mkCall('sisd_from_int', [node.value])
170        loop_init = copy.deepcopy(node)
171        loop_init.value.n = 0
172        self.stream_stmts.append(stream_init)
173        self.loop_post_inits.append(loop_init)
174        return None
175    else: return node
176  def visit_FunctionDef(self, node):
177    self.generic_visit(node)
178    node.body = node.body + self.loop_post_inits
179    return node
180
181#
182# Carry Introduction Transformation
183#
184class CarryCounter(ast.NodeVisitor):
185  def visit_Call(self, callnode):
186    self.generic_visit(callnode)
187    if is_BuiltIn_Call(callnode,'Advance', 1) or is_BuiltIn_Call(callnode,'ScanThru', 2) or is_BuiltIn_Call(callnode,'ScanTo', 2) or is_BuiltIn_Call(callnode,'ScanToFirst', 1):       
188      self.carry_count += 1
189  def visit_BinOp(self, exprnode):
190    self.generic_visit(exprnode)
191    if isinstance(exprnode.op, ast.Sub):
192      self.carry_count += 1
193    if isinstance(exprnode.op, ast.Add):
194      self.carry_count += 1
195  def count(self, nodeToVisit):
196    self.carry_count = 0
197    self.generic_visit(nodeToVisit)
198    return self.carry_count
199
200class Adv32Counter(ast.NodeVisitor):
201  def visit_Call(self, callnode):
202    self.generic_visit(callnode)
203    if is_BuiltIn_Call(callnode,'Advance32', 1):       
204      self.adv32_count += 1
205  def count(self, nodeToVisit):
206    self.adv32_count = 0
207    self.generic_visit(nodeToVisit)
208    return self.adv32_count
209
210class CarryIntro(ast.NodeTransformer):
211  def __init__(self, carryvar="carryQ", carryin = "_ci", carryout = "_co"):
212    self.carryvar = ast.Name(carryvar, ast.Load())
213    self.carryin = carryin
214    self.carryout = carryout
215  def xfrm_fndef(self, fndef):
216    self.current_carry = 0
217    self.current_adv32 = 0
218    carry_count = CarryCounter().count(fndef)
219    if carry_count == 0: return fndef
220    self.generic_visit(fndef)
221#   
222#    fndef.body.insert(0, mkCallStmt('CarryDeclare', [self.carryvar, ast.Num(carry_count)]))
223    return fndef
224  def generic_xfrm(self, node):
225    self.current_carry = 0
226    self.current_adv32 = 0
227    carry_count = CarryCounter().count(node)
228    adv32_count = Adv32Counter().count(node)
229    if carry_count == 0 and adv32_count == 0: return node
230    self.generic_visit(node)
231    return node
232  def visit_Call(self, callnode):
233    self.generic_visit(callnode)
234    if self.carryin == '' and self.carryout == '': 
235        carry_args = []
236        adv32_args = []
237    else: 
238        carry_args = [self.carryvar, ast.Num(self.current_carry)]
239        adv32_args = [ast.Subscript(ast.Name('pending32', ast.Load()), ast.Num(self.current_adv32), ast.Load())]
240    if is_BuiltIn_Call(callnode, 'Advance', 1):         
241      rtn = "BitBlock_advance%s%s" % (self.carryin, self.carryout)
242      c = mkCall(rtn, callnode.args + carry_args)
243      self.current_carry += 1
244      return c
245    elif is_BuiltIn_Call(callnode, 'Advance32', 1):     
246      rtn = "BitBlock_advance32%s%s" % (self.carryin, self.carryout)
247      c = mkCall(rtn, callnode.args + adv32_args)
248      self.current_adv32 += 1
249      return c
250    elif is_BuiltIn_Call(callnode, 'ScanThru', 2):
251      rtn = "BitBlock_scanthru%s%s" % (self.carryin, self.carryout)
252      c = mkCall(rtn, callnode.args + carry_args)
253      self.current_carry += 1
254      return c
255    elif is_BuiltIn_Call(callnode, 'ScanTo', 2):
256      # Modified Oct. 9, 2011 to directly use BitBlock_scanthru, eliminating duplication
257      # in having a separate BitBlock_scanto routine.
258      rtn = "BitBlock_scanthru%s%s" % (self.carryin, self.carryout)
259      if self.carryout == "":  scanclass = mkCall('simd_andc', [ast.Name('EOF_mask', ast.Load()), callnode.args[1]])
260      else: scanclass = mkCall('simd_not', [callnode.args[1]])
261      c = mkCall(rtn, [callnode.args[0], scanclass] + carry_args)
262      self.current_carry += 1
263      return c
264    elif is_BuiltIn_Call(callnode, 'ScanToFirst', 1):
265      rtn = "BitBlock_scantofirst"
266      #if self.carryout == "":  carry_args = [ast.Name('EOF_mask', ast.Load())] + carry_args
267      c = mkCall(rtn, callnode.args + carry_args)
268      self.current_carry += 1
269      return c
270    elif is_BuiltIn_Call(callnode, 'atEOF', 1):
271      if self.carryout != "": 
272        # Non final block: atEOF(x) = 0.
273        return mkCall('simd_const_1', [ast.Num(0)])
274      else: return mkCall('simd_andc', [callnode.args[0], ast.Name('EOF_mask', ast.Load())])
275    elif is_BuiltIn_Call(callnode, 'inFile', 1):
276      if self.carryout != "": 
277        # Non final block: inFile(x) = x.
278        return callnode.args[0]
279      else: return mkCall('simd_and', [callnode.args[0], ast.Name('EOF_mask', ast.Load())])
280    elif is_BuiltIn_Call(callnode, 'StreamScan', 2):
281      rtn = "StreamScan"           
282      c = mkCall(rtn, [ast.Name('(ScanBlock *) &' + callnode.args[0].id, ast.Load()), 
283                                           ast.Name('sizeof(BitBlock)/sizeof(ScanBlock)', ast.Load()),
284                                           ast.Name(callnode.args[1].id, ast.Load())])
285      return c
286    else: return callnode
287  def visit_BinOp(self, exprnode):
288    self.generic_visit(exprnode)
289    if self.carryin == '' and self.carryout == '': carry_args = []
290    else: carry_args = [self.carryvar, ast.Num(self.current_carry)]
291    if isinstance(exprnode.op, ast.Sub):
292      rtn = "BitBlock_sub%s%s" % (self.carryin, self.carryout)
293      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
294      self.current_carry += 1
295      return c
296    elif isinstance(exprnode.op, ast.Add):
297      rtn = "BitBlock_add%s%s" % (self.carryin, self.carryout)
298      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
299      self.current_carry += 1
300      return c
301    else: return exprnode
302  def visit_If(self, ifNode):
303    carry_base = self.current_carry
304    carries = CarryCounter().count(ifNode)
305    assert Adv32Counter().count(ifNode) == 0, "Advance32() within if: illegal\n"
306    self.generic_visit(ifNode)
307    if carries == 0 or self.carryin == "": return ifNode
308    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
309    new_test = ast.BoolOp(ast.Or(), [ifNode.test, mkCall('CarryTest', carry_arglist)])
310    new_else_part = ifNode.orelse + [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
311    return ast.If(new_test, ifNode.body, new_else_part)
312  def visit_While(self, whileNode):
313    if self.carryout == '':
314      whileNode.test.args[0] = mkCall("simd_and", [whileNode.test.args[0], ast.Name('EOF_mask', ast.Load())])
315    carry_base = self.current_carry
316    assert Adv32Counter().count(whileNode) == 0, "Advance32() within while: illegal\n"
317    carries = CarryCounter().count(whileNode)
318    if carries == 0: return whileNode
319    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
320    local_carryvar = 'subcarryQ'
321    inner_while = CarryIntro(local_carryvar, '', self.carryout).generic_xfrm(copy.deepcopy(whileNode))
322    self.generic_visit(whileNode)
323    if self.carryout == '_co':
324      local_decl = mkCallStmt('CarryDeclare', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
325      local_init = mkCallStmt('CarryInit', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
326      inner_while.body.insert(0, local_decl)
327      inner_while.body.insert(1, local_init)
328      final_combine = mkCallStmt('CarryCombine', [self.carryvar, ast.Name(local_carryvar, ast.Load()), ast.Num(carry_base), ast.Num(carries)])
329      inner_while.body.append(final_combine)
330    if self.carryin == '': new_test = whileNode.test
331    else: new_test = ast.BoolOp(ast.Or(), [whileNode.test, mkCall('CarryTest', carry_arglist)])
332    else_part = [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
333    return ast.If(new_test, whileNode.body + [inner_while], else_part)
334
335class StreamStructGen(ast.NodeVisitor):
336  """
337  Given a BitStreamSet subclass, generate the equivalent C struct.
338  >>> obj = ast.parse(r'''
339  ... class S1(BitStreamSet):
340  ...   a1 = 0
341  ...   a2 = 0
342  ...   a3 = 0
343  ...
344  ... class S2(BitStreamSet):
345  ...   x1 = 0
346  ...   x2 = 0
347  ... ''')
348  >>> print StreamStructGen().gen(obj)
349  struct S1 {
350    BitBlock a1;
351    BitBlock a2;
352    BitBlock a3;
353  }    self.current_adv32 = 0
354
355 
356  struct S2 {
357    BitBlock x1;
358    BitBlock x2;
359  }
360  """
361  def __init__(self, asType=False):
362    self.asType = asType
363  def gen(self, tree):
364    self.Ccode=""
365    self.generic_visit(tree)
366    return self.Ccode
367  def gen_struct_types(self, tree):
368    self.asType = True
369    self.Ccode=""
370    self.generic_visit(tree)
371    return self.Ccode
372  def gen_struct_vars(self, tree):
373    self.asType = False
374    self.Ccode=""
375    self.generic_visit(tree)
376    return self.Ccode
377  def visit_ClassDef(self, node):
378    class_name = node.name[0].upper() + node.name[1:]
379    instance_name = node.name[0].lower() + node.name[1:]
380    self.Ccode += "  struct " + class_name
381    if self.asType:
382            self.Ccode += " {\n"
383            for stmt in node.body:
384              if isinstance(stmt, ast.Assign):
385                for v in stmt.targets:
386                  if isinstance(v, ast.Name):
387                    self.Ccode += "  BitBlock " + v.id + ";\n"
388            self.Ccode += "}" 
389    else: self.Ccode += " " + instance_name
390    self.Ccode += ";\n\n"
391 
392class StreamFunctionDecl(ast.NodeVisitor):
393  def __init__(self):
394    pass
395  def gen(self, tree):
396    self.Ccode=""
397    self.generic_visit(tree)
398    return self.Ccode
399  def visit_FunctionDef(self, node):
400    self.Ccode += "static inline void " + node.name + "("
401    pending = ""
402    for arg in node.args.args:
403      if isinstance(arg, ast.Name):
404        self.Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
405        pending = ", "
406    self.Ccode += ");\n"
407
408#
409# Adding Debugging Statements
410#
411class Add_SIMD_Register_Dump(ast.NodeTransformer):
412  def xfrm(self, t):
413    return self.generic_visit(t)
414  def visit_Assign(self, t):
415    self.generic_visit(t)
416    v = t.targets[0]
417    dump_stmt = mkCallStmt('print_simd_register', [ast.Str(Cgen.py2C().gen(v)), v])
418    return [t, dump_stmt]
419
420class StreamFunctionCarryCounter(ast.NodeVisitor):
421  def __init__(self):
422        self.carry_count = {}
423       
424  def count(self, node):
425        self.generic_visit(node)
426        return self.carry_count
427                                   
428  def visit_FunctionDef(self, node):   
429        type_name = node.name[0].upper() + node.name[1:]                       
430        self.carry_count[type_name] = CarryCounter().count(node)
431     
432class StreamFunctionCallXlator(ast.NodeTransformer):
433  def __init__(self, xlate_type="normal"):
434        self.stream_function_type_names = []
435        self.xlate_type = xlate_type
436
437  def xfrm(self, node, stream_function_type_names, C_syntax):
438        self.stream_function_type_names = stream_function_type_names
439        self.C_syntax = C_syntax
440        self.generic_visit(node)
441       
442  def visit_Call(self, node):   
443        self.generic_visit(node)
444
445        if isinstance(node, ast.Call) and isinstance(node.func, ast.Name) and node.func.id in self.stream_function_type_names:
446             name = lower1(node.func.id)
447             node.func.id = name + ("_" if self.C_syntax else ".") + ("do_final_block" if self.xlate_type == "final" else "do_block")
448             if self.C_syntax:
449                     node.args = [ast.Name(lower1(name), ast.Load())] + node.args
450             if self.xlate_type == "final":
451                   node.args = node.args + [ast.Name("EOF_mask", ast.Load())]
452                     
453        return node     
454               
455class StreamFunctionVisitor(ast.NodeVisitor):
456        def __init__(self,node):
457                self.stream_function_node = {}
458                self.generic_visit(node)
459                                                             
460        def visit_FunctionDef(self, node):                     
461                key = node.name[0].upper() + node.name[1:]
462                self.stream_function_node[key] = node
463               
464class StreamFunction():
465        def __init__(self):
466                self.carry_count = 0 
467                self.adv32_count = 0 
468                self.type_name = ""
469                self.instance_name = "" 
470                self.parameters = ""
471                self.declarations = "" 
472                self.initializations = "" 
473#
474# TODO Consolidate *all* C code generation into the Emitter class.   Medium priority.
475# TODO Implement 'pretty print' indentation.   Low priority.
476# TODO Migrate Emiter() class to Emitter module.  Medium priority.
477
478def lower1(name):
479    return name[0].lower() + name[1:]
480def upper1(name):
481    return name[0].upper() + name[1:]
482
483def escape_newlines(str):
484  return str.replace('\n', '\\\n')
485
486class Emitter():
487        def __init__(self, use_C_syntax):
488                self.use_C_syntax = use_C_syntax
489
490        def definition(self, stream_function, icount=0):
491               
492                constructor = ""
493                carry_declaration = ""
494                self.type_name = stream_function.type_name
495               
496                if stream_function.carry_count > 0 or stream_function.adv32_count > 0:
497                        constructor = self.constructor(stream_function.type_name, stream_function.carry_count, stream_function.adv32_count)
498                        carry_declaration = self.carry_declare(stream_function.carry_count, stream_function.adv32_count)
499
500                do_block_function = self.do_block(self.do_block_parameters(stream_function.parameters), 
501                                                stream_function.declarations, 
502                                                stream_function.initializations, 
503                                                stream_function.statements)             
504
505                do_final_block_function = self.do_final_block(self.do_final_block_parameters(stream_function.parameters), 
506                                                stream_function.declarations, 
507                                                stream_function.initializations, 
508                                                stream_function.final_block_statements)                 
509
510                do_segment_function = self.do_segment(self.do_segment_parameters(stream_function.parameters), 
511                                                self.do_segment_args(stream_function.parameters))       
512
513                if self.use_C_syntax:
514                        return self.indent(icount) + "struct " + stream_function.type_name + " {" \
515                               + "\n" + self.indent(icount) + carry_declaration \
516                               + "\n" + self.indent(icount) + "};\n" \
517                               + "\n" + self.indent(icount) + do_block_function \
518                               + "\n" + self.indent(icount) + do_final_block_function \
519                               + "\n" + self.indent(icount) + do_segment_function + "\n\n"
520                               
521                return self.indent(icount) + "struct " + stream_function.type_name + " {" \
522                + "\n" + self.indent(icount) + constructor \
523                + "\n" + self.indent(icount) + do_block_function \
524                + "\n" + self.indent(icount) + do_final_block_function \
525                + "\n" + self.indent(icount) + do_segment_function \
526                + "\n" + self.indent(icount) + carry_declaration \
527                + "\n" + self.indent(icount) + "};\n\n"
528
529        def constructor(self, type_name, carry_count, adv32_count, icount=0):
530                adv32_decl = ""
531                for i in range(adv32_count): adv32_decl += self.indent(icount+2) + "pending32[%s] = 0;\n" % i   
532                return self.indent(icount) + "%s() { ""\n" % (type_name) + adv32_decl + self.carry_init(carry_count) + " }" 
533                       
534        def do_block(self, parameters, declarations, initializations, statements, icount=0):
535                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
536                if self.use_C_syntax:
537                        return "#define " + pfx + "do_block(" + parameters + ")\\\n do {" \
538                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
539                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
540                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
541                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
542                return self.indent(icount) + "void " + pfx + "do_block(" + parameters + ") {" \
543                + "\n" + self.indent(icount) + declarations \
544                + "\n" + self.indent(icount) + initializations \
545                + "\n" + self.indent(icount) + statements \
546                + "\n" + self.indent(icount + 2) + "}" 
547
548
549
550
551        def do_final_block(self, parameters, declarations, initializations, statements, icount=0):
552                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
553                if self.use_C_syntax:
554                        return "#define " + pfx + "do_final_block(" + parameters + ")\\\n do {" \
555                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
556                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
557                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
558                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
559                return self.indent(icount) + "void " + pfx + "do_final_block(" + parameters + ") {" \
560                + "\n" + self.indent(icount) + declarations \
561                + "\n" + self.indent(icount) + initializations \
562                + "\n" + self.indent(icount) + statements \
563                + "\n" + self.indent(icount + 2) + "}" 
564
565        def do_segment(self, parameters, do_block_call_args, icount=0):
566                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
567                if self.use_C_syntax:
568                        return "#define " + pfx + "do_segment(" + parameters + ")\\\n do {" \
569                        + "\\\n" + self.indent(icount) + "  int i;" \
570                        + "\\\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
571                        + "\\\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
572                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
573                return self.indent(icount) + "void " + pfx + "do_segment(" + parameters + ") {" \
574                + "\n" + self.indent(icount) + "  int i;" \
575                + "\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
576                + "\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
577                + "\n" + self.indent(icount + 2) + "}" 
578
579        def declaration(self, type_name, instance_name, icount=0):
580                if self.use_C_syntax: return self.indent(icount) + "struct " + type_name + " " + instance_name + ";\n"
581                return self.indent(icount) + type_name + " " + instance_name + ";\n"
582               
583        def carry_init(self, carry_count, icount=0):   
584                return self.indent(icount) + "CarryInit(carryQ, %i);" % (carry_count)
585       
586        def carry_declare(self, carry_count, adv32_count=0, icount=0):
587                adv32_decl = ""
588                if adv32_count > 0:
589                        adv32_decl = "\n" + self.indent(icount) + "uint32_t pending32[%s];" % adv32_count
590                return self.indent(icount) + "CarryDeclare(carryQ, %i);" % (carry_count) + adv32_decl
591
592        def carry_test(self, carry_variable, carry_count, icount=0):
593                return self.indent(icount) + "CarryTest(%s, 0, %i)" % (carry_variable, carry_count)             
594               
595        def indent(self, icount):
596                s = ""
597                for i in range(0,icount): s += " "
598                return s       
599               
600        def do_block_parameters(self, parameters):
601                if self.use_C_syntax:
602                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters])
603                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
604                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters])
605               
606        def do_final_block_parameters(self, parameters):
607                if self.use_C_syntax:
608                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
609                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters]+ ["EOF_mask"])
610                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
611               
612        def do_segment_parameters(self, parameters):
613                if self.use_C_syntax:
614                        #return ", ".join([self.type_name + " * " + + self.instance_name] + [upper1(p) + " " + lower1(p) + "[]" for p in parameters])
615                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
616                else: return ", ".join([upper1(p) + " " + lower1(p) + "[]" for p in parameters])
617
618        def do_segment_args(self, parameters):
619                if self.use_C_syntax:
620                        return ", ".join([lower1(self.type_name)] + [lower1(p) + "[i]" for p in parameters])
621                else: return ", ".join([lower1(p) + "[i]" for p in parameters])
622
623def main(infilename, outfile = sys.stdout):
624  t = ast.parse(file(infilename).read())
625  outfile.write(StreamStructGen(True).gen(t))
626  outfile.write(FunctionXlator().xlat(t))
627
628#
629#  Routines for compatibility with the old compiler/template.
630#  Quick and dirty hacks for now - Dec. 2010.
631#
632
633class MainLoopTransformer:
634  def __init__(self, main_module, C_syntax=False, add_dump_stmts=False, main_node_id='Main'):
635       
636    self.main_module = main_module
637    self.main_node_id = main_node_id
638    self.use_C_syntax = C_syntax
639    self.add_dump_stmts = add_dump_stmts
640   
641        # Gather and partition function definition nodes.
642    stream_function_visitor = StreamFunctionVisitor(self.main_module)
643    self.stream_function_node = stream_function_visitor.stream_function_node
644    self.main_node = self.stream_function_node[main_node_id]
645    self.main_carry_count = CarryCounter().count(self.main_node)
646    self.main_adv32_count = Adv32Counter().count(self.main_node)
647    assert self.main_adv32_count == 0, "Advance32() in main not supported.\n"
648    del self.stream_function_node[self.main_node_id]
649   
650    self.stream_functions = {}
651    for key, node in self.stream_function_node.iteritems():
652                stream_function = StreamFunction()
653                stream_function.carry_count = CarryCounter().count(node)
654                stream_function.adv32_count = Adv32Counter().count(node)
655                stream_function.type_name = node.name[0].upper() + node.name[1:]
656                stream_function.instance_name = node.name[0].lower() + node.name[1:]
657                stream_function.parameters = FunctionVars(node).params
658                stream_function.declarations = BitBlock_decls_of_fn(node)
659                stream_function.initializations = StreamInitializations().xfrm(node) 
660               
661                AugAssignRemoval().xfrm(node)
662                Bitwise_to_SIMD().xfrm(node)
663                final_block_node = copy.deepcopy(node)
664                if self.use_C_syntax:
665                        carryQname = stream_function.instance_name + ".carryQ"
666                else: carryQname = "carryQ"
667                CarryIntro(carryQname).xfrm_fndef(node)
668                CarryIntro(carryQname, "_ci", "").xfrm_fndef(final_block_node)
669
670                if self.add_dump_stmts: 
671                        Add_SIMD_Register_Dump().xfrm(node)
672               
673                if stream_function.carry_count > 0:
674                        node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name(carryQname, ast.Load()), ast.Num(stream_function.carry_count)])]
675               
676                stream_function.statements = Cgen.py2C(4).gen(node.body)
677                stream_function.final_block_statements = Cgen.py2C(4).gen(final_block_node.body)
678                self.stream_functions[stream_function.type_name] = stream_function
679       
680    self.emitter = Emitter(self.use_C_syntax)
681   
682  def any_carry_expr(self):
683       
684        carry_test = []
685       
686        if self.main_carry_count > 0:
687                        carry_test.append(self.emitter.carry_test('carryQ', self.main_carry_count))
688                        carry_test.append(" || ")
689
690        for key in self.stream_functions.keys():               
691                if self.stream_functions[key].carry_count > 0:
692                        carry_test.append(self.emitter.carry_test(self.stream_functions[key].instance_name + ".carryQ", self.stream_functions[key].carry_count))
693                        carry_test.append(" || ")
694
695        if len(carry_test) > 0:
696                carry_test.pop()
697                return "".join(carry_test)
698        return "1"
699
700  def gen_globals(self):
701    self.Cglobals = StreamStructGen().gen_struct_types(self.main_module)
702    for key in self.stream_functions.keys():
703                self.Cglobals += Emitter(self.use_C_syntax).definition(self.stream_functions[key],2)       
704                       
705  def gen_declarations(self): 
706    self.Cdecls = StreamStructGen().gen_struct_vars(self.main_module)
707    self.Cdecls += BitBlock_decls_of_fn(self.main_node)
708    if self.main_carry_count > 0: 
709        self.Cdecls += self.emitter.carry_declare(self.main_carry_count)
710               
711  def gen_initializations(self):
712    self.Cinits = ""
713    if self.main_carry_count > 0: 
714        self.Cinits += self.emitter.carry_init(self.main_carry_count)
715    self.Cinits += StreamInitializations().xfrm(self.main_module)
716    if self.use_C_syntax:
717                for key in self.stream_functions.keys():
718                        if self.stream_functions[key].carry_count == 0: continue
719                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
720                        self.Cinits += "CarryInit(" + self.stream_functions[key].instance_name + ".carryQ, %i);\n" % (self.stream_functions[key].carry_count)
721    else:
722                for key in self.stream_functions.keys():
723                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
724
725                       
726  def xfrm_block_stmts(self):
727    AugAssignRemoval().xfrm(self.main_node)
728    Bitwise_to_SIMD().xfrm(self.main_node)
729    final_block_main = copy.deepcopy(self.main_node)
730    CarryIntro().xfrm_fndef(self.main_node)
731    CarryIntro('carryQ', '_ci', '').xfrm_fndef(final_block_main)
732    if self.add_dump_stmts: 
733        Add_SIMD_Register_Dump().xfrm(self.main_node)
734        Add_SIMD_Register_Dump().xfrm(final_block_main)
735               
736    StreamFunctionCallXlator().xfrm(self.main_node, self.stream_function_node.keys(), self.use_C_syntax)
737    StreamFunctionCallXlator('final').xfrm(final_block_main, self.stream_function_node.keys(), self.use_C_syntax)
738   
739    if self.main_carry_count > 0:
740                self.main_node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name('carryQ', ast.Load()), ast.Num(self.main_carry_count)])]
741   
742   
743       
744    self.Cstmts = Cgen.py2C().gen(self.main_node.body)
745    self.Cfinal_stmts = Cgen.py2C().gen(final_block_main.body)
746   
747if __name__ == "__main__":
748                import doctest
749                doctest.testmod()
Note: See TracBrowser for help on using the repository browser.