source: proto/Compiler/pablo.py @ 1271

Last change on this file since 1271 was 1271, checked in by cameron, 8 years ago

Add --IDISA option to generate new IDISA operation calls.

File size: 28.3 KB
Line 
1#
2# Pablo.py - parallel bitstream to bitblock
3#  2nd generation compiler
4#
5# Copyright 2010, 2011, Robert D. Cameron, Kenneth S. Herdy
6# All rights reserved.
7#
8import ast, copy, sys
9import Cgen
10
11name_substitution_map = {}
12
13def is_BuiltIn_Call(fncall, builtin_fnname, builtin_arg_cnt, builtin_fnmod_noprefix='bitutil'):
14        if isinstance(fncall.func, ast.Name): iscall = fncall.func.id == builtin_fnname
15        elif isinstance(fncall.func, ast.Attribute) and isinstance(fncall.func.value, ast.Name):
16                 iscall = fncall.func.value.id == builtin_fnmod_noprefix and fncall.func.attr == builtin_fnname
17        return iscall and len(fncall.args) == builtin_arg_cnt and fncall.kwargs == None and fncall.starargs == None
18
19def is_simd_not(e):
20  return isinstance(e, ast.Call) and isinstance(e.func, ast.Name) and e.func.id == 'simd_not'
21
22def mkQname(obj, field):
23  return ast.Attribute(ast.Name(obj, ast.Load()), field, ast.Load())
24
25def mkCall(fn_name, args):
26  if isinstance(fn_name, str): 
27        if name_substitution_map.has_key(fn_name): fn_name = name_substitution_map[fn_name]
28        fn_name = ast.Name(fn_name, ast.Load())
29  return ast.Call(fn_name, args, [], None, None)
30
31def mkCallStmt(fn_name, args):
32  if isinstance(fn_name, str): fn_name = ast.Name(fn_name, ast.Load())
33  return ast.Expr(ast.Call(fn_name, args, [], None, None))
34
35#
36# Reducing AugAssign, e.g.  x |= y becomes x = x | y
37#
38class AugAssignRemoval(ast.NodeTransformer):
39  def xfrm(self, t):
40    return self.generic_visit(t)
41  def visit_AugAssign(self, e):
42    self.generic_visit(e)
43    return ast.Assign([e.target], ast.BinOp(e.target, e.op, e.value))
44
45#
46# Introducing BitBlock logical operations
47#
48class Bitwise_to_SIMD(ast.NodeTransformer):
49  """
50  Make the following substitutions:
51     x & y => simd_and(x, y)
52     x & ~y => simd_andc(x, y)
53     x | y => simd_or(x, y)
54     x ^ y => simd_xor(x, y)
55     ~x    => simd_not(x)
56     0     => simd_const_1(0)
57     -1    => simd_const_1(1)
58     if x: => if bitblock_has_bit(x):
59  while x: => while bitblock_has_bit(x):
60  >>> ast_show(Bitwise_to_SIMD().xfrm(ast.parse("pfx = bit0 & bit1; sfx = bit0 &~ bit1")))
61 
62  pfx = simd_and(bit0, bit1)
63  sfx = simd_and(bit0, simd_not(bit1))
64  >>>
65  """
66  def xfrm(self, t):
67    return self.generic_visit(t)
68  def visit_UnaryOp(self, t):
69    self.generic_visit(t)
70    if isinstance(t.op, ast.Invert):
71      return mkCall('simd_not', [t.operand])
72    else: return t
73  def visit_BinOp(self, t):
74    self.generic_visit(t)
75    if isinstance(t.op, ast.BitOr):
76      return mkCall('simd_or', [t.left, t.right])
77    elif isinstance(t.op, ast.BitAnd):
78      if is_simd_not(t.right): return mkCall('simd_andc', [t.left, t.right.args[0]])
79      elif is_simd_not(t.left): return mkCall('simd_andc', [t.right, t.left.args[0]])
80      else: return mkCall('simd_and', [t.left, t.right])
81    elif isinstance(t.op, ast.BitXor):
82      return mkCall('simd_xor', [t.left, t.right])
83    else: return t
84  def visit_Num(self, numnode):
85    n = numnode.n
86    if n == 0: return mkCall('simd_const_1', [numnode])
87    elif n == -1: return mkCall('simd_const_1', [ast.Num(1)])
88    else: return numnode
89  def visit_If(self, ifNode):
90    self.generic_visit(ifNode)
91    ifNode.test = mkCall('bitblock_has_bit', [ifNode.test])
92    return ifNode
93  def visit_While(self, whileNode):
94    self.generic_visit(whileNode)
95    whileNode.test = mkCall('bitblock_has_bit', [whileNode.test])
96    return whileNode
97  def visit_Subscript(self, numnode):
98    return numnode  # no recursive modifications of index expressions
99
100#
101#  Generating BitBlock declarations for Local Variables
102#
103class FunctionVars(ast.NodeVisitor):
104  def __init__(self,node):
105        self.params = []
106        self.stores = []
107        self.generic_visit(node)
108  def visit_Name(self, nm):
109    if isinstance(nm.ctx, ast.Param):
110      self.params.append(nm.id)
111    if isinstance(nm.ctx, ast.Store):
112      if nm.id not in self.stores: self.stores.append(nm.id)
113  def getLocals(self): 
114    return [v for v in self.stores if not v in self.params]
115
116MAX_LINE_LENGTH = 80
117
118def BitBlock_decls_from_vars(varlist):
119  global MAX_LINE_LENGTH
120  decls =  ""
121  if not len(varlist) == 0:
122          decls = "             BitBlock"
123          pending = ""
124          linelgth = 10
125          for v in varlist:
126            if linelgth + len(v) + 2 <= MAX_LINE_LENGTH:
127              decls += pending + " " + v
128              linelgth += len(pending + v) + 1
129            else:
130              decls += ";\n             BitBlock " + v
131              linelgth = 11 + len(v)
132            pending = ","
133          decls += ";"
134  return decls
135
136def BitBlock_decls_of_fn(fndef):
137  return BitBlock_decls_from_vars(FunctionVars(fndef).getLocals())
138
139def BitBlock_header_of_fn(fndef):
140  Ccode = "static inline void " + fndef.name + "("
141  pending = ""
142  for arg in fndef.args.args:
143    if isinstance(arg, ast.Name):
144      Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
145      pending = ", "
146  if CarryCounter().count(fndef) > 0:
147    Ccode += pending + " CarryQtype & carryQ"
148  Ccode += ")"
149  return Ccode
150
151
152
153#
154#  Stream Initialization Statement Extraction
155#
156#  streamvar = 1 ==> streamvar = sisd_from_int(1) initially.
157class StreamInitializations(ast.NodeTransformer):
158  def xfrm(self, node):
159    self.stream_stmts = []
160    self.loop_post_inits = []
161    self.generic_visit(node)
162    return Cgen.py2C().gen(self.stream_stmts)
163  def visit_Assign(self, node):
164    if isinstance(node.value, ast.Num):
165      if node.value.n == 0: return node
166      elif node.value.n == -1: return node
167      else: 
168        stream_init = copy.deepcopy(node)
169        stream_init.value = mkCall('sisd_from_int', [node.value])
170        loop_init = copy.deepcopy(node)
171        loop_init.value.n = 0
172        self.stream_stmts.append(stream_init)
173        self.loop_post_inits.append(loop_init)
174        return None
175    else: return node
176  def visit_FunctionDef(self, node):
177    self.generic_visit(node)
178    node.body = node.body + self.loop_post_inits
179    return node
180
181#
182# Carry Introduction Transformation
183#
184class CarryCounter(ast.NodeVisitor):
185  def visit_Call(self, callnode):
186    self.generic_visit(callnode)
187    if is_BuiltIn_Call(callnode,'Advance', 1) or is_BuiltIn_Call(callnode,'ScanThru', 2) or is_BuiltIn_Call(callnode,'ScanTo', 2) or is_BuiltIn_Call(callnode,'ScanToFirst', 1):       
188      self.carry_count += 1
189  def visit_BinOp(self, exprnode):
190    self.generic_visit(exprnode)
191    if isinstance(exprnode.op, ast.Sub):
192      self.carry_count += 1
193    if isinstance(exprnode.op, ast.Add):
194      self.carry_count += 1
195  def count(self, nodeToVisit):
196    self.carry_count = 0
197    self.generic_visit(nodeToVisit)
198    return self.carry_count
199
200class Adv32Counter(ast.NodeVisitor):
201  def visit_Call(self, callnode):
202    self.generic_visit(callnode)
203    if is_BuiltIn_Call(callnode,'Advance32', 1):       
204      self.adv32_count += 1
205  def count(self, nodeToVisit):
206    self.adv32_count = 0
207    self.generic_visit(nodeToVisit)
208    return self.adv32_count
209
210class CarryIntro(ast.NodeTransformer):
211  def __init__(self, carryvar="carryQ", carryin = "_ci", carryout = "_co"):
212    self.carryvar = ast.Name(carryvar, ast.Load())
213    self.carryin = carryin
214    self.carryout = carryout
215  def xfrm_fndef(self, fndef):
216    self.current_carry = 0
217    self.current_adv32 = 0
218    carry_count = CarryCounter().count(fndef)
219    if carry_count == 0: return fndef
220    self.generic_visit(fndef)
221#   
222#    fndef.body.insert(0, mkCallStmt('CarryDeclare', [self.carryvar, ast.Num(carry_count)]))
223    return fndef
224  def generic_xfrm(self, node):
225    self.current_carry = 0
226    self.current_adv32 = 0
227    carry_count = CarryCounter().count(node)
228    adv32_count = Adv32Counter().count(node)
229    if carry_count == 0 and adv32_count == 0: return node
230    self.generic_visit(node)
231    return node
232  def visit_Call(self, callnode):
233    self.generic_visit(callnode)
234    if self.carryin == '' and self.carryout == '': 
235        carry_args = []
236        adv32_args = []
237    else: 
238        carry_args = [self.carryvar, ast.Num(self.current_carry)]
239        adv32_args = [ast.Subscript(ast.Name('pending32', ast.Load()), ast.Num(self.current_adv32), ast.Load())]
240    if is_BuiltIn_Call(callnode, 'Advance', 1):         
241      rtn = "BitBlock_advance%s%s" % (self.carryin, self.carryout)
242      c = mkCall(rtn, callnode.args + carry_args)
243      self.current_carry += 1
244      return c
245    elif is_BuiltIn_Call(callnode, 'Advance32', 1):     
246      rtn = "BitBlock_advance32%s%s" % (self.carryin, self.carryout)
247      c = mkCall(rtn, callnode.args + adv32_args)
248      self.current_adv32 += 1
249      return c
250    elif is_BuiltIn_Call(callnode, 'ScanThru', 2):
251      rtn = "BitBlock_scanthru%s%s" % (self.carryin, self.carryout)
252      c = mkCall(rtn, callnode.args + carry_args)
253      self.current_carry += 1
254      return c
255    elif is_BuiltIn_Call(callnode, 'ScanTo', 2):
256      rtn = "BitBlock_scanto%s%s" % (self.carryin, self.carryout)
257      if self.carryout == "":  carry_args = [ast.Name('EOF_mask', ast.Load())] + carry_args
258      c = mkCall(rtn, callnode.args + carry_args)
259      self.current_carry += 1
260      return c
261    elif is_BuiltIn_Call(callnode, 'ScanToFirst', 1):
262      rtn = "BitBlock_scantofirst"
263      #if self.carryout == "":  carry_args = [ast.Name('EOF_mask', ast.Load())] + carry_args
264      c = mkCall(rtn, callnode.args + carry_args)
265      self.current_carry += 1
266      return c
267    elif is_BuiltIn_Call(callnode, 'StreamScan', 2):
268      rtn = "StreamScan"           
269      c = mkCall(rtn, [ast.Name('(ScanBlock *) &' + callnode.args[0].id, ast.Load()), 
270                                           ast.Name('sizeof(BitBlock)/sizeof(ScanBlock)', ast.Load()),
271                                           ast.Name(callnode.args[1].id, ast.Load())])
272      return c
273    else: return callnode
274  def visit_BinOp(self, exprnode):
275    self.generic_visit(exprnode)
276    if self.carryin == '' and self.carryout == '': carry_args = []
277    else: carry_args = [self.carryvar, ast.Num(self.current_carry)]
278    if isinstance(exprnode.op, ast.Sub):
279      rtn = "BitBlock_sub%s%s" % (self.carryin, self.carryout)
280      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
281      self.current_carry += 1
282      return c
283    elif isinstance(exprnode.op, ast.Add):
284      rtn = "BitBlock_add%s%s" % (self.carryin, self.carryout)
285      c = mkCall(rtn, [exprnode.left, exprnode.right] + carry_args)
286      self.current_carry += 1
287      return c
288    else: return exprnode
289  def visit_If(self, ifNode):
290    carry_base = self.current_carry
291    carries = CarryCounter().count(ifNode)
292    assert Adv32Counter().count(ifNode) == 0, "Advance32() within if: illegal\n"
293    self.generic_visit(ifNode)
294    if carries == 0 or self.carryin == "": return ifNode
295    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
296    new_test = ast.BoolOp(ast.Or(), [ifNode.test, mkCall('CarryTest', carry_arglist)])
297    new_else_part = ifNode.orelse + [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
298    return ast.If(new_test, ifNode.body, new_else_part)
299  def visit_While(self, whileNode):
300    if self.carryout == '':
301      whileNode.test.args[0] = mkCall("simd_and", [whileNode.test.args[0], ast.Name('EOF_mask', ast.Load())])
302    carry_base = self.current_carry
303    assert Adv32Counter().count(whileNode) == 0, "Advance32() within while: illegal\n"
304    carries = CarryCounter().count(whileNode)
305    if carries == 0: return whileNode
306    carry_arglist = [self.carryvar, ast.Num(carry_base), ast.Num(carries)]
307    local_carryvar = 'subcarryQ'
308    inner_while = CarryIntro(local_carryvar, '', self.carryout).generic_xfrm(copy.deepcopy(whileNode))
309    self.generic_visit(whileNode)
310    if self.carryout == '_co':
311      local_decl = mkCallStmt('CarryDeclare', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
312      local_init = mkCallStmt('CarryInit', [ast.Name(local_carryvar, ast.Load()), ast.Num(carries)])
313      inner_while.body.insert(0, local_decl)
314      inner_while.body.insert(1, local_init)
315      final_combine = mkCallStmt('CarryCombine', [self.carryvar, ast.Name(local_carryvar, ast.Load()), ast.Num(carry_base), ast.Num(carries)])
316      inner_while.body.append(final_combine)
317    if self.carryin == '': new_test = whileNode.test
318    else: new_test = ast.BoolOp(ast.Or(), [whileNode.test, mkCall('CarryTest', carry_arglist)])
319    else_part = [mkCallStmt('CarryDequeueEnqueue', carry_arglist)]
320    return ast.If(new_test, whileNode.body + [inner_while], else_part)
321
322class StreamStructGen(ast.NodeVisitor):
323  """
324  Given a BitStreamSet subclass, generate the equivalent C struct.
325  >>> obj = ast.parse(r'''
326  ... class S1(BitStreamSet):
327  ...   a1 = 0
328  ...   a2 = 0
329  ...   a3 = 0
330  ...
331  ... class S2(BitStreamSet):
332  ...   x1 = 0
333  ...   x2 = 0
334  ... ''')
335  >>> print StreamStructGen().gen(obj)
336  struct S1 {
337    BitBlock a1;
338    BitBlock a2;
339    BitBlock a3;
340  }    self.current_adv32 = 0
341
342 
343  struct S2 {
344    BitBlock x1;
345    BitBlock x2;
346  }
347  """
348  def __init__(self, asType=False):
349    self.asType = asType
350  def gen(self, tree):
351    self.Ccode=""
352    self.generic_visit(tree)
353    return self.Ccode
354  def gen_struct_types(self, tree):
355    self.asType = True
356    self.Ccode=""
357    self.generic_visit(tree)
358    return self.Ccode
359  def gen_struct_vars(self, tree):
360    self.asType = False
361    self.Ccode=""
362    self.generic_visit(tree)
363    return self.Ccode
364  def visit_ClassDef(self, node):
365    class_name = node.name[0].upper() + node.name[1:]
366    instance_name = node.name[0].lower() + node.name[1:]
367    self.Ccode += "  struct " + class_name
368    if self.asType:
369            self.Ccode += " {\n"
370            for stmt in node.body:
371              if isinstance(stmt, ast.Assign):
372                for v in stmt.targets:
373                  if isinstance(v, ast.Name):
374                    self.Ccode += "  BitBlock " + v.id + ";\n"
375            self.Ccode += "}" 
376    else: self.Ccode += " " + instance_name
377    self.Ccode += ";\n\n"
378 
379class StreamFunctionDecl(ast.NodeVisitor):
380  def __init__(self):
381    pass
382  def gen(self, tree):
383    self.Ccode=""
384    self.generic_visit(tree)
385    return self.Ccode
386  def visit_FunctionDef(self, node):
387    self.Ccode += "static inline void " + node.name + "("
388    pending = ""
389    for arg in node.args.args:
390      if isinstance(arg, ast.Name):
391        self.Ccode += pending + arg.id.upper()[0] + arg.id[1:] + " & " + arg.id
392        pending = ", "
393    self.Ccode += ");\n"
394
395#
396# Adding Debugging Statements
397#
398class Add_SIMD_Register_Dump(ast.NodeTransformer):
399  def xfrm(self, t):
400    return self.generic_visit(t)
401  def visit_Assign(self, t):
402    self.generic_visit(t)
403    v = t.targets[0]
404    dump_stmt = mkCallStmt('print_simd_register', [ast.Str(Cgen.py2C().gen(v)), v])
405    return [t, dump_stmt]
406
407class StreamFunctionCarryCounter(ast.NodeVisitor):
408  def __init__(self):
409        self.carry_count = {}
410       
411  def count(self, node):
412        self.generic_visit(node)
413        return self.carry_count
414                                   
415  def visit_FunctionDef(self, node):   
416        type_name = node.name[0].upper() + node.name[1:]                       
417        self.carry_count[type_name] = CarryCounter().count(node)
418     
419class StreamFunctionCallXlator(ast.NodeTransformer):
420  def __init__(self, xlate_type="normal"):
421        self.stream_function_type_names = []
422        self.xlate_type = xlate_type
423
424  def xfrm(self, node, stream_function_type_names, C_syntax):
425        self.stream_function_type_names = stream_function_type_names
426        self.C_syntax = C_syntax
427        self.generic_visit(node)
428       
429  def visit_Call(self, node):   
430        self.generic_visit(node)
431
432        if isinstance(node, ast.Call) and isinstance(node.func, ast.Name) and node.func.id in self.stream_function_type_names:
433             name = lower1(node.func.id)
434             node.func.id = name + ("_" if self.C_syntax else ".") + ("do_final_block" if self.xlate_type == "final" else "do_block")
435             if self.C_syntax:
436                     node.args = [ast.Name(lower1(name), ast.Load())] + node.args
437             if self.xlate_type == "final":
438                   node.args = node.args + [ast.Name("EOF_mask", ast.Load())]
439                     
440        return node     
441               
442class StreamFunctionVisitor(ast.NodeVisitor):
443        def __init__(self,node):
444                self.stream_function_node = {}
445                self.generic_visit(node)
446                                                             
447        def visit_FunctionDef(self, node):                     
448                key = node.name[0].upper() + node.name[1:]
449                self.stream_function_node[key] = node
450               
451class StreamFunction():
452        def __init__(self):
453                self.carry_count = 0 
454                self.adv32_count = 0 
455                self.type_name = ""
456                self.instance_name = "" 
457                self.parameters = ""
458                self.declarations = "" 
459                self.initializations = "" 
460#
461# TODO Consolidate *all* C code generation into the Emitter class.   Medium priority.
462# TODO Implement 'pretty print' indentation.   Low priority.
463# TODO Migrate Emiter() class to Emitter module.  Medium priority.
464
465def lower1(name):
466    return name[0].lower() + name[1:]
467def upper1(name):
468    return name[0].upper() + name[1:]
469
470def escape_newlines(str):
471  return str.replace('\n', '\\\n')
472
473class Emitter():
474        def __init__(self, use_C_syntax):
475                self.use_C_syntax = use_C_syntax
476
477        def definition(self, stream_function, icount=0):
478               
479                constructor = ""
480                carry_declaration = ""
481                self.type_name = stream_function.type_name
482               
483                if stream_function.carry_count > 0 or stream_function.adv32_count > 0:
484                        constructor = self.constructor(stream_function.type_name, stream_function.carry_count, stream_function.adv32_count)
485                        carry_declaration = self.carry_declare(stream_function.carry_count, stream_function.adv32_count)
486
487                do_block_function = self.do_block(self.do_block_parameters(stream_function.parameters), 
488                                                stream_function.declarations, 
489                                                stream_function.initializations, 
490                                                stream_function.statements)             
491
492                do_final_block_function = self.do_final_block(self.do_final_block_parameters(stream_function.parameters), 
493                                                stream_function.declarations, 
494                                                stream_function.initializations, 
495                                                stream_function.final_block_statements)                 
496
497                do_segment_function = self.do_segment(self.do_segment_parameters(stream_function.parameters), 
498                                                self.do_segment_args(stream_function.parameters))       
499
500                if self.use_C_syntax:
501                        return self.indent(icount) + "struct " + stream_function.type_name + " {" \
502                               + "\n" + self.indent(icount) + carry_declaration \
503                               + "\n" + self.indent(icount) + "};\n" \
504                               + "\n" + self.indent(icount) + do_block_function \
505                               + "\n" + self.indent(icount) + do_final_block_function \
506                               + "\n" + self.indent(icount) + do_segment_function + "\n\n"
507                               
508                return self.indent(icount) + "struct " + stream_function.type_name + " {" \
509                + "\n" + self.indent(icount) + constructor \
510                + "\n" + self.indent(icount) + do_block_function \
511                + "\n" + self.indent(icount) + do_final_block_function \
512                + "\n" + self.indent(icount) + do_segment_function \
513                + "\n" + self.indent(icount) + carry_declaration \
514                + "\n" + self.indent(icount) + "};\n\n"
515
516        def constructor(self, type_name, carry_count, adv32_count, icount=0):
517                adv32_decl = ""
518                for i in range(adv32_count): adv32_decl += self.indent(icount+2) + "pending32[%s] = 0;\n" % i   
519                return self.indent(icount) + "%s() { ""\n" % (type_name) + adv32_decl + self.carry_init(carry_count) + " }" 
520                       
521        def do_block(self, parameters, declarations, initializations, statements, icount=0):
522                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
523                if self.use_C_syntax:
524                        return "#define " + pfx + "do_block(" + parameters + ")\\\n do {" \
525                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
526                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
527                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
528                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
529                return self.indent(icount) + "void " + pfx + "do_block(" + parameters + ") {" \
530                + "\n" + self.indent(icount) + declarations \
531                + "\n" + self.indent(icount) + initializations \
532                + "\n" + self.indent(icount) + statements \
533                + "\n" + self.indent(icount + 2) + "}" 
534
535
536
537
538        def do_final_block(self, parameters, declarations, initializations, statements, icount=0):
539                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
540                if self.use_C_syntax:
541                        return "#define " + pfx + "do_final_block(" + parameters + ")\\\n do {" \
542                        + "\\\n" + self.indent(icount) + escape_newlines(declarations) \
543                        + "\\\n" + self.indent(icount) + escape_newlines(initializations) \
544                        + "\\\n" + self.indent(icount) + escape_newlines(statements) \
545                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
546                return self.indent(icount) + "void " + pfx + "do_final_block(" + parameters + ") {" \
547                + "\n" + self.indent(icount) + declarations \
548                + "\n" + self.indent(icount) + initializations \
549                + "\n" + self.indent(icount) + statements \
550                + "\n" + self.indent(icount + 2) + "}" 
551
552        def do_segment(self, parameters, do_block_call_args, icount=0):
553                pfx = (lower1(self.type_name) + "_" if self.use_C_syntax else "")
554                if self.use_C_syntax:
555                        return "#define " + pfx + "do_segment(" + parameters + ")\\\n do {" \
556                        + "\\\n" + self.indent(icount) + "  int i;" \
557                        + "\\\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
558                        + "\\\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
559                        + "\\\n" + self.indent(icount + 2) + "} while (0)" 
560                return self.indent(icount) + "void " + pfx + "do_segment(" + parameters + ") {" \
561                + "\n" + self.indent(icount) + "  int i;" \
562                + "\n" + self.indent(icount) + "  for (i = 0; i < SEGMENT_BLOCKS; i++)" \
563                + "\n" + self.indent(icount) + "    " + pfx + "do_block(" + do_block_call_args + ");" \
564                + "\n" + self.indent(icount + 2) + "}" 
565
566        def declaration(self, type_name, instance_name, icount=0):
567                if self.use_C_syntax: return self.indent(icount) + "struct " + type_name + " " + instance_name + ";\n"
568                return self.indent(icount) + type_name + " " + instance_name + ";\n"
569               
570        def carry_init(self, carry_count, icount=0):   
571                return self.indent(icount) + "CarryInit(carryQ, %i);" % (carry_count)
572       
573        def carry_declare(self, carry_count, adv32_count=0, icount=0):
574                adv32_decl = ""
575                if adv32_count > 0:
576                        adv32_decl = "\n" + self.indent(icount) + "uint32_t pending32[%s];" % adv32_count
577                return self.indent(icount) + "CarryDeclare(carryQ, %i);" % (carry_count) + adv32_decl
578
579        def carry_test(self, carry_variable, carry_count, icount=0):
580                return self.indent(icount) + "CarryTest(%s, 0, %i)" % (carry_variable, carry_count)             
581               
582        def indent(self, icount):
583                s = ""
584                for i in range(0,icount): s += " "
585                return s       
586               
587        def do_block_parameters(self, parameters):
588                if self.use_C_syntax:
589                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters])
590                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
591                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters])
592               
593        def do_final_block_parameters(self, parameters):
594                if self.use_C_syntax:
595                        #return ", ".join([self.type_name + " * " + self.instance_name] + [upper1(p) + " * " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
596                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters]+ ["EOF_mask"])
597                else: return ", ".join([upper1(p) + " & " + lower1(p) for p in parameters]+ ["BitBlock EOF_mask"])
598               
599        def do_segment_parameters(self, parameters):
600                if self.use_C_syntax:
601                        #return ", ".join([self.type_name + " * " + + self.instance_name] + [upper1(p) + " " + lower1(p) + "[]" for p in parameters])
602                        return ", ".join([lower1(self.type_name)] + [lower1(p) for p in parameters])
603                else: return ", ".join([upper1(p) + " " + lower1(p) + "[]" for p in parameters])
604
605        def do_segment_args(self, parameters):
606                if self.use_C_syntax:
607                        return ", ".join([lower1(self.type_name)] + [lower1(p) + "[i]" for p in parameters])
608                else: return ", ".join([lower1(p) + "[i]" for p in parameters])
609
610def main(infilename, outfile = sys.stdout):
611  t = ast.parse(file(infilename).read())
612  outfile.write(StreamStructGen(True).gen(t))
613  outfile.write(FunctionXlator().xlat(t))
614
615#
616#  Routines for compatibility with the old compiler/template.
617#  Quick and dirty hacks for now - Dec. 2010.
618#
619
620class MainLoopTransformer:
621  def __init__(self, main_module, C_syntax=False, add_dump_stmts=False, main_node_id='Main'):
622       
623    self.main_module = main_module
624    self.main_node_id = main_node_id
625    self.use_C_syntax = C_syntax
626    self.add_dump_stmts = add_dump_stmts
627   
628        # Gather and partition function definition nodes.
629    stream_function_visitor = StreamFunctionVisitor(self.main_module)
630    self.stream_function_node = stream_function_visitor.stream_function_node
631    self.main_node = self.stream_function_node[main_node_id]
632    self.main_carry_count = CarryCounter().count(self.main_node)
633    self.main_adv32_count = Adv32Counter().count(self.main_node)
634    assert self.main_adv32_count == 0, "Advance32() in main not supported.\n"
635    del self.stream_function_node[self.main_node_id]
636   
637    self.stream_functions = {}
638    for key, node in self.stream_function_node.iteritems():
639                stream_function = StreamFunction()
640                stream_function.carry_count = CarryCounter().count(node)
641                stream_function.adv32_count = Adv32Counter().count(node)
642                stream_function.type_name = node.name[0].upper() + node.name[1:]
643                stream_function.instance_name = node.name[0].lower() + node.name[1:]
644                stream_function.parameters = FunctionVars(node).params
645                stream_function.declarations = BitBlock_decls_of_fn(node)
646                stream_function.initializations = StreamInitializations().xfrm(node) 
647               
648                AugAssignRemoval().xfrm(node)
649                Bitwise_to_SIMD().xfrm(node)
650                final_block_node = copy.deepcopy(node)
651                if self.use_C_syntax:
652                        carryQname = stream_function.instance_name + ".carryQ"
653                else: carryQname = "carryQ"
654                CarryIntro(carryQname).xfrm_fndef(node)
655                CarryIntro(carryQname, "_ci", "").xfrm_fndef(final_block_node)
656
657                if self.add_dump_stmts: 
658                        Add_SIMD_Register_Dump().xfrm(node)
659               
660                if stream_function.carry_count > 0:
661                        node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name(carryQname, ast.Load()), ast.Num(stream_function.carry_count)])]
662               
663                stream_function.statements = Cgen.py2C(4).gen(node.body)
664                stream_function.final_block_statements = Cgen.py2C(4).gen(final_block_node.body)
665                self.stream_functions[stream_function.type_name] = stream_function
666       
667    self.emitter = Emitter(self.use_C_syntax)
668   
669  def any_carry_expr(self):
670       
671        carry_test = []
672       
673        if self.main_carry_count > 0:
674                        carry_test.append(self.emitter.carry_test('carryQ', self.main_carry_count))
675                        carry_test.append(" || ")
676
677        for key in self.stream_functions.keys():               
678                if self.stream_functions[key].carry_count > 0:
679                        carry_test.append(self.emitter.carry_test(self.stream_functions[key].instance_name + ".carryQ", self.stream_functions[key].carry_count))
680                        carry_test.append(" || ")
681
682        if len(carry_test) > 0:
683                carry_test.pop()
684                return "".join(carry_test)
685        return "1"
686
687  def gen_globals(self):
688    self.Cglobals = StreamStructGen().gen_struct_types(self.main_module)
689    for key in self.stream_functions.keys():
690                self.Cglobals += Emitter(self.use_C_syntax).definition(self.stream_functions[key],2)       
691                       
692  def gen_declarations(self): 
693    self.Cdecls = StreamStructGen().gen_struct_vars(self.main_module)
694    self.Cdecls += BitBlock_decls_of_fn(self.main_node)
695    if self.main_carry_count > 0: 
696        self.Cdecls += self.emitter.carry_declare(self.main_carry_count)
697               
698  def gen_initializations(self):
699    self.Cinits = ""
700    if self.main_carry_count > 0: 
701        self.Cinits += self.emitter.carry_init(self.main_carry_count)
702    self.Cinits += StreamInitializations().xfrm(self.main_module)
703    if self.use_C_syntax:
704                for key in self.stream_functions.keys():
705                        if self.stream_functions[key].carry_count == 0: continue
706                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
707                        self.Cinits += "CarryInit(" + self.stream_functions[key].instance_name + ".carryQ, %i);\n" % (self.stream_functions[key].carry_count)
708    else:
709                for key in self.stream_functions.keys():
710                        self.Cinits += self.emitter.declaration(self.stream_functions[key].type_name, self.stream_functions[key].instance_name, 2)
711
712                       
713  def xfrm_block_stmts(self):
714    AugAssignRemoval().xfrm(self.main_node)
715    Bitwise_to_SIMD().xfrm(self.main_node)
716    final_block_main = copy.deepcopy(self.main_node)
717    CarryIntro().xfrm_fndef(self.main_node)
718    CarryIntro('carryQ', '_ci', '').xfrm_fndef(final_block_main)
719    if self.add_dump_stmts: 
720        Add_SIMD_Register_Dump().xfrm(self.main_node)
721        Add_SIMD_Register_Dump().xfrm(final_block_main)
722               
723    StreamFunctionCallXlator().xfrm(self.main_node, self.stream_function_node.keys(), self.use_C_syntax)
724    StreamFunctionCallXlator('final').xfrm(final_block_main, self.stream_function_node.keys(), self.use_C_syntax)
725   
726    if self.main_carry_count > 0:
727                self.main_node.body += [mkCallStmt('CarryQ_Adjust', [ast.Name('carryQ', ast.Load()), ast.Num(self.main_carry_count)])]
728   
729   
730       
731    self.Cstmts = Cgen.py2C().gen(self.main_node.body)
732    self.Cfinal_stmts = Cgen.py2C().gen(final_block_main.body)
733   
734if __name__ == "__main__":
735                import doctest
736                doctest.testmod()
Note: See TracBrowser for help on using the repository browser.