Ignore:
Timestamp:
Mar 30, 2017, 2:31:14 PM (2 years ago)
Author:
nmedfort
Message:

Updated QA tests. run_abc now tests stdin. Both RunSystemTests? and RunPairwiseTests? execute all tests on files rather than testing only compilation success.

Location:
icGREP/icgrep-devel/QA
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • icGREP/icgrep-devel/QA/run_abc

    r4137 r5382  
    2121do
    2222   fbase=`echo $f | sed "s#$input_directory/##"`
    23    $test_program 'ab*c' $input_directory/$fbase >$output_directory/$fbase
     23   $test_program 'ab*c' < $input_directory/$fbase >$output_directory/$fbase
    2424done
    2525
  • icGREP/icgrep-devel/QA/system-tests/RunPairwiseTests

    r5041 r5382  
    1111                ""                      "ψ.*"                                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile1"
    1212                "-i"            "ω"                                                    "TestFiles/NonEmptyFile1"
    13                 "-c"            "\\*lolfff"                                     ""                                                                                                              #5
     13                "-c"            "\\*lolfff"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                                                                               #5
    1414                "-i -c"         "\\*lolfff"                                     "TestFiles/EmptyFile1"
    1515                ""                      "nope\\*No"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     
    3030                "-i -c"         "\\*\p{Greek}"                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    3131                "-c"            "\p{Lu}.*\\*.*\p{Greek}"        "TestFiles/NonEmptyFile1"
    32                 "-i -c"         "nope\p{Greek}"                         ""                                                                                                              #20
     32                "-i -c"         "nope\p{Greek}"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                                                                                       #20
    3333                ""                      "nope\p{Greek}"                         "TestFiles/EmptyFile1 TestFiles/EmptyFile2"
    3434                "-i"            "\\$.*\p{Lu}.*5$"                       "TestFiles/NonEmptyFile1"
     
    3636                "-i -c"         "\p{Lu}.*\\^蕉銙蕉aAaσ5"            "TestFiles/NonEmptyFile1"
    3737                ""                      "\p{Lu}\\^蕉"                          "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                             #25
    38                 ""                      "\p{Greek}nope$"                        ""
     38                ""                      "\p{Greek}nope$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    3939                "-i -c"         "\p{Latin}\\?"                          "TestFiles/EmptyFile1"
    40                 ""                      "\p{Lu}\\.\\?"                          ""
     40                ""                      "\p{Lu}\\.\\?"                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4141                "-c"            "\p{Greek}.*\\?\\*[0-9]"        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4242                "-i"            "\p{Lu}\\.\\?"                          "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                             #30
    43                 ""                      "\p{Lu}蕉銙蕉aAaσ"                  ""
     43                ""                      "\p{Lu}蕉銙蕉aAaσ"                  "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4444                "-i -c"         "\p{Lu}.*驙.*\p{Greek}"                "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    45                 ""                      "\p{Greek}\\&.*"                        ""
     45                ""                      "\p{Greek}\\&.*"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4646                "-c"            "\p{Greek}\\&.*"                        "TestFiles/EmptyFile1"
    47                 ""                      "\p{Lu}"                                        ""
    48                 ""                      "\p{Latin}蕉銙蕉"                            ""
     47                ""                      "\p{Lu}"                                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     48                ""                      "\p{Latin}蕉銙蕉"                            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4949                ""                      "\p{Greek}ΜάΜα"                             "TestFiles/NonEmptyFile1"
    5050                "-i"            "\p{Greek}ΜάΜα"                             "TestFiles/EmptyFile1"
    5151                "-c"            "^\p{Armenian}$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    52                 "-i -c"         "\p{Lu}\\^"                                     ""
    53                 "-c"            "\p{Lu}.*\\^.*\p{Armenian}"     ""
     52                "-i -c"         "\p{Lu}\\^"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     53                "-c"            "\p{Lu}.*\\^.*\p{Armenian}"     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    5454                ""                      "My.*\\*.*\p{Greek}$"           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    5555
     
    6262                ""                      "haz lo?l"                              "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    6363                ""                      "q"                                             "TestFiles/NonEmptyFile1"
    64                 "-i"            "Q"                                             ""                                                                                                      # Test 5
     64                "-i"            "Q"                                             "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                                       # Test 5
    6565                "-i -c"         "\\.Jk.*"                                       "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    6666                "-i"            "nope\\*No"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     
    8080                "-i -c"         ".*[a-z]"                                       "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 20
    8181                "-i"            "z$"                                            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    82                 ""                      "\\.LLL"                                        ""
     82                ""                      "\\.LLL"                                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    8383
    8484                # Tests involving Extended regular expressions like \p{Greek}
     
    9191                ""                      "\p{Lu}.*\\^.*\p{Greek}"        "TestFiles/NonEmptyFile1"
    9292                "-i"            "\p{Lu}.*\\^.*\p{Greek}"        "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 30
    93                 "-c"            "\p{Lu}jk.*\\*$"                        ""
     93                "-c"            "\p{Lu}jk.*\\*$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9494                "-i -c"         "\p{Lu}.*\p{Latin}.*\\*$"       "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    95                 "-c"            "\\^\p{Lu}trolol$"                      ""
     95                "-c"            "\\^\p{Lu}trolol$"                      "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9696                "-i -c"         "\p{Lu}.*\\*\p{Greek}"          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9797                "-i -c"         "\\^\p{L}"                                      "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 35
    98                 "-c"            "\p{L}asdasd"                           ""
     98                "-c"            "\p{L}asdasd"                           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9999                "-i -c"         "^\p{Lu}.*σω"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    100                 "-i"            "\p{L}\\*.?ada"                         ""
     100                "-i"            "\p{L}\\*.?ada"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    101101                "-i -c"         "\p{Lu}.*\\^蕉銙蕉aAaσ$"            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    102                 "-c"            "\p{L}"                                         ""                                                                                                      # Test 40
    103                 "-i -c"         "^\p{Greek}.*蕉銙蕉"                 ""
    104                 "-i"            "^\p{L}.*\\$"                           ""
    105                 "-c"            "^\p{L}\\.Aaσ$"                                ""
     102                "-c"            "\p{L}"                                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                                                                       # Test 40
     103                "-i -c"         "^\p{Greek}.*蕉銙蕉"                 "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     104                "-i"            "^\p{L}.*\\$"                           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     105                "-c"            "^\p{L}\\.Aaσ$"                                "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    106106
    107107
  • icGREP/icgrep-devel/QA/system-tests/RunSystemTests

    r5148 r5382  
    1111                ""                      "ψ.*"                                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile1"
    1212                "-i"            "ω"                                                    "TestFiles/NonEmptyFile1"
    13                 "-c"            "\\*lolfff"                                     ""                                                                                                              #5
     13                "-c"            "\\*lolfff"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"               #5
    1414                "-i -c"         "\\*lolfff"                                     "TestFiles/EmptyFile1"
    1515                ""                      "nope\\*No"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     
    3030                "-i -c"         "\\*\p{Greek}"                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    3131                "-c"            "\p{Lu}.*\\*.*\p{Greek}"        "TestFiles/NonEmptyFile1"
    32                 "-i -c"         "nope\p{Greek}"                         ""                                                                                                              #20
     32                "-i -c"         "nope\p{Greek}"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                                       #20
    3333                ""                      "nope\p{Greek}"                         "TestFiles/EmptyFile1 TestFiles/EmptyFile2"
    3434                "-i"            "\\$.*\p{Lu}.*5$"                       "TestFiles/NonEmptyFile1"
     
    3636                "-i -c"         "\p{Lu}.*\\^蕉銙蕉aAaσ5"            "TestFiles/NonEmptyFile1"
    3737                ""                      "\p{Lu}\\^蕉"                          "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                             #25
    38                 ""                      "\p{Greek}nope$"                        ""
     38                ""                      "\p{Greek}nope$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    3939                "-i -c"         "\p{Latin}\\?"                          "TestFiles/EmptyFile1"
    40                 ""                      "\p{Lu}\\.\\?"                          ""
     40                ""                      "\p{Lu}\\.\\?"                          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4141                "-c"            "\p{Greek}.*\\?\\*[0-9]"        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4242                "-i"            "\p{Lu}\\.\\?"                          "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                             #30
    43                 ""                      "\p{Lu}蕉銙蕉aAaσ"                  ""
     43                ""                      "\p{Lu}蕉銙蕉aAaσ"                  "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4444                "-i -c"         "\p{Lu}.*驙.*\p{Greek}"                "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    45                 ""                      "\p{Greek}\\&.*"                        ""
     45                ""                      "\p{Greek}\\&.*"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4646                "-c"            "\p{Greek}\\&.*"                        "TestFiles/EmptyFile1"
    47                 ""                      "\p{Lu}"                                        ""
    48                 ""                      "\p{Latin}蕉銙蕉"                            ""
     47                ""                      "\p{Lu}"                                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     48                ""                      "\p{Latin}蕉銙蕉"                            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    4949                ""                      "\p{Greek}ΜάΜα"                             "TestFiles/NonEmptyFile1"
    5050                "-i"            "\p{Greek}ΜάΜα"                             "TestFiles/EmptyFile1"
    5151                "-c"            "^\p{Armenian}$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    52                 "-i -c"         "\p{Lu}\\^"                                     ""
    53                 "-c"            "\p{Lu}.*\\^.*\p{Armenian}"     ""
     52                "-i -c"         "\p{Lu}\\^"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     53                "-c"            "\p{Lu}.*\\^.*\p{Armenian}"     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    5454                ""                      "My.*\\*.*\p{Greek}$"           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    5555
     
    6262                ""                      "haz lo?l"                              "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    6363                ""                      "q"                                             "TestFiles/NonEmptyFile1"
    64                 "-i"            "Q"                                             ""                                                                                                      # Test 5
     64                "-i"            "Q"                                             "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"               # Test 5
    6565                "-i -c"         "\\.Jk.*"                                       "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    6666                "-i"            "nope\\*No"                                     "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     
    8080                "-i -c"         ".*[a-z]"                                       "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 20
    8181                "-i"            "z$"                                            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    82                 ""                      "\\.LLL"                                        ""
     82                ""                      "\\.LLL"                                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    8383
    8484                # Tests involving Extended regular expressions like \p{Greek}
     
    9191                ""                      "\p{Lu}.*\\^.*\p{Greek}"        "TestFiles/NonEmptyFile1"
    9292                "-i"            "\p{Lu}.*\\^.*\p{Greek}"        "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 30
    93                 "-c"            "\p{Lu}jk.*\\*$"                        ""
     93                "-c"            "\p{Lu}jk.*\\*$"                        "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9494                "-i -c"         "\p{Lu}.*\p{Latin}.*\\*$"       "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    95                 "-c"            "\\^\p{Lu}trolol$"                      ""
     95                "-c"            "\\^\p{Lu}trolol$"                      "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9696                "-i -c"         "\p{Lu}.*\\*\p{Greek}"          "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9797                "-i -c"         "\\^\p{L}"                                      "TestFiles/EmptyFile1 TestFiles/EmptyFile2"                     # Test 35
    98                 "-c"            "\p{L}asdasd"                           ""
     98                "-c"            "\p{L}asdasd"                           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    9999                "-i -c"         "^\p{Lu}.*σω"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    100                 "-i"            "\p{L}\\*.?ada"                         ""
     100                "-i"            "\p{L}\\*.?ada"                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    101101                "-i -c"         "\p{Lu}.*\\^蕉銙蕉aAaσ$"            "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    102                 "-c"            "\p{L}"                                         ""                                                                                                      # Test 40
    103                 "-i -c"         "^\p{Greek}.*蕉銙蕉"                 ""
    104                 "-i"            "^\p{L}.*\\$"                           ""
    105                 "-c"            "^\p{L}\\.Aaσ$"                                ""
    106 
    107 
     102                "-c"            "\p{L}"                                         "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"                               # Test 40
     103                "-i -c"         "^\p{Greek}.*蕉銙蕉"                 "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     104                "-i"            "^\p{L}.*\\$"                           "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
     105                "-c"            "^\p{L}\\.Aaσ$"                                "TestFiles/NonEmptyFile1 TestFiles/NonEmptyFile2"
    108106
    109107                # More complex tests:
Note: See TracChangeset for help on using the changeset viewer.