Changeset 172


Ignore:
Timestamp:
Jun 25, 2008, 5:04:25 PM (11 years ago)
Author:
cameron
Message:

UTF-16 charset validation

Location:
trunk
Files:
3 edited

Legend:

Unmodified
Added
Removed
  • trunk/markup_stats.cxx

    r167 r172  
    430430                parser = Parser_Interface::ParserFactory(src_filename);
    431431       
    432                 /*             
     432               
    433433                if (!parser->has_ByteOrderMark()) printf("No ");
    434434                printf("Byte Order Mark found.\n");
     
    445445                        printf("XML standalone = no declared.\n");
    446446                else printf ("XML standalone = no by default.\n");
    447                 */
     447               
    448448
    449449//              #ifdef PAPI
  • trunk/src/byteplex.c

    r169 r172  
    318318                                          simd_const_8(0xFF));
    319319//              u16_FFFE_FFFF_accum = simd_or(u16_FFFE_FFFF_accum, u16_FFFE_FFFF);
    320                 if (bitblock_has_bit(simd_or(u16_surrogate_error, u16_FFFE_FFFF))) {
     320                u16_surrogate_error = simd_or(u16_surrogate_error, u16_FFFE_FFFF);
     321       
     322                if (bitblock_has_bit(u16_surrogate_error)) {
    321323                        CharSetValidationError("UTF-16 (relative position reported)",
    322                                                                         pk * PACKSIZE +
    323                                                                         count_forward_zeroes(simd_or(u16_surrogate_error, u16_FFFE_FFFF))/8);
    324                 }
    325         }
    326         if (bitblock_has_bit(hi_surrogate_pending)) {
    327                 CharSetValidationError("UTF-16", PACKSIZE * packs_in_buffer);
     324                                                pk * PACKSIZE + count_forward_zeroes(u16_surrogate_error)/8);
     325                }
    328326        }
    329327};
  • trunk/src/engine.c

    r171 r172  
    272272template <>
    273273inline void ParsingEngine<U16_Buffer>::AdvanceBuffers(){
    274         printf("U16_Buffer validation attempted.\n");
    275274#if defined(PAPI) and defined(CODE_CLOCKING) and (CODE_CLOCKING == ADVANCE_BUFFERS)
    276275        code_clocker->cc_start_interval();
Note: See TracChangeset for help on using the changeset viewer.