<div dir="ltr">Dear all, <br>I&#39;m using srilm on some data crawled from the Web. The lm contains some strange symbols as these:<br>\1-grams:<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^A&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^C<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^D<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^E&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>
-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^F&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^G&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^H&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^K&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^N&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^O<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^P<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^T&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^X<br>
-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^Y&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^\<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^]<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^^&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<br>-6.774207&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ^_<br><br>these symbols are not the simple combination of ^ and a letter but it seems to be something different as a character that has been truncated or something similar.<br>
Do u have an idea what they are and how to remove them?<br><br>thanks a lot<br>Marco<br></div>