<font color='black' size='2' face='arial'>

<div id="AOLMsgPart_1_e39538f8-0bd2-42f9-8273-291e924d5738">
<font face="arial"><font face="arial" size="2" style="color: black; font-size: 10pt; font-family: arial, helvetica;">Hello,</font>

<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">Please find my files here  <span style="font-size: 10pt;">http://goo.gl/WVMEcw</span></div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">To keep file size small I've only shared unigram counts. When I run the following command-</div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">

<div>ngram-count -order 1 -vocab wordList -read ngramCounts -lm ug.lm</div>



<div><br>

</div>



<div>I get below output-</div>



<div>warning: no singleton counts</div>



<div>GT discounting disabled</div>



<div>BOW numerator for context "" is -126.947 < 0</div>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">I understand that the "singleton" warning is because there are no ngrams that occur only once. Still the "ug.lm" file is generated.</div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">Two issues-</div>



<div style="color: black; font-size: 10pt; font-family: arial;">If I use the following command suggested elsewhere in the mailing list to fix "BOW numerator .." warning, I get more warnings and the original warning is still present.</div>



<div style="color: black; font-size: 10pt; font-family: arial, helvetica;"><font face="arial"><br>

</font></div>



<div style="color: black; font-size: 10pt; font-family: arial, helvetica;"><font face="arial">ngram -lm ug.lm -renorm -write-lm ug_norm.lm</font></div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial;">If to fix the "singleton" warning, I use WittenBell smoothing (As advised in another thread here), ngram-count hangs indefinitely.</div>



<div style="color: black; font-size: 10pt; font-family: arial;"><br>

</div>



<div style="color: black; font-size: 10pt; font-family: arial, helvetica;"><font face="arial">ngram-count -order 1 -vocab wordList -read ngramCounts -lm ug.lm -wbdiscount1</font></div>



<div style="color: black; font-size: 10pt; font-family: arial, helvetica;"><font face="arial"><br>

</font></div>



<div style="color: black; font-size: 10pt; font-family: arial, helvetica;"><font face="arial">How do I debug this issue?</font></div>

</font>
</div>

</font>