Hi, I am training LM using <b>make-batch-counts</b>, <b>merge-batch-counts</b> and <b>make-big-lm</b>. I compared the modified Kneser-Ney and Good-Turing smoothing algorithm in <b>make-big-lm</b>, and found that the training speed is much slower by modified Kneser-Ney. I checked the debug information, and found that it run <b>make-kn-counts</b> and <b>merge-batch-counts</b>, which cost most of the time. I wonder if the extra two steps could run in <b>make-batch-counts</b>, so it could save much time.<div>
Thanks!</div><div><br></div><div>Meng CHEN</div>