Hi,<div><br></div><div>I would like to clarify how to evaluate properly a language model with an observed hidden event (<A>), omitted from context.</div><div><br></div><div>I have manually created the counts file, where this event had been skipped from context, and have built a LM from that.</div>

<div>Also, I have added this line to the end of the LM file:</div><div><A> -observed -omit</div><div><br></div><div>My question is whether it is necessary to specify a hidden vocabulary with -hidden-vocab option.</div>

<div>Which command line is correct:</div><div><br></div><div><div>ngram -lm 3-gram.omit.lm -ppl test.txt -order 3 -vocab wlist -hidden-vocab df.defs</div></div><div><br></div><div>or just</div><div><br></div><div>ngram -lm 3-gram.omit.lm -ppl test.txt -order 3 -vocab wlist</div>

<div><br></div><div>Thanks.</div><div><br></div><div>Yours,</div><div>Dmytro Prylipko.</div><div><br></div>