<div dir="ltr">Hi Joris,<div><br></div><div>Is this a type of cut-off? If you set cut-off == 3, that means the words occurs less than 3 times will be considered as OOV.</div><div><br></div><div>Cheers,</div><div><br></div>
<div>Yangyang Shi</div></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Wed, Jul 3, 2013 at 8:22 PM, Joris Pelemans <span dir="ltr"><<a href="mailto:Joris.Pelemans@esat.kuleuven.be" target="_blank">Joris.Pelemans@esat.kuleuven.be</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello all,<br>
<br>
My question is perhaps a little bit of topic, but I'm hoping for your cooperation, since it's LM related.<br>
<br>
Say we have a training corpus with lexicon V_train. Since some of the words have near-zero counts, we choose to exclude them from our LM. This gives us a new lexicon, let's call it V_final. However this also gives us two types of OOV words: those not in V_train and those not in V_final. I was wondering whether there are standard terms in the literature for these two types of OOVs. I have read my share of papers, but none of them seem to make this distinction.<br>

<br>
Kind regards,<br>
<br>
Joris<br>
______________________________<u></u>_________________<br>
SRILM-User site list<br>
<a href="mailto:SRILM-User@speech.sri.com" target="_blank">SRILM-User@speech.sri.com</a><br>
<a href="http://www.speech.sri.com/mailman/listinfo/srilm-user" target="_blank">http://www.speech.sri.com/<u></u>mailman/listinfo/srilm-user</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br>Met vriendelijke groet,<br> <br><font face="'comic sans ms', sans-serif"><font color="#3333FF">Yangyang Shi</font></font><font face="'comic sans ms', sans-serif"><font color="#3333FF"><br>
<br>TU Delft / Interactive Intelligence Group<br>HB12.290, EWI, <br>Mekelweg 4,<br>2628 CD Delft,<br>T +31 (0) 152782549<br>E <a href="mailto:shiyang1983@gmail.com" target="_blank">shiyang1983@gmail.com</a>; <a href="mailto:yangyangshi@ieee.org" target="_blank">yangyangshi@ieee.org</a> </font></font>
</div>