<div dir="ltr"><div style>Hello, I'm trying to understand how does SRILM gives us the output in the lm file, but I can not figure out how these numbers come from.</div><div style><br></div><div>ngram-count -order 2 -gt1min 1 -gt2min 1 -gt3min 1 -text test_htx.dat -write1 cnt1 -write2 cnt2 -write3 cnt3 -kndiscount1 -kndiscount2 -kndiscount3 -debug 5 -lm lmtest2</div>
<div>test_htx.dat: line 22: 22 sentences, 67 words, 0 OOVs</div><div>0 zeroprobs, logprob= 0 ppl= 1 ppl1= 1</div><div>using ModKneserNey for 1-grams</div><div>modifying 1-gram counts for Kneser-Ney smoothing</div><div>Kneser-Ney smoothing 1-grams</div>
<div>n1 = 2</div><div>n2 = 4</div><div>n3 = 4</div><div>n4 = 4</div><div>D1 = 0.2</div><div>D2 = 1.4</div><div>D3+ = 2.2</div><div>using ModKneserNey for 2-grams</div><div>Kneser-Ney smoothing 2-grams</div><div>n1 = 34</div>
<div>n2 = 10</div><div>n3 = 3</div><div>n4 = 3</div><div>D1 = 0.62963</div><div>D2 = 1.43333</div><div>D3+ = 0.481481</div><div>CONTEXT  WORD </s> NUMER 9 DENOM 52 DISCOUNT 0.755556 LPROB -0.883494</div><div>CONTEXT  WORD Alice NUMER 3 DENOM 52 DISCOUNT 0.266667 LPROB -1.81291</div>
<div>                                                               ........</div><div style>In the lm file:</div><div style><div>-99<span class="" style="white-space:pre">      </span><s><span class="" style="white-space:pre"> </span>0.1888525</div>
<div>-1.309463<span class="" style="white-space:pre">   </span>Alice<span class="" style="white-space:pre">     </span>-0.02817659</div><div>                                                               .........</div><div style>
I'm trying to understand the line </div><div style><div>CONTEXT  WORD Alice NUMER 3 DENOM 52 DISCOUNT 0.266667 LPROB -1.81291</div><div style>I know the NUMBER 3 means </div><div style>c(* Alice)=3</div><div style>I can't figure out the other parameters, and how are they calculated, and how are the result </div>
<div style><div>-1.309463<span class="" style="white-space:pre">  </span>Alice<span class="" style="white-space:pre">     </span>-0.02817659</div><div style>calculated</div><div style><br></div><div style>I have referred to Chen's paper and SRILM ngram-discount manual, but I still don't know what's going on </div>
<div style><br></div><div style>This is my cnt1 file</div><div style><div><s><span class="" style="white-space:pre">  </span>22</div><div></s><span class="" style="white-space:pre">       </span>9</div><div>Alice<span class="" style="white-space:pre">     </span>3</div>
<div>loves<span class="" style="white-space:pre">       </span>4</div><div>Bob<span class="" style="white-space:pre">       </span>2</div><div>also<span class="" style="white-space:pre">      </span>3</div><div>Kai<span class="" style="white-space:pre">       </span>2</div>
<div>KaiKai<span class="" style="white-space:pre">      </span>3</div><div>KK<span class="" style="white-space:pre">        </span>3</div><div>hates<span class="" style="white-space:pre">     </span>2</div><div>YY<span class="" style="white-space:pre">        </span>5</div>
<div>Miss<span class="" style="white-space:pre">        </span>4</div><div>MM<span class="" style="white-space:pre">        </span>1</div><div>b3<span class="" style="white-space:pre">        </span>4</div><div>a3<span class="" style="white-space:pre">        </span>4</div>
<div>c3<span class="" style="white-space:pre">  </span>1</div><div>d3<span class="" style="white-space:pre">        </span>2</div><div><br></div><div style>Thank you very much.</div></div><div style><br></div></div></div></div></div>