<font color='black' size='2' face='arial'><font face="arial" size="2" style="color: black;">Thanks for the pointers! Three questions - </font>
<div style="color: black; font-family: arial; font-size: 10pt;"><br>
</div>

<div style="color: black; font-family: arial; font-size: 10pt;">1. The same number of bins are used for all n-grams even though number of ngrams for each N may differ. In web1T,  </div>

<div style="color: black; font-family: arial; font-size: 10pt;"><pre style="word-wrap: break-word; white-space: pre-wrap;">Number of unigrams:         13,588,391
Number of fivegrams:     1,176,470,663</pre></div>

<div>
<div id="AOLMsgPart_1_f25a2f23-e6ce-45eb-ac97-16c58b5fe90e">
<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black; font-family: arial, helvetica; font-size: 10pt;"><font size="2"><font face="arial">Would it make any improvement if fivegrams were binned more number of times than unigrams?</font></font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black; font-family: arial, helvetica; font-size: 10pt;"><br>

  </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2">2. For a particular ngram in test data, the algorithm will decide which bin Wij's to use based on how many times that n-gram occurred in training data. Is this right?</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2"><br>
</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2">3. What does it mean when some weights are zero after tuning them. I used just 10 sentences  (5 repeated) in tune.txt and got google.countlm as at the bottom.</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2"><br>
</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2">For ex. w01, w02 are non-zero but w03 is zero. Does this mean that in the development set, there were no trigrams that corresponded to counts in bin 0?</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000" style="color: black;"><font face="arial" size="2"><br>
</font></div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"><font face="arial" size="2">
<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000">order 5                                                                                                                                 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000">mixweights 15</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0 0 0 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0 0 0 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0 0 0 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0.198641</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0 0 0 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0 0 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.054722 0 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0.5 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 0.5 0.5 0.5 0 0.5 </div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000"> 1 1.97997e-05 0.0844577 0.030065 3.44131e-06</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000">countmodulus 40</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000">vocabsize 13588391</div>

<div class="aolReplacedBody" bgcolor="#FFFFFF" text="#000000">totalcount 4294967295</div>
</font></div>



</div>




</div>
</font>