<br><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Manuel Alves</b> <span dir="ltr"><<a href="mailto:beleira@gmail.com">beleira@gmail.com</a>></span><br>Date: Fri, Jan 8, 2010 at 10:40 AM<br>
Subject: Re: Fwd: ngram-count<br>To: Andreas Stolcke <<a href="mailto:stolcke@speech.sri.com">stolcke@speech.sri.com</a>><br><br><br>1. ngram-count -text CETEMPublico1.7 -lm LM<br>2.I test it in this way:<br> I use the client-server architecture of SRILM<br>
SERVER : ngram -lm ../$a -server-port 100 -order 3 <br>
CLIENT : ngram -use-server 100\@localhost -cache-served-ngrams -ppl $ficheiro -debug 2 2>&1<br> where $ficheiro is this:<br> <br>
<br>3. <br>Entretanto , gostaria - como também me foi pedido por um berto número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
$<br>Entretanto , gostaria - como também me foi pedido por um perto número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
$<br>Entretanto , gostaria - como também me foi pedido por um certo número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
$<br><br>4.server 100@localhost: probserver ready<br>Entretanto , gostaria - como também me foi pedido por um berto número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]<br> p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]<br> p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]<br> p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]<br>
p( como | - ...) = 2.85049e-07 [ -6.54508 ]<br> p( também | como ...) = 4.05163e-09 [ -8.39237 ]<br> p( me | também ...) = 8.49376e-10 [ -9.0709 ]<br> p( foi | me ...) = 4.47085e-08 [ -7.34961 ]<br>
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]<br> p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]<br> p( um | por ...) = 2.56195e-08 [ -7.59143 ]<br> p( berto | um ...) = 4.86743e-14 [ -13.3127 ]<br>
p( número | berto ...) = 5.96197e-05 [ -4.22461 ]<br> p( de | número ...) = 5.85882e-07 [ -6.23219 ]<br> p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]<br> p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]<br>
p( que | - ...) = 2.08848e-06 [ -5.68017 ]<br> p( observássemos | que ...) = 0 [ -inf ]<br> p( um | observássemos ...) = 0.00380803 [ -2.4193 ]<br> p( minuto | um ...) = 8.60995e-11 [ -10.065 ]<br>
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]<br> p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]<br> p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]<br> p( todas | por ...) = 1.00466e-09 [ -8.99798 ]<br>
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]<br> p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]<br> p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]<br> p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]<br>
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]<br> p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]<br> p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]<br> p( nos | , ...) = 4.62882e-09 [ -8.33453 ]<br>
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]<br> p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]<br> p( da | países ...) = 1.7112e-07 [ -6.7667 ]<br> p( União | da ...) = 5.95703e-10 [ -9.22497 ]<br>
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]<br> p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]<br> p( foram | que ...) = 2.21804e-09 [ -8.65403 ]<br> p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]<br>
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]<br> p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]<br>1 sentences, 41 words, 0 OOVs<br>1 zeroprobs, logprob= -304.197 ppl= 2.62684e+07 ppl1= 4.02643e+07<br>
<br>$<br> p( $ | <s> ) = 0 [ -inf ]<br> p( </s> | $ ...) = 0.510708 [ -0.291827 ]<br>1 sentences, 1 words, 0 OOVs<br>1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined<br><br>Entretanto , gostaria - como também me foi pedido por um perto número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]<br> p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]<br> p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]<br> p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]<br>
p( como | - ...) = 2.85049e-07 [ -6.54508 ]<br> p( também | como ...) = 4.05163e-09 [ -8.39237 ]<br> p( me | também ...) = 8.49376e-10 [ -9.0709 ]<br> p( foi | me ...) = 4.47085e-08 [ -7.34961 ]<br>
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]<br> p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]<br> p( um | por ...) = 2.56195e-08 [ -7.59143 ]<br> p( perto | um ...) = 4.29596e-10 [ -9.36694 ]<br>
p( número | perto ...) = 1.18038e-08 [ -7.92798 ]<br> p( de | número ...) = 5.85882e-07 [ -6.23219 ]<br> p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]<br> p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]<br>
p( que | - ...) = 2.08848e-06 [ -5.68017 ]<br> p( observássemos | que ...) = 0 [ -inf ]<br> p( um | observássemos ...) = 0.00380803 [ -2.4193 ]<br> p( minuto | um ...) = 8.60995e-11 [ -10.065 ]<br>
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]<br> p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]<br> p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]<br> p( todas | por ...) = 1.00466e-09 [ -8.99798 ]<br>
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]<br> p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]<br> p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]<br> p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]<br>
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]<br> p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]<br> p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]<br> p( nos | , ...) = 4.62882e-09 [ -8.33453 ]<br>
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]<br> p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]<br> p( da | países ...) = 1.7112e-07 [ -6.7667 ]<br> p( União | da ...) = 5.95703e-10 [ -9.22497 ]<br>
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]<br> p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]<br> p( foram | que ...) = 2.21804e-09 [ -8.65403 ]<br> p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]<br>
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]<br> p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]<br>1 sentences, 41 words, 0 OOVs<br>1 zeroprobs, logprob= -303.954 ppl= 2.59133e+07 ppl1= 3.97064e+07<br>
<br>$<br> p( $ | <s> ) = 0 [ -inf ]<br> p( </s> | $ ...) = 0.510708 [ -0.291827 ]<br>1 sentences, 1 words, 0 OOVs<br>1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined<br><br>Entretanto , gostaria - como também me foi pedido por um certo número de colegas - que observássemos um minuto de silêncio por todas as vítimas , nomeadamente das tempestades , nos diferentes países da União Europeia que foram afectados .<br>
p( Entretanto | <s> ) = 8.49102e-05 [ -4.07104 ]<br> p( , | Entretanto ...) = 3.2184e-06 [ -5.49236 ]<br> p( gostaria | , ...) = 7.06318e-11 [ -10.151 ]<br> p( - | gostaria ...) = 8.13224e-08 [ -7.08979 ]<br>
p( como | - ...) = 2.85049e-07 [ -6.54508 ]<br> p( também | como ...) = 4.05163e-09 [ -8.39237 ]<br> p( me | também ...) = 8.49376e-10 [ -9.0709 ]<br> p( foi | me ...) = 4.47085e-08 [ -7.34961 ]<br>
p( pedido | foi ...) = 4.05975e-10 [ -9.3915 ]<br> p( por | pedido ...) = 2.5038e-07 [ -6.6014 ]<br> p( um | por ...) = 2.56195e-08 [ -7.59143 ]<br> p( certo | um ...) = 4.45123e-10 [ -9.35152 ]<br>
p( número | certo ...) = 1.1392e-08 [ -7.9434 ]<br> p( de | número ...) = 5.85882e-07 [ -6.23219 ]<br> p( colegas | de ...) = 1.32782e-10 [ -9.87686 ]<br> p( - | colegas ...) = 4.35752e-08 [ -7.36076 ]<br>
p( que | - ...) = 2.08848e-06 [ -5.68017 ]<br> p( observássemos | que ...) = 0 [ -inf ]<br> p( um | observássemos ...) = 0.00380803 [ -2.4193 ]<br> p( minuto | um ...) = 8.60995e-11 [ -10.065 ]<br>
p( de | minuto ...) = 7.52107e-06 [ -5.12372 ]<br> p( silêncio | de ...) = 1.464e-10 [ -9.83446 ]<br> p( por | silêncio ...) = 5.40082e-07 [ -6.26754 ]<br> p( todas | por ...) = 1.00466e-09 [ -8.99798 ]<br>
p( as | todas ...) = 7.24369e-08 [ -7.14004 ]<br> p( vítimas | as ...) = 2.70166e-10 [ -9.56837 ]<br> p( , | vítimas ...) = 4.01985e-06 [ -5.39579 ]<br> p( nomeadamente | , ...) = 4.2063e-10 [ -9.3761 ]<br>
p( das | nomeadamente ...) = 1.19201e-07 [ -6.92372 ]<br> p( tempestades | das ...) = 1.25372e-11 [ -10.9018 ]<br> p( , | tempestades ...) = 8.78295e-05 [ -4.05636 ]<br> p( nos | , ...) = 4.62882e-09 [ -8.33453 ]<br>
p( diferentes | nos ...) = 7.62009e-10 [ -9.11804 ]<br> p( países | diferentes ...) = 1.3381e-08 [ -7.87351 ]<br> p( da | países ...) = 1.7112e-07 [ -6.7667 ]<br> p( União | da ...) = 5.95703e-10 [ -9.22497 ]<br>
p( Europeia | União ...) = 3.99402e-09 [ -8.39859 ]<br> p( que | Europeia ...) = 5.5077e-07 [ -6.25903 ]<br> p( foram | que ...) = 2.21804e-09 [ -8.65403 ]<br> p( afectados | foram ...) = 7.34514e-11 [ -10.134 ]<br>
p( . | afectados ...) = 1.17649e-05 [ -4.92941 ]<br> p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]<br>1 sentences, 41 words, 0 OOVs<br>1 zeroprobs, logprob= -303.954 ppl= 2.59133e+07 ppl1= 3.97064e+07<br>
<br>$<br> p( $ | <s> ) = 0 [ -inf ]<br> p( </s> | $ ...) = 0.510708 [ -0.291827 ]<br>1 sentences, 1 words, 0 OOVs<br>1 zeroprobs, logprob= -0.291827 ppl= 1.95806 ppl1= undefined<br><br>file final.txt: 6 sentences, 126 words, 0 OOVs<br>
6 zeroprobs, logprob= -912.981 ppl= 1.7615e+07 ppl1= 4.05673e+07<br><br><u>I wait your awnser;<br>Best regards,<br><font color="#888888">Manuel Alves. </font></u><br><div><div></div><div class="h5"><br><div class="gmail_quote">
On Thu, Jan 7, 2010 at 8:35 PM, Andreas Stolcke <span dir="ltr"><<a href="mailto:stolcke@speech.sri.com" target="_blank">stolcke@speech.sri.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div bgcolor="#ffffff" text="#000000"><div><div></div><div>
On 1/6/2010 10:34 AM, Manuel Alves wrote:
<blockquote type="cite"><br>
<br>
<div class="gmail_quote">---------- Forwarded message ----------<br>
From: <b class="gmail_sendername">Manuel Alves</b> <span dir="ltr"><<a href="mailto:beleira@gmail.com" target="_blank">beleira@gmail.com</a>></span><br>
Date: Wed, Jan 6, 2010 at 6:33 PM<br>
Subject: ngram-count<br>
To: <a href="mailto:srilm-user@speech.sri.com" target="_blank">srilm-user@speech.sri.com</a><br>
<br>
<br>
Hi people.<br>
I need help whith ngram-count because i am training a model but when
after i try to use it some test example he gives me Zeroprobs in the
output.<br>
This means that the model is bad trained?<br>
Please answer me.<br>
Best regards,<br>
<font color="#888888">Manuel Alves.<br>
</font></div>
</blockquote>
<br></div></div>
you need to give more information. <br>
<br>
<br>
1. how exactly (what command line options) did you train the model<br>
2. how do you test it. <br>
3. an example test input<br>
4. what is the output produced.<br>
<br>
Try sending that to srilm-user.<br>
<br>
Andreas <br>
<br>
<br>
</div>
</blockquote></div><br>
</div></div></div><br>