[SRILM User List] Fwd: Fwd: ngram-count
Manuel Alves
beleira at gmail.com
Thu Jan 14 08:29:59 PST 2010
Hi people.
Whith the command :
ngram-count -wbdiscount -order 3
-unk -text CETEMPublico1.7 -lm LM3 &
I get this results:
server 100 at localhost: probserver ready
Entretanto , gostaria - como também me foi pedido por um berto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.47227e-05 [ -4.072 ]
p( , | Entretanto ...) = 3.18141e-06 [ -5.49738 ]
p( gostaria | , ...) = 7.02748e-11 [ -10.1532 ]
p( - | gostaria ...) = 3.95658e-08 [ -7.40268 ]
p( como | - ...) = 1.74273e-07 [ -6.75877 ]
p( também | como ...) = 4.00507e-09 [ -8.39739 ]
p( me | também ...) = 8.39635e-10 [ -9.07591 ]
p( foi | me ...) = 2.1752e-08 [ -7.6625 ]
p( pedido | foi ...) = 4.01329e-10 [ -9.3965 ]
p( por | pedido ...) = 1.21818e-07 [ -6.91429 ]
p( um | por ...) = 2.5325e-08 [ -7.59645 ]
p( berto | um ...) = 6.41506e-14 [ -13.1928 ]
p( número | berto ...) = 3.80198e-05 [ -4.41999 ]
p( de | número ...) = 2.85043e-07 [ -6.54509 ]
p( colegas | de ...) = 1.31701e-10 [ -9.88041 ]
p( - | colegas ...) = 2.12007e-08 [ -7.67365 ]
p( que | - ...) = 1.27685e-06 [ -5.89386 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00378643 [ -2.42177 ]
p( minuto | um ...) = 8.51139e-11 [ -10.07 ]
p( de | minuto ...) = 3.65915e-06 [ -5.43662 ]
p( silêncio | de ...) = 1.45208e-10 [ -9.83801 ]
p( por | silêncio ...) = 2.62766e-07 [ -6.58043 ]
p( todas | por ...) = 9.93139e-10 [ -9.00299 ]
p( as | todas ...) = 3.5242e-08 [ -7.45294 ]
p( vítimas | as ...) = 2.67073e-10 [ -9.57337 ]
p( , | vítimas ...) = 1.95573e-06 [ -5.70869 ]
p( nomeadamente | , ...) = 4.18417e-10 [ -9.37839 ]
p( das | nomeadamente ...) = 5.79949e-08 [ -7.23661 ]
p( tempestades | das ...) = 1.24108e-11 [ -10.9062 ]
p( , | tempestades ...) = 4.27307e-05 [ -4.36926 ]
p( nos | , ...) = 4.60437e-09 [ -8.33683 ]
p( diferentes | nos ...) = 7.88206e-10 [ -9.10336 ]
p( países | diferentes ...) = 6.51028e-09 [ -8.1864 ]
p( da | países ...) = 8.3253e-08 [ -7.0796 ]
p( União | da ...) = 5.8887e-10 [ -9.22998 ]
p( Europeia | União ...) = 4.2603e-09 [ -8.37056 ]
p( que | Europeia ...) = 2.6796e-07 [ -6.57193 ]
p( foram | que ...) = 2.19255e-09 [ -8.65905 ]
p( afectados | foram ...) = 3.5752e-11 [ -10.4467 ]
p( . | afectados ...) = 5.724e-06 [ -5.2423 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -309.735 ppl= 3.58516e+07 ppl1= 5.53824e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.50782 [ -0.29429 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.29429 ppl= 1.9692 ppl1= undefined
Entretanto , gostaria - como também me foi pedido por um perto número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.47227e-05 [ -4.072 ]
p( , | Entretanto ...) = 3.18141e-06 [ -5.49738 ]
p( gostaria | , ...) = 7.02748e-11 [ -10.1532 ]
p( - | gostaria ...) = 3.95658e-08 [ -7.40268 ]
p( como | - ...) = 1.74273e-07 [ -6.75877 ]
p( também | como ...) = 4.00507e-09 [ -8.39739 ]
p( me | também ...) = 8.39635e-10 [ -9.07591 ]
p( foi | me ...) = 2.1752e-08 [ -7.6625 ]
p( pedido | foi ...) = 4.01329e-10 [ -9.3965 ]
p( por | pedido ...) = 1.21818e-07 [ -6.91429 ]
p( um | por ...) = 2.5325e-08 [ -7.59645 ]
p( perto | um ...) = 4.24668e-10 [ -9.37195 ]
p( número | perto ...) = 5.74288e-09 [ -8.24087 ]
p( de | número ...) = 2.85043e-07 [ -6.54509 ]
p( colegas | de ...) = 1.31701e-10 [ -9.88041 ]
p( - | colegas ...) = 2.12007e-08 [ -7.67365 ]
p( que | - ...) = 1.27685e-06 [ -5.89386 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00378643 [ -2.42177 ]
p( minuto | um ...) = 8.51139e-11 [ -10.07 ]
p( de | minuto ...) = 3.65915e-06 [ -5.43662 ]
p( silêncio | de ...) = 1.45208e-10 [ -9.83801 ]
p( por | silêncio ...) = 2.62766e-07 [ -6.58043 ]
p( todas | por ...) = 9.93139e-10 [ -9.00299 ]
p( as | todas ...) = 3.5242e-08 [ -7.45294 ]
p( vítimas | as ...) = 2.67073e-10 [ -9.57337 ]
p( , | vítimas ...) = 1.95573e-06 [ -5.70869 ]
p( nomeadamente | , ...) = 4.18417e-10 [ -9.37839 ]
p( das | nomeadamente ...) = 5.79949e-08 [ -7.23661 ]
p( tempestades | das ...) = 1.24108e-11 [ -10.9062 ]
p( , | tempestades ...) = 4.27307e-05 [ -4.36926 ]
p( nos | , ...) = 4.60437e-09 [ -8.33683 ]
p( diferentes | nos ...) = 7.88206e-10 [ -9.10336 ]
p( países | diferentes ...) = 6.51028e-09 [ -8.1864 ]
p( da | países ...) = 8.3253e-08 [ -7.0796 ]
p( União | da ...) = 5.8887e-10 [ -9.22998 ]
p( Europeia | União ...) = 4.2603e-09 [ -8.37056 ]
p( que | Europeia ...) = 2.6796e-07 [ -6.57193 ]
p( foram | que ...) = 2.19255e-09 [ -8.65905 ]
p( afectados | foram ...) = 3.5752e-11 [ -10.4467 ]
p( . | afectados ...) = 5.724e-06 [ -5.2423 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -309.735 ppl= 3.58516e+07 ppl1= 5.53824e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.50782 [ -0.29429 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.29429 ppl= 1.9692 ppl1= undefined
Entretanto , gostaria - como também me foi pedido por um certo número de
colegas - que observássemos um minuto de silêncio por todas as vítimas ,
nomeadamente das tempestades , nos diferentes países da União Europeia que
foram afectados .
p( Entretanto | <s> ) = 8.47227e-05 [ -4.072 ]
p( , | Entretanto ...) = 3.18141e-06 [ -5.49738 ]
p( gostaria | , ...) = 7.02748e-11 [ -10.1532 ]
p( - | gostaria ...) = 3.95658e-08 [ -7.40268 ]
p( como | - ...) = 1.74273e-07 [ -6.75877 ]
p( também | como ...) = 4.00507e-09 [ -8.39739 ]
p( me | também ...) = 8.39635e-10 [ -9.07591 ]
p( foi | me ...) = 2.1752e-08 [ -7.6625 ]
p( pedido | foi ...) = 4.01329e-10 [ -9.3965 ]
p( por | pedido ...) = 1.21818e-07 [ -6.91429 ]
p( um | por ...) = 2.5325e-08 [ -7.59645 ]
p( certo | um ...) = 4.40017e-10 [ -9.35653 ]
p( número | certo ...) = 5.54255e-09 [ -8.25629 ]
p( de | número ...) = 2.85043e-07 [ -6.54509 ]
p( colegas | de ...) = 1.31701e-10 [ -9.88041 ]
p( - | colegas ...) = 2.12007e-08 [ -7.67365 ]
p( que | - ...) = 1.27685e-06 [ -5.89386 ]
p( observássemos | que ...) = 0 [ -inf ]
p( um | observássemos ...) = 0.00378643 [ -2.42177 ]
p( minuto | um ...) = 8.51139e-11 [ -10.07 ]
p( de | minuto ...) = 3.65915e-06 [ -5.43662 ]
p( silêncio | de ...) = 1.45208e-10 [ -9.83801 ]
p( por | silêncio ...) = 2.62766e-07 [ -6.58043 ]
p( todas | por ...) = 9.93139e-10 [ -9.00299 ]
p( as | todas ...) = 3.5242e-08 [ -7.45294 ]
p( vítimas | as ...) = 2.67073e-10 [ -9.57337 ]
p( , | vítimas ...) = 1.95573e-06 [ -5.70869 ]
p( nomeadamente | , ...) = 4.18417e-10 [ -9.37839 ]
p( das | nomeadamente ...) = 5.79949e-08 [ -7.23661 ]
p( tempestades | das ...) = 1.24108e-11 [ -10.9062 ]
p( , | tempestades ...) = 4.27307e-05 [ -4.36926 ]
p( nos | , ...) = 4.60437e-09 [ -8.33683 ]
p( diferentes | nos ...) = 7.88206e-10 [ -9.10336 ]
p( países | diferentes ...) = 6.51028e-09 [ -8.1864 ]
p( da | países ...) = 8.3253e-08 [ -7.0796 ]
p( União | da ...) = 5.8887e-10 [ -9.22998 ]
p( Europeia | União ...) = 4.2603e-09 [ -8.37056 ]
p( que | Europeia ...) = 2.6796e-07 [ -6.57193 ]
p( foram | que ...) = 2.19255e-09 [ -8.65905 ]
p( afectados | foram ...) = 3.5752e-11 [ -10.4467 ]
p( . | afectados ...) = 5.724e-06 [ -5.2423 ]
p( </s> | . ...) = 0.999997 [ -1.32346e-06 ]
1 sentences, 41 words, 0 OOVs
1 zeroprobs, logprob= -309.735 ppl= 3.58516e+07 ppl1= 5.53824e+07
$
p( $ | <s> ) = 0 [ -inf ]
p( </s> | $ ...) = 0.50782 [ -0.29429 ]
1 sentences, 1 words, 0 OOVs
1 zeroprobs, logprob= -0.29429 ppl= 1.9692 ppl1= undefined
file final.txt: 6 sentences, 126 words, 0 OOVs
6 zeroprobs, logprob= -930.088 ppl= 2.40795e+07 ppl1= 5.63287e+07
*Can you tell me if the problem comes from the GT discount method used by
default in the ngram-count command?*
Best Regards,
Manuel Alves.
On Mon, Jan 11, 2010 at 4:52 PM, Andreas Stolcke <stolcke at speech.sri.com>wrote:
> On 1/11/2010 3:49 AM, Manuel Alves wrote:
>
> Hi Andreas.
> The output of the ngram-count was:
> [root at localhost Corporas]#
> ../srilm/bin/i686/ngram-count -order 3 -text CETEMPublico1.7 -lm LM
> warning: discount coeff 1 is
> out of range: 1.44451e-17
>
> I dont know if there is any problem with GT discount method.
>
> Try another discount method like -wbdiscount just to see if that changes
> your results by much.
>
> Andreas
>
>
>
> On Fri, Jan 8, 2010 at 9:52 PM, Andreas Stolcke <stolcke at speech.sri.com>wrote:
>
>> On 1/8/2010 3:57 AM, Manuel Alves wrote:
>>
>>
>>
>> ---------- Forwarded message ----------
>> From: Manuel Alves <beleira at gmail.com>
>> Date: Fri, Jan 8, 2010 at 10:40 AM
>> Subject: Re: Fwd: ngram-count
>> To: Andreas Stolcke <stolcke at speech.sri.com>
>>
>>
>> 1. ngram-count -text CETEMPublico1.7 -lm LM
>> 2.I test it in this way:
>> I use the client-server architecture of SRILM
>> SERVER : ngram -lm ../$a -server-port 100
>> -order 3
>> CLIENT : ngram -use-server 100\@localhost
>> -cache-served-ngrams -ppl $ficheiro -debug 2 2>&1
>> where $ficheiro is this:
>>
>>
>>
>>
>>
>> p( observássemos | que ...) = 0 [ -inf ]
>>
>>
>> file final.txt: 6 sentences, 126 words, 0 OOVs
>> 6 zeroprobs, logprob= -912.981 ppl= 1.7615e+07 ppl1= 4.05673e+07
>>
>>
>> It looks to me like everything is working as intended. You are getting
>> zeroprobs, but not a large number of them.
>> They are low-frequency words (like the one above), so it makes sense,
>> since they are probably not contained in the training corpus.
>>
>> The perplexity is quite high, but that could be because of a small, or
>> mismatched training corpus. You didn't include the output of the
>> ngram-count program, it's possible that the GT (default) discounting method
>> reported some problems that are not evident from your mail.
>>
>> One thing to note is that with network-server LMs you don't get OOVs,
>> because all words are implicitly added to the vocabulary. Consequently, OOVs
>> are counted as zeroprobs instead, but both types of tokens are equivalent
>> for perplexity computation.
>> Still, you could run
>> ngram -lm ../$a -order 3 -ppl $ficheiro -debug 2
>> just to make sure you're getting the same result.
>>
>> Andreas
>>
>>
>> *Manuel Alves. *
>>
>> On Thu, Jan 7, 2010 at 8:35 PM, Andreas Stolcke <stolcke at speech.sri.com>wrote:
>>
>>> On 1/6/2010 10:34 AM, Manuel Alves wrote:
>>>
>>>
>>>
>>> ---------- Forwarded message ----------
>>> From: Manuel Alves <beleira at gmail.com>
>>> Date: Wed, Jan 6, 2010 at 6:33 PM
>>> Subject: ngram-count
>>> To: srilm-user at speech.sri.com
>>>
>>>
>>> Hi people.
>>> I need help whith ngram-count because i am training a model but when
>>> after i try to use it some test example he gives me Zeroprobs in the output.
>>> This means that the model is bad trained?
>>> Please answer me.
>>> Best regards,
>>> Manuel Alves.
>>>
>>>
>>>
>> _______________________________________________
>> SRILM-User site list
>> SRILM-User at speech.sri.com
>> http://www.speech.sri.com/mailman/listinfo/srilm-user
>>
>
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <http://www.speech.sri.com/pipermail/srilm-user/attachments/20100114/da0a4930/attachment.html>
More information about the SRILM-User
mailing list