advertisement

NLP - Un approccio statistico

50 %
50 %
advertisement
Information about NLP - Un approccio statistico
Education

Published on July 4, 2007

Author: imaffo

Source: slideshare.net

Description

Tesina d'esame di Maffeis Alessio - NLP e Problemi di Ottimizzazione
Vedi: "A Maximum Entropy Approach to Natural Language Processing" http://www.cs.cmu.edu/afs/cs/user/aberger/www/ps/compling.ps
advertisement

NLP e Problemi di Ottimizzazione

NLP e Problemi di Ottimizzazione Maffeis Alessio

Cos’è il NLP ?

Cos’è il NLP ? NATURAL LANGUAGE PROCESSING

Cos’è il NLP ? Elaborazione del linguaggio naturale

Classi di problemi

Classi di problemi Segmentazione del parlato

Classi di problemi Segmentazione Segmentazione testo scritto del parlato

Classi di problemi Segmentazione Segmentazione testo scritto del parlato Ambiguità contestuale

Classi di problemi Segmentazione Segmentazione testo scritto del parlato Ambiguità contestuale Ambiguità sintattica

Classi di problemi Segmentazione Segmentazione testo scritto del parlato Ambiguità contestuale Correzione Ambiguità errori di input sintattica

Problema

Problema • Risoluzione Ambiguità Contestuale

Problema • Risoluzione Ambiguità Contestuale • Traduzione Inglese - Francese

Problema • Risoluzione Ambiguità Contestuale • Traduzione Inglese - Francese • Creazione di un modello statistico

Problema

Problema • Scelta traduzione della parola “in”

Problema • Scelta traduzione della parola “in” • Possibili traduzioni: “dans” “en” “à” “au cours de” “pendant”

Problema

Problema p(dans) + p(en) + p(à) + p(au cours de) + p(pendant) = 1

Problema p(dans) = 1/5 p(en) = 1/5 p(à) = 1/5 p(au cours de) = 1/5 p(pendant) = 1/5

Problema

Problema Se scopriamo: p(dans) + p(en) = 3/10

Problema Se scopriamo: p(dans) + p(en) = 3/10 allora sarà: p(dans) = 3/20 p(en) = 3/20 p(à) = 7/30 p(au cours de) = 7/30 p(pendant) = 7/30

Problema

Problema “Quando non si hanno informazioni sufficienti a distinguere le probabilità di due eventi, la migliore strategia è quella di considerarli equiprobabili.” Laplace

Problema • Come si può scegliere sempre il modello più uniforme possibile ?

Problema • Come si può scegliere sempre il modello più uniforme possibile ? • E’ possibile misurare l’uniformità di un modello ?

Massima Entropia

Massima Entropia 1. Collezione dei dati 2. Statistiche, Features,Vincoli 3. Principio di Massima Entropia

Massima Entropia Collezione Dati

Massima Entropia Collezione Dati Estrazione/collezione di un certo numero (N) di campioni: (x1, y1), (x2, y2), ... , (xN, yN)

Massima Entropia Statistiche, Features,Vincoli

Massima Entropia Statistiche, Features,Vincoli Statistica: nel 90% dei casi se la parola “April” segue “in”, allora la traduzione in francese sarà “en”

Massima Entropia Statistiche, Features,Vincoli Feature: { 1 se quot;y = enquot; e quot;Aprilequot; segue quot;inquot; f(x,y)= 0 altrove

Massima Entropia Statistiche, Features,Vincoli Vincoli:

Massima Entropia Statistiche, Features,Vincoli Vincoli:

Massima Entropia Statistiche, Features,Vincoli Vincoli:

Massima Entropia Statistiche, Features,Vincoli Vincoli: =

Massima Entropia

Massima Entropia

Massima Entropia

Progetto: Pit

Progetto: Pit Demo

Problemi di Ottimizzazione

Problemi di Ottimizzazione

Problemi di Ottimizzazione Programmazione Matematica

Problemi di Ottimizzazione Programmazione Lineare f(x) e gi(x) lineari

Progetto: Linear

Progetto: Linear Demo

Add a comment

Related presentations

Related pages

NLP - Un approccio statistico - Education

Approccio statistico alla manutenzione: a Guasto vs Preventiva Modelli per valutare e scegliere Giuliano Bonollo gbonollo@gmail.com. Slide 1 Approccio ...
Read more

201203021 comphumanities 2012 lm (nlp) - Technology

Download 201203021 comphumanities 2012 lm (nlp) ... che sono un fenomeno uovo nell’orizzonte delle società umane• Gli ... NLP - Un approccio statistico
Read more

L'analisi statistica dei dati testuali: intrecci ...

Publication » L'analisi statistica dei dati testuali: intrecci problematici e ... un riferimento assai vicino ad un approccio statistico sul trattamento ...
Read more

Natural Language Processing (NLP) e Information Extraction ...

Le moderne piattaforme di NLP usano un approccio machine learning, spesso di tipo statistico.
Read more

Analisi semantica dei dati con Blogmeter | Michela ...

Natural Language Processing (NLP): ampia gamma di tecniche computazionali; ... approccio statistico per risolvere un problema di interazione linguistica.
Read more

PPT - Elaborazione Statistica del Linguaggio Naturale ...

Elaborazione Statistica del Linguaggio Naturale. Seminario per il corso di ELN 2002/03 Luca Nicotra. Perch è studiare l’NLP in modo Statistico?.
Read more

Natural Language Processing (NLP) e Information Extraction ...

... (NLP), inteso come un insieme di tecniche e ... %e moderne piattaforme di /%P usano un approccio ... Il modello statistico generato potr ...
Read more

Kappi online - Esame di Linguistica computazionale - Dati ...

... si diffone un approccio neoempirista allo NLP che sintetizza l'approccio razionalista e quello empirista; diffusione dei metodi statistico-quantitativi ...
Read more