Misurazione delle prestazioni

La valutazione sperimentale di un classificatore misura la sua abilità nel prendere le giuste decisioni, e non quanto efficientemente le prende. Pertanto si è deciso, come è consono per il dominio della Text Categorization, di misurare i risultati in termini di Precision ($\pi$) e Recall ($\rho$). $\pi_i$ è la probabilità che se un documento $d_x$ è classificato sotto la categoria $c_i$ tale scelta è corretta; $\rho_i$ è la probabilità che se un documento $d_x$ deve essere classificato come appartenente alla categoria $c_i$, tale decisione è presa. Queste sono delle probabilità ``soggettive'', che indicano solo all' utente quanto bene il classificatore si comporterà nel misurare un nuovo documento per la categoria $c_i$. Abbandonando la terminologia adottata fino a questo punto con cui nella classificazione di messaggi di posta elettronica si chiamava falso positivo un messaggio legittimo incorrettamente classificato come spam e falso negativo un messaggio spam incorrettamente considerato non spam, per l' esposizione delle misurazioni dei risultati si userà la seguente terminologia più appropriata: $FP_i$ (false positives) è il numero di documenti incorrettamente classificati come a dover appartenere alla categoria $c_i$; $FN_i$ (false negatives) è invece il numero di documenti che non sono stati classificati come appartenenti alla categoria $c_i$ quando invece tale decisione sarebbe dovuta essere stata presa; $TP_i$ (true positives) e $TN_i$ (true negatives) hanno ovviamente il significato che ci si aspetta.

Le misure di $\pi_i$ e $\rho_i$ sono dunque calcolate in questo modo:

$$\pi_i = \frac{TP_i}{TP_i + FP_i} \qquad \rho_i = \frac{TP_i}{TP_i + FN_i}$$

Per ottenere una stima di $\pi$ e $\rho$, ovvero le probabilità relative a tutte le categorie del dominio (che sono $2$: ham e spam), si è scelto di calcolare la loro macro-average:

• Macro Recall:
  $\rho = \frac{\sum\limits_{i=1}^{\vert C\vert} \rho_i}{\vert C\vert} = \frac{\rho_{ham} + \rho_{spam}}{2}$
• Macro Precision:
  $\pi = \frac{\sum\limits_{i=1}^{\vert C\vert} \pi_i}{\vert C\vert} = \frac{\pi_{ham} + \pi_{spam}}{2}$

Come si vede la macro average di tali valori altro non è che una media aritmetica delle singole recall e precision.