Modelli lineari

Un modello lineare per esprimere la funzione da approssimare $y = f(x)$ vista nella Sezione 3.1.1, si può rappresentare nel seguente modo:

$$f(x) = \sum\limits_{j = 1}^{m} w_j \cdot h_j(x)$$ (3.1)

Il modello $f$ è espresso come una combinazione lineare di un set di $m$ funzioni fisse (chiamate basis functions). La lettera 'w' per le combinazioni lineari e la lettera 'h' per le basis functions rispecchiano l' interesse nelle reti neurali che possiedono ``weights'' e ``hidden units''.

La flessibilità di $f$ deriva dal fatto di poter scegliere diversi valori per le varie $w_j$. Le basis functions e ogni parametro che contengono sono fissi, poichè altrimenti non si parlerebbe di modello lineare se potessero variare durante l' apprendimento.

Qualsiasi set di funzioni può essere preso per formare il basis set delle funzioni, e c' è particolare interesse per funzioni appartenenti tutte alla stessa tipologia.