Cross-Validation és important per comprobar que el model que estem creant, no produeix overfiting. Dividim el nostre conjunt de dades d'entrenament en subgrups dels que escollim un per validar, i un altre per entrenar. D'aquesta manera ens assegurem de que el nostre model no faci prediccions de dades que ja havia vist abans. Hi ha 3 maneres de fer el cross validation:

Cross validation amb k-iteracions.
Cross validation aleatòria
Leave-one-out

Cross validation amb k-iteracions:
A la validació creuada de K iteracions les dades de mostra es divideixen en K subconjunts. Un dels subconjunts s’utilitza com a dades de prova i el resta (K-1) com a dades d’entrenament. El procés de validació creuada es repeteix durant k iteracions, amb cada un dels possibles subconjunts de dades de prova. Finalment es realitza el mitjà aritmètic dels resultats de cada iteració per obtenir un únic resultat. Aquest mètode és molt precís posat que avaluem a partir de K combinacions de dades d’entrenament i de prova, però així també té un inconvenient, i és que, a diferència del mètode de retenció, és lent des del punt de vista computacional. En la pràctica, l’elecció del nombre d’iteracions depèn de la mesura del conjunt de dades. El més comú utilitza la validació creuada de 10 iteracions (10 vegades la validació creuada) Cross validation aleatòria
Aquest mètode consisteix en dividir aleatòriament el conjunt de dades d’entrenament i el conjunt de dades de prova. Per cada divisió la funció d’aproximació s'ajudarà a partir de les dades d’entrenament i càlcul dels valors de sortida per al conjunt de dades de prova. El resultat final es correspon amb els mitjans aritmètics dels valors obtinguts per a les diferents divisions. L¡avantatge d’aquest mètode és que la divisió de dades d’entrenament-prova no depèn del nombre d’iteracions. Però, en canvi, amb aquest mètode hi ha algunes mostres que quedin sense avaluar i altres que s’avaluïn més d’una vegada, és dir, els subconjunts de prova i entrenament es poden solapar. Leave-One-Out
Implica separar les dades de manera que per a cada iteració tinguem una sola mostra per a les dades de prova i tota la resta conformant les dades d'entrenament. L'avaluació ve donada per l'error, i en aquest tipus de validació creuada l'error és molt baix, però en canvi, a nivell computacional és molt costós, ja que s'han de realitzar un elevat nombre d'iteracions, tantes com N mostres tinguem i per a cadascuna analitzar les dades tant d'entrenament com de prova.