import pandas as pd
import numpy as np
import random
import io #usamos io para importar una base de datos externa
df = pd.read_csv('/work/economia-y-turismo-en-el-centro-historico.csv')
df.head()
idint64
geo_point_2dobject
0
0
19.424781053,-99.1327537959
1
1
19.4346139576,-99.1413808393
2
2
19.4340695945,-99.1306348409
3
3
19.42489472,-99.12073393
4
4
19.42358238,-99.12451093
aleat = df.sample(n=8) #con sample(8) elijo una muestra aleatoria de 8
aleat
idint64
geo_point_2dobject
66
66
19.4331350004,-99.1382989213
37
37
19.4271233834,-99.125111772
117
117
19.4253041176,-99.1405962735
181
181
19.4451852396,-99.1478597989
87
87
19.4397239469,-99.1461558557
82
82
19.4220369889,-99.120775543
225
225
19.43094655,-99.12455418
86
86
19.4244645173,-99.1433325213
prop_25 = df.sample(frac=.25) #Muestra aleatoria de tamaño del 25%
prop_25.head()
idint64
geo_point_2dobject
49
49
19.4264953358,-99.1248854383
52
52
19.4363816901,-99.1293374805
186
186
19.4275038262,-99.1346778267
84
84
19.4426697365,-99.1426738122
166
166
19.4394422606,-99.1501035229
def systematic_sampling(df,step):
indexes = np.arange(0,len(df),step=step)
systematic_sample =df.iloc[indexes]
return systematic_sample
systematic_sample = systematic_sampling(df,5)
systematic_sample.head()
idint64
geo_point_2dobject
0
0
19.424781053,-99.1327537959
5
5
19.4263287068,-99.1207277209
10
10
19.4441424478,-99.14600807
15
15
19.42413788,-99.1324515
20
20
19.4357307042,-99.1326583218
df['estratificado'] = df['delegacion'] + ", " + df['tipo']
(df['estratificado'].value_counts()/len(df)).sort_values(ascending=False)
def data_estratificada(df, name_column_estrat, values_estrat, prop_estrat, random_state=None):
df_estrat = pd.DataFrame(columns= df.columns) # Creamos un data frame vacío con los nombres de las columnas de df principal
pos = -1
for i in range(len(values_estrat)): #iteramos sobre los valores estratificados
pos+=1
if pos == len(values_estrat) -1 :
ratio_len = len(df) - len(df_estrat) # si es la iteración final calcula el número de valores de salida tenga el mismo número de filas que de entrada
else:
ratio_len = int(len(df) * prop_estrat[i]) # calcula el número de filas según la proporción deseada
df_filtrado = df[df[name_column_estrat] == values_estrat[i]] # filtra los datos de origen según los valores seleccionados en la estratificación de datos
df_temp = df_filtrado.sample(replace=True, n=ratio_len, random_state=random_state) # se hace un sample de los datos filtrados usando la ratio que hemos calculado
df_estrat = pd.concat([df_estrat, df_temp]) # junta las tablas de sample con la estratificada para producir el resultado final
return df_estrat # Return the stratified, re-sampled data
values_estrat = ['Cuautémoc, Hotel', 'Cuautémoc, Museo', 'Venustiano Carranza, Hotel', 'Cuauhtémoc, Mercado','Venustiano Carranza, Mercado']
prop_estrat = [0.5, 0.2, 0.1, 0.1,0.1]
df_estrat = data_estratificada(df, 'estratificado', values_estrat, prop_estrat, random_state=42)
df_estrat
idobject
272.2%
1632.2%
138 others95.7%
geo_point_2dobject
19.4348360773,-99.14639455832.2%
138 others96.5%
Missing1.3%
164
164
19.4388741511,-99.1413308257
142
142
19.4263681354,-99.1327278126
27
27
19.4348360773,-99.1463945583
168
168
19.4349726565,-99.147766133
113
113
19.43374405,-99.13550135
34
34
19.438545231,-99.1481820852
164
164
19.4388741511,-99.1413308257
191
191
19.43985567,-99.14782916
117
117
19.4253041176,-99.1405962735
137
137
19.4421185698,-99.1482841686
import matplotlib.pyplot as plt
import seaborn as sns
iris = sns.load_dataset('iris')
iris.head()
sepal_lengthfloat64
sepal_widthfloat64
0
5.1
3.5
1
4.9
3
2
4.7
3.2
3
4.6
3.1
4
5
3.6
plt.hist(data= iris, x='sepal_length')
sns.distplot(iris['sepal_length'], hist=True, kde=True, bins=int(180/5))
/shared-libs/python3.9/py/lib/python3.9/site-packages/seaborn/distributions.py:2619: FutureWarning: `distplot` is a deprecated function and will be removed in a future version. Please adapt your code to use either `displot` (a figure-level function with similar flexibility) or `histplot` (an axes-level function for histograms).
warnings.warn(msg, FutureWarning)
iris['sepal_length'].var()
iris['sepal_length'].std()
iris['sepal_length'].mean()
muestra = iris.sample(frac=0.5)
muestra
sepal_lengthfloat64
4.4 - 7.9
sepal_widthfloat64
2.2 - 4.4
55
5.7
2.8
52
6.9
3.1
147
6.5
3
137
6.4
3.1
14
5.8
4
10
5.4
3.7
124
6.7
3.3
140
6.7
3.1
47
4.6
3.2
133
6.3
2.8
muestra['sepal_length'].var()
muestra['sepal_length'].std()
muestra['sepal_length'].mean()
import scipy.stats as st #Libreria para calcular metodos estadisticos
np.random.seed(20)
var_1 = np.random.randint(0, 10, 10) # Días de vacaciones
var_2 = var_1+np.random.normal(0,1,10) #Dinero gastado (0 = no se gasta nada, 1 = se gasta todo)
var_1
var_2
graf = sns.regplot(var_1,var_2, ci=80)
/shared-libs/python3.9/py/lib/python3.9/site-packages/seaborn/_decorators.py:36: FutureWarning: Pass the following variables as keyword args: x, y. From version 0.12, the only valid positional argument will be `data`, and passing other arguments without an explicit keyword will result in an error or misinterpretation.
warnings.warn(
tuple = list(zip(var_1, var_2)) #unimos las dos variables en una tupla
tuple
tabla = pd.DataFrame(tuple, columns=['Dias_vacaciones', 'Dinero_gastado']) #Convertimos la tupla en una data frame
tabla
Dias_vacacionesint64
0 - 9
Dinero_gastadofloat64
0.3234610099156434 - 9.559696289403918
0
3
1.9151674126826672
1
9
9.559696289403918
2
4
4.939469349856077
3
6
5.021518957881304
4
7
7.503096840109191
5
2
2.406414468894801
6
0
0.3234610099156434
7
6
5.50658911809112
8
8
7.207983209222818
9
5
4.157632065861516
#Intervalo de confiaza al 95%
st.t.interval(alpha=0.95, df=len(tabla),loc = np.mean(tabla),scale=st.sem(tabla))
import scipy.stats as st
from scipy.stats import f_oneway
from scipy.stats import ttest_ind
iris.head()
sepal_lengthfloat64
sepal_widthfloat64
0
5.1
3.5
1
4.9
3
2
4.7
3.2
3
4.6
3.1
4
5
3.6
se_length = iris.std()['sepal_length']/np.sqrt(10)
se_width = iris.std()['sepal_width']/np.sqrt(10)
sed = np.sqrt((se_length**2)+ (se_width**2))
t_stat = (iris.mean()['sepal_length']- iris.mean()['sepal_width'])/sed
t_stat
p = ttest_ind(iris['sepal_length'],iris['sepal_width'])
p
iris['sepal_length'].corr(iris['sepal_width'])
#Ese valor nos indica que la correlacion es muy debil o inexistente
st.pearsonr(iris['sepal_length'],iris['sepal_width'])
#No hay una correlacion entre las variables
f_oneway(iris['sepal_length'],iris['sepal_width'])
#El valor de p es menor al 0.5 de significancia, lo que nos indica que debemos rechazar la hipotesis nula de que ambas estan relacionadas
iris['sepal_length'].corr(iris['petal_width'])
#Estan altamente relacionadas
st.pearsonr(iris['sepal_length'], iris['petal_width'])
#Hay correlacion entre variables
f_oneway(iris['sepal_length'],iris['petal_width'])
#Creamos una tabla aletoria de datos
data = np.random.normal(loc= 34, size = 1000) #loc sera el promedio de edades, y size es el tamaño de la muestra
data
data.mean()
#Iniciamos bootstrapping para calcular el promedio de edades
promedio = []
for i in range(40): #creamos 40 muestras
muestra = random.sample(data.tolist(), 5) #creamos grupos aleatorios de 5
prom = np.mean(muestra) #buscamos la media de la muestra
promedio.append(prom)
np.mean(promedio)
ds = pd.read_csv('/work/data.csv')
ds.head()
idint64
diagnosisobject
0
842302
M
1
842517
M
2
84300903
M
3
84348301
M
4
84358402
M
ds.isnull().any()
#Con isnull busco si alguna columna tiene datos NaN, asi puedo corregir esos dato para no tener errores al hacer la validacion cruzada
#La ultima columna todos sus datos son NaN
X = ds.iloc[:, 2:32] #la ultima columna del data set es NaN por lo que no la cuento para la validacion cruzada
Y = ds.iloc[:,1] #Señalamos donde esta la variable categorica, es en la columna 1
X.head()
radius_meanfloat64
texture_meanfloat64
0
17.99
10.38
1
20.57
17.77
2
19.69
21.25
3
11.42
20.38
4
20.29
14.34
Y.value_counts() #para ver la distrbucion entre maligno y benigno
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split #libreria para diferenciar el modelo training y el de test
train_X, test_X, train_Y, test_Y = train_test_split(X, Y, test_size=0.30, random_state=4)
#Random state define el nivel de prescision
model = DecisionTreeClassifier()
model.fit(train_X, train_Y)
resultado = model.score(test_X,test_Y) #Nos indica la precision del modelo en porcentaje
print(resultado)
0.9005847953216374
#Validacio cruzada k fold
from sklearn.model_selection import KFold
model = DecisionTreeClassifier()
kfold_validacion =KFold(10) #10 observaciones que vamos a usar
from sklearn.model_selection import cross_val_score
resultados = cross_val_score(model, X, Y, cv = kfold_validacion)
print(resultados)
resultados.mean() #Muestra el promedio de presicion
[0.9122807 0.9122807 0.89473684 0.9122807 0.89473684 0.98245614
0.9122807 0.98245614 0.94736842 0.92857143]