Test 1 Compfest Data Science Academy
1. Data Exploratory
1a. Load file untuk melihat dataset didalamnya
import pandas as pd
df = pd.read_excel('/datasets/compfest-covid/Daily Update Data Agregat Covid-19 Jakarta.xlsx')
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 494 entries, 0 to 493
Data columns (total 27 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 Tanggal 494 non-null datetime64[ns]
1 Meninggal (Indonesia) 494 non-null int64
2 Sembuh (Indonesia) 494 non-null int64
3 Dirawat (Indonesia) 494 non-null int64
4 Positif (Indonesia) 494 non-null int64
5 Meninggal (Jakarta) 494 non-null int64
6 Sembuh (Jakarta) 494 non-null int64
7 Self-Isolation (Jakarta) 494 non-null int64
8 Dirawat (Jakarta) 494 non-null int64
9 Positif (Jakarta) 494 non-null int64
10 Positif Aktif (Jakarta) 494 non-null int64
11 Meninggal Harian (Indonesia) 494 non-null int64
12 Sembuh Harian (Indonesia) 494 non-null int64
13 Dirawat Harian (Indonesia) 494 non-null int64
14 Positif Harian (Indonesia) 494 non-null int64
15 Meninggal Harian (Jakarta) 494 non-null int64
16 Sembuh Harian (Jakarta) 494 non-null int64
17 Self-Isolation Harian (Jakarta) 494 non-null int64
18 Dirawat Harian (Jakarta) 494 non-null int64
19 Positif Harian (Jakarta) 494 non-null int64
20 Positif Aktif Harian (Jakarta) 494 non-null int64
21 Unnamed: 21 0 non-null float64
22 Unnamed: 22 0 non-null float64
23 Unnamed: 23 0 non-null float64
24 Unnamed: 24 0 non-null float64
25 Unnamed: 25 0 non-null float64
26 Unnamed: 26 0 non-null float64
dtypes: datetime64[ns](1), float64(6), int64(20)
memory usage: 104.3 KB
Ternyata ada kolom kosong pada kolom nomor 21-26. Kolom tersebut akan dihapus.
df = df.iloc[:,0:21]
df
Soal no 1: Mencari mean, median, dan modus pada kolom Positif Harian (Jakarta)
mean = df['Positif Harian (Jakarta)'].mean()
median = df['Positif Harian (Jakarta)'].median()
mode = df['Positif Harian (Jakarta)'].mode()
print('Mean =', mean)
print('Median =', median)
print('Mode =', mode[0])
Mean = 1235.431174089069
Median = 864.5
Mode = 0
Soal no 2: Mencari data minimum dan maximum pada kolom Positif Harian (Jakarta)
min = df['Positif Harian (Jakarta)'].min()
max = df['Positif Harian (Jakarta)'].max()
print('Min =', min)
print('Max =', max)
Min = 0
Max = 10903
Soal no 3: Mencari Outliers
for kolom in df.columns.to_list()[1:21] :
df.reset_index().plot(kind='scatter', x='Tanggal', y=kolom)
Nilai outlier pada seluruh book 1 spreadsheets menggunakan metode IQR
for kolom in df.columns.to_list()[1:21] :
statistik = df[kolom].describe()
q3 = statistik.loc['75%']
q1 = statistik.loc['25%']
iqr = q3-q1
batas_atas = q3+(3*iqr/2)
batas_bawah = q1-(3*iqr/2)
print("Data Pencilan " + kolom)
print(df[(df[kolom] < batas_bawah) | (df[kolom] > batas_atas) ][kolom])
Data Pencilan Meninggal (Indonesia)
Series([], Name: Meninggal (Indonesia), dtype: int64)
Data Pencilan Sembuh (Indonesia)
Series([], Name: Sembuh (Indonesia), dtype: int64)
Data Pencilan Dirawat (Indonesia)
486 239368
487 253826
488 267539
489 281677
490 295228
491 309999
492 324597
493 343101
Name: Dirawat (Indonesia), dtype: int64
Data Pencilan Positif (Indonesia)
Series([], Name: Positif (Indonesia), dtype: int64)
Data Pencilan Meninggal (Jakarta)
Series([], Name: Meninggal (Jakarta), dtype: int64)
Data Pencilan Sembuh (Jakarta)
Series([], Name: Sembuh (Jakarta), dtype: int64)
Data Pencilan Self-Isolation (Jakarta)
327 17752
328 18657
329 19554
330 19869
331 19432
332 18528
333 18473
334 19381
335 20539
336 19272
337 19824
338 18925
339 21863
340 20419
341 21191
342 19325
343 17958
344 17766
345 18174
476 19105
477 20717
478 21167
479 22868
480 26403
481 29325
482 33829
483 38464
484 42252
485 45504
486 47829
487 49836
488 53014
489 54941
490 59307
491 62873
492 65448
493 69644
Name: Self-Isolation (Jakarta), dtype: int64
Data Pencilan Dirawat (Jakarta)
347 8540
348 9888
349 9374
350 8103
351 7988
471 8142
472 8756
473 9284
474 9560
475 10325
476 11037
477 11343
478 11024
479 12837
480 14234
481 15606
482 17605
483 18831
484 19874
485 20419
486 22210
487 24184
488 25380
489 27442
490 27687
491 28290
492 29136
493 30418
Name: Dirawat (Jakarta), dtype: int64
Data Pencilan Positif (Jakarta)
Series([], Name: Positif (Jakarta), dtype: int64)
Data Pencilan Positif Aktif (Jakarta)
339 26031
340 25277
341 26029
475 27112
476 30142
477 32060
478 32191
479 35705
480 40637
481 44931
482 51434
483 57295
484 62126
485 65923
486 70039
487 74020
488 78394
489 82383
490 86994
491 91163
492 94584
493 100062
Name: Positif Aktif (Jakarta), dtype: int64
Data Pencilan Meninggal Harian (Indonesia)
332 387
333 476
399 427
476 371
481 422
482 358
483 409
484 423
485 463
486 467
487 504
488 539
489 493
490 555
491 558
492 728
493 1040
Name: Meninggal Harian (Indonesia), dtype: int64
Data Pencilan Sembuh Harian (Indonesia)
491 14416
492 15863
493 14835
Name: Sembuh Harian (Indonesia), dtype: int64
Data Pencilan Dirawat Harian (Indonesia)
176 -1762
243 -1701
257 2330
273 2288
277 4540
...
489 14138
490 13551
491 14771
492 14598
493 18504
Name: Dirawat Harian (Indonesia), Length: 78, dtype: int64
Data Pencilan Positif Harian (Indonesia)
321 14224
327 13632
333 13695
334 13802
335 14518
476 13737
477 14536
478 13668
479 15308
480 20574
481 18872
482 21095
483 21342
484 20694
485 20467
486 21807
487 24836
488 25830
489 27913
490 27233
491 29745
492 31189
493 34379
Name: Positif Harian (Indonesia), dtype: int64
Data Pencilan Meninggal Harian (Jakarta)
333 51
337 70
345 50
348 50
349 52
352 47
357 51
360 53
363 54
365 50
372 48
440 63
473 48
474 64
475 59
476 69
477 71
480 50
481 70
483 49
484 79
485 78
486 60
490 75
491 127
492 82
493 181
Name: Meninggal Harian (Jakarta), dtype: int64
Data Pencilan Sembuh Harian (Jakarta)
315 2963
318 2960
322 3771
324 4527
328 3568
332 2971
335 3255
336 3674
338 4313
340 4345
342 4325
343 4342
344 3416
346 3244
347 4005
348 5757
349 4610
350 4349
477 3025
478 3052
483 3484
484 3438
485 3504
486 3504
487 3518
488 5006
489 5683
490 5799
491 6607
492 5936
493 3707
Name: Sembuh Harian (Jakarta), dtype: int64
Data Pencilan Self-Isolation Harian (Jakarta)
176 -950
204 928
244 -933
255 -563
260 -532
...
489 1927
490 4366
491 3566
492 2575
493 4196
Name: Self-Isolation Harian (Jakarta), Length: 71, dtype: int64
Data Pencilan Dirawat Harian (Jakarta)
72 -415
203 -486
208 -647
244 -455
246 -428
...
488 1196
489 2062
491 603
492 846
493 1282
Name: Dirawat Harian (Jakarta), Length: 68, dtype: int64
Data Pencilan Positif Harian (Jakarta)
318 3476
321 3536
322 3395
325 3786
327 3792
328 3285
329 3512
334 3448
335 3491
336 3474
337 3614
338 3362
339 3567
340 3632
341 3340
343 4213
345 3437
346 3309
348 3810
473 4144
474 4737
475 4895
476 5582
477 5014
478 3221
479 4693
480 7505
481 6934
482 9271
483 9394
484 8348
485 7379
486 7680
487 7541
488 9399
489 9702
490 10485
491 10903
492 9439
493 9366
Name: Positif Harian (Jakarta), dtype: int64
Data Pencilan Positif Aktif Harian (Jakarta)
176 -1242
179 -721
182 734
186 707
203 -885
...
489 3989
490 4611
491 4169
492 3421
493 5478
Name: Positif Aktif Harian (Jakarta), Length: 84, dtype: int64
Nilai outlier pada seluruh book 1 spreadsheets menggunakan metode standar deviasi
for kolom in df.columns.to_list()[1:21] :
mean = df[kolom].mean()
std = df[kolom].std()
cut = std*3
batas_atas = mean+cut
batas_bawah = mean-cut
print("Data Pencilan " + kolom)
print(df[(df[kolom] < batas_bawah) | (df[kolom] > batas_atas) ][kolom])
Data Pencilan Meninggal (Indonesia)
Series([], Name: Meninggal (Indonesia), dtype: int64)
Data Pencilan Sembuh (Indonesia)
Series([], Name: Sembuh (Indonesia), dtype: int64)
Data Pencilan Dirawat (Indonesia)
487 253826
488 267539
489 281677
490 295228
491 309999
492 324597
493 343101
Name: Dirawat (Indonesia), dtype: int64
Data Pencilan Positif (Indonesia)
Series([], Name: Positif (Indonesia), dtype: int64)
Data Pencilan Meninggal (Jakarta)
Series([], Name: Meninggal (Jakarta), dtype: int64)
Data Pencilan Sembuh (Jakarta)
Series([], Name: Sembuh (Jakarta), dtype: int64)
Data Pencilan Self-Isolation (Jakarta)
482 33829
483 38464
484 42252
485 45504
486 47829
487 49836
488 53014
489 54941
490 59307
491 62873
492 65448
493 69644
Name: Self-Isolation (Jakarta), dtype: int64
Data Pencilan Dirawat (Jakarta)
481 15606
482 17605
483 18831
484 19874
485 20419
486 22210
487 24184
488 25380
489 27442
490 27687
491 28290
492 29136
493 30418
Name: Dirawat (Jakarta), dtype: int64
Data Pencilan Positif (Jakarta)
Series([], Name: Positif (Jakarta), dtype: int64)
Data Pencilan Positif Aktif (Jakarta)
482 51434
483 57295
484 62126
485 65923
486 70039
487 74020
488 78394
489 82383
490 86994
491 91163
492 94584
493 100062
Name: Positif Aktif (Jakarta), dtype: int64
Data Pencilan Meninggal Harian (Indonesia)
333 476
485 463
486 467
487 504
488 539
489 493
490 555
491 558
492 728
493 1040
Name: Meninggal Harian (Indonesia), dtype: int64
Data Pencilan Sembuh Harian (Indonesia)
491 14416
492 15863
493 14835
Name: Sembuh Harian (Indonesia), dtype: int64
Data Pencilan Dirawat Harian (Indonesia)
480 11018
481 9893
482 13341
483 12909
484 10791
485 10359
486 10533
487 14458
488 13713
489 14138
490 13551
491 14771
492 14598
493 18504
Name: Dirawat Harian (Indonesia), dtype: int64
Data Pencilan Positif Harian (Indonesia)
480 20574
482 21095
483 21342
484 20694
485 20467
486 21807
487 24836
488 25830
489 27913
490 27233
491 29745
492 31189
493 34379
Name: Positif Harian (Indonesia), dtype: int64
Data Pencilan Meninggal Harian (Jakarta)
477 71
484 79
485 78
490 75
491 127
492 82
493 181
Name: Meninggal Harian (Jakarta), dtype: int64
Data Pencilan Sembuh Harian (Jakarta)
324 4527
338 4313
340 4345
342 4325
343 4342
348 5757
349 4610
350 4349
488 5006
489 5683
490 5799
491 6607
492 5936
Name: Sembuh Harian (Jakarta), dtype: int64
Data Pencilan Self-Isolation Harian (Jakarta)
339 2938
347 -2557
348 -3345
480 3535
481 2922
482 4504
483 4635
484 3788
485 3252
488 3178
490 4366
491 3566
492 2575
493 4196
Name: Self-Isolation Harian (Jakarta), dtype: int64
Data Pencilan Dirawat Harian (Jakarta)
300 -1232
307 -1190
328 -1228
343 1192
346 1519
348 1348
350 -1271
479 1813
480 1397
481 1372
482 1999
483 1226
486 1791
487 1974
488 1196
489 2062
493 1282
Name: Dirawat Harian (Jakarta), dtype: int64
Data Pencilan Positif Harian (Jakarta)
480 7505
481 6934
482 9271
483 9394
484 8348
485 7379
486 7680
487 7541
488 9399
489 9702
490 10485
491 10903
492 9439
493 9366
Name: Positif Harian (Jakarta), dtype: int64
Data Pencilan Positif Aktif Harian (Jakarta)
479 3514
480 4932
481 4294
482 6503
483 5861
484 4831
485 3797
486 4116
487 3981
488 4374
489 3989
490 4611
491 4169
492 3421
493 5478
Name: Positif Aktif Harian (Jakarta), dtype: int64
df.loc[df['Meninggal Harian (Indonesia)']>400]['Meninggal Harian (Indonesia)']
Soal no 4: Korelasi antar dua variabel
Load matplotlib untuk melakukan plotting
import matplotlib.pyplot as plt
df.corr()
Melihat semua korelasi yang ada untuk memilih variabel yang akan dipakai
df[['Positif Aktif (Jakarta)', 'Positif Harian (Jakarta)','Meninggal Harian (Jakarta)','Sembuh Harian (Jakarta)']].corr()
Kami memilih korelasi antara Positif Aktif (Jakarta) dengan Positif Harian (Jakarta)
df.reset_index().plot(kind='scatter', x='Positif Aktif (Jakarta)', y='Positif Harian (Jakarta)')
df['Positif Aktif (Jakarta)'].corr(df['Positif Harian (Jakarta)'])
Mencari gradien dari model regresi linier
from sklearn.linear_model import LinearRegression
y = df['Positif Harian (Jakarta)'].values.reshape(-1,1)
X = df['Positif Aktif (Jakarta)'].values.reshape(-1,1)
reg = LinearRegression().fit(X, y)
reg.coef_
Analisis Tambahan
Kami membuat kolom baru bernama laju_penularan yang berisi data laju penularan berupa pembagian antara Positif Harian (Jakarta) dengan Positif Aktif (Jakarta)
df['Laju Penularan (Jakarta)'] = df.apply(lambda x : (x['Positif Harian (Jakarta)']/x['Positif Aktif (Jakarta)']) if (x['Positif Aktif (Jakarta)'] !=0) else 1.5, axis =1)
df['Laju Penularan (Jakarta)']
df.reset_index().plot(kind='scatter', x='Tanggal', y='Laju Penularan (Jakarta)')
plt.xticks(rotation=90)
plt.show()
Dilihat ada beberapa outlier pada data Laju Penularan yang ditandai dengan nilai nya yang diatas 0.4
diplot = df[df['Laju Penularan (Jakarta)']<0.4]
Akan diplot grafik perubahan Laju Penularan (Jakarta) terhadap waktu
diplot.reset_index().plot(kind='scatter', x='Tanggal', y='Laju Penularan (Jakarta)')
plt.xticks(rotation=90)
plt.show()
Jika kita kaitkan dengan timeline kebijakan pemerintah, akan terlihat keterkaitan antar keduanya
diplot.reset_index().plot(kind='scatter', x='Tanggal', y='Laju Penularan (Jakarta)', figsize = (8,6))
plt.xticks(rotation=90)
dates = ['2020-04-10', '2020-06-04', '2020-09-14', '2020-10-12', '2020-12-21']
colors = ['r','g','b','purple','orange']
labels =['PSBB','PSBB Transisi','Kembali ke PSBB','PSBB Transisi','PSBB Transisi']
for date, color, label in zip(dates, colors, labels):
plt.axvline(pd.Timestamp(date), color = color, label=label)
plt.legend(bbox_to_anchor=(1,0), loc="lower right")
plt.show()