Cum să găsiți procentul valorilor „nan” într -un set de date?

Găsirea procentului valorilor „nan” (nu un număr) într -un set de date este un pas crucial în preprocesarea și analiza datelor. Ca furnizor de produse de înaltă calitate legate de dispozitivele de rețea, inclusivXPON 1GE 1GE 1GE VOIP CAVT WiFI44,Xpon onu 1ge 3fe voip wifi4, șiXPON ONU 4GE WiFI5 AC1200, Înțeleg importanța gestionării exacte a datelor în diverse domenii. În acest blog, voi împărtăși câteva metode practice pentru a calcula procentul valorilor „nan” dintr -un set de date.

Înțelegerea semnificației valorilor „nan”

Înainte de a vă scufunda în metodele de calcul, este esențial să înțelegem de ce contează valorile „nan”. În analiza datelor, valorile „nan” pot reprezenta date lipsă, erori în colectarea datelor sau valori care nu sunt aplicabile. Ignorarea acestor valori poate duce la rezultate statistice inexacte, modele părtinitoare și predicții nesigure. De exemplu, într -un set de date de vânzări, valorile „nan” ar putea indica cifrele de vânzări lipsă pentru anumite produse sau perioade de timp. Dacă aceste valori nu sunt contabilizate în mod corespunzător, analiza generală a vânzărilor ar putea fi înșelătoare.

Premise

Pentru a calcula procentul valorilor „nan”, veți avea nevoie de un set de date și un limbaj de programare cu capacități de manipulare a datelor. Python este o alegere populară datorită bibliotecilor sale extinse, cum ar fi Pandas și Numpy. Iată un ghid de pas - de - pas cu privire la modul de efectuare a acestui calcul folosind Python.

Pasul 1: Importați bibliotecile necesare

În primul rând, trebuie să importați bibliotecile Pandas și Numpy. PANDAS este utilizat pentru manipularea și analiza datelor, în timp ce Numpy oferă suport pentru tablouri și matrici și matrici cu mai multe dimensiuni.

import Pandas ca PD Import Numpy ca NP

Pasul 2: Încărcați setul de date

Presupunem că aveți un set de date într -un fișier CSV. Îl puteți încărca folosindread_csvFuncție în PANDAS.

date = pd.read_csv ('your_dataset.csv')

Pasul 3: Calculați numărul total de valori din setul de date

Pentru a calcula procentul valorilor „nan”, trebuie mai întâi să cunoașteți numărul total de valori din setul de date. Puteți utilizadimensiuneatributul datelor de date.

GPU-11GN-V-R GPU-13GN-V

total_values = data.size

Pasul 4: Calculați numărul de valori „nan”

PANDAS oferă o modalitate convenabilă de a număra numărul de valori „nan” într -un DataFrame. Puteți utilizael ()metodă pentru a crea o mască booleană și apoi rezumați toateAdevăratvalori.

nan_values = data.isna () sum () sumă ().

Pasul 5: Calculați procentul valorilor „nan”

Acum că aveți numărul total de valori și numărul de valori „nan”, puteți calcula procentul.

procentge_nan = (nan_values / total_values) * 100 print (f "procentul valorilor„ nan ”din setul de date este {procentge_nan}%")

Gestionarea diferitelor structuri de date

Metoda de mai sus funcționează bine pentru datele tabulare într -un DataFrame Pandas. Cu toate acestea, dacă lucrați cu un tablou de numpy, procesul este ușor diferit.

Importează Numpy ca NP # Creați un eșantion Array Array Array = np.Array ([1, np.nan, 3, np.nan, 5]) # Calculați numărul total de elemente total_elements = array.size # Calculați numărul de „nan” elemente nan_elements = np.isnan (tablă) .sum () # calculează procentul de „nan”. = (nan_elements / total_elements) * 100 print (f "Procentul valorilor 'nan' din tabloul de numpy este {procentge_nan_array}%")

Vizualizarea valorilor „nan”

Vizualizarea poate oferi o mai bună înțelegere a distribuției valorilor „nan” în setul de date. Puteți utiliza biblioteci precum matplotlib sau Seaborn pentru a crea focuri de căldură sau diagrame de bare.

Import Seaborn ca SNS import matplotlib.pyplot ca plt # Creare o foaie de căldură a valorilor „nan” Sns.heatmap (data.isna (), cbar = false) plt.title ('distribuția valorilor nan') plt.show ()

Tratarea procentelor mari de valorile „nan”

Dacă procentul valorilor „nan” este mare, trebuie să decideți cum să le gestionați. Unele strategii comune includ:

Eliminarea rândurilor sau coloanelor: Dacă un rând sau o coloană are un număr mare de valori „nan”, puteți lua în considerare eliminarea acestuia. Cu toate acestea, această abordare poate duce la pierderea informațiilor valoroase.
Imputare: Puteți completa valorile „nan” cu valori adecvate, cum ar fi media, mediana sau modul valorilor non -„nan” din aceeași coloană.

# Impute valorile „nan” cu datele medii.fillna (data.mean (), inplace = true)

Concluzie

Calcularea procentului valorilor „nan” într -un set de date este un pas important în analiza datelor. Vă ajută să înțelegeți calitatea datelor dvs. și să decideți cum să gestionați valorile lipsă. Ca furnizor de dispozitive de rețea precumXPON 1GE 1GE 1GE VOIP CAVT WiFI44,Xpon onu 1ge 3fe voip wifi4, șiXPON ONU 4GE WiFI5 AC1200, înțelegem importanța datelor exacte în optimizarea performanței rețelei și luarea deciziilor de afaceri informate.

Dacă sunteți interesat de produsele noastre sau aveți întrebări cu privire la analiza datelor în contextul gestionării rețelei, nu ezitați să ne contactați pentru achiziții și discuții ulterioare. Suntem aici pentru a vă oferi cele mai bune soluții pentru nevoile dvs.

Referințe

McKinney, W. (2017). Python pentru analiza datelor: date care se confruntă cu Pandas, Numpy și IPython. O'Reilly Media.
Vanderplas, J. (2016). Manual Python Data Science: instrumente esențiale pentru lucrul cu date. O'Reilly Media.