NumPy, Pandas a Matplotlib: základné nástroje pre prácu s dátami v Pythone

Martin Keg

Prečo použiť NumPy, Pandas a Matplotlib pri práci s dátami

Ekosystém jazyka Python zameraný na spracovanie a analýzu dát spočíva na troch základných knižniciach: NumPy pre numerické výpočty a viacrozmerné polia, Pandas pre prácu s tabuľkovými dátami a dátovými rámcami a Matplotlib pre tvorbu vizualizácií. Tieto nástroje spoločne umožňujú celý pracovný postup – od načítania a čistenia dát, cez komplexné agregácie a efektívne vektorové operácie, až po tvorbu prehľadných grafov a reportov. Hoci sa často využívajú aj doplnkové knižnice ako Jupyter, SciPy, Seaborn či Plotly, zvládnutie kombinácie NumPy, Pandas a Matplotlib predstavuje nevyhnutný základ pre profesionálnu dátovú analytiku a tvorbu výrobného dátového softvéru.

NumPy: efektívne vektorové výpočty a viacrozmerné polia

ndarray je homogénne viacrozmerné pole s pevne stanoveným dtype (napríklad float64, int32). Vektorové operácie sú implementované v nízkoúrovňovom jazyku C a Fortran, čo zabezpečuje výrazne vyšší výkon v porovnaní s iteráciami v čistom Pythone.

  • Vytváranie polí: np.array([1, 2, 3]), np.zeros((n, m)), np.arange(0, 10, 0.5), np.linspace(0, 1, 100).
  • Vektorizácia: jednoduché operácie na celých vektoroch, napríklad y = a * x + b bez potreby explicitných cyklov; broadcasting umožňuje zarovnanie tvarov polí podľa špecifických pravidiel, vrátane pridania rozmerov s dĺžkou 1.
  • Agregácie a štatistika: metódy ako x.mean(axis=0), x.std(ddof=1) či np.percentile(x, [5, 95]) umožňujú efektívne výpočty štatistík.
  • Indexácia a rezanie polí: použitie booleovských masiek x[x > 0], pokročilá indexácia s x[np.ix_(rows, cols)].
  • Univerzálne funkcie (U-funcs): elementárne funkcie ako np.log, np.exp alebo podmienky np.where podporujú element-wise operácie s možnosťou výstupu cez parametre out a podmienené vyhodnocovanie cez where masky.

Pandas: flexibilná manipulácia s dátovými rámcami

DataFrame (dvojrozmerná tabuľka) a Series (jednorozmerný stĺpec) rozširujú funkcionalitu NumPy o pojmenované indexy, stĺpce a bohatú sadu nástrojov pre prácu s heterogénnymi dátami. Pandas efektívne zvládajú časové rady, kategórie, spracovanie chýbajúcich hodnôt a sú ideálne pre prípravu datasetov pred ďalším spracovaním alebo vizualizáciou.

  • Načítanie dát: pd.read_csv("data.csv"), read_parquet, read_sql, read_excel, read_json umožňujú jednoduché načítanie rôznych formátov.
  • Výber a filtrovanie: napríklad df[["col1", "col2"]], df.loc[mask, "col"] alebo df.iloc[:, :3] pre prácu s riadkami a stĺpcami.
  • Transformácie dát: pomocou assign() na pridávanie nových stĺpcov, rename(), astype() na zmenu typov, metód clip() a fillna() na upravovanie hodnôt.
  • Agregácie: groupby(["k1", "k2"]).agg({"x": "mean", "y": "sum"}), pivot_table(values="v", index="i", columns="c", aggfunc="mean") napomáhajú sumarizovať údaje podľa rôznych dimenzií.
  • Spojovanie tabuliek: pd.merge(left, right, on="id", how="left"), concat pre skladanie tabuliek vertikálne alebo horizontálne.

Správa dátových typov, chýbajúcich hodnôt a kategórií

Správne nastavenie dtype má zásadný vplyv na výkon a pamäťovú efektivitu:

  • Číselné dáta: využívajte nullable typy ako Int32 alebo Int64 pre celé čísla s možnosťou NaN, prípadne Float32 pre úsporu pamäte, avšak s ohľadom na presnosť.
  • Reťazce: pandas typ string špeciálne podporuje prácu s textom a chybami (NA).
  • Kategóriové premenné: pomocou astype("category") optimalizujete stĺpce s obmedzeným počtom unikátnych hodnôt, čo vedie k úspore pamäti a zrýchleniu operácií groupby.
  • Chýbajúce hodnoty: manažujte pomocou df.fillna({"col": 0}), df.dropna(subset=["x"]) alebo interpolácií časových radov cez interpolate().

Indexovanie, triedenie a znovuvzorkovanie dát

  • Indexovanie: nastavenie významného indexu, napríklad df.set_index("id", inplace=True), výrazne zrýchľuje vyhľadávanie cez loc a spojenia tabuliek.
  • Triedenie: optimálne využitie sort_values(["date", "user"], ascending=[True, False]) alebo sort_index() pre urýchlenie lookup operácií.
  • Časové dáta: konverzia pomocou pd.to_datetime(df["ts"]), resamplovanie df.resample("5min").agg({"x": "mean"}), posuny shift() a okna rolling() pre výpočty klzných štatistík.

Skupinové operácie a výpočty na oknách

groupby a rolling poskytujú sofistikované možnosti agregácie a metrickej analýzy:

  • Agregácie: napríklad df.groupby("segment")["revenue"].sum() umožňuje sumarizovať príjmy podľa segmentov; viacnásobné agregácie realizované cez .agg().
  • Transformácie: normalizácia dát v rámci skupín: df["z"] = df.groupby("segment")["x"].transform(lambda s: (s - s.mean()) / s.std()).
  • Výpočty na oknách: výpočty kĺzavych priemerov a percentilov, napríklad df["ma7"] = df["y"].rolling(7, min_periods=1).mean().

Optimalizácia výkonu s vektorizáciou, numba a pamäťovou správou

  • Vektorizácia: preferujte vektorové operácie namiesto explicitných cyklov v Pythone, čo prináša výrazné zrýchlenie.
  • Vyhnite sa nadmernému používaniu apply: df.apply(f, axis=1) je pohodlné, no výrazne pomalšie; namiesto toho rozložte funkciu do vektorových operácií alebo použite np.where / np.select.
  • Numba: pre náročné numerické sekcie využite dekorátor @njit nad funkciami pracujúcimi s NumPy poľami a výsledky potom integrujte do DataFrame.
  • Správa pamäte: monitorujte využitie cez df.memory_usage(deep=True), zvažujte downcast typov s pd.to_numeric(x, downcast="integer") a obmedzujte načítané stĺpce.

Efektívne čítanie a zápis dát: CSV, Parquet, SQL

  • CSV: univerzálny formát, no textový a pomalší; zrýchlite načítanie použitím parametrov dtype a usecols.
  • Parquet: sloupcový komprimovaný formát vhodný pre rýchle čítanie vybraných stĺpcov a zachovanie dátových typov; ideálny pre analytické workflow.
  • SQL: čítajte dáta pomocou read_sql(query, conn), zapisujte cez to_sql s možnosťou if_exists="append" a používajte chunksize na zlepšenie výkonu pri veľkých dátach.

Matplotlib: úplná kontrola nad vizualizáciami

Matplotlib je nízkoúrovňová knižnica, ktorá poskytuje detailnú kontrolu nad osami, mierkami, štýlom a anotáciami grafov. Pre rýchle náhľady často postačuje využitie DataFrame.plot(), ktorá je interným wrapperom okolo Matplotlib, avšak pre profesionálne publikácie je vhodnejšie priamo používať rozhranie pyplot a objekty Figure a Axes.

  • Základné použitie: import matplotlib.pyplot as plt, fig, ax = plt.subplots(), ax.plot(x, y), ax.set_title("..."), ax.set_xlabel("...").
  • Typy grafov: čiarové (plot), stĺpcové (bar/barh), histogramy (hist), bodové (scatter), krabicové (boxplot) či violonploty (violinplot).
  • Prispôsobenie osi: možnosť manuálne nastaviť rozsahy cez set_xlim a set_ylim, pridať sekundárne osi a vlastné mierky.
  • Legendy a anotácie: flexibilné pridávanie popisov, šípok a textov v rámci grafov pre zvýraznenie dôležitých údajov.
  • Ukladanie grafov: export do rôznych formátov ako PNG, SVG, PDF a ďalších s nastavitelnou kvalitou a rozmermi pomocou savefig().
  • Štýly a témy: využitie prednastavených štýlov (plt.style.use()) na rýchle získanie konzistentného vzhľadu vizualizácií.

Vďaka kombinácii NumPy, Pandas a Matplotlib získavajú dátoví analytici v Pythone silný a flexibilný nástrojový set na spracovanie, analýzu a vizualizáciu dát. Ovládanie týchto knižníc umožňuje efektívnu prácu aj s rozsiahlymi dátovými súbormi a tvorbu profesionálnych grafických výstupov.

Neustály rozvoj ekosystému okolo týchto knižníc navyše poskytuje množstvo rozšírení a inovatívnych riešení, ktoré ešte viac uľahčujú prácu s dátami a podporujú vývoj pokročilých analytických modelov.

Ďalšie články