Analyse de données avec Pandas

Dans l'écosystème moderne de la data science, Pandas s'est imposé comme la bibliothèque de référence pour l'analyse et la manipulation de données en Python. Combinant puissance et flexibilité, Pandas offre aux data scientists et analystes les outils essentiels pour transformer, nettoyer et analyser efficacement des jeux de données complexes. Découvrons ensemble comment maîtriser cette bibliothèque incontournable.

Les fondamentaux de Pandas

Pandas repose sur deux structures de données principales : les Series (séries unidimensionnelles) et les DataFrames (tableaux bidimensionnels). Ces objets permettent de manipuler les données de manière intuitive et performante.

Création et manipulation de DataFrames

import pandas as pd
import numpy as np

# Création d'un DataFrame
data = {
    'nom': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'ville': ['Paris', 'Lyon', 'Marseille']
}
df = pd.DataFrame(data)
# Opérations de base
print(df.head())  # Afficher les premières lignes
print(df.info())  # Informations sur le DataFrame
print(df.describe())  # Statistiques descriptives

Manipulation avancée des données

Filtrage et agrégation

# Filtrage conditionnel
adultes = df[df['age'] > 25]

# Groupement et agrégation
stats_par_ville = df.groupby('ville').agg({
    'age': ['mean', 'min', 'max'],
    'nom': 'count'
})

Gestion des données manquantes

# Identification des valeurs manquantes
print(df.isna().sum())

# Traitement des valeurs manquantes
df_clean = df.fillna(method='ffill')  # Forward fill
df_clean = df.dropna(subset=['age'])  # Suppression des lignes

Optimisation des performances

Pour traiter efficacement de grands volumes de données, il est crucial d'optimiser les opérations Pandas :

• Utiliser les méthodes vectorisées plutôt que les boucles
• Employer df.loc[] et df.iloc[] pour l'indexation
• Optimiser les types de données avec df.astype()

# Exemple d'optimisation
# Mauvaise pratique
for i in range(len(df)):
    df.iloc[i, 'age'] = df.iloc[i, 'age']  2

# Bonne pratique (vectorisée)
df['age'] = df['age']  2

from sqlalchemy import create_engine

# Création de la connexion
engine = create_engine('postgresql://user:password@localhost:5432/database')
# Lecture depuis SQL
df = pd.read_sql_query('SELECT  FROM users', engine)

# Écriture vers SQL
df.to_sql('users', engine, if_exists='replace')

import matplotlib.pyplot as plt
import seaborn as sns

# Création d'un graphique
plt.figure(figsize=(10, 6))
sns.boxplot(data=df, x='ville', y='age')
plt.title('Distribution des âges par ville')
plt.show()

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

# Création d'un pipeline de transformation
pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', StandardScaler())
])
# Application du pipeline
X_transformed = pipeline.fit_transform(df[['age']])

import pytest

def test_data_quality():
    assert not df['age'].isna().any(), "Présence de valeurs manquantes"
    assert df['age'].between(0, 120).all(), "Âges hors limites"
    assert df['ville'].isin(['Paris', 'Lyon', 'Marseille']).all(), "Villes invalides"