آموزش Pandas برای تحلیل داده: راهنمای جامع و کاربردی از پردازش اولیه تا تحلیل پیشرفته

فهرست مطالب

• ۱. مفاهیم پایه و ساختار داده‌ها (DataFrame و Series)
• ۲. روش‌های ورود و خواندن داده‌ها (Data Ingestion)
• ۳. تمیزکاری و پیش‌پردازش داده‌ها (Data Cleaning)
• ۴. انتخاب، فیلتر و برش داده‌ها (Indexing & Filtering)
• ۵. گروه‌بندی و خلاصه‌سازی آماری (GroupBy & Aggregation)
• ۶. ادغام و ترکیب داده‌ها (Merge & Concatenation)
• ۷. خروجی گرفتن و ذخیره‌سازی داده‌ها
• ۸. اشتباهات رایج و راه‌حل سریع
• ۹. پرسش‌های متداول

اگر در طول انجام پایان‌نامه، پروژه دانشگاهی یا تحلیل‌های سازمان خود با داده‌های پراکنده، فایل‌های اکسل سنگین و فرمت‌های ناهماهنگ مواجه شده‌اید، پردازش دستی آنها علاوه بر زمان‌بر بودن، احتمال خطای انسانی را به شدت افزایش می‌دهد. این مقاله به شما آموزش می‌دهد که چگونه با استفاده از کتابخانه پانداس (Pandas) در پایتون، فرایند دستکاری، تمیزکاری و استخراج آمارهای توصیفی را کاملاً خودکار، دقیق و قابل تکرار کنید.

۱. مفاهیم پایه و ساختار داده‌ها (DataFrame و Series)

برای شروع کار با پانداس، ابتدا باید این کتابخانه را فراخوانی کنید. استاندارد رایج در جامعه علمی و تحلیل داده، فراخوانی آن با نام مستعار pd است:

import pandas as pd
import numpy as np

# ساخت یک سری ساده
age_series = pd.Series([22, 25, 28, 31, 24], name="Age")

# ساخت یک دیتافریم نمونه
data = {
    'Student_ID': [101, 102, 103, 104],
    'Name': ['علی', 'مریم', 'رضا', 'سارا'],
    'Score': [18.5, 19.0, 15.25, 17.75],
    'Passed': [True, True, True, True]
}
df = pd.DataFrame(data)
print(df)

۲. روش‌های ورود و خواندن داده‌ها (Data Ingestion)

در پروژه‌های واقعی و پژوهش‌های دانشگاهی، فایل‌های CSV معمولاً دارای مشکلات انکودینگ (encoding) هستند. برای جلوگیری از خراب شدن متون فارسی، مشخص کردن انکودینگ مناسب الزامی است:

# خواندن فایل CSV با انکودینگ متناسب با متون فارسی
df_csv = pd.read_csv('dataset.csv', encoding='utf-8')

# اگر فایل CSV در اکسل ساخته شده و حروف فارسی خوانده نمی‌شوند:
df_csv_win = pd.read_csv('dataset.csv', encoding='utf-8-sig')

# خواندن فایل اکسل و شیت مشخص
df_excel = pd.read_excel('research_data.xlsx', sheet_name='Sheet1')

۳. تمیزکاری و پیش‌پردازش داده‌ها (Data Cleaning)

مراحل کلیدی در تمیزکاری داده‌های ناخالص شامل موارد زیر است:

1. شناسایی مقادیر مفقود: بررسی تعداد خانه خالی در هر ستون با استفاده از df.isna().sum().
2. جایگزینی یا حذف داده‌های مفقود: پر کردن داده‌های خالی با میانگین/میانه یا حذف سطرهای ناقص.
3. اصلاح انواع داده‌ها: تبدیل رشته به عدد یا تاریخ.
4. یکدست‌سازی متون فارسی: جایگزینی ی و ک عربی با معادل فارسی.

# ۱. بررسی مقادیر خالی
print(df.isna().sum())

# ۲. پر کردن مقادیر خالی ستون نمره با میانگین
df['Score'] = df['Score'].fillna(df['Score'].mean())

# ۳. حذف سطرها در صورت مفقود بودن شناسه
df = df.dropna(subset=['Student_ID'])

# ۴. یکدست‌سازی ی و ک عربی در متن
df['Name'] = df['Name'].str.replace('ي', 'ی').str.replace('ك', 'ک')

# ۵. اصلاح نوع داده
df['Student_ID'] = df['Student_ID'].astype(int)

۴. انتخاب، فیلتر و برش داده‌ها (Indexing & Filtering)

جدول زیر مقایسه دقیقی بین دو متد پرکاربرد loc و iloc ارائه می‌دهد:

نمونه شرط‌گذاری چندگانه در پانداس:

# فیلتر کردن دانشجوانی که نمره بالاتر از ۱۶ دارند و قبول شده‌اند
high_achievers = df[(df['Score'] > 16) & (df['Passed'] == True)]

۵. گروه‌بندی و خلاصه‌سازی آماری (GroupBy & Aggregation)

برای محاسبه شاخص‌های آمار توصیفی در پروژه‌های تحقیقاتی، متد agg() انعطاف‌پذیری فوق‌العاده‌ای ارائه می‌دهد:

# محاسبه چند شاخص آماری به تفکیک وضعیت قبولی
group_stats = df.groupby('Passed').agg(
    Mean_Score=('Score', 'mean'),
    Std_Score=('Score', 'std'),
    Total_Students=('Student_ID', 'count')
).reset_index()

print(group_stats)

۶. ادغام و ترکیب داده‌ها (Merge & Concatenation)

مثال زیر ترکیب دو مجموعه داده دانشجو و رشته تحصیلی را با کلید مشترک نشان می‌دهد:

df_majors = pd.DataFrame({
    'Student_ID': [101, 102, 103, 104],
    'Major': ['کامپیوتر', 'آمار', 'صنایع', 'مدیریت']
})

# ادغام دو دیتافریم بر اساس شناسه دانشجو (Inner Join)
merged_df = pd.merge(df, df_majors, on='Student_ID', how='inner')
print(merged_df)

۷. خروجی گرفتن و ذخیره‌سازی داده‌ها

هنگام خروجی گرفتن، حتماً مقدار index=False را تنظیم کنید تا ستون اندیس عددی اضافه در فایل شما ذخیره نشود:

# ذخیره خروجی پاک‌سازی شده به صورت فایل اکسل
merged_df.to_excel('cleaned_data.xlsx', index=False)

# ذخیره به صورت CSV با پشتیبانی کامل از فارسی
merged_df.to_csv('cleaned_data.csv', index=False, encoding='utf-8-sig')

۸. اشتباهات رایج و راه‌حل سریع

در کار با کتابخانه Pandas، بیشتر پژوهشگران و تحلیل‌گران نوپا با خطاهای مشابه‌ای مواجه می‌شوند. در این بخش مهم‌ترین خطاها و نحوه رفع سریع آن‌ها آورده شده است:

• خطای SettingWithCopyWarning: این هشدار زمانی رخ می‌دهد که روی یک کپی از دیتافریم تغییر ایجاد می‌کنید.
  
  راه‌حل: همیشه از متد .copy() استفاده کنید (مثال: sub_df = df[df['Score'] > 15].copy()).
• استفاده از حلقه for روی سطرها: پیمایش سطر به سطر با حلقه for سرعت اجرا را به شدت کاهش می‌دهد.
  
  راه‌حل: از متدهای برداری (Vectorized Operations) یا متد apply() استفاده کنید.
• عدم تطابق نوع داده (Dtype Mismatch): به عنوان مثال وقتی عدد به صورت متن ذخیره شده و محاسبات آماری انجام نمی‌شود.
  
  راه‌حل: قبل از شروع تحلیل با df.dtypes نوع داده‌ها را بررسی و با pd.to_numeric() اصلاح کنید.
• مشکل بهم‌ریختگی متون فارسی در فایل خروجی CSV: باز شدن فایل با حروف عجیب در اکسل.
  
  راه‌حل: موقع ذخیره فایل حتما از پارامتر encoding='utf-8-sig' استفاده کنید.

۹. پرسش‌های متداول