파이썬 pandas 기초: Series·결측치·필터링 완전정리

pandas를 처음 배울 때는 Series는 한 개 열, DataFrame은 여러 열로 구성된 2차원 표라고 이해하면 됩니다. 실제 분석에서는 데이터를 만든 뒤 자료형과 결측치를 먼저 확인하고, 불리언 조건이나 loc로 필요한 행과 열을 선택하는 순서가 가장 안전합니다.

pandas 공식 입문 문서 확인하기

Series와 DataFrame 차이부터 이해하기

Series는 값과 인덱스가 한 쌍으로 움직이는 1차원 객체입니다. 데이터프레임에서 df["매출"]처럼 열 하나를 선택하면 보통 Series가 반환됩니다. DataFrame은 행과 열이 있는 2차원 객체이며 문자, 정수, 실수처럼 서로 다른 자료형의 열을 함께 담을 수 있습니다.

import pandas as pd

sales = pd.Series([120, 150, 90], name="매출")

df = pd.DataFrame({
    "상품": ["A", "B", "C"],
    "매출": [120, 150, 90],
    "지역": ["서울", "부산", "서울"]
})

Series와 DataFrame에는 모두 인덱스가 있습니다. 기본 인덱스는 0부터 시작하지만 문자열이나 날짜를 인덱스로 지정할 수도 있습니다. 다만 초보 단계에서는 인덱스를 단순한 행 식별자로 두고, 실제 업무 키는 별도 열로 관리하는 편이 오류를 줄이기 쉽습니다.

데이터 생성 후 구조를 먼저 확인하세요

데이터를 불러오거나 직접 만들었다면 곧바로 필터링하기 전에 모양과 자료형을 점검합니다. head()는 앞부분, shape는 행·열 개수, columns는 열 이름, dtypes는 열별 자료형을 보여줍니다. info()는 결측치가 아닌 값의 개수와 자료형을 함께 확인할 때 유용합니다.

print(df.head())
print(df.shape)
print(df.columns)
print(df.dtypes)
df.info()

숫자로 계산해야 할 열이 object나 문자열로 잡혔다면 쉼표, 통화기호, 공백이 섞였는지 확인해야 합니다. 날짜도 문자열 상태로 비교하면 원하는 순서와 다르게 정렬될 수 있으므로 pd.to_datetime()으로 변환한 뒤 처리하는 것이 좋습니다.

NaN과 결측치 확인·처리 방법

pandas는 자료형에 따라 numpy.nan, NaT, pd.NA 등으로 누락된 값을 표현합니다. 이를 문자열 비교나 ==로 찾지 말고 isna() 또는 notna()를 사용해야 합니다. 열별 결측치 개수는 다음 한 줄로 확인할 수 있습니다.

print(df.isna().sum())
missing_rate = df.isna().mean().mul(100)
print(missing_rate)

# 매출이 없는 행 제거
clean = df.dropna(subset=["매출"])

# 지역 누락값을 '미확인'으로 대체
df["지역"] = df["지역"].fillna("미확인")

평균이나 0으로 일괄 대체하면 결과가 왜곡될 수 있습니다. 예를 들어 매출 0은 실제 판매가 없었다는 뜻이고, 결측치는 값이 수집되지 않았다는 뜻일 수 있습니다. 두 의미를 먼저 구분한 뒤 처리 규칙을 정해야 합니다.

조건으로 필요한 데이터만 필터링하기

열 하나를 선택할 때는 df["매출"], 여러 열은 df[["상품", "매출"]]처럼 대괄호를 한 번 더 사용합니다. 조건식은 각 행에 대해 참과 거짓을 가진 Series를 만들며, 이를 데이터프레임의 행 선택에 이용합니다.

# 매출 100 이상
high_sales = df[df["매출"] >= 100]

# 서울이면서 매출 100 이상
seoul_high = df[(df["지역"] == "서울") & (df["매출"] >= 100)]

# 여러 후보 중 하나
selected = df[df["지역"].isin(["서울", "부산"])]

파이썬의 and, or는 Series 조건을 결합하는 용도가 아닙니다. pandas에서는 &, |, 부정 조건에는 ~를 사용하고 각 비교식을 반드시 괄호로 묶습니다. 문자열 검색은 str.contains()를 쓸 수 있으며 결측치가 섞였다면 na=False를 지정하면 안전합니다.

python_rows = df[df["상품"].str.contains("Python", na=False)]

loc와 iloc는 기준이 다릅니다

loc는 행·열의 라벨과 조건을 기준으로 선택합니다. iloc는 화면에 보이는 정수 위치를 기준으로 합니다. 특히 슬라이스의 끝 처리 방식이 다르므로 혼동하기 쉽습니다.

loc[0:3]은 라벨 3을 포함할 수 있지만 iloc[0:3]은 위치 3을 포함하지 않습니다. 정렬이나 행 삭제 뒤에는 인덱스 라벨과 현재 위치가 달라질 수 있으므로, 코드가 무엇을 기준으로 선택하는지 명확히 해야 합니다.

초보자를 위한 실무 처리 순서

1. 원본을 읽은 직후 head(), shape, info()로 구조를 확인합니다.
2. 열 이름의 공백과 중복, 예상하지 못한 자료형을 점검합니다.
3. isna().sum()으로 결측치 규모와 위치를 파악합니다.
4. 삭제·대체 규칙을 코드에 명시하고 원본 데이터는 보존합니다.
5. 필터 조건을 하나씩 검사한 뒤 복합 조건으로 결합합니다.
6. 결과 행 수와 주요 통계를 원본과 비교합니다.
7. CSV나 엑셀로 저장한 뒤 다시 읽어 자료형과 값이 유지됐는지 확인합니다.

분석 결과를 서식이 포함된 엑셀 보고서로 만들어야 한다면 pandas에서 정리한 데이터와 openpyxl을 역할별로 나누어 사용할 수 있습니다.

실수 방지 체크리스트

• 열 하나와 여러 열을 선택할 때 대괄호 개수가 맞는지 확인합니다.
• 결측치를 == np.nan으로 비교하지 않았는지 확인합니다.
• 0, 빈 문자열, 결측치를 같은 값으로 취급하지 않습니다.
• 복합 조건의 각 비교식을 괄호로 묶습니다.
• Series 조건에 and와 or를 사용하지 않습니다.
• loc와 iloc의 기준 및 슬라이스 끝 포함 여부를 구분합니다.
• 필터 결과가 복사본인지 원본 수정인지 의도한 동작을 확인합니다.
• 원본 파일을 덮어쓰기 전에 별도 결과 파일로 검증합니다.

공식 출처

• pandas: What kind of data does pandas handle?
• pandas: Working with missing data
• pandas: How do I select a subset of a DataFrame?

공식 문서 확인일: 2026년 8월 29일