파이썬 데이터프레임에서 효율적으로 행과 열을 추출하는 방법

데이터 분석할 때 파이썬 판다스 패키지를 이용하면, 데이터를 쉽게 다룰 수 있습니다. 이 데이터프레임에서 특정 조건에 맞는 행과 열을 추출하는 일은 자주 하는 작업 중 하나입니다.

이 포스팅에서는 파이썬 데이터프레임에서 행과 열을 효율적으로 추출하는 방법을 소개합니다. 이를 통해 데이터 분석의 생산성을 높이는 방법을 알아보겠습니다.

데이터프레임이란?

데이터프레임(DataFrame)은 판다스(Pandas)라는 파이썬 패키지에서 제공하는 2차원 자료구조입니다. 표 형태로 데이터를 저장하고 조작할 수 있는 강력한 도구입니다. 데이터프레임은 행과 열로 구성돼 있으며, 각 열은 서로 다른 데이터 타입을 가질 수 있습니다. 이는 엑셀 스프레드시트와 유사한 구조로, 데이터 분석에서 널리 사용됩니다.

데이터프레임은 주로 CSV 파일, SQL 데이터베이스 테이블, Excel 파일 등 여러 형태의 데이터 소스로부터 생성할 수 있습니다. 또는 직접 값을 입력해 만들 수도 있습니다. 데이터프레임을 활용하면 데이터 필터링, 그룹화, 집계, 병합 등 다양한 데이터 처리 및 분석하는 작업을 간단하게 수행합니다.

import pandas as pd

# CSV 파일을 읽고 데이터프레임 생성 예제
df = pd.read_csv('example.csv')

# 데이터프레임의 첫 몇 행 보기
print(df.head())

위 예제 코드는 판다스 패키지를 사용해 CSV 파일에서 데이터를 읽어와 데이터프레임을 생성하는 코드입니다. 이후 데이터프레임의 처음 몇 행을 출력합니다.

행 추출 방법

데이터프레임에서 행을 추출하는 방법은 여러가지가 있습니다.

먼저 인덱싱을 통해 특정 행을 추출하는 방법이 있습니다. ‘.iloc’ 또는 ‘.loc’를 사용하면 쉽게 원하는 행을 얻습니다. 예를 들어, 첫 번째 행을 추출하려면 다음과 같이 코드를 실행합니다.

import pandas as pd

# 데이터프레임 생성
data = {'이름': ['철수', '영희', '민수'],
        '나이': [20, 21, 19]}
df = pd.DataFrame(data)

# 첫 번째 행 추출
first_row = df.iloc[0]
print(first_row)

또는 반복문으로 행을 추출하거나 슬라이싱을 이용해 할 수 있습니다. 예를 들어, 여러 행을 추출하고자 할 때는 슬라이싱을 사용할 수 있습니다. 아래와 같은 코드는 연속된 행을 선택하는 데 유용합니다.

# 첫 두 행 추출
first_two_rows = df.iloc[:2]
print(first_two_rows)

‘.loc’를 사용하면 행 라벨(인덱스 이름)을 기반으로 데이터를 선택합니다. 이는 원하는 값의 데이터를 명시적으로 추출할 때 좋습니다. ‘.iloc은 ‘숫자 인덱스’에 기반입니다. ‘.iloc[0]’는 값에 상관 없이 가장 첫번째 행을 추출합니다.

이 방법들은 각각 적합한 상황이 다릅니다. 처리할 데이터와 상황에 맞게 선택해 사용하면, 보다 효율적으로 데이터프레임을 관리할 수 있습니다.

열 추출 방법

특정 열도 손쉽게 추출할 수 있습니다. 열 추출은 다량의 칼럼 중에서 관심 있는 부분만을 분석하거나 작업할 때 유용합니다.

데이터프레임에서 특정 열을 추출하려면 대괄호 ‘[]’ 연산자를 이용해 열의 이름을 키로 지정합니다. 대괄호 안에 열 이름을 문자열로 지정해 열을 추출하는 방법은 직관적이며 자주 사용됩니다. 예를 들어 dataframe[‘column_name’] 형식으로 사용해 특정 열을 가져옵니다. 이 경우 열을 시리즈(Series) 데이터 타입으로 얻습니다.

여러 열을 한 번에 추출하고 싶을 경우, 열 이름을 리스트로 제공해야 합니다. 마찬가지로, 이 경우 dataframe[[‘column1’, ‘column2’]] 형식을 사용하면 두 개 이상의 열을 선택합니다. 이 방법은 여러 열을 선택할 때 매우 유용합니다.

import pandas as pd

# 샘플 데이터프레임 생성
data = {
    '이름': ['홍길동', '이순신', '강감찬'],
    '나이': [24, 30, 40],
    '직업': ['의적', '장군', '장군']
}
df = pd.DataFrame(data)

# 열 추출 - 단일 열
age_series = df['나이']  # 시리즈로 반환

# 열 추출 - 다중 열
name_and_job_df = df[['이름', '직업']]  # 데이터프레임으로 반환

‘.iloc’을 이용해 열을 추출하는 방법도 있습니다. ‘:’을 입력해 행을 전체 선택하고, 이후 몇 번째 열을 추출할 지 작성합니다.

# 첫 번째 열 선택, 시리즈 데이터 타입으로 반환
df.iloc[:, 0]

# 첫 번째 열을 데이터 프레임으로 선택
df.iloc[:, [0]]

# 첫 번째, 두 번째 열을 데이터 프레임으로 선택
df.iloc[:, [0,1]]

조건에 따른 행 추출 방법

종종 특정 조건에 맞는 행을 추출해야 하는 상황이 발생합니다. 이번에는 특정 조건에 맞는 행을 추출하는 다양한 방법을 살펴보겠습니다.

가장 간단한 방법은 데이터프레임에서 조건에 맞는 행을 불리언 인덱싱(Boolean Indexing)을 사용해 추출하는 것입니다. 예를 들어, 데이터프레임 ‘df’가 있고 그 안에 ‘Age’라는 열이 존재한다고 가정할 때, 이 열의 값이 30 이상인 행을 아래와 같이 추출할 수 있습니다.

filtered_df = df[df['Age'] >= 30]

이 코드는 ‘Age’ 열의 값이 30 이상인 행들로만 구성된 새로운 데이터프레임을 반환합니다.

다양한 조건을 결합해 보다 복잡한 필터링도 가능합니다. 예를 들어 ‘Age’가 30 이상이고 ‘Gender’가 ‘Female’인 행을 추출하고 싶다면, 논리 연산자로 조건문을 결합합니다.

filtered_df = df[(df['Age'] >= 30) & (df['Gender'] == 'Female')]

‘&’, ‘|’를 사용해 조건을 결합하며, 이때 각 조건식을 괄호로 감싸야 합니다.

특히, 복잡한 필터링 조건은 사용자 정의 함수와 함께 ‘apply’ 메서드를 사용해 구현하면 편리합니다.

def custom_filter(row):
    return row['Age'] >= 30 and row['Gender'] == 'Female'

filtered_df = df[df.apply(custom_filter, axis=1)]

위 코드에서는 사용자 정의 함수 ‘custom_filter’를 사용해 각 행을 검사하고, 조건이 참인 행만 포함한 데이터프레임을 생성합니다.

또는 query 함수를 이용하면, 문자열 표현식으로 데이터프레임에서 원하는 행을 추출할 수 있습니다. 처음에는 어색하지만, 익숙해지면 직관적으로 코딩할 수 있는 방법입니다. df.query(‘조건식’)과 같은 형태로 사용합니다.

import pandas as pd

data = {
    'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve'],
    'age': [25, 30, 35, 40, 45],
    'score': [85, 90, 78, 88, 95]
}

df = pd.DataFrame(data)


# 특정 조건 필터링
df.query('age > 30')


# 여러 조건 조합 (and, or 사용)
df.query('age > 30 and score > 80')

# 변수 사용
# 변수를 사용할 때는 @변수명 형식으로 사용
age_threshold = 30

df.query('age > @age_threshold')

# 문자열 데이터 필터링
df.query('name == "Alice"')

# 특정 값 리스트에 포함 여부 확인 (in)
df.query('name in ["Alice", "Bob"]')

조건에 따른 열 추출 방법

조건에 따라 특정 열을 선택하는 방식은 여러 가지가 있지만, 여기서는 Boolean Indexing과 ‘.filter()’ 함수를 사용하는 방법을 주로 다룹니다.

Boolean Indexing을 이용해 특정 열의 값이 주어진 조건을 만족하는지를 기준으로 해당 열을 선택합니다.

import pandas as pd

# 데이터프레임 생성
df = pd.DataFrame({
    'A': [1, 2, 3, 4],
    'B': [5, 6, 7, 8],
    'C': [9, 10, 11, 12]
})

# 조건: 컬럼 'B'의 값이 6 이상인 열만 선택
filtered_columns = df.loc[:, df.iloc[0] >= 6]
print(filtered_columns)

위의 예제에서는 데이터프레임 df에서 첫 번째 행 값이 6 이상인 열을 선택합니다. 이 조건에 맞는 열들만 필터링해 filtered_columns에 저장합니다.

또 다른 방법은 ‘.filter’ 함수 이용입니다. 이 함수는 특정 패턴에 따라 열을 선택하거나, 일부 조건이 들어맞는 열의 이름으로 필터링할 때 유용합니다.

# 특정 패턴이 포함된 열을 선택
filtered_columns = df.filter(like='B')

print(filtered_columns)

위의 코드는 열 이름에 ‘B’가 포함된 모든 열을 선택해 filtered_columns에 저장합니다. 이처럼 조건에 따라 열을 추출하는 다양한 방법은 데이터 조작 및 분석을 보다 효율적으로 만듭니다.

filter 함수를 쓰는 대신에 .columns로 칼럼명을 가져와서 사용하기도 합니다. 칼럼명은 리스트 데이터 타입으로 반환되고, 리스트 컴프리헨션으로 조건문을 이용해 내가 원하는 칼럼명을 가져올 수 있습니다.

이렇게 파이썬의 pandas 라이브러리를 사용하여 데이터프레임의 행과 열을 추출하는 방법을 살펴보았습니다. 데이터 분석 과정에서 이러한 기능을 활용하면 보다 효율적이고 정확한 분석이 가능해집니다. 조건에 맞는 데이터를 빠르게 추출하고, 필요한 데이터에 집중하여 분석할 수 있는 능력을 키우세요. 이를 통해 데이터 처리와 이해의 폭을 확장할 수 있습니다.