스레드 (thread) 이해하기

물리적 관점 (하드웨어/실제 서버)

가장 기본적인 수준에서, 코드가 실행되는 실제 컴퓨터나 서버의 관점이다. 이는 데이터 엔지니어링 파이프라인이 동작하는 물리적 인프라를 의미한다.

• 컴퓨터/서버 (The Physical Machine): 데이터 처리 작업을 수행하는 물리적인 하드웨어다. CPU 코어 수, RAM 크기, 디스크 속도 등 이 서버가 가진 물리적 성능이 전체 데이터 처리 시스템의 최대 처리량을 결정한다. 대규모 데이터 처리는 종종 여러 대의 서버에 걸쳐 분산된다.
• CPU 코어 (CPU Core): CPU 코어는 실제 연산을 수행하는 프로세서의 단위다. 하나의 코어는 한 번에 하나의 스레드를 효율적으로 처리한다. 코어 수가 많을수록 동시에 더 많은 연산을 병렬로 처리할 수 있어, 대량의 데이터 처리나 복잡한 알고리즘 실행에 필수적이다.
• RAM (Memory): RAM은 CPU가 데이터를 빠르고 직접적으로 접근할 수 있는 임시 저장 공간이다. RAM의 크기가 클수록 더 많은 데이터를 메모리에 올려두고 빠르게 처리할 수 있다. 이는 대규모 데이터셋을 처리하거나 복잡한 데이터 변환 작업을 수행할 때 성능에 결정적인 영향을 미친다.

---

개념적 관점 (운영체제/프로그램 실행)

물리적 하드웨어 위에서 소프트웨어가 어떻게 구동되고 자원을 관리하는지 이해하는 것은 데이터 엔지니어링에서 매우 중요하다.

• 운영체제 (Operating System - OS): OS는 하드웨어 자원을 관리하고, 프로세스와 스레드의 실행을 스케줄링하며, 파일 시스템 및 네트워크 통신을 담당한다. 데이터 파이프라인의 안정성과 효율성은 OS의 자원 관리 능력에 크게 의존한다.
• 프로세스 (Process): 프로세스는 실행 중인 프로그램의 독립적인 인스턴스다. 각 프로세스는 자체적인 메모리 공간, 파일 핸들, 보안 속성 등 독립적인 자원을 할당받는다. 데이터 엔지니어링에서 Kafka 브로커, Spark 애플리케이션 드라이버, Flink 작업 관리자 등 각각의 주요 컴포넌트가 독립적인 프로세스로 실행된다.
• 스레드 (Thread): 스레드는 프로세스 내에서 실행되는 가장 작은 실행 단위다. 같은 프로세스 내의 스레드들은 메모리 공간과 다른 자원들을 공유한다.
  • 데이터 엔지니어링에서의 스레드: Kafka 컨슈머는 일반적으로 여러 스레드를 사용하여 여러 파티션의 데이터를 병렬로 처리한다. 이는 처리량(throughput)을 극대화하고 지연 시간(latency)을 줄이는 데 기여한다. Spark나 Flink 같은 분산 처리 프레임워크에서도 내부적으로 스레드를 활용하여 각 태스크(task)를 실행하고 데이터 변환 및 분석 작업을 병렬화한다. 예를 들어, Spark Executor는 여러 코어와 스레드를 사용하여 동시에 여러 태스크를 실행한다.

---

추상적 관점 (솔루션/아키텍처)

이러한 기본적인 개념들을 바탕으로 대규모 분산 시스템을 어떻게 설계하고 운영하는지 살펴본다.

• Kafka (카프카 - 분산 메시지 큐): Kafka는 고성능 분산 스트리밍 플랫폼이다. 대용량 데이터를 실시간으로 발행(publish), 구독(subscribe)하고 저장하며 처리하는 데 사용된다.
  • 물리적: 여러 대의 서버(브로커)에 분산되어 고가용성과 확장성을 제공한다.
  • 개념적: 프로듀서(Producer)가 데이터를 토픽(Topic)에 발행하고, 컨슈머(Consumer)가 토픽에서 데이터를 가져와 처리한다. 토픽은 여러 파티션(Partition)으로 나뉘며, 각 파티션은 로그 형태로 데이터를 저장한다. 컨슈머 그룹(Consumer Group)은 여러 컨슈머 인스턴스가 파티션의 데이터를 병렬로 소비할 수 있도록 돕는다.
  • 스레드와 연결: Kafka 컨슈머 애플리케이션은 종종 멀티스레딩을 사용하여 여러 컨슈머 인스턴스를 동시에 실행하고, 이를 통해 할당된 파티션에서 데이터를 병렬로 읽어 처리한다. 이는 단일 컨슈머 인스턴스가 처리할 수 있는 양을 초과하는 대량의 스트리밍 데이터를 처리하는 데 필수적이다.
• Docker (도커 - 컨테이너 가상화): Docker는 애플리케이션과 그 종속성을 컨테이너라는 독립적인 단위로 패키징하고 격리하는 기술이다. 이는 환경 일관성과 배포의 용이성을 제공한다.
  • 물리적: 실제 서버 또는 가상 머신 위에서 동작한다.
  • 개념적: Docker 이미지는 애플리케이션 실행에 필요한 코드, 런타임, 시스템 도구, 라이브러리, 설정 등을 포함하는 불변의 템플릿이다. 이 이미지를 기반으로 생성되는 Docker 컨테이너는 경량화된 독립적인 실행 환경을 제공한다. 컨테이너는 호스트 OS의 커널을 공유하지만, 파일 시스템, 프로세스 공간, 네트워크 인터페이스 등이 격리된다.
  • 스레드와 연결: Docker 컨테이너 내에서 실행되는 애플리케이션(예: Kafka 컨슈머, Spark 워커)은 해당 컨테이너의 프로세스 환경 내에서 스레드를 생성하고 관리한다. Docker를 사용하면 여러 Kafka 컨슈머 인스턴스나 Spark Executor를 각각의 격리된 컨테이너로 배포하여 자원 충돌 없이 효율적으로 운영할 수 있다. 이는 데이터 파이프라인의 확장성과 유지보수성을 크게 향상시킨다.

---

데이터 엔지니어링에서의 스레드 활용

데이터 엔지니어링 맥락에서 스레드의 역할은 매우 구체적이다.

• 병렬 데이터 처리: 대규모 데이터를 처리할 때, 단일 스레드로는 성능 병목이 발생할 수 있다. Kafka 컨슈머 애플리케이션은 여러 스레드를 사용하여 여러 Kafka 파티션의 데이터를 동시에 읽고 처리함으로써 전체 처리량을 높인다.
• 비동기 작업 실행: 데이터 파이프라인에서는 장시간 소요되는 작업(예: 대규모 데이터 로드, 복잡한 변환, 외부 API 호출)이 자주 발생한다. 이러한 작업들을 메인 스레드에서 동기적으로 처리하면 전체 시스템의 지연 시간이 증가하고 자원이 비효율적으로 사용된다. 별도의 백그라운드 스레드를 사용하여 이러한 작업을 비동기적으로 실행하면, 메인 스레드는 다른 작업을 처리할 수 있게 되어 시스템의 응답성과 처리량이 향상된다. ExecutorService와 같은 스레드 풀은 이러한 백그라운드 스레드를 효율적으로 관리하는 데 사용된다.
• 분산 시스템 리소스 활용: Spark, Flink와 같은 분산 처리 엔진은 내부적으로 스레드를 활용하여 클러스터의 각 노드에서 병렬로 태스크를 실행한다. 이는 분산된 컴퓨팅 리소스를 최대한 활용하여 대규모 데이터셋을 빠르게 처리하는 핵심 메커니즘이다.

---

리눅스 

리눅스에서는 top 명령과 ps 명령을 주로 사용한다.

 

top -H (가장 쉬운 방법) top 명령어는 시스템의 전반적인 상태를 실시간으로 모니터링하는 데 사용되는 강력한 도구이다. 여기서 -H 옵션을 추가하면 개별 프로세스가 아닌 개별 스레드를 기준으로 정보를 보여준다.

 

https://doitnow-man.tistory.com/entry/1-%EB%A6%AC%EB%88%85%EC%8A%A4%EC%BB%A4%EB%84%90-%EC%9D%B4%EC%95%BC%EA%B8%B0-top-%EC%A0%95%EB%B3%B4-%ED%99%9C%EC%9A%A9-%ED%95%98%EA%B8%B0

1. 리눅스커널 이야기 - top 정보 활용 하기