[운영체제] 시스템 콜(System Call) 완전 정리

CS 기술 면접 준비를 하면서 공부 하는 깊이에 대해 생각해보고 있다. 그리고 정말 해야할게 많더라 (재밌다).
이번에 이전에 배운 내용과 Claude와 함께 준비를 하면서 내용을 정리해보려고 합니다. (잊혀진 나의 머리 속 때문에 고생이 많다..)

만약에 내용중 틀린 내용이 있다면 알려주세요. 커피라도 한잔.. 사드려야 할 거 같습니다. (감사하브니다...)

---

 

1. System Call 이란?

운영체제는 사용자가 실행하는 프로그램이 하드웨어 자원에 직접 접근하는 것을 방지해 자원을 보호합니다. 왜냐하면, 프로그램이 CPU, 메모리, 하드 디스크에 마음대로 접근하고 조작할 수 있다면, 자원이 무질서하게 관리될 수 있으며 한 프로그램의 실수가 전체 컴퓨터에 영향을 주기 때문입니다. 운영체제는 프로그램들이 자원에 접근하려 할 때 오직 자신을 통해서만 접근하도록 하여 자원을 보호합니다.

 

따라서, 프로그램은 자원에 접근하기 위해서 운영체제에게 도움을 요청해야 합니다. 그리고, 프로그램의 요청을 받은 운영체제는 응용 프로그램 대신 자원에 접근해 요청한 작업을 수행합니다. 이러한 과정은 이중 모드로 구현되는데요. 이중 모드(Dual Mode) 는 CPU가 명령을 실행하는 모드를 사용자 모드와 커널 모드로 구분하는 방식입니다.

 

즉, 시스템 콜(System Call)은 운영체제 커널이 제공하는 서비스에 대한 인터페이스로, 두 모드의 전환을 위해 호출하는 함수라고 생각해볼수 있습니다. 

1) 주요 특징

• 인터럽트를 통한 OS 커널 함수 호출 - 소프트웨어 인터럽트(trap)를 발생시켜 실행
• 권한 모드 전환 - 사용자 모드에서 커널 모드로 안전하게 전환
• 하드웨어 추상화 - 프로그래머가 하드웨어 세부 사항을 몰라도 시스템 자원 접근 가능

2) System Call 이 필요한 이유

현대 운영체제는 시스템 보호와 안정성을 위해 듀얼 모드를 사용합니다:

• 사용자 모드(User Mode): 일반 응용 프로그램이 실행되는 모드
• 커널 모드(Kernel Mode): 운영체제 코드가 실행되는 특권 모드

사용자 프로그램이 파일 접근, 메모리 할당 등 시스템 자원을 사용하려면 반드시 시스템 콜을 통해 커널 모드로 전환해야 합니다.

즉, 시스템 콜이 필요한 이유는 보안성과 안정성 때문입니다. 안정성이란, 다른 프로세스의 메모리를 침범하지 않도록 하거나, 권한 및 접근을 제어, 명확한 성공/실패 여부 판단을 통한 오류 처리 등을 의미합니다

3) System Call 의 종류

운영체제 시스템 콜은 크게 6가지 카테고리로 분류됩니다:

종류	Windows 예시	Unix/Linux 예시	설명
프로세스 제어	CreateProcess(), ExitProcess()	fork(), exit(), wait()	프로세스 생성/종료/제어
파일 관리	CreateFile(), ReadFile(), WriteFile()	open(), read(), write(), close()	파일 생성/읽기/쓰기/삭제
장치 관리	SetConsoleMode(), ReadConsole()	ioctl(), read(), write()	디바이스 입출력 제어
정보 유지	GetCurrentProcessID(), SetTimer()	getpid(), alarm(), sleep()	시스템 정보 조회/설정
통신	CreatePipe(), CreateFileMapping()	pipe(), shm_open(), mmap()	프로세스 간 통신
보호	SetFileSecurity(), InitializeSecurityDescriptor()	chmod(), umask(), chown()	접근 권한 제어

 

4) 주요 System Call 예시

1. open() - 파일 열기

#include <fcntl.h>
int open(const char *pathname, int flags);
int open(const char *pathname, int flags, mode_t mode);

기능: 파일을 열거나 생성합니다.

• pathname: 열고자 하는 파일 경로
• flags: 파일 접근 모드 (O_RDONLY, O_WRONLY, O_RDWR 등)
• mode: 새 파일 생성 시 권한 설정
• 반환값: 성공 시 파일 디스크립터(양수), 실패 시 -1

2. read() - 파일 읽기

#include <unistd.h>
ssize_t read(int fd, void *buf, size_t count);

기능: 파일 디스크립터에서 데이터를 읽습니다.

• fd: 파일 디스크립터
• buf: 읽은 데이터를 저장할 버퍼
• count: 읽을 최대 바이트 수
• 반환값: 실제 읽은 바이트 수, 실패 시 -1

3. write() - 파일 쓰기

#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);

기능: 파일 디스크립터에 데이터를 씁니다.

• fd: 파일 디스크립터
• buf: 쓸 데이터가 있는 버퍼
• count: 쓸 바이트 수
• 반환값: 실제 쓴 바이트 수, 실패 시 -1

실제 사용 예제

#include <fcntl.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>

#define BUFSIZE 10

int main(int argc, char *argv[]) {
    int fd;
    int start_offset;
    int read_bytes;
    char filename[256];
    char buf[BUFSIZE];
    
    if (argc < 3) {
        fprintf(stderr, "Usage: %s [file name] [start offset]\n", argv[0]);
        exit(1);
    }
    
    strcpy(filename, argv[1]);
    start_offset = atoi(argv[2]);
    
    // 파일 열기
    fd = open(filename, O_RDONLY);
    if (fd == -1) {
        perror(filename);
        exit(1);
    }
    
    // 파일 위치 설정
    lseek(fd, start_offset, SEEK_SET);
    
    // 파일 읽기 및 출력
    while ((read_bytes = read(fd, buf, BUFSIZE)) > 0) {
        write(1, buf, read_bytes);  // 1 = stdout
    }
    
    printf("\n\n");
    close(fd);
    return 0;
}

---

2. 듀얼 모드 운영

1) 모드 비트(Mode Bit)

CPU는 하드웨어적으로 모드 비트를 제공하여 현재 실행 모드를 구분합니다:

• 모드 비트 = 1: 사용자 모드 (User Mode)
• 모드 비트 = 0: 커널 모드 (Kernel Mode)

2) 모드 전환 과정

[사용자 프로그램] → [시스템 콜 호출] → [인터럽트 발생] → [커널 모드 전환] 
       ↑                                                           ↓
[결과 반환] ← [사용자 모드 복귀] ← [시스템 콜 실행] ← [커널 서비스 실행]

1. 사용자 프로그램에서 시스템 콜 호출
2. 소프트웨어 인터럽트(trap) 발생
3. 모드 비트가 0으로 변경 (커널 모드 진입)
4. 인터럽트 핸들러가 해당 시스템 콜 실행
5. 작업 완료 후 모드 비트 1로 변경 (사용자 모드 복귀)
6. 결과를 사용자 프로그램에 반환

---

3. System Call 구현

1. System Call 번호

각 시스템 콜에는 고유한 번호가 할당됩니다. 시스템 콜 인터페이스는 이 번호를 기반으로 한 테이블을 유지합니다.

2. System Call 인터페이스

// 사용자 프로그램
int main() {
    open("file.txt", O_RDONLY);  // 시스템 콜 호출
}

// 시스템 콜 인터페이스 (libc)
open() {
    movl $5, %eax       // 시스템 콜 번호를 레지스터에 저장
    int $0x80           // 소프트웨어 인터럽트 발생
}

// OS 커널
sys_open() {
    // 실제 파일 열기 구현
}

3. 매개변수 전달

시스템 콜 매개변수는 다음 방법들로 전달됩니다:

• 레지스터 사용: 빠르지만 개수 제한
• 메모리 블록: 많은 매개변수 전달 가능
• 스택: 일반적인 함수 호출과 유사

System Call vs 표준 라이브러리 함수

주요 차이점

구분시스템	System Call	표준 라이브러리 함수
제공자	운영체제 커널	프로그래밍 언어
실행 모드	커널 모드에서 실행	사용자 모드에서 실행
오버헤드	모드 전환으로 인한 오버헤드	상대적으로 빠름
기능	기본적인 시스템 서비스	편의성과 추가 기능 제공

 

구체적인 비교 예시

1. 파일 쓰기 함수들

// 시스템 콜: write()
ssize_t write(int fd, const void *buf, size_t count);

// 표준 라이브러리: printf()  
int printf(const char *format, ...);

printf()는 내부적으로 write() 시스템 콜을 사용합니다.

2. 파일 읽기 함수들

// 시스템 콜: read()
ssize_t read(int fd, void *buf, size_t count);

// 표준 라이브러리: fread()
size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream);

fread()는 버퍼링과 편의 기능을 제공하며 내부적으로 read()를 사용합니다.

함수 호출 계층 구조

사용자 프로그램
    ↓
printf() / fread()  ← 표준 C 라이브러리
    ↓
write() / read()    ← 시스템 콜 인터페이스
    ↓
커널 모드           ← 운영체제 커널
    ↓
하드웨어

---

마무리

시스템 콜은 운영체제의 핵심 메커니즘으로, 사용자 프로그램이 안전하게 시스템 자원에 접근할 수 있게 해주는 중요한 인터페이스입니다.

핵심 포인트:

• 시스템 콜은 사용자 모드와 커널 모드 사이의 안전한 다리 역할
• 모든 시스템 자원 접근은 시스템 콜을 통해 이루어짐
• 표준 라이브러리 함수들도 내부적으로 시스템 콜을 사용
• 인터럽트 메커니즘을 통해 효율적으로 구현됨

운영체제를 이해하는 데 있어 시스템 콜의 동작 원리를 파악하는 것은 매우 중요합니다. 이를 통해 프로그램이 어떻게 운영체제와 상호작용하는지 깊이 있게 이해할 수 있습니다.