버퍼 오버플로우 방지: 안전한 프로그래밍 기법

1. 개요

버퍼 오버플로우(buffer overflow)는 메모리 보안 취약점을 악용하는 대표적인 공격 방식이다. 프로그램이 정해진 메모리 영역을 초과하여 데이터를 쓰면서 시스템의 동작을 의도적으로 변경하거나 악성 코드를 실행하는 데 이용된다.

이 글에서는 버퍼 오버플로우 공격의 기본 개념과 이를 방지하기 위해 사용이 권장되는 안전한 프로그래밍 함수들을 살펴본다. 주요 함수들의 장단점을 비교하고, 실질적인 보안 코딩 방법을 제시한다.

2. 버퍼 오버플로우의 위험성과 원인

버퍼 오버플로우는 개발자가 입력 데이터를 처리할 때 할당된 메모리 크기를 고려하지 않는 경우에 발생한다. 공격자는 이를 이용해 스택(stack) 또는 힙(heap)에 있는 데이터를 덮어씌우거나 악성 코드를 삽입할 수 있다. 주요 원인은 다음과 같다.

• 입력 검증 부족: 사용자 입력 길이를 제한하지 않거나 검증하지 않을 때 발생한다.
• 취약한 함수 사용: C 언어에서 제공하는 특정 함수들이 입력 데이터를 안전하게 처리하지 못한다.
• 메모리 관리 오류: 동적 메모리 할당 및 해제 과정에서의 실수로 발생한다.

3. 안전한 프로그래밍 함수 소개

버퍼 오버플로우를 방지하기 위해 C 표준 라이브러리와 기타 보안 프레임워크에서는 안전한 함수 사용을 권장하고 있다. 다음은 주요 함수들과 대안에 대한 설명이다.

3.1 strcat() 함수와 대안

strcat() 함수는 두 문자열을 연결하는 데 사용된다. 하지만 원본 버퍼의 크기를 확인하지 않기 때문에 오버플로우를 유발할 수 있다.

• 문제점: 원본 버퍼 크기를 초과한 데이터가 추가될 경우 메모리 초과가 발생한다.
• 대안: strncat() 함수 사용.
  • strncat()은 추가할 데이터의 크기를 명시적으로 지정한다.
  • 예시:위 코드는 dest 버퍼 크기를 초과하지 않도록 데이터를 안전하게 처리한다.

char dest[10] = "Hello";
char src[] = "World";
strncat(dest, src, sizeof(dest) - strlen(dest) - 1);

3.2 gets() 함수와 대안

gets() 함수는 입력 스트림에서 문자열을 읽어온다. 그러나 입력 데이터의 크기를 제한하지 않아 심각한 보안 취약점을 유발한다.

• 문제점: 입력 크기를 제어하지 못해 스택 메모리 초과를 초래할 수 있다.
• 대안: fgets() 함수 사용.
  • fgets()는 읽어올 문자열의 최대 크기를 지정할 수 있다.
  • 예시:입력 데이터가 50바이트를 초과할 경우 자동으로 잘려 저장된다.

char buffer[50];
fgets(buffer, sizeof(buffer), stdin);

3.3 sscanf() 함수와 대안

sscanf() 함수는 문자열을 특정 형식으로 변환하여 변수에 저장한다. 하지만 형식 지정자와 데이터 크기 불일치로 인해 취약점이 발생할 수 있다.

• 문제점: 형식 오류로 메모리 손상이 발생할 가능성이 있다.
• 대안: snprintf()와 함께 사용하거나 입력 길이를 엄격히 검증한다.
  • 예시:최대 입력 길이를 제한하여 안전성을 높인다.

char input[100];
int value;
fgets(input, sizeof(input), stdin);
sscanf(input, "%99s %d", buffer, &value);

3.4 strncat() 함수의 적절한 사용

strncat()은 strcat()보다 안전하지만, 여전히 주의가 필요하다. 추가되는 문자열의 크기와 남은 버퍼 크기를 명시적으로 계산해야 한다.

• 예시:

char destination[50] = "Start:";
char addition[] = "Content";
strncat(destination, addition, sizeof(destination) - strlen(destination) - 1);

4. 실전 보안 코딩 가이드

4.1 입력 크기 제한

사용자 입력을 받을 때는 항상 최대 크기를 지정해야 한다. 예를 들어, 입력을 받을 때 fgets()나 정규표현식을 이용해 크기를 제한한다.

4.2 보안 함수 사용

가능한 경우 최신 표준 라이브러리에서 제공하는 안전한 함수들을 사용한다. strncpy()나 snprintf()와 같은 함수는 데이터 크기 초과를 방지하는 데 유용하다.

4.3 메모리 검사와 도구 활용

• ASLR(Address Space Layout Randomization): 메모리 레이아웃을 무작위로 배치해 오버플로우 공격을 어렵게 만든다.
• Stack Canaries: 스택에 보호 값을 삽입하여 스택 프레임이 변경되었는지 검사한다.
• 정적 분석 도구: 코드 내 보안 취약점을 자동으로 검사한다.

5. 결론

버퍼 오버플로우는 간단한 프로그래밍 실수로도 심각한 보안 문제를 초래할 수 있는 취약점이다. 이를 방지하기 위해 안전한 함수 사용, 입력 크기 제한, 정적 분석 도구 활용 등 다양한 보안 코딩 기법을 적용해야 한다. 특히 strncat(), fgets(), snprintf()와 같은 안전한 함수는 개발자가 신뢰할 수 있는 코드를 작성하는 데 큰 도움을 준다. 보안은 선택이 아닌 필수이며, 개발 초기 단계부터 이를 고려한 설계가 이루어져야 한다.