1.1. 컴퓨터 구조를 알아야 하는 이유

  • 문제 해결 능력이 향상된다.
  • 입출력에 매몰되는 것을 넘어, 성능ㆍ용량ㆍ비용을 고려하는 개발자가 될 수 있다.

 

1.2. 컴퓨터 구조의 큰 그림

출처: https://velog.io/@seok9403/컴퓨터-구조

 

컴퓨터 구조를 이해하기 위해 필요한 지식은 크게 2가지이다.

  • 컴퓨터가 이해하는 정보
  • 컴퓨터의 4가지 핵심 부품

 

1.2.1. 컴퓨터가 이해하는 정보

컴퓨터는 0과 1로 표현된 정보만 이해한다.

0과 1로 표현되는 정보에는 크게 두 가지가 있다.

데이터명령어.

 

데이터: 컴퓨터가 이해하는 숫자, 문자, 이미지, 동영상과 같은 정적인 정보

명령어: 데이터를 움직이고, 컴퓨터를 작동시키는 정보

 

1.2.2. 컴퓨터의 4가지 핵심 부품

외관과 용도를 막론하고 컴퓨터의 핵심 부품은 CPU(중앙처리장치), 메모리(주기억장치), 보조기억장치, 입출력장치이다.

 

주기억장치에는 RAM(Random Access Memory)와 ROM(Read-Only Memory) 두 가지가 있으나, 일반적으로 RAM을 의미한다. 이후 작성될 글에서도 주기억장치는 RAM으로 간주하겠다.

 

1.2.2.1. 메모리

메모리는 현재 실행되는 프로그램의 명령어와 데이터를 저장하는 부품이다.

 

프로그램이 실행되기 위해서는 반드시 메모리에 저장되어 있어야 한다.

메모리에 저장된 값의 위치는 주소로 알 수 있다.

 

1.2.2.2. CPU

컴퓨터의 두뇌이다.

 

메모리에 저장된 명령어를 읽어 들이고, 읽어 들인 명령어를 실행하고, 실행한다.

CPU 내부는 ALU(산술연산장치), 레지스터, 제어장치로 구성되어 있다.

 

ALU: 계산기. 컴퓨터 내부 대부분의 계산을 담당.

레지스터: 임시 저장 장치. CPU에는 여러 개의 레지스터가 존재하고, 각기 다른 이름과 역할이 이싿.

제어장치: 전기 신호를 내보내고, 명령어를 해석하는 장치

 

1.2.2.3 보조기억장치

메모리와 다르게, 전원이 꺼져도 저장된 내용을 잃지 않는 저장 장치.

관점에 따라 입출력 장치라고 볼 수 있으나, 일반적으로 입출력장치와 합해 주변장치로 통칭한다.

 

1.2.2.4 입출력장치

마이크, 스피커, 프린터, 마우스 등 컴퓨터 외부에 연결되어 컴퓨터 내부와 정보를 교환하는 장치.

 

1.2.2.5 기타

메인보드(==마더보드)

핵심 부품을 비롯한 여러 컴퓨터 부품을 설치하고 연결하는 판

 

버스

연결된 부품끼리 데이터를 주고 받을 수 있는 통로.

 

컴퓨터의 핵심 4가지 부품은 시스템 버스를 통해 데이터를 주고 받는다.

시스템 버스는 주소 버스, 데이터 버스, 제어 버스로 구성된다.

 


참고

혼자 공부하는 컴퓨터구조 + 운영체제, 강민철, 1판

유저가 하드웨어에 닿기까지 (출처: TechTarget)

1. 운영체제와 컴퓨터

1.1 운영체제의 역할과 구조

운영체제의 역할

  • CPU 스케줄링과 프로세스 관리
  • 메모리 관리
  • 디스크 파일 관리
  • I/O 디바이스 관리

 

운영체제의 구조

운영체제의 구조 (출처: 쉽게 배우는 운영체제)

시스템콜

유저 프로그램(응용 프로그램)이 운영체제의 서비스를 받기 위해 커널 함수를 호출할 때 사용.

시스템콜을 받으면 유저 모드에서 커널 모드로 변환. 커널에 접근하여 명령 수행.

커널

운영체제의 핵심 부분.

시스템콜 인터페이스를 제공하며 보안, 메모리, 프로세스, 파일 시스템, I/O 디바이스, I/O 요청 관리 등 운영체제의 중추적인 역할

modebit

0 또는 1의 값을 가지는 플래그 변수.

시스템콜이 작동될 때 modebit을 참고해서 유저 모드와 커널 모드를 구분.

커널 모드: 0

유저 모드: 1

드라이버

하드웨어를 제어하기 위한 소프트웨어

 

 

1.2 컴퓨터의 요소

컴퓨터 시스템 구조 (출처: 멋쟁이 토마토)

 

CPU

산술논리연산장치(ALU, Arithmetic Logic Unit), 제어장치(CU, Contorl Unit), 레지스터로 구성.

인터럽트에 의해 메모리에 존재하는 명령어를 해석해서 실행하는 단순 반복 장치.

산술논리연산장치

아래 기능을 수행하는 디지털 회로.

  • 덧셈, 뺄셈 같은 두 숫자의 산술 연산
  • 배타적 논리합, 논리곱 같은 논리 연산

제어 장치

  • 입출력 장치 간 통신을 제어
  • 명령어를 읽고, 해석
  • 데이터 처리를 위한 순서를 결정

레지스터

CPU와 직접 연결된, CPU 내부의 매우 빠른 임시기억장치.

메모리에 비해 속도는 아득히 빠르고, 공간은 몹시 협소하다.

 

인터럽트

어떤 신호가 들어왔을 때 CPU를 잠시 정지시키는 것.

하드웨어 인터럽트: I/O 디바이스의 연결 등으로 발생

소프트웨어 인터럽트: 트랩이라고도 한다. 수를 0으로 나누는 연산 등의 프로세스 오류로 발생한다. (이때 프로세스가 시스템콜을 호출)

 

DMA 컨트롤러

I/O 디바이스가 메모리에 직접 접근할 수 있도록 하는 하드웨어 장치. 보조 일꾼.

하나의 작업을 CPU와 DMA 컨트롤러가 동시에 하는 것을 방지.

메모리

전자회로에서 데이터나 상태, 명령어 등을 기록하는 장치.

보통 RAM(Random Access Memory)을 일컬어 메모리라고 한다.

타이머

특정 프로그램에 시간 제한을 다는 역할.

시간이 종료되면 CPU에 인터럽트.

디바이스 컨트롤러

I/O 디바이스에 붙어있는 작은 CPU.

로컬 버퍼는 각 디바이스의 데이터를 임시 저장하는 작은 메모리

 

 

2. 메모리

2.1 메모리 계층

메모리 계층 구조 (출처: 나무위키)

 

  • 레지스터: CPU 안에 있는 작은 메모리
  • 캐시: L1, L2 캐시를 지칭. L3 캐시도 있음.
  • 주기억장치: RAM을 지칭.
  • 보조기억장치: HDD, SSD를 지칭. 얘만 비휘발성.

캐시

데이터를 미리 복사해 놓는 임시 저장소.

저장 장치 간에 속도 차이에 따른 병목 현상을 줄이기 위함.

예) 메모리와 CPU 사이에 존재하는 레지스터. 이런 것을 캐싱 계층이라고 함.

 

캐싱 계층을 두지 않고 캐시를 직접 설정하려면, 어떤 것을 캐시로 할지 근거가 필요하다.

근거는 지역성에 기반한다.

 

지역성

시간 지역성 temporal locality

최근 사용한 데이터에 다시 접근하려는 특성

e.g.) counter 변수

공간 지역성 spatial locality

최근 접근한 데이터 혹은 그와 가까운 공간에 접근하는 특성.

e.g.) 특정 배열을 순차적으로 모두 탐색.

 

캐시히트 & 캐시미스

캐시에서 원하는 데이터를 찾았다면 캐시히트,

해당 데이터가 캐시에 없다면 주 메모리로 가서 데이터를 찾아오는 것을 캐시미스.

 

캐시히트는 CPU 내부 버스를 기반으로 가까운 캐시에서 데이터를 가져오므로 빠르다.

캐시미스는 CPU 바깥의 시스템 버스를 통한다. 느리다.

 

캐시매핑

캐시가 히트되기 위해 매핑하는 방법.

레지스터와 주 메모리 간에 데이터를 주고 받을 때를 기반.

  • 직접 매핑: 메모리 1 ~ 100 / 캐시 1 ~ 10이라면, 1 : 1~10, 2 : 11~20 이런식으로 매핑. 처리가 빠르고 충돌 잦다.
  • 연관 매핑: 순서 상관 없이 관련 있는 캐시와 메모리를 매핑. 충돌 적고 모든 블록을 탐색해야 해서 느리다.
  • 집합 연관 매핑: 위 2개를 합침. 순서는 일치시키지만 블록화하여 덩어리로 매핑. 덩어리 내에서는 연관 매핑.

 

웹 브라우저의 캐시

쿠키

만료기한이 있는 키-값 저장소. 4KB.

same site 옵션을 strict로 설정하지 않을 경우 다른 도메인에서 요청했을 때 자동 전송.

보통 서버에서 만료기한을 정함.

로컬 스토리지

만료기한이 없는 키-값 저장소. 5MB.

웹브라우저를 닫아도 유지.

HTML 5 이상.

세션 스토리지

만료기한이 없는 키-값 저장소. 5MB.

탭 단위로 세션 스토리지를 생성. 탭을 닫을 때 해당 데이터 삭제.

HTML 5 이상.

 

2.2 메모리 관리

2.2.1 가상 메모리 virtual memory

가상 메모리 동작 방식 (출처: 면접을 위한 CS 전공지식 노트)

 

실제로 이용 가능한 메모리 자원을 추상화하여, 사용자에게 매우 큰 메모리로 보이게 만드는 것.

  • 가상 주소 logical address: 사용자에게 주어진 주소
  • 실제 주소 physical address: 실제 메모리 상에 있는 주소

가상 주소는 메모리 관리 장치(MMU)에 의해 실제 주소로 자동 변환된다.

가상 메모리는 가상 주소와 실제 주소가 매핑된 '페이지 테이블'로 관리된다.

이때 속도 향상을 위해 주소 변환을 위한 캐시인 TLB를 사용한다.

 

2.2.2 스와핑 swapping

페이지 폴트가 발생했을 때, 당장 사용하지 않는 영역을 하드디스크로 옮기고,

하드 디스크의 일부를 마치 메모리처럼 불러와 쓰는 것을 스와핑이라고 함.

페이지 폴트

가상 메모리에는 존재하지만 실제 메모리인 RAM에는 현재 없는 데이터를 접근하는 경우.

 

2.2.3 스레싱 thrashing

스레싱 (출처: yansigit.github.io)

정의

메모리의 페이지 폴트율이 높은 것을 의미한다.

이는 컴퓨터의 심각한 성능 저하를 초래한다.

원인

스레싱은 메모리에 너무 많은 프로세스가 동시에 올라가게 되면 스와핑이 많이 일어나게 되면서 발생한다.

페이즈 폴트는 CPU 이용률 저하로 이어진다.

CPU 이용률이 낮아지면 운영체제는 가용성을 높이기 위해 더 많은 프로세스를 메모리에 올린다. -> 악순환 -> 스레싱

해결방법

물리적인 방법
  • HDD를 SSD로 교체한다.
  • 메모리를 늘린다.
논리적인 방법
작업 세트 working set

프로세스의 지역성을 통해 결정된 페이지의 집합을 만들어서 미리 메모리에 로드.

PFF (Page Fault Frequency)

상・하한선으로 페이지 폴트 빈도를 조절.

상한선에 도달하면 프레임을 늘리고, 하한선에 도달하면 프레임을 줄인다.

 

2.2.4 메모리 할당

메모리에 프로그램을 할당할 때 시작 메모리 위치, 메모리의 할당 크기를 기반으로 할당한다.

이것을 결정하는 방법론.

 

연속 할당

고정 분할 방식 fixed partition allocation

메모리를 미리 나누어 관리하는 방식.

융퉁성이 없고, 내부 단편화가 발생한다.

가변 분할 방식 variable partition allocation

매 시점 프로그램의 크기에 맞게 동적으로 메모리를 나눠 사용한다.

외부 단편화가 발생한다.

최초 적합(first fit), 최적 적합(best fit), 최악 적합(worst fit)이 있다.

 

불연속 할당

페이징 Paging

동일한 크기의 페이지 단위(보통 4KB)로 나누어 메모리의 서로 다른 위치에 프로세스를 할당.

빈 공간의 크기가 균일하지 않은 문제가 없어지지만 주소 변환이 복잡.

세그멘테이션 segmentation

페이지 단위가 아닌 의미 단위인 세그먼트로 나누는 방식.

프로세스를 이루는 메모리를 코드 / 데이터 / 코드 내 함수 단위 등으로 나눈다.

공유와 보안 측면에서 장점. 빈 공간의 크기가 균일하지 않은 단점.

페이지드 세그멘테이션 paged segmentation

프로그램을 의미 단위인 세그먼트로 나누고, 다시 그것을 임의가 아닌 동일 크기의 페이지 단위로 나누는 것.

 

 

2.2.5 페이지 교체 알고리즘

오프라인 알고리즘

먼 미래에 참조되는 페이지와 현재 할당하는 페이지를 바꾼다.

미래는 알 수 없다. 꿈 같은 것이다.

FIFO

가장 먼저 적재된 페이지를 가장 먼저 교체하는 것.

LRU (Least Recently Used)

참조한 지 가장 오랜 시간이 지난 페이지를 교체하는 것.

NUR (Not Used Recently)

일명 Clock 알고리즘.

0과 1을 가진 비트를 둔다. 1은 최근 참조 / 0은 참조되지 않음.

시계 방향으로 돌면서 0을 찾고, 그 순간 해당 프로세스로 교체하고 1로 방문 처리를 한다.

LFU (Least Frequently Used)

가장 참조 횟수가 적은 페이지를 교체.

 

 

3. 프로세스와 스레드

프로세스와 스레드 (출처: velog.io/@aeong98)

프로세스

컴퓨터에서 실행되고 있는 프로그램.

CPU 스케줄링의 대상이 되는 작업(task)이라는 용어와 거의 같은 의미로 쓰임.

프로그램 -> 메모리 -> 프로그램의 인스턴스화 -> 프로세스 -> CPU 스케줄러에 따라 CPU가 프로세스를 실행.

스레드

프로세스 내 작업의 흐름.

 

 

3.1 프로세스와 컴파일 과정

프로그램의 컴파일 과정 (출처: 면접을 위한 CS 전공지식 노트)

 

전처리

소스 코드의 주석 제거.

#include 등 헤더 파일 병합하여 매크로를 치환.

컴파일러

오류 처리, 코드 최적화 -> 어셈블리어로 변환

어셈블러

어셈블리어는 어셈블러를 통해 목적 코드(object code)로 변환.

*.o의 확장자. (운영체제 by 운영체제)

링커

프로그램 내에 있는 라이브러리 함수 또는 다른 파일들과 목적 코드를 결합하여 실행 파일 생성.

*.exe, *.out 등의 확장자.

라이브러리

정적 라이브러리

프로그램 빌드 시 라이브러리가 제공하는 모든 코드를 실행 파일에 넣음.

외부 의존도 낮음. 코드 중복 등 메모리 효율 낮음.

동적 라이브러리

프로그램 실행 시 필요할 때만 DLL이는 함수 정보를 참조하여 라이브러리를 사용.

외부 의존도 높음. 메모리 효율 높음.

 

 

3.2 프로세스의 상태

프로세스의 상태 (출처: yanghs6.github.io)

 

생성 상태

프로세스가 생성된 상태.

이때 PCB가 할당.

대기 상태

메모리 공간이 충분하면 메모리를 할당 받고, 아니면 할당받지 못한 상태로 대기(대기 중단 상태).

CPU 스케줄러로부터 CPU 소유권이 넘어오기를 기다리는 상태.

실행 상태

CPU 소유권과 메모리를 할당 받고, 인스트럭션을 수행 중인 상태.

CPU burst가 일어났다고도 표현.

중단 상태

어떤 이벤트(인터럽트)가 발생하여 프로세스가 차단된 상태.

중단된 상태에서 프로세스를 실행하려고 했지만 메모리가 부족하면 일시 중단 상태.

 

 

3.3 메모리 상의 프로세스 구조

메모리 상의 프로세스 구조 (출처: devkuma)

스택

스택은 동적 할당(런타임 단계에서 메모리를 할당받는 것)이 된다.

지역 변수, 매개변수, 돌아오는 주소 등 실행되는 함수에 의해 가변적인 메모리 영역이다.

 

재귀 함수를 호출하는 경우 새로운 스택 프레임이 매번 사용되기 때문에,

함수 내의 변수 집합이 해당 함수의 다른 인스턴스 변수를 방해하지 않는다.

 

동적으로 할당되는 변수를 담는다.

malloc(), free() 함수를 통해 관리할 수 있다.

e.g.) 동적으로 관리되는 자료구조

 

데이터와 코드 영역

정적 할당(컴파일 단게에서 메모리를 할당)되는 영역이다.

데이터 영역은 BSS segement, Data segment, code/text segment로 나뉜다.

 

BSS segment는 전역 변수 또는 초기화 되지 않은 변수가 할당된다.

Data segment는 전역 변수 또는 초기화 된 변수가 할당된다.

Code segment는 프로그램의 코드가 할당된다.

 

 

3.4 프로세스 제어 블록 PCB

정의

PCB(Process Control Block)는 하나의 프로세스에 대한 메타데이터 저장소를 말한다.

중요한 정보이기에 일반 사용자가 접근할 수 없도록 커널 스택의 가장 앞부분에서 관리된다.

프로그램 실행 -> 프로세스 생성 -> 프로세스 구조에 따라 주소값이 메모리가 할당 -> 해당 프로세스의 메타데이터는 PCB에 저장.

 

구조

  • 프로세스 ID
  • 프로세스 스케줄링 상태
  • 프로세스 권한
  • 프로그램 카운터
  • CPU 레지스터
  • CPU 스케줄링 정보
  • 계정 정보
  • I/O 상태 정보

 

컨텍스트 스위칭 context switching

컨텍스트 스위칭의 과정 (출처: https://www.crocus.co.kr/1364)

 

문맥 교환이라고도 한다.

PCB를 기반으로 프로세스의 상태를 저장하고 로드하는 과정.

 

CPU는 코어 하나당 단 한 개의 프로세스를 구동할 수 있다.

많은 프로세스가 동시에 구동되는 것처럼 보이는 이유는, 몹시 빠른 속도로 프로세스 간의 컨텍스트 스위칭이 이루어지고 있기 때문이다.

 

컨텍스트 스위칭이 일어날 때 캐시 미스가 발생하면 고스란히 비용이 된다.

작업하고 있지 않는 유휴 시간(idle time)도 비용이다.

 

스레드에서의 컨텍스트 스위칭

후술하겠지만 스레드는 스택 영역을 제외한 나머지 메모리를 공유한다.

따라서 프로세스 단위에서보다, 스레드 단위의 컨텍스트 스위칭이 비용도 적고, 시간도 적게 소요된다.

 

 

3.5 멀티프로세싱

정의

여러 개의 프로세스를 통해 동시에 일을 병렬 수행하는 것. (컨텍스트 스위칭을 통해)

하나의 프로세스에 문제가 발생해도 다른 프로세스를 이용할 수 있어 신뢰성이 높다.

 

IPC (Inter Process Communication)

프로세스끼리 데이터를 주고 받고, 공유 데이터를 관리하는 메커니즘.

클라이언트가 데이터를 요청하고, 서버가 응답하는 것 또한 IPC의 예이다.

 

(스택을 제외한) 메모리가 완전히 공유되는 스레드보다는 속도가 떨어진다.

종류로는 공유 메모리, 파일, 소켓, 익명 파이프, 명명 파이프, 메시지 큐가 있다.

 

공유 메모리 shared memory

여러 프로세스에게 동일한 메모리 블록에 대한 접근 권한을 부여.

매개체를 통하지 않고, 메모리 자체를 공유하기 때문에 오버헤드가 발생하지 않아 IPC 방식 중에서 가장 빠르다.

동기화가 필수적이다. 충돌 방지해야 하니까.

 

파일

디스크에 저장된 데이터 또는 파일 서버에서 제공한 데이터

 

소켓

네트워크 인터페이스를 통해, 동일한 컴퓨터의 다른 프로세스 / 네트워크의 다른 컴퓨터로 전송하는 데이터.

TCP, UDP.

 

익명 파이프 unnamed pipe

익명 파이프 (출처: 면접을 위한 CS 전공지식 노트)

 

프로세스 간에 FIFO 방식으로 읽히는 임시 공간인 파이프를 기반으로 데이터를 주고 받음.

단방향의 읽기 전용, 쓰기 전용 파이프로 작동.

 

명명된 파이프 named pipe

명명된 파이프 (출처: 면접을 위한 CS 전공지식 노트)

 

파이프 서버와 하나 이상의 파이프 클라이언트 간의 통신을 위한 단방향 / 양방향 파이프.

 

이것은 파이프가 아니다 Ceci n'est pas une pipe

르네 마그리트의 작품 (출처: 예스24)

르네 마그리트의 유명한 작품이다.

 

메시지 큐

메시지를 큐로 관리하는 것.

커널에서 전역적으로 관리하므로 다른 IPC 방식에 비해 사용이 직관적이다.

 

공유 메모리의 복잡한 동기화 구현의 대안이 되기도 한다.

 

 

3.6 스레드와 멀티스레딩

프로세스와 멀티스레드 (출처: 면접을 위한 CS 전공지식 노트)

 

스레드

프로세스의 실행 가능한 가장 작은 단위.

프로세스는 여러 개의 스레드를 가질 수 있다.

 

프로세스와 달리 스레드 간에 코드, 데이터, 힙 영역을 공유한다.

 

멀티스레딩

프로세스 내 작업을 여러 개의 스레드로 처리하는 기법.

스레드끼리 자원을 공유하기 때문에 효율성이 높다.

 

한 스레드에 문제가 생기면 다른 스레드에 영향을 끼칠 수도 있다.

독립적으로 실행될 수도 있다.

 

 

3.7 공유 자원과 임계 영역

공유 자원 shared resource

시스템 안에서 각 프로세스, 스레드가 함께 접근할 수 있는 자원이나 변수.

모니터, 프린터, 메모리, 파일, 데이터 등.

 

공유 자원을 두 개 이상의 프로세스가 동시에 읽거나 쓰는 상황을 경쟁 상태(race condition)이라고 함.

 

임계 영역 critical section

경쟁 상태일 때 결과가 달라지는 코드 영역.

없는 게 좋다.

 

해결하기 위한 방법은 뮤텍스, 세마포어, 모니터가 있다.

이들은 다음의 조건을 만족한다.

  • 상호 배제: 한 프로세스가 임계 영역에 들어갔을 때 다른 프로세스는 들어갈 수 없다.
  • 한정 대기: 특정 프로세스가 영원히 임계 영역에 들어가지 못 해서는 안 된다.
  • 융통성: 어떠한 프로세스도 임게 영역을 사용하지 않는다면, 영역 외부의 프로세스가 들어갈 수 있다.

마치 공용 화장실처럼 A가 들어가면 잠그고(Lock), B의 접근을 막는 것과 유사하다.

B는 기다리다가 A가 나오면 이용한다.

 

뮤텍스 mutex

뮤텍스 (출처: 면접을 위한 CS 전공지식 노트)

 

프로세스나 스레드가 공유 자원을 사용할 때 lock()으로 잠금한다.

사용이 종료되면 unlock()으로 잠금을 해제한다.

 

세마포어 semaphore

세마포어 (출처: 면접을 위한 CS 전공지식 노트)

 

정수 값과 두 가지 함수 wait()과 signal()로 공유 자원에 대한 접근을 처리한다.

함수의 실행 타이밍은 뮤텍스와 유사하다.

  • wait: 프로세스나 스레드가 공유 자원에 접근 -> wait() -> 나머지는 기다려
  • signal: 공유 자원 해제 -> signal() -> 다음 프로세스로 순서를 넘겨줌

 

바이너리 세마포어 binary semaphore

0과 1만 가질 수 있는 세마포어.

뮤텍스와 유사하지만 뮤텍스는 잠금 메커니즘을, 바이너리 세마포어는 신호 메커니즘을 기반으로 동작한다는 차이가 있다.

 

카운팅 세마포어 counting semaphore

여러 개의 값을 가질 수 있는 세마포어.

여러 자원에 대한 접근을 제어.

 

모니터 monitor

모니터 (출처: 면접을 위한 CS 전공지식 노트)

둘 이상의 프로세스나 스레드가 안전하게 접근할 수 있도록, 공유 자원을 숨기고 해당 접근에 대해 인터페이스만 제공.

모니터큐를 통해 공유 자원에 대한 작업을 순차 처리.

 

 

 

3.8 교착 상태 deadlock

빵빵 (출처: velog.io/@dltmdrl1244)

 

정의

두 개 이상의 프로세스가 서로가 가진 자원을 기다리며 중단된 상태.

 

원인

  • 상호 배제: 한 프로세스가 자원을 독점. 나머지는 접근 불가.
  • 점유 대기: 특정 프로세스가 점유한 자원을 다른 프로세스가 요청 중인 상태.
  • 비선점
  • 환형 대기: A는 B의 자원을 요구, B는 A의 자원을 요구, ...

 

해결 방법

  1. 자원을 할당할 때 교착상태의 조건이 성립되지 않도록 설계.
  2. 교착 상태 가능성이 없을 때만 자원 할당. 요청 자원의 최대치를 가정하고 할당 여부를 파악 (== 은행원 알고리즘)
  3. 교착 상태가 발생하면 사이클을 찾고, 관련 프로세스를 하나씩 kill
  4. 교착 상태는 매우 드물게 발생. 매우 해결하기 어려움. -> 강제 종료.

 

 

4. CPU 스케줄링 알고리즘

CPU 스케줄링 알고리즘 (출처: 면접을 위한 CS 전공지식 노트)

정의

CPU 스케줄러는 CPU 스케줄링 알고리즘에 따라,

프로세스에서 해야 하는 일을 스레드 단위로 CPU에 할당한다.

 

이 알고리즘은 다음의 목표를 갖는다.

  • CPU 이용률은 높게
  • 주어진 시간에 많은 일을 할 수 있게
  • 준비 큐ready queue에 잇는 프로세스는 적게
  • 응답 시간은 짧게

 

4.1 비선점형

프로세스가 CPU 소유권을 스스로 포기.

강제로 프로세스를 중지하지 않음.

컨텍스트 스위칭으로 인한 오버헤드가 적다.

 

FCFS (First Come, First Served)

먼저 온 것, 먼저 처리.

준비 큐에서 오래 기다리는 현상(convoy effect)가 발생하는 단점.

 

SJF (Shortest Job First)

실행 시간이 가장 짧은 프로세스 먼저 실행.

긴 시간을 갖는 프로세스의 경우 기아starvation 문제가 있다.

 

실행 시간을 미리 알 수 없으므로 과거 실행 시간을 토대로 추측한다.

평균 대기 시간이 가장 짧다.

 

우선순위 or HRN (Highest Response-ratio Next)

기아 문제를 해결하기 위해 오래된 작업일수록 우선 순위를 높이는 방식.

실행 시간이 짧거나, 대기 시간이 길수록 우선 순위가 높아진다.

 

계산식: (대기 시간 + 서비스 시간)  / 서비스 시간

 

 

4.2 선점형

현대 운영체제가 쓰는 방식.

알고리즘에 의해 특정 프로세스에 인터럽트를 발생시켜 강제 중단하고, 다른 프로세스 CPU 할당.

 

라운드 로빈 RR, Round Robin

가장 많이 사용되는 선점형 알고리즘.

특정 시간 단위(time slice, time quantum)를 설정하여,

각 프로세스가 단위 시간 내에 끝나지 않으면 다시 준비 큐의 뒤로 가는 알고리즘.

 

N개의 프로세스가 q의 시간 단위로 동작한다고 했을 때, 반드시 (N - 1) * q 시간 내에 자기 차례가 온다.

q가 커지면 FCFS처럼 동작한다.

q가 작으면 컨텍스트 스위칭이 잦아져 오버헤드가 커진다.

 

로드밸런서에서 트래픽 분산 알고리즘으로도 사용된다.

 

SRF (Shortest Remaing time First)

SJF의 선점형 버전.

 

다단계 큐

다단계 큐 (출처: 면접을 위한 CS 전공지식 노트)

 

우선순위에 따른 여러 개의 준비 큐를 사용한다.

각 큐마다 다른 알고리즘(RR, FCFS, ...)을 적용한다.

 

우선순위가 높은 큐에 있는 프로세스는, 하위 큐의 프로세스에 대하여 절대적인 우선순위를 갖는다.

 

큐 간에는 프로세스 이동이 불가하다.

스케줄링 부담이 적지만 유연성이 떨어진다.

 

다단계 피드백 큐

다단계 피드백 큐 (출처: OS? Oh Yes!)

 

각 단계의 큐마다 서로 다른 CPU 시간 할당량을 갖는다.

우선순위가 높은 큐일수록 할당량이 적다.

 

최초 할당 시간 내에 프로세스를 완료하지 못 하면,
하위 우선순위 큐로 내려간다.

 

상위 큐는 FCFS, 하위 큐는 RR로 동작한다.

 

 

 


참고

면접을 위한 CS 전공지식 노트, 주홍철

'CS > 운영체제' 카테고리의 다른 글

[운영체제] 혼공컴운 50분 강의 요약  (0) 2024.05.01
[운영체제] 용어 사전  (0) 2024.03.05
[운영체제] 32비트, 64비트, x86, x64  (0) 2024.02.05

출처: 컴공생의 다이어리

 

 

목차

  1. 컴퓨터 구조를 알아야 하는 이유
  2. 컴퓨터 구조의 큰 그림
  3. 운영체제란?
  4. 운영체제의 큰 그림
  5. 운영체제를 알아야 하는 이유

컴퓨터 구조를 알아야 하는 이유

왜?

  1. 문제 해결 능력
    1. 컴퓨터를 미지의 대상이 아니라, 분석의 대상으로 바라볼 수 있다.
  2. 성능, 용량, 비용 개선
    1. 실제로 부품 가격이 다르다.
    2. 프로그래밍 언어의 기초 문법으로는 해결할 수 없다.

 

컴퓨터 구조의 큰 그림

컴퓨터 구조 (출처: 유튜브 캡쳐)

 

컴퓨터가 이해하는 두 가지 정보

출처: 유튜브 캡쳐

데이터

  • 숫자, 문자, 이미지, 동영상과 같은 정적인 정보
  • 컴퓨터와 주고 받는 / 컴퓨터 내부에 저장된 정보를 데이터라고 통칭
  • 명령어를 구성하는 재료

명령어

  • `컴퓨터는 결국 명령어를 처리하는 기계`
  • 컴퓨터를 실질적으로 동작시키는 정보

컴퓨터가 이해하는 것

  • 컴퓨터는 이진수로 된 `명령어`만을 이해할 수 있다.
    • 이것을 `머신 코드`라고 부른다.
  • (고수준) 자연어 -> 소스 코드 -> 어셈블리어 -> 머신 코드 (저수준)
    • 소스 코드를 머신 코드로 번역하는 도구는 `컴파일러`이다.
    • 어셈블리어를 머신 코드로 번역하는 도구는 `어셈블러`이다.

 

컴퓨터의 네 가지 핵심 부품

출처: 유튜브 캡쳐

 

 

메모리

출처: 유튜브 캡쳐

 

  • 주기억장치
    • RAM과 ROM이 있다. 일반적으로 RAM을 말한다.
  • 메모리는 실행 중인 프로그램의 `명령어`와 `데이터`를 저장한다.
  • 실행 중인 모든 프로그램은 메모리에 저장되어 있어야 한다.
  • 메모리에 저장된 값의 위치는 주소로 알 수 있다.

 

 

CPU

CPU의 동작 과정 (출처: 유튜브 캡쳐)

 

 

  • 메모리에 저장된 값을 읽어 들이고, 해석하고, 실행하는 장치이다.
  •  
  • 다음의 3가지 부품으로 구성된다.
    • ALU: 계산하는 장치.
    • 레지스터: 임시 저장 장치. CPU 내부의 작은 저장 장치.
    • 제어 장치: 제어 신호를 내보내고, 명령어를 해석하는 장치.
      • 제어 신호: 컴퓨터 부품을 관리하고 작동시키는 전기 신호 (e.g. 메모리 읽기 신호, 메모리 쓰기 신호)

 

 

보조 기억 장치

출처: 유튜브 캡쳐

 

  • 전원이 꺼져도 보관될 프로그램을 저장하는 장치.
  • 주 기억 장치(메모리, RAM)의 문제를 보완한다.
    • 단점 1. 비싸다
    • 단점 2. 전원이 꺼지면 저장된 내용을 잃는다. (휘발성)
  • 보조 기억 장치는 상대적으로 저렴하고, 전원이 꺼져도 내용을 잃지 않는다.
  • 종류로는 HDD, SSD, CD-ROM, SD 카드 등이 있다.

 

 

입출력 장치

출처: 유튜브 캡쳐

 

 

  • 컴퓨터 외부에 연결되어 컴퓨터 내부와 정보를 교환할 수 있는 부품.
  • 종류로는 모니터, 키보드, 마우스, 스피커 등이 있다.

 

 

4가지 부품을 연결하는 장치

출처: 유튜브 캡쳐

 

메인보드 & (시스템) 버스

  • 메인보드에 연결된 부품은 버스를 통해 정보를 주고 받음.
  • 버스는 컴퓨터의 부품끼리 정보를 주고 받는 일종의 통로.
  • 다양한 종류의 버스가 있음.
  • 컴퓨터의 핵심 부품을 연결하는 버스는 시스템 버스.

 

운영체제란?

운영체제 == 정부 of 컴퓨터 (출처: 유튜브 캡쳐)

(시스템) 자원 Resource

  • 프로그램이 실행되기 위해 마땅히 필요한 요소.
  • 컴퓨터의 네 가지 핵심 부품을 포함.

 

운영체제 Operating System

출처: 유튜브 캡쳐

  • 자원을 관리하는 특별한 프로그램.
  • 실행 중인 프로그램(==프로세스)을 관리하는 특별한 프로그램.
  • 운영체제도 '프로그램'이기 때문에 `메모리에 적재`된다.
  • 그러나 특별하기 때문에 사용자 영역이 아닌 `커널 영역에 적재`된다.

 

운영체제의 큰 그림

1. 자원(메모리) 관리

출처: 유튜브 캡쳐

 

  • 새로운 프로세스를 메모리의 적절한 위치에 할당한다.
  • 종료된 프로세스를 메모리에서 제거한다.

 

출처: 유튜브 캡쳐

 

  • 메모리의 물리적인 크기보다 큰 프로세스를 메모리에 적재하여 실행시킨다.
  • 페이징, 스와핑 등의 방법을 사용한다.

 

2. CPU 스케줄링

출처: 유튜브 캡쳐
Window의 작업관리자. 수많은 프로세스가 동시에 실행 중인 것처럼 보인다. (출처: 유튜브 캡쳐)

  • CPU는 프로세스를 실행시키는 유일한 주체이다.
  • CPU는 한 번에 하나의 프로세스만을 실행시킬 수 있다.
  • 따라서 개념적으로 동시에 실행한다는 것은, 실질적으로 매우 빠른 속도로 여러 개의 프로세스를 번갈아서 실행하는 것과 같다.
  • 운영체제는 프로세스가 CPU를 엄격한 규칙에 따라 배정 받을 수 있도록 관리한다.

 

3. 시스템 호출 System call을 통한 자원 보호

 

출처: 유튜브 캡쳐
프로그램은 자원에 직접적으로 접근할 수 없다. 운영체제를 거쳐야 한다. (출처: 유튜브 캡쳐)

  • 운영체제는 경쟁적으로 자원을 점유하고자 하는 프로세스들을 잘 타일러서 규칙대로 관리한다.
    • 이것을 멋진 말로 프로세스 동기화 Process Synchronization 라고 한다.

 

운영체제를 알아야 하는 이유

  • 개발자는 프로그램을 만드는 일을 한다.
    • 프로그램을 이해하기 위해서는 운영체제에 대한 이해가 필수적이다.
  • 오류 메시지에 대해서 깊은 이해를 할 수 있다.
    • 컴퓨터를 미지의 대상이 아닌, 분석의 대상으로 바라 볼 수 있다.

 

 


출처

https://youtu.be/LBqJwmFMQHI?si=NIomPDohCvOSL6dc

 

 

 

 

 

 

출처: 이것이 취업을 위한 코딩테스트다 with 파이썬, 나동빈, 2021

강의: https://youtu.be/aOhhNFTIeFI?si=H13MEVg0QIqqpAvE


서로소 집합 자료구조 Union-Find

서로소 집합 정의

출처: 유튜브 캡쳐

서로소 집합이란 공통 원소가 없는 두 집합을 의미한다.

 

서로소 집합 자료구조

서로소 부분 집합들로 나누어진 원소를 처리하기 위한 자료구조.

 

두 종류의 연산을 지원한다.

  • 합집합(Union): 두 개의 원소가 포함된 집합을 하나의 집합으로 합치는 연산
  • 찾기(Find): 특정한 원소가 속한 집합(루트 노드)을 찾는 연산

이것을 `Union-Find 자료구조`라고도 부른다.

 

동작 과정

  1. `Union 연산`으로, 노드 A와 노드 B를 연결한다.
    1. A와 B의 루트 노드 A'과 B'을 각각 찾는다. `Find 연산`
    2. A'를 B'의 부모 노드로 설정한다. (노드 번호가 작은 것이 부모가 되도록)
  2. 입력된 모든 Union 연산을 처리할 때까지 1번의 과정을 반복한다.

 

연결성

좌: Union-Find 수행 이후 서로소 관계를 파악 가능 / 우: 부모 노드(!= 루트 노드)만을 저장한다.

 

  1. 서로소 집합 자료구조에서는 손쉽게 집합의 형태로 연결 여부를 확인할 수 있다.
  2. 기본적인 형태의 서로소 집합 자료구조에서는 루트 노드에 즉시 접근할 수 없다.
    1. 오른쪽 그림의 예시에서는, 노드 3의 루트를 찾기 위해서 노드 2 -> 노드 1 순서로 접근해야 한다.

 

구현: 기본적인 형태

# 특정 원소가 속한 집합 찾기
def find_parent(parent, x):
    if parent != x:
        return find_parent(parent, parent[x]) # 루트 찾을 때까지 재귀 호출
    return x
    
# 두 원소가 속한 집합을 합치기
def union_parent(parent, a, b):
    a = find_parent(parent, a)
    b = find_parent(parent, b)
    if a < b:
        parent[b] = a
    else:
        parent[a] = b
        
# 일반적인 문제 형태 ...
# 노드 개수와 간선(Union 연산)의 개수 입력 받기
v, e = map(int, input().split())
parent = [0] * (v + 1)

# 부모 테이블을 자기 자신으로 초기화
for i in range(1, v + 1):
    parent[i] = i

# Union 연산
for i in range(e):
    a, b = map(int, input().split())
    union_parent(parent, a, b)

# 각 원소가 속한 집합(루트 노드) 출력하기
for i in range(1, v + 1):
    print(find_parent(parent, i))

 

 

기본적인 구현 방법의 문제점

출처: 유튜브 캡쳐

 

Union 연산이 편향되게 이루어 지는 경우 Find 연산이 비효율적으로 동작한다.

최악의 경우 Find 연산이 모든 노드를 다 확인해야 하므로 시간 복잡도가 O(V)이다.

이것을 개선하기 위해 `경로 압축`이 필요하다.

 

구현: 경로 압축

Find 연산을 최적화하기 위한 방법으로 경로 압축(Path Compression)을 이용할 수 있다.

Find 함수를 재귀적으로 호출한 뒤에, 부모 테이블 값을 바로 갱신한다.

def find_parent(parent, x):
    if parent != x:
        parent[x] = find_parent(parent, parent[x]) # 부모 테이블을 즉시 갱신
    return parent[x]

 

경로 압축 기법을 적용하면 부모 노드 테이블이 루트 노드를 가리킨다.

 

경로 압축의 과정에서, 각 Find 연산이 수행될 떄마다 경로 상의 모든 노드를 루트로 직접 연결하면서 트리의 높이를 평탄화한다.

(이때 부모 노드는 곧 루트 노드이다.)

 

경로 압축을 적용했을 때 Union-Find 연산의 시간 복잡도는 `O(α(N))`이다.

`α(x)`는 애커만 함수의 역함수이다.

애커만 함수는 재귀 함수의 일종으로 입력 값이 작더라도 매우 빠르게 증가한다.

반대로 역 애커만 함수는 x가 2^65536 일때 그 값이 4 ~ 5 정도이다. 거의 상수 시간이라고 할 수 있다.

 

아래 링크에 Union-Find 알고리즘의 형태별 시간 복잡도가 자세히 소개되어 있다.

https://velog.io/@nmrhtn7898/Union-Find

 

 

 

서로소 집합을 활용한 사이클 판별

트리 VS 그래프

출처: GeeksforGeeks

  그래프 트리
정의 노드와 간선의 집합. 그래프의 종류. 방향성이 있는 비순환 그래프.
방향성 방향 / 무방향 방향
사이클 순환 / 비순환 비순환
루트 X O
부모-자식 X O
간선 수 최대: 무방향: n(n-1)/2, 방향 n(n-1) 노드가 n개 일때, 간선은 n-1개.
경로 두 노드간 여러 가지 경로 가능. 두 노드 간 유일한 경로
용도 네트워크, 경로 찾기 계층적 구조. 조직도.

 

 

정의

서로소 집합은 무방향 그래프(DAG) 내에서 사이클을 판별할 때 사용할 수 있다.

(방향 그래프에서의 사이클 여부는 DFS로 판별 가능)

 

동작 과정

  1. 각 간선을 확인하면서 두 노드의 루트 노드를 확인.
    1. 루트 노드가 서로 다르다면 두 노드 Union 연산 수행.
    2. 루트 노드가 서로 같다면 Cycle 발생. 탐색 종료.
  2. 그래프에 포함된 모든 간선에 대하여 1번 과정 반복

 

구현

# 특정 원소가 속한 집합 찾기
def find_parent(parent, x):
    if parent != x:
        return find_parent(parent, parent[x]) # 루트 찾을 때까지 재귀 호출
    return x
    
# 두 원소가 속한 집합을 합치기
def union_parent(parent, a, b):
    a = find_parent(parent, a)
    b = find_parent(parent, b)
    if a < b:
        parent[b] = a
    else:
        parent[a] = b
        
# 일반적인 문제 형태 ...
# 노드 개수와 간선(Union 연산)의 개수 입력 받기
v, e = map(int, input().split())
parent = [0] * (v + 1)

# 부모 테이블을 자기 자신으로 초기화
for i in range(1, v + 1):
    parent[i] = i

cycle = False # 사이클 발생 여부

for i in range(e):
    a, b = map(int, input().split())
    if find_parent(parent, a) == find_parent(parent, b):
        cycle = True
        break
    else:
        union_parent(parent, a, b)

if cycle:
    print("사이클 발생")
else:
    print("사이클 발생하지 않음")

 

 

 

신장 트리 Spanning Tree

출처: 유튜브 캡쳐

정의

모든 노드를 포함하면서 사이클이 존재하지 않는 부분 그래프

 

최소 신장 트리 MST, Minimum Spanning Tree

출처: 유튜브 캡쳐

최소한의 비용으로 구성되는 신장 트리

 

 

크루스칼 알고리즘 Kruskal Algorithm

출처: 위키피디아

정의

최소한의 비용으로 만들 수 있는 최소 신장 트리를 찾는 알고리즘.

대표적인 최소 신장 트리 알고리즘.

그리디 알고리즘으로 분류.

 

동작 과정

  1. 간선 데이터를 비용에 따라 오름차순으로 정렬
  2. 간선을 하나씩 확인하며 현재 간선이 사이클을 발생시키는지 확인
    1. 사이클이 발생하지 않는 경우, 최소 신장 트리에 포함
    2. 사이클이 발생하는 경우, 최소 신장 트리에 포함하지 않음
  3. 모든 간선에 대하여 2번의 과정을 반복

 

구현

def find_parent(parent, x):
    if parent[x] != x:
        parent[x] = find_parent(parent, parent[x])
    return parent[x]

def union_parent(parent, a, b):
    a = find_parent(parent, a)
    b = find_parent(parent, b)
    
    if a < b:
        parent[b] = a
    else:
        parent[a] = b

v, e = map(int, input().split())
parent = [0] * (v + 1)

edges = [] # 모든 간선을 담을 리스트
result = 0 # 최종 비용

for i in range(1, v + 1):
    parent[i] = i

for _ in range(e):
    a, b, cost = map(int, input().split())
    edges,append((cost, a, b))

edges.sort() # 간선을 비용 순으로 정렬

for edge in edges:
    cost, a, b = edge
    if find_parent(parent, a) != find_parent(parent, b): # 사이클이 발생하지 않는 경우 집합에 포함
        union_parent(parent, a, b)
        result += cost # 비용 더하기
        
print(result)

 

 

특징

간선의 개수가 E개일 때 `O(ElogE)`의 시간 복잡도를 갖는다.

가장 많은 시간을 요구하는 곳은 간선을 정렬하는 부분이다.

 

 

위상 정렬 Topological Sorting

출처: tutorialhorizon

정의

사이클이 없는 방향 그래프(DAG)의 모든 노드를 방향성에 거스르지 않도록 순서대로 나열.

순서가 정해져 있는 작업을 차례대로 수행해야 할 때, 그 순서를 결정하는 알고리즘이다.

예컨대, 라면을 끓이려면 물이 먼저 끓어야 한다. 특정 과목을 수강하려면 선수 과목을 수강해야 한다.

 

진입차수와 진출차수

출처: 유튜브 캡쳐

진입차수: 특정한 노드로 들어오는 간선의 개수

진출차수: 특정한 노드에서 나가는 간선의 개수

 

동작 과정: 큐 (진입 차수)

  1. 진입차수가 0인 모든 노드를 큐에 넣는다.
  2. 큐가 텅 빌 때까지 다음의 과정을 반복한다.
    1. 큐에서 원소를 꺼내 해당 노드에서 나가는 간선을 그래프에서 제거한다.
    2. 새롭게 진입차수가 0이 된 노드를 큐에 넣는다.
  3. 결과적으로 각 노드가 큐에 들어온 순서가, 위상 정렬을 수행한 결과와 같다.

 

구현: 큐

from collections import deque

v, e = map(int, input().split())
indegree = [0] * (v + 1) # 모든 노드에 대한 진입차수는 0으로 초기화
graph = [[] for i in range(v + 1)] # 간선 정보를 담을 리스트

for _ in range(e):
    a, b = map(int, input().split())
    graph[a].append(b) # 노드 A에서 B로 이동 가능
    indegree[b] += 1

def queue_topological_sort():
    result = []
    q = deque()
    
    for i in range(1, v + 1):
        if indegree[i] == 0: # 진입차수가 0인 노드를 큐에 삽입
            q.append(i)

    while q:
        now = q.popleft()
        result.append(now)
        
        for i in graph[now]:
            indegree[i] -= 1 # 현재 노드와 연결된 노드의 진입 차수 1 빼기
            if indegree[i] == 0: # 새롭게 진입 차수 0이 된 노드 큐에 삽입
                q.append(i)

    for i in result:
        print(i, end=" ")

topological_sort()

 

 

동작 과정: 스택 (진출 차수)

  1. 방문하지 않은 임의의 노드에서 출발한다.
  2. DFS를 수행하며 방문하는 노드를 스택에 담는다.
  3. 모든 정점을 방문할 때까지 1번을 반복한다.
  4. 모든 정점을 방문했다면 스택에 담긴 정점을 출력한다.

DFS는 깊이 우선 탐색이라는 사실을 떠올려보자.

하나의 노드에서 DFS를 수행하면 결국 리프 노드까지 내려갈 것이다.

리프 노드는 진출 차수가 0이다.

즉, 가장 마지막에 수행되어야 하는 작업이다.

 

가장 깊은 리프 노드가 스택에 먼저 담기고,

루트 노드가 가장 나중에 스택 최상단에 담길 것이다.

LIFO 형태의 스택을 차례대로 출력하면 위상 정렬의 결과와 같다.

 

임의의 노드를 선택해도 상관이 없는 이유는,

DFS는 선택한 노드보다 늦게 수행되어야 할 노드(더 깊은 노드)만 방문하는 원리이다.

 

탐색 중인 그래프가 DAG인지 확인하기 위해 사이클 유무를 판단할 수 있어야 한다.

방문 처리된 노드를 DFS 호출 과정에서 만나면 사이클이 존재한다는 뜻이다.

 

구현: 스택

v, e = map(int, input().split())
graph = [[] for i in range(v + 1)] # 간선 정보를 담을 리스트
visited = [False] * (v + 1) # 방문 처리
stack = []

for _ in range(e):
    a, b = map(int, input().split())
    graph[a].append(b) # 노드 A에서 B로 이동 가능

def dfs(v):
	visited[v] = True
    
    for next in graph[v]:
    if not visited[next]:
        dfs(next)
    
    stack.append(v)

def stack_topological_sort():
    for i in range(1, v + 1):
        if not visited[i]:
            dfs(i)

    while stack:
        print(stack.pop(), end=" ")
        
stack_topological_sort()

 

위상 정렬 특징

시간 복잡도는 `O(V + E)`이다.

차례대로 모든 노드를 확인하며, 각 노드에서 나가는 간선을 차례대로 제거해야 한다.

 

위상 정렬은 DAG(Direct Acyclic Grpah, 방향이 있는 비순환 그래프)에 대해서만 수행 가능하다.

 

여러 가지 답이 존재할 수 있다.

같은 단계에 큐에 삽입되는 노드가 여러 개 있다면, 그들의 순서는 상관 없다.

 

모든 원소를 방문하기 전에 큐가 빈다면 사이클이 존재한다고 판단할 수 있다.

사이클에 포함된 원소 중 어떤 원소도 큐에 삽입될 수 없다.

 

스택을 활용한 DFS로 위상 정렬을 수행할 수 있다.

 

 

 

 

 

 


참고

https://bigsong.tistory.com/33

https://velog.io/@nmrhtn7898/Union-Find

https://sorjfkrh5078.tistory.com/36

 

 

출처: 이것이 취업을 위한 코딩테스트다 with 파이썬, 나동빈, 2021

강의: https://youtu.be/acqm9mM1P6o?si=paoazc7Qx2lqr39R


최단 경로 알고리즘

가장 짧은 경로를 찾는 알고리즘.

 

다양한 문제 상황이 있다.

  1. 한 지점에서 다른 한 지점까지의 최단 경로
  2. 한 지점에서 다른 모든 지점까지의 최단 경로
  3. 모든 지점에서 다른 모든 지점까지의 최단 경로

각 지점은 그래프에서 노드로 표현한다.

지점 간 연결 도로는 그래프에서 간선으로 표현한다.

 

다익스트라 Dijkstra

출처: GeeksforGeeks

요약

특정 노드에서 다른 모든 노드로 가는 최단 경로를 계산.

음의 간선이 없는, 현실 세계의 도로에서 정상적으로 동작.

 

그리디 알고리즘으로 분류.

매 상황에서 가장 비용이 적은 노드를 선택하여 과정을 반복하기 때문.

 

동작 과정

  1. 출발 노드를 설정
  2. 최단 거리 테이블을 최댓값(예컨대 INF)으로 초기화 (각 노드에 대한 현재까지의 최단 거리 정보를 갖고 있음)
  3. 방문하지 않은 노드 중에서 최단 거리가 가장 짧은 노드를 선택
  4. 3번에서 선택한 노드를 거쳐, 다른 노드로 가는 비용을 계산하여 최단 거리 테이블 갱신
  5. 모든 노드를 방문할 때까지 3번과 4번을 반복

구현1. 기본적인 다익스트라

INF = int(1e9) # 무한의 거리를 나타내기 위해 10억을 설정

n, m = map(int, input().split())
start = int(input()) # 시작 노드
graph = [[] for _ in range(n+1)] # 연결 정보 담는 리스트
visited = [False] * (n+1) # 방문 체크 리스트
distance = [INF] * (n+1) # 시작 노드부터 특정 노드까지의 최단 거리 테이블. INF로 초기화.

for _ in range(m): # 모든 간선 정보 입력
    a, b, c = map(int, input().split()) # a번 노드 -> b번 노드 (비용 c)
    graph[a].append((b, c))
    
def get_smallest_node(): # 방문하지 않은 노드 중, 최단 거리가 최소인 노드 반환
    min_value = INF
    index = 0 # 최단 거리가 최소인 노드의 인덱스
    for i in range(1, n+1):
        if distance[i] < min_value and not visited[i]: # 현재 노드의 최단 거리보다 짧고 && 방문하지 않음
            min_value = distance[i]
            index = i
    
    return index
    
def dijkstra(start):
    distance[start] = 0 # 시작 노드부터 시작 노드까지의 최단 거리는 0으로 갱신
    visited[start] = True # 방문 처리
    
    for adjacent_node_of_start in graph[start]: # 시작 노드와 인접한 노드의 최단 거리 갱신
        distance[adjacent_node_of_start[0]] = adjacent_node_of_start[1]
        
    for i in range(n-1): # n-1인 이유. 시작 노드X. 마지막 노드X
        now = get_smallest_node() # 방문하지 않은 노드 중 최단 거리가 가장 짧은 노드
        visited[now] = True # 방문 처리
        
        for adjacent_node in graph[now]: # 선택한 노드와 인접한 노드 확인
            cost = distance[now] + adjacent_node[1] # 시작~선택 + 선택~인접
            if cost < distance[adjacent_node[0]]: # cost가 시작~인접보다 작을 경우 갱신
                distance[adjacent_node[0]] = cost
                
dijkstra(start)

for i in range(1, n+1):
    if distance[i] == INF:
        print("도달할 수 없는 신기루")
    else:
        print(distance[i])

 

1번 방법의 특징

O(V)번에 걸쳐서 get_smallest_node()를 호출하여, 매번 선형 탐색을 해야 한다.

따라서 전체 시간 복잡도는 O(V^2)이다.

 

python은 대략 1초에 20,000,000 연산이 가능하므로 노드 개수가 5,000 개면 간당간당하다.

우선순위 큐를 이용하여 개선이 필요하다.

 

잠시 자료 구조의 바다에 빠져보자.

풍덩 ~


우선순위 큐 Priority Queue

우선 순위가 가장 높은 데이터를 가장 먼저 삭제하는 자료 구조.

 

python은 표준 라이브러리 형태로 지원한다.

나의 이데아 swift는 지원하지 않는다. 함부로 다가갈 수 없는 매력이 있다.

우선순위 큐 구현 방식 삽입 시간 삭제 시간
리스트 O(1) O(N)
O(logN) O(logN)

 

힙 Heap

우선순위 큐를 구현하기 위해 필요한 자료 구조이다.

최소 힙(Min Heap)과 최대 힙(Max Heap)이 있다.

 

완전 이진 트리(complete binary tree)의 일종.

힙은 느슨한 정렬 상태를 유지한다.

부모 노드의 key(노드가 저장하는 값)가 자식 노드의 key보다 항상 작은-최소 힙(큰-최대 힙) 상태의 이진 트리.

 

이진 트리 binary tree

이진 트리의 종류 (출처: tutorialcup)
출처:&nbsp;velog.io/@dlgosla

 

모든 노드가 둘 이하(0, 1, 2)의 자식을 가진 트리이다.

위 그림과 같이 다양한 종류가 있다.


 

많은 자료 구조를 만나고 왔다.

 

이진 트리 -> 완전 이진 트리 -> 힙 -> 우선 순위 큐 -> 개선된 다익스트라 알고리즘.

이렇듯 여러 단계를 거쳐 다익스트라를 개선시킬 수 있다.

 

핵심은 단계마다 방문하지 않은 노드 중에서, 시작 노드로부터 최단 거리가 가장 짧은 노드를 선택하기 위해 힙을 사용하는 것이다.

 

구현2. 개선된 다익스트라

import heapq

INF = int(1e9)

n, m = map(int, input().split())
start = int(input())
graph = [[] for i in range(n+1)]
distance = [INF] * (n+1)
# 방문 처리 배열을 만들지 않는다. 단계마다 순차 탐색하는 것이 아니라 우선순위 큐에서 pop()하므로.

for _ in range(m):
    a, b, c = map(int, input().split())
    graph[a].append((b, c))
    
def dijkstra(start):
    q = []
    heapq.heappush(q, (0, start)) # 시작 노드 -> 시작 노드의 최단 거리는 0으로 갱신. 큐에 삽입.
    distance[start] = 0
    
    while q: # 큐가 텅텅 빌 때까지 반복
        dist, now = heapq.heappop() # 최단 거리(dist)를 기준으로 우선순위 큐에서 bubble pop

        if distance[now] < dist: # distance[now] == 현재까지 확정된 최소 거리, dist == 현재 탐색에서 최소 거리
            continue # 확정된 최소 거리가 더 짧으면, 이미 방문한 셈 치고 continue
        
        for adjacent_node in graph[now]:
            cost = dist + adjacent_node[1] # 현재 탐색에서, 탐색 중인 노드의 최소 거리 + 인접 노드의 최소 거리
            if cost < distance[adjacent_node[0]]: # cost가 인접 노드의 확정된 최소 거리보다 짧다면 갱신
                distance[adjacent_node[0]] = cost
                heapq.heappush(q, (cost, adjacent_node[0]])

dijkstra(start)

for i in ragne(1, n+1):
    if distance[i] == INF:
        print("영영 닿을 수 없음")
    else:
        print(distance[i])

 

개선된 방법의 특징

시간 복잡도는 O(ElogV)이다.

E는 Edge(간선), V는 Vertex(정점, 노드).

 

모든 노드를 검사하는 while문은 간선의 개수 E에 따라 실행 횟수가 결정된다.

왜 why? 간선의 개수만큼 큐에 넣으니까.

 

전체 과정은 E개의 원소를 우선순위 큐에 넣었다가 모두 빼내는 연산(O(logN))과 유사하다.

E개의 원소에 대하여 O(logE)의 연산을 수행한다.

즉, 시간 복잡도는 O(ElogE)이다.

 

동시에 이것은 O(ElogV)와 같다.

왜 why? 실제 그래프에서 모든 노드가 서로 연결되어 있다면, 최대 간선 수는 V*(V-1)/2이다.

따라서 다음의 식이 성립한다.

O(ElogE) -> O(ElogV^2) -> O(2ElogV) -> O(ElogV)

 

 

플로이드-워셜 Floyd-Warshall

플로이드 워셜. 단순 연결 관계로 초기화한 상태. (출처: 유튜브 캡처)

요약

모든 노드에서 다른 모든 노드로 가는 최단 경로를 모두 계산.

 

다익스트라와 마찬가지로 단계별로 거쳐 가는 노드를 기준으로 알고리즘을 수행.

단, 단계마다 방문하지 않는 노드 중 최단 거리 노드를 찾는 과정은 필요X (다익스트라에서 get_smallest_noe()로 수행했던 그것)

 

2차원 테이블에 최단 거리 정보를 저장.

다이나믹 프로그래밍 유형에 속함.

 

동작 과정

  1. 2차원 최단 거리 테이블을 최댓값(예컨대 INF)으로 초기화
  2. 각 단계마다 특정한 노드 k를 거쳐가는 경우를 확인
    1.  a -> b 최단 거리보다, a -> k  + k -> b가 더 짧은지 검사
    2. 점화식(D는 거리): Dab = min(Dab, Dak + Dkb)
  3. 모든 노드를 방문할 때까지 2번을 반복

구현: 플로이드 워셜

INF = int(1e9)

n, m = map(int, input().split()) # n은 노드의 개수, m은 간선의 개수
graph = [[INF] * (n + 1) for _ in range(n + 1)] # 최단 거리 정보를 저장할 2차원 리스트 INF로 초기화

for a in range(1, n+1): # 자기 자신에서 자기 자신으로 가는 비용은 0으로 초기화
    for b in range(1, n+1):
        if a == b:
            graph[a][b] = 0
            
for _ in range(m): # 각 간선에 대한 정보를 입력 받아, 최단 거리 테이블 갱신
    a, b, c = map(int, input().split())
    graph[a][b] = c # a에서 b로 가는 비용을 c라고 설정
    
for k in range(1, n+1): # 점화식에 따라 플-워 수행
    for a in range(1, n+1):
        for b in range(1, n+1):
            graph[a][b] = min(graph[a][b], graph[a][k] + graph[k][b])

for a in range(1, n+1):
    for b in range(1, n+1):
        if graph[a][b] == INF:
            print("INFINITY", end = " ")
        else:
            print(graph[a][b], end = " ")
    print()

 

플로이드 워셜의 특징

노드의 개수가 N개일 때 알고리즘을 N번 수행한다.

각 단계마다 O(N^2)의 연산을 통해, 현재 선택된 노드를 거쳐 가는 모든 경로를 고려한다.

 

따라서 플로이드 워셜 알고리즘의 총 시간 복잡도는 O(N^3)이다.

출처: 이것이 취업을 위한 코딩테스트다 with 파이썬, 나동빈, 2021

강의: https://youtu.be/5Lu34WIx2Us?si=OJpwTfcdclJ1HMaq


다이나믹 프로그래밍 Dynamic Programming

chatGPT가 생각하는 다이나믹 프로그래밍. -2는 뭘까.

 

요약

다이나믹 프로그래밍(DP)은 동적 계획법이라고도 부른다.

메모리를 사용하여, 처리 시간을 단축하는 방법이다. 이를 메모이제이션(Memoization)이라고 한다.

 

조건

  1. 최적 부분 구조 (Optimal Substructure)
    - 큰 문제를 작은 문제로 나눌 수 있다. 작은 문제의 답을 모아서 큰 문제를 해결할 수 있다.
  2. 중복되는 부분 문제 (Overlapping Subproblem)
    - 동일한 작은 문제를 반복적으로 사용하여 해결해야 한다.

접근 방식

  • 하향식(Top-Down): 큰 문제로 시작하여, 풀리지 않는 작은 문제를 만나면 재귀적으로 해결.
  • 상향식(Bottom-Up ): 작은 문제를 모아서 큰 문제를 해결하는 방식.

Top-Down 접근 방식을 메모이제이션(Memoization)이라고도 부른다.

계산 결과를 메모리에 저장하여 중복 계산을 방지한다.

주로 재귀 함수를 반복적으로 호출하여 문제를 해결한다.

 

Bottom-Up 접근 방식은 타뷸레이션(Tabulation)이라고 한다.

테이블에 기록한다는 느낌.

주로 반복문으로 구현한다.

따라서 재귀 호출에 따른 오버헤드 혹은 스택 오버플로우 위험이 없다.

 

기본적으로 Bottom-Up으로 접근하는 것이 더 직관적이다.

일단 그렇게 하고, 막히면 Top-Down으로 풀이하자.

 

DP인지 어떻게 판단?

가장 중요한 문제이다.

  1. 주어진 입력값의 범위가 너무 크면 의심해본다.
  2. 완탐, 그리디로 풀리지 않으면 의심해본다.
  3. 상술된 조건을 이용한다. (quick sort가 왜 DP가 아닌지 떠올리면 더 좋다. 최적 부분 구조는 맞지만, 중복되는 부분 문제는 없다.)

피보나치 수열을 DP로 구현

피보나치 수열의 구조. (출처: 유튜브 캡쳐)

 

피보나치 수열이 뭔지는 생략하지 않지 않지 않겠다.

 

1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, ...

An = An-1 + An-2의 규칙을 반복하는 수열이다.

 

그림과 같은 방식으로 풀이하면, 중복 계산이 발생하여 지수 시간복잡도를 갖는다.

그래서 DP로 풀이하기 딱 좋은 유형이다.

 

f(6)을 구하기 위해, 작은 문제로 나눌 수 있다. 작은 문제를 합치면 f(6)을 구할 수 있다. (최적 부분 구조)

f(2)와 같이 작은 문제가 중복 계산되고 있다. (중복되는 부분 문제)

 

햐향식 Top-Down 접근

dp = [0] * 100 # 계산된 결과를 메모이제이션 하기 위한 리스트

def fibo(x):
    if x == 1 or x == 2:
        return 1
        
    if dp[x] != 0: # 이미 계산된 결과는 즉시 return. 중복 계산 방지. 상수 시간 소요.
        return dp[x]

    dp[x] = fibo(x - 1) + fibo(x - 2) # 새로운 문제는 재귀적으로 구함.
    return dp[x]

print(fibo(10)) # 55

상향식 Bottom-Up 접근

# 엥 이것도 메모이제이션 아니에요? 
# 동의하는 부분.. 다만 탑다운에서 이미 계산된 결과는 즉시 반환하는 등 명시적으로 다루고 있어서 구분 짓나 보다.
dp = [0] * 100

d[1] = 1
d[2] = 1

for i in range(3, n + 1):
    dp[i] = dp[i - 1] + dp[i - 2]

print(dp[10]) # 55

 

예제 1. 개미 전사

# DP인지 판단
# 최적 부분 구조가 가능한가?
    # 특정 구간의 최대 조합이 있을 것이다. 그것은 구간을 확장해도 조합이 바뀌지 않을 것이다.
# 중복되는 부분 문제가 있는가?
    # 특정 구간의 조합이 다음 구간에 영향을 주므로 (1칸 이상 떨어져야 함) 중복되는 문제가 있다고 보아야 한다.

# 메모이제이션 - 탑 다운으로 풀이해보자
# 배열의 크기가 1일 때는? a1
# 2일 때는? max(S1, a2)
# 3일 때는? max(S2, S1 + a3)
# 4일 때는? max(S3, S2 + a4)
# 5일 때는? max(S4, S3 + a5)
# 6일 때는? max(S5, S4 + a6)
# n일 때는? max(Sn-1, Sn-2 + an)
# S1 = arr[0]
# S2 = max(arr[1], arr[0])
# Sn = max(Sn-1, Sn-2 + an)

n = int(input())
arr = list(map(int, input().split()))
dp = [0] * 10
dp[0] = arr[0]
dp[1] = max(arr[0], arr[1])

def get_food(n):

    if dp[n] != 0:
        return dp[n]
    
    dp[n] = max(dp[n - 1], dp[n - 2] + arr[n])

    return dp[n]

print(get_food(n - 1))
print(dp)

예제 2. 1로 만들기

# 최적 부분 구조
    # 맞다. 특정 수를 만드는 최소 연산 회수는 정해져 있다.
# 중복되는 부분 문제
    # 맞다. 특정 수까지의 최소 연산 회수가 정해져 있으므로, 계산 과정에서 반복적으로 사용한다.

# 조건
# 5로 나눈다.
# 3으로 나눈다.
# 2로 나눈다.
# 1로 뺸다.

# 풀이
# 항상 큰 수로 나누는 것이 유리한가?
# 그렇지만, 순서의 차이는 있다. 16의 경우 16 -> 15 -> 3 -> 1 (3번) / 16 -> 8 -> 4 -> 2 -> 1 (4번)). 그리디처럼 풀이하는 것은 아니다.
# 반대로 1부터 dp 테이블 해당 인덱스를 구하기 위한 최소 연산 회수로 채워가는 것은 어떤가?
# [0, 1, 2, 3, 4, 5, 6, 7, ...]
# [0, 0, 1, 1, 2, 1, 2, 3, ...]

# 7을 살펴보자. 다음과 같은 방법으로 만들 수 있다.
# 6 + 1
# 6을 살펴보자.
# 5 + 1, 3 * 2, 2 * 3
# 10을 살펴보자.
# 9 + 1, 5 * 2, 2 * 5
# Sn = min(Sn-1 + 1, Sn//5 + 1, Sn//3 + 1, Sn//2 + 1)이다.
# if n이 어떤 수로 나누어 떨어지느냐에 따라 if 조건문으로 나누면 풀이할 수 있을 것이다.

# n = 1 return 1
# n = 2 return 1
# n = 3 return 1
# n = 5 return 1

# if n % 5 == 0
    # min(Sn-1 + 1, Sn//5 + 1)
# elif n % 3 == 0
    # min(Sn-1 + 1, Sn//3 + 1)
# elif n % 2 == 0
    # min(Sn-1 + 1, Sn//2 + 1)
# else
    # Sn-1 + 1

n = int(input())

dp = [0] * 30001
dp[0] = 0
dp[1] = 0
dp[2] = 1
dp[3] = 1
dp[5] = 1

for i in range(4, n + 1):
    dp[i] = dp[i-1] + 1
    if i % 5 == 0:
        dp[i] = min(dp[i], dp[i//5] + 1)
    if i % 3 == 0:
        dp[i] = min(dp[i], dp[i//3] + 1)
    if i % 2 == 0:
        dp[i] = min(dp[i], dp[i//2] + 1)

print(dp[n])

 

예제 3. 효율적인 화폐 구성

# 최적 부분 구조
    # 맞다. 특정 값을 구성하기 위한 최소 화폐 개수는 정해져 있다.
# 중복되는 부분 문제
    # 해당 구조가 여러 번 반복된다.


# 풀이
# 무조건 고액 화폐를 많이 사용하는 것이 옳은가?
# 그렇지 않다. 700을 고려해보자. 300 + 300 + ...? / 300 + 200 + 200
# 1로 만들기 문제처럼, 100부터 목표 값까지 최소 화폐 개수를 채워나가보자.
# coins = [200, 300]
# [100, 200, 300, 400, 500, 600, 700, 800, 900, 1000]
# [  0,   1,   1,   2,   2,   2,   3,   3,   3,    4]
# 쉬운 듯?
# min(Sn-300 + 1, Sn-200 + 1)

# if 조건문으로 모든 케이스를 검증하며 풀이해보자. 아니다. 조건문조차 필요가 없다.
# dp = [0] * 10001

# for coin in coins:
# dp[coin] = 1

# for i in range(min(coins), m + 1)
    # for coin in coins:
        # if i > coin:
            # dp[i] = min(dp[i], dp[i - coin] + 1)

# -1 if dp[m] == 1 else dp[m]


n, m = map(int, input().split())
coins = [int(input()) for _ in range(n)]

dp = [10001] * (m + 1)
dp[0] = 0

for i in range(n): # 화폐 단위
    for j in range(coins[i], m+1): # 목표 금액
        if dp[j - coins[i]] != 10001:
            dp[j] = min(dp[j], dp[j-coins[i]] + 1)

if dp[m] == 10001:
    print(-1)
else:
    print(dp[m])

 

예제 4. 금광

# 최적 부분 구조
    # 맞다. 전체의 문제를 한 열씩 나눠서 판단할 수 있다. 
    # 특정 구간 최적 경로는 전체 구간에서 봐도 그렇다.
# 중복되는 부분 문제
    # 하나의 최적 경로를 구하는 문제이므로, 같은 구간이 중복되어 계산된다.

# 풀이
# 무작정 3방향 중 최대값을 선택하면 되는가?
# 안 된다. 그건 그리디이다. 이동 범위 밖에 있는 최적 경로가 존재할 수 있다.

# 전체 행에서 최대값을 선택하는 것도 불가능하다. 이동이 불가능할 수도 있으므로.

# 2차원 배열을 탐색하며 이전 3방향의 최대값을 더해주는 방식으로 배열을 갱신해야겠다.
# 현재 인덱스의 값은, 이전 3방향 값 중 최대값을 더한 값이다.
# 즉, 다음과 같다.
# dp[i][j] = dp[i - 1][j] +  matrix[i][j-1]
# if i > 0:
# dp[i][j] = max(dp[i][j], dp[i-1][j-1] + matrix[i][j])
# if i + 1 < n 
# dp[i][j] = max(dp[i][j], dp[i+1][j-1] + matrix[i][j])


tc = int(input())

for k in range(tc):
    n, m = map(int, input().split())
    arr = list(map(int, input().split()))

    matrix = []
    for i in range(0, len(arr), m):
        matrix.append(arr[i : i + m])

    dp = [[0] * m for _ in range(n)]
    for i in range(n):
        dp[i][0] = matrix[i][0]

    for j in range(1, m):
        for i in range(n):
            if i == 0:
                left_up = 0
            else:
                left_up = dp[i - 1][j - 1]
            
            if i == n - 1:
                left_down = 0
            else:
                left_down = dp[i + 1][j - 1]
            
            left = dp[i][j - 1]
            dp[i][j] = matrix[i][j] + max(left_up, left, left_down) # 2차원 탐색 문제는 이렇게

    result = 0
    for i in range(n):
        result = max(result, dp[i][m-1])
    
    print(result)

 

 

예제 5. 병사 배치하기

# 최적 부분 구조
    # 나눠서 풀 수 있는가?
    # 연속되는 구간 별로 나눠서 특정 병사를 제외했을 때, 그것이 최선이 되는가?
    # 직관적으로 생각나지는 않지만, 딱히 반례가 떠오르는 것도 아니다.

# 중복되는 부분 문제
    # 하나의 최적 배열을 구하는 것이므로, 부분 문제가 중복된다고 할 수 있다.

# 풀이
# 최장 연속 부분 수열? 그런 유형인 듯하다.
# 내림차순이 성립하지 않는 모든 수만 제거하면 되는가? 그럼 문제가 발생한다.
# [15 11 2 10 9] 이런 배열이 있다면 내림차순이 성립함에도 불구하고, 2를 제거하는 것이 옳다.
# [9 8 7 6 5 4 3 2 10 5 9 8 7] 이런 경우에는 4 3 2 5를 제거해야 한다.


n = int(input())
arr = list(map(int, input().split()))
arr.reverse()

dp = [1] * n

for i in range(1, n):
    for j in range(0, i):
        if arr[j] < arr[i]:
            dp[i] = max(dp[i], dp[j] + 1)

print(n - max(dp))

 

 

위 문제는 가장 긴 연속하는 부분 수열(Longest Increasing Subsequence, LIS) 유형이다.

 

LIS의 점화식은 다음과 같다.

# D[i] = array[i]를 마지막 원소로 포함하는, 부분 수열의 최대 길이
모든 0 ≤ j < i에 대하여, D[i] = max(D[i], D[j] + 1) if array[j] < array[i]

 

모든 i에 대하여 0 ~ i 범위를 탐색하면서 비교하므로 시간복잡도는 O(N^2)이다.

 

 

출처: 이것이 취업을 위한 코딩테스트다 with 파이썬, 나동빈, 2021

강의: https://youtu.be/94RC-DsGMLo?si=iDSiDtzOFIj_b1Ym


이진 탐색 binary search

출처: mathwarehouse

요약

순차 탐색: 리스트 내 특정 데이터를 찾기 위해 앞에서부터 데이터를 하나씩 확인

이진 탐색: 정렬된 리스트 내에서, 탐색 범위를 절반씩 좁혀가며 데이터를 탐색

 

순서

  • 리스트를 정렬한다.
  • while start <= end인 동안 다음을 반복한다.
  • start와 end의 중간점을 mid로 설정한다.
  • mid와 구하고자 하는 값인 target을 비교한다.
  • mid < target이면, 검색 범위를 높여야 한다. start = mid + 1로 설정해서 재귀적으로 이진 탐색한다.
  • mid > target이면, 검색 범위를 낮춰야 한다. end = mid - 1로 설정해서 재귀적으로 이진 탐색한다.
  • mid == target인 경우 mid 값을 반환한다.

파라메트릭 서치

파라메트릭 서치란 최적화 문제(특정한 조건을 만족하는 가장 알맞은 값을 찾는)를 결정 문제(예 혹은 아니오)로 바꾸어 해결하는 기법.

일반적으로 코테에서 파라메트릭 서치 문제는 이진 탐색을 이용하여 해결 가능.

 

구현1: 재귀

def binary_search(array, target, start, end):
    if start > end:
        return None
    
    mid = (start + end) // 2
    
    if array[mid] == target:
        return mid
    
    elif array[mid] > target:
        return binary_search(array, target, start, mid - 1)
    
    else: # array[mid] < target:
        return binary_search(array, target, mid + 1, end)

구현2: 반복문

def binary_search(array, target, start, end):
    while start <= end:
        mid = (start + end) // 2
        
        if array[mid] == target:
            return mid
            
        elif array[mid] > target:
            end = mid - 1
        
        else: # array[mid] < target:
            start = mid + 1
    
    return None

 

구현3: 라이브러리

from bisect import bisect_left, bisect_right

a = [1, 2, 4, 4, 8]
x = 4

print(bisect_left(a, x)) # 2
print(bisect_right(a, x)) # 4

 

시간 복잡도

매 단계에서 탐색 범위를 절반으로 줄여나가므로 탐색 횟수는 로그 스케일로 증가한다.

따라서 평균, 최악의 상황에서 O(logN)의 시간복잡도를 갖는다.

 

공간 복잡도

반복문 구현: O(1). 추가적인 저장 공간이 필요하지 않다.

재귀적 구현: O(logN). 재귀 호출로 인한 스택이 필요하다.

 

예제 1: 떡볶이 떡 만들기

n, m = map(int, input().split())
heights = list(map(int, input().split()))
result = 0

start = 0
end = max(heights)

while start <= end:
    
    total = 0
    mid = (start + end) // 2

    for hei in heights: # 기준치 보다 자르려는 떡의 긴 경우에만, 차이만큼 total에 더한다.
        if hei > mid:
            total += hei - mid

    if total < m: # 조건을 만족하지 못 하면, 기준치를 줄여, 남는 떡의 길이를 늘린다.
        end = mid - 1
    else: # 조건을 만족한 경우 result를 갱신한다. 기준치를 줄이고, 남는 떡의 길이를 늘려 최적값을 찾는다.
        result = mid
        start = mid + 1

print(result)

 

예제 2-1: 특정 수 개수: 일반

def count_by_value(array, x): # 정렬된 수열에서 값이 x인 원소의 개수를 세는 메서드
    n = len(array) # 데이터의 개수
    
    first_idx = first(array, x, 0, n-1) # x가 처음 등장한 인덱스
    if first_idx == None: # 수열에 x가 존재하지 않는 경우
        return 0 # 값이 X인 원소의 개수는 0개이므로 0 반환
    
    last_idx = last(array, x, 0, n-1) # x가 마지막으로 등장한 인덱스
    return last_idx - first_idx + 1


def first(array, target, start, end):
    if start > end:
        return None
    
    mid = (start + end) // 2

    # target == mid인 동시에, mid - 1은 target보다 작은 경우
    # 조건을 만족하는 가장 왼쪽에 있는 인덱스인 경우
    if target == array[mid] and (mid == 0 or target > array[mid - 1]):
        return mid
    
    elif target <= array[mid]:
        return first(array, target, start, mid - 1)
    
    else:
        return first(array, target, mid + 1, end)


def last(array, target, start, end):
    if start > end:
        return None
    
    mid = (start + end) // 2

    if array[mid] == target and (mid == 0 or array[mid + 1] > target):
        return mid
    
    elif array[mid] > target:
        return last(array, target, start, mid - 1)
    
    else:
        return last(array, target, mid + 1, end)


n, x = map(int, input().split())
array = list(map(int, input().split()))

count = count_by_value(array, x)
print(count if count > 0 else -1)

 

예제 2-2: 특정 수 개수: 라이브러리

from bisect import bisect_left, bisect_right

def get_count_by_bisect(array, x):
    left = bisect_left(array, x)
    right = bisect_right(array, x)
    return right - left

n, x = map(int, input().split())
array = list(map(int, input().split()))

count = get_count_by_bisect(array, x)

if count == 0:
    print(-1)
else:
    print(count)

출처: 이것이 취업을 위한 코딩테스트다 with 파이썬, 나동빈, 2021

강의: https://youtu.be/KGyK-pNvWos?si=w2ozPGhJxDhH5aNy

레퍼런스: https://gyoogle.dev/blog/


정렬

데이터를 특정한 기준에 따라 순서대로 나열하는 것.

 

선택 정렬 selection sort

선택 정렬 (출처: GimunLee)

요약

처리되지 않은 데이터 중에서 가장 작은 데이터를 선택해 맨 앞에 있는 데이터와 바꾸는 것을 반복하는 정렬 알고리즘.

각 탐색마다 결정될 자리를 먼저 선택하고, 자리에 올 값을 찾는 과정이라고 생각하면 좋다.

 

구현

array = [7, 5, 9, 0, 3, 1, 6, 2, 4, 8]

for i in range(len(array)):
    min_index = i # 최솟값의 인덱스, 최초에는 이번 탐색에서 결정될 인덱스로 초기화
    
    for j in range(i+1, len(array)):
        if array[min_index] > array[j]: # 현재 인덱스보다 작은 값을 발견하면
            min_index = j # 최솟값의 인덱스를 갱신
    
    array[i], array[min_index] = array[min_index], array[i] # 탐색이 끝나면 스왑

print(array) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

 

시간 복잡도

N + (N - 1) + (N - 2) + ... + 2 # 마지막 원소는 이미 확정되었으므로 정렬을 하지 않아도 괜찮다.

 

 

데이터의 개수가 N개라고 했을 때,

  • 첫 번째 탐색에서 비교횟수: 1 ... N-1 => N-1
  • 두 번째 탐색에서 비교횟수: 2 ... N-1 => N-2
  • ...
  • (N-1) + (N-2) + .... + 2 => N(N-1) / 2 - 1

시간복잡도는 O(N^2)이다.

최선, 평균, 최악의 경우 모두 같다.

 

공간 복잡도

주어진 배열 안에서 교환(swap)을 통해 수행되므로, O(N)이다.

 

특징

  • 제자리 정렬 (in-place sorting)
  • 불안정 정렬 (unstable sorting)

 

삽입 정렬 insertion sort

삽입 정렬 (출처: GimunLee)

요약

처리되지 않은 데이터를 하나씩 골라 적절한 위치에 삽입하는 정렬 알고리즘.

선택 정렬에 비해 구현 난도는 높지만, 일반적으로 더 효율적.

 

구현

array = [7, 5, 9, 0, 3, 1, 6, 2, 4, 8]

for i in range(1, len(array)): # 1번째 원소는 결정된 것으로 간주하고, 2번째 원소부터 정렬
    for j in range(i, 0, -1): # 삽입할 원소를, 역순으로 기존 원소와 비교하며 삽입 위치를 결정
        if array[j] < array[j-1]: # 현재 원소가 이전 원소보다 작은 경우
            array[j], array[j-1] = array[j-1], array[j] # 위치를 바꿈 # 이전 원소의 왼쪽으로
        else:
            break # 작지 않을 경우 해당 자리에서 멈춤

print(array) # [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

 

시간 복잡도

N + (N - 1) + (N - 2) + ... + 1 # 마지막 원소까지 정렬해야 함

 

최악, 평균의 경우: 선택 정렬과 마찬가지로 O(N^2)

최선의 경우: O(N)

 

이미 정렬이 되어 있을 경우, 한 번씩만 비교한다.

즉, 상수 시간이 소요된다.

전체 배열 탐색 + 탐색마다 한 번씩 비교만 하면 되므로 O(N)

 

공간 복잡도

주어진 배열 안에서 교환(swap)을 통해 수행되므로, O(1)이다.

추가적인 메모리가 필요하지 않다.

 

특징

  • 대부분의 원소가 정렬되어 있는 경우, 매우 효율적이다.
  • 제자리 정렬 (in-place sorting)
  • 안정 정렬 (stable sorting)

퀵 정렬 quick sort

주황색이 pivot (출처: GimunLee)

요약

기준 데이터를 설정하고, 그 기준보다 큰 데이터와 작은 데이터의 위치를 바꾸는 방법.

분할 정복(divide and conquer) 방법을 사용한다.

 

병합 정렬과 더불어 대부분 언어의 기본 정렬 라이브러리의 근간이다.

 

구현1: 일반적인 방식

array = [5, 7, 9, 0, 3, 1, 6, 2, 4, 8]

def quick_sort(array, start, end):
    if start >= end: # 원소가 1개인 경우 종료
        return

    pivot = start # 첫 번째 원소를 피봇으로
    left = start + 1 # 왼쪽 포인터의 인덱스
    right = end # 오른쪽 포인터의 인덱스

    while left <= right:
        while left <= end and array[left] <= array[pivot]: # 왼쪽 출발. pivot보다 큰 값을 찾을 때까지.
            left += 1
        
        while right > start and array[right] >= array[pivot]: # 오른쪽 출발. pivot보다 작은 값을 찾을 때까지.
            right -= 1
        
        if left > right: # 포인터가 엇갈렸다면, 작은 값과 피봇 값을 교체
            array[right], array[pivot] = array[pivot], array[right]
        
        else: # 엇갈리지 않았다면, 각 포인터의 값을 교체
            array[left], array[right] = array[right], array[left]
    
    quick_sort(array, start, right - 1) # 분할divide 이후 각각 재귀적으로 정렬
    quick_sort(array, right + 1, end)

quick_sort(array, 0, len(array) - 1)
print(array)

 

구현2: pythonic한 방식

array = [5, 7, 9, 0, 3, 1, 6, 2, 4, 8]

def quick_sort(array):
    if len(array) <= 1: # 리스트 원소가 1개라면 재귀 끝 !
        return array
    
    pivot = array[0] # 첫 번째 원소를 피봇
    tail = array[1:] # 피봇을 제외하고 나머지 배열

    left_side = [x for x in tail if x <= pivot] # filter를 사용하듯, pivot 보다 작은 원소만
    right_side = [x for x in tail if x > pivot] # pivot 보다 큰 원소만

    # 재귀적으로 반복하면, left_side에는 min이, right_side에는 max만 남고 return을 시작한다.
    # 차곡차곡 min + 1, max - 1 -> min + 2, max - 2 ... 쌓이고, 정렬이 완성된다.
    return quick_sort(left_side) + [pivot] + quick_sort(right_side)

print(quick_sort(array)

 

시간 복잡도

출처: gyoogle

데이터의 크기가 N이라면,

각 순환 호출 단계의 비교 연산: O(N)

총 호출의 횟수: O(logN)

따라서 평균, 최선의 시간복잡도는 O(NlogN)이다.

 

출처: gyoogle

최악의 경우는 O(N^2)이다.

정렬하고자 하는 배열이 이미 오름차순 혹은 내림차순으로 정렬이 되어있는 경우,

각 호출 단계 비교 횟수 O(N), 총 호출 횟수 O(N)이 되어 O(N^2)이다.

 

공간 복잡도

주어진 배열 안에서 교환(swap)을 통해 수행된다.

재귀 호출 깊이 만큼 추가적인 공간이 필요하므로 O(logN)이다.

최악의 경우 O(N)이다.

 

특징

  • 불안정 정렬
  • 불균형 분할 (분할이 항상 절반으로 뚝 나뉘는 것이 아니다. 최악의 경우 시간 복잡도의 비효율을 초래한다.)

 

계수 정렬 Counting sort

반복문을 활용한 방식 (출처: manishsundriyal)
누적합을 활용한 방식 (출처: spagnuolocarmine)

요약

비교하지 않는 정렬이다.

데이터의 값 범위가 제한되어 정수 형태로 표현할 수 있을 때 사용 가능하다.

위 조건에서는 매우 빠르게 동작한다.

 

구현1: 카운트한 값만큼 반복하는 방식

array = [7, 5, 9, 0, 3, 1, 6, 2, 9, 1, 4, 8, 0, 5, 2]
result = []

count = [0] * (max(array) + 1) # 값의 모든 범위를 포함하는 카운터 배열. 0으로 초기화

for i in range(len(array)):
    count[array[i]] += 1 # array 원소의 개수를 센다.

for i in range(len(count)):
    for j in range(count[i]): # 현재 원소가 count된 수만큼 반복해서 추가한다.
        result.append(i)

print(result) # [0, 0, 1, 1, 2, 2, 3, 4, 5, 5, 6, 7, 8, 9, 9]

 

구현2: 누적합을 사용하는 방식 (다소 직관적이지 않다)

def counting_sort(arr):
    # 1단계: 입력 배열에서 최대값 찾기
    max_val = max(arr)
    count = [0] * (max_val + 1)  # 각 숫자의 등장 횟수를 저장할 배열 초기화
    
    # 각 숫자의 등장 횟수 세기
    for num in arr:
        count[num] += 1
    
    # 2단계: 누적합 계산
    for i in range(1, len(count)):
        count[i] += count[i - 1]
    
    # 3단계: 정렬된 배열을 생성하기 위한 임시 배열
    output = [0] * len(arr)
    
    # 원본 배열을 거꾸로 순회하며 정렬된 위치에 숫자 배치
    for num in reversed(arr):
        idx = count[num] - 1  # 정렬된 배열에서의 위치 계산. 누적합에서 1을 빼야 0부터 시작하는 인덱스 반영.
        output[idx] = num
        count[num] -= 1  # 다음 같은 숫자가 올 위치를 위해 누적합 감소
    
    return output

# 예제 배열
arr = [1, 4, 1, 2, 7, 5, 2]
sorted_arr = counting_sort(arr)
print(sorted_arr) # [1, 1, 2, 2, 4, 5, 7]

시간 복잡도

데이터의 개수가 N / 정수의 최대값이 K라면,

카운터 배열의 초기화: O(N)

카운터 배열의 누적합을 만드는 과정: O(K)

 

O(N + K)의 시간 복잡도를 갖는다.

O(N)이 아닌 이유는 [1, 999999] 배열을 정렬할 경우, N = 2임에도 K의 크기만큼 누적합을 계산해야 하기 때문에.

 

공간 복잡도

누적합 배열: O(K)

정렬된 배열: O(N)
따라서 추가적으로 필요한 공간은 O(N + K)이다.

 

비교 기반 알고리즘과 다르게 동작하기 때문에, 정렬된 배열을 위한 공간 O(N)이 필요하다는 것을 기억하자.

 

특징

  • 안정 정렬 (stable sorting)
  • 제자리 정렬이 아니다 !!! 비교 기반 알고리즘과는 다르다.

+ Recent posts