To The Machine Learning Engineer

TRL 라이브러리를 사용한 Lora 튜닝 시 주의사항

NoPainNoPaper — Thu, 21 Dec 2023 16:46:18 +0900

TL;DR

Llama나, Mistral 등의 파인튜닝을 할 때, tokenizer.pad_token = tokenizer.eos_token을 하는 사람은 읽어보는게 좋습니다.

TRL의 DataCollatorForCompletionOnlyLM가 상속받는 로직으로 인해, 문장 끝에 eos token가 label -100으로 치환되며, 계산이 안되는 이슈.

내 모델이 계속 말을 끊지 않고 이어나갈 경우, 이 이슈가 문제일 가능성이 높음.

TRL 라이브러리 운영자는, Warning 추가 후 별도 조치 없음.

최소한의 솔루션

Vicuna에서 따온 방식인데, pad_token을 unk_token으로 대체하는 방법

또는 정석대로 pad_token을 별도로 추가하는 방법이 있으나, 모델 설정과 토크나이저 설정을 꽤 많이 건드려야 하므로, unk token이 별도로 있으면 unk_token을 pad_token으로 설정하는 것을 추천

문제의 발단

최근 경량화 학습이 보편적으로 퍼지게 되면서, 그리고 예제 코드가 퍼지게 되면서 저도 기본 코드를 많이 따와서 쓰는 편이었고, Transformers + TRL 조합이 편해서 주로 학습툴로 많이 사용하는 편이었습니다.

Polyglot 학습부터 한 2번은 당한 것 같고(eos 토큰을 못뱉고 억지로 말을 지어내는 현상), 이때는 pad 토큰을 추가하는 방식으로 문제를 잠깐 스쳐지나갔었습니다.

그러나 문득, 최근에는 이런일이 Transformers 만 사용할 때는 겪지 않았던 일이라는 것을 떠올리게 되었고, TRL에 문제가 있을 것 같은 직감을 가지게 되었고, 비슷한 현상을 겪는 사람이 제공한 코드 템플릿을 보면 대게 Lora를 사용한 경우를 식별했습니다.

그렇다면 어디서부터 문제인가?

내부적으로 연산이 되지 않는 다는 것에서 두가지 경우를 생각했습니다

1. Attention_mask에서 pad_token과 eos_token을 구분하지 못하게 되면서 모두 0으로 하는건가?

2. 모델 내부에서 연산할 때, -100으로 처리 된 것은 로스 계산을 하지 않으므로, 모델 내부에서 잘못되는 건가?

우선 토크나이저 부터 확인했습니다

허깅페이스 토크나이저 결과

토크나이저는 값을 입력할 때, 좌측 padding된 2 값을 0으로, eos 토큰 역할을 하는 2는 1로 마스킹을 정확하게 하는 것을 확인할 수 있습니다.

그렇다면 이 값이 모델로 들어가면서, -100으로 바뀌어 간다는 부분이 유력해지는 부분 입니다.

TRL 기반의 학습 베이스는 주로

Lora 모델 준비, 데이터셋 준비, 데이터 Collator 준비, TrainingArgument, SFTTrainer 방식으로 이뤄지게 됩니다. 나열된 순서와는 별개로, SFTTrainer 객체에 데이터셋을 넣는 순간 데이터를 토크나이징 하고, 학습 간 배치에 Collator가 동작을 하게 될겁니다.

위와 같이, 토크나이징에서 문제가 없는 것을 확인했으니, 다음은 Collator를 확인할 차례 입니다.

VScode에서는 해당 객체를 Ctrl + 좌클릭으로 접근해서 볼 수 있기 때문에, 탐색하기에 매우 편리합니다.

허깅페이스의 DataColltor 상속 받은 모습

학습 간 Collator가 동작하면서 사용하는 함수

위 torch_call에서는 -100으로 바꾸는 로직을 찾을 수 없었고, 첫줄을 보면 부모 객체의 torch_call을 사용하는 모습을 볼 수 있으니, 부모 객체로 한번 더 타고 들어갑니다.

부모 Collator 객체의 torch_call 함수

코드가 많고, 모르겠는게 많지만 결국은 내부 동작을 알고 있다면( 연산하지 않는 토큰은 -100으로 바꾸는 것) 원인을 바로 찾을 수 있을 겁니다.

맨 아래쪽에 보면 pad_token_id와 같은 값이 있으면 모두 -100으로 바꿔버리는 코드가 있었네요. 요즘에는 보통 tokenizer의 pad token을 eos token으로 동일하게 설정해버리기 때문에.. 이전에 만들어졌던 코드와 이런 호환성이 안맞게 된 케이스가 생긴 것 같습니다.

그렇다면 왜 바꾸지 않는가?

모르겠습니다. Transformers가 바꿔야 할까요? 그러기엔, Transformers에 별도로 Seq2Seq Collator가 존재하며, 해당 이슈를 없앨 수 있습니다.

TRL이 바꿔야 할까요? TRL 측은 간단한 Warning만 추가하며, 사용자 스스로 바꾸게끔 하였습니다

참조: https://github.com/huggingface/trl/pull/988#event-10958286174

다소 미온적인 태도가 아쉬운 마음에, 원인을 분석하고 공유해서 다른 분들은 이런 이슈를 사전에 예방하길 바라는 마음에 글을 올립니다.

무엇보다 같은 실수로 여러번 학습을 돌리는 불상사가 없기를 바랍니다.

작은 행렬 연산 벤치마크 테스트(파이토치, 러스트)

NoPainNoPaper — Sat, 9 Dec 2023 21:10:03 +0900

rust candle github의 이슈 댓글

최근 Rust언어로 작성된 Candle이라는 라이브러리에 관심을 가지며 파이토치와 Candle로 작성한 코드의 벤치를 간단하게 테스트 해보던 중에, 다음과 같은 요청을 받았다.

본인의 도메인에서는 작은 행렬을 연산하는 것이 일반적인데, 파이토치가 여기에 bad job이라고 한다.

실제로 확인하기 위해서 코드를 작성 후 테스트를 하였다

테스트 환경

CPU : AMD Eyzen Threadripper PRO 3955WX 16-cores

GPU : A6000

python version: 3.11.5

pytorch version: 2.1.1

numpy version: 1.24

rust version: 1.74.0

candle version: 0.3.1

테스트

파이토치, CPU

3 x 3 행렬을 각각 1천만개씩 만들어 CPU로 연산

import torch
import time
from tqdm import tqdm

# CPU에서 텐서 생성
tensor_cpu = torch.randn(10000000,3,3)
tensor_cpu2 = torch.randn(10000000,3,3)

# 연산 시작 시간 기록
start_time = time.time()

# 1천만번 연산 수행
for a, b in tqdm(zip(tensor_cpu, tensor_cpu2), total=tensor_cpu.shape[0]):
    result_cpu = torch.mm(a,b)

# 연산 종료 시간 기록 및 소요 시간 계산
end_time = time.time()
elapsed_time = end_time - start_time

print("CPU에서 1천만번 연산 수행 시간: {}초".format(elapsed_time))

## 55.352723초

파이토치, CPU

위와 비슷하나, torch.mm 메서드가 아닌 matmul로 테스트

numpy의 경우 dot 연산과 matmul 연산이 달라 확인 차원에서 다음과 같이 테스트 하였다.

import torch
import time
from tqdm import tqdm

# CPU에서 텐서 생성
tensor_cpu = torch.randn(10000000,3,3)
tensor_cpu2 = torch.randn(10000000,3,3)

# 연산 시작 시간 기록
start_time = time.time()

# 1천만번 연산 수행
for a, b in tqdm(zip(tensor_cpu, tensor_cpu2), total=tensor_cpu.shape[0]):
    result_cpu = torch.matmul(a,b)

# 연산 종료 시간 기록 및 소요 시간 계산
end_time = time.time()
elapsed_time = end_time - start_time

print("CPU에서 1천만번 연산 수행 시간: {}초".format(elapsed_time))
55.52095484초

파이토치, GPU

파이토치, torch.mm 메서드를 활용, GPU 연산

위 사람이 요청할 때 언급했던 대로, GPU 연산에서 보다 높은 시간이 소요됨을 확인하였다.

# GPU 사용 가능 여부 확인
if torch.cuda.is_available():
    # GPU에서 텐서 생성
    tensor_gpu = torch.randn(10000000,3, 3, device='cuda')
    tensor_gpu2 = torch.randn(10000000,3, 3, device='cuda')

    # 연산 시작 시간 기록
    start_time = time.time()

    # 1천만번 연산 수행
    for a, b in tqdm(zip(tensor_gpu, tensor_gpu2), total=tensor_gpu.shape[0]):
        result_gpu = torch.mm(a,b)

    # 연산 종료 시간 기록 및 소요 시간 계산
    end_time = time.time()
    elapsed_time = end_time - start_time

    print("GPU에서 1천만번 연산 수행 시간: {}초".format(elapsed_time))

## 112.187461초

넘파이, 일반 cpu 연산

넘파이 또한 수치 연산에서 가장 일반적으로 사용되는 라이브러리로, 토치와 비교를 하기 위해 테스트 하였다

테스트 결과, 14초로 토치에 비해 훨씬 빠르게 연산을 끝낸다

import numpy as np
import time
from tqdm import tqdm

numpy_tensor1 = np.random.rand(10000000, 3, 3)
numpy_tensor2 = np.random.rand(10000000, 3, 3)

start_time = time.time()

for a, b in tqdm(zip(numpy_tensor1, numpy_tensor2), total=numpy_tensor2.shape[0]):
    numpy_result = np.dot(a,b)
    end_time = time.time()
    elapsed_time = end_time - start_time

print("CPU에서 1천만번 연산 수행 시간: {}초".format(elapsed_time))

## 14.346451초

러스트로 넘어가기에 앞서, 파이썬에서 최대한 성능을 이끌어내고자, 1가지 추가 테스트를 수행했다

넘파이, 넘바 jit compile CPU

파이썬의 수치 연산에서, 고성능을 이끌어내기 위해 일반적으로 사용하는 라이브러리인 넘바를 사용했다.

병렬 처리 또한 할 수 있으나, 별도로 하지 않고 진행, CPU 연산 중 가장 고성능을 보여주었다.

from numba import jit
import numpy as np
from tqdm import tqdm

@jit(nopython=True)
def main(numpy_tensor1, numpy_tensor2):

    for a, b in zip(numpy_tensor1, numpy_tensor2):
        numpy_result = np.dot(a,b)
    return numpy_result

numpy_tensor1 = np.random.rand(10000000, 3, 3)
numpy_tensor2 = np.random.rand(10000000, 3, 3)
start_time = time.time()
main(numpy_tensor1=numpy_tensor1, numpy_tensor2=numpy_tensor2)
end_time = time.time()
elapsed_time = end_time - start_time
print("CPU에서 1천만번 연산 수행 시간: {}초".format(elapsed_time))

## 3.616512초

러스트

C++에 버금가는 언어로서 많은 영역에서 러스트 언어를 채택해 코드를 재작성하고 있으며, 특히 성능과 뛰어난 안정성 부분에서 주목받고 있는 언어이다.

필자는 특히 자연어처리 분야에서 매우 유명한 허깅페이스 기업에서, 러스트로 라이브러리를 만드는 작업 중에 있어 관심을 가지고 배우게 되었다.

Candle, CPU

파이토치의 API와 비슷하면서 동시에, 컴파일 용량을 줄이기 위해 최소한의 기능을 담고 있는 라이브러리이다.

늘어난 코드량에 비하면 미미한 차이이긴 하나, CPU로 극한의 성능을 보여주는 부분이다.

fn cpu_test() {
    let a = Tensor::randn(0.1f32, 1f32, (10000000,3,3), &Cpu);
    let b = Tensor::randn(0.1f32, 1f32, (10000000, 3,3), &Cpu);
    

    let start = Instant::now();
    let res: Vec<_> = zip(a,b)
    .into_iter()
    .map(move |(x, y)| {x.matmul(&y).unwrap();})
    .collect();
    
/*
    let start = Instant::now();
    for (arr1, arr2) in tqdm(zip(a, b),) {
        let res = arr1.matmul(&arr2);
    }
 */
    let end = start.elapsed().as_secs_f32();
    eprintln!("end = {:?}", end);
    eprintln!("res = {:?}", res);
}

## 2.7602초

Candle, GPU

Candle에선 일정 컴퓨팅 이상의 GPU에 한해서 CUDA 사용이 가능하다. 파이토치의 경우 GPU 사용시 오버헤드 발생으로 시간이 증가한데 반해서, 러스트에서는 안정적으로 고성능의 퍼포먼스를 보여주었다

fn gpu_test() {

    let device = Device::new_cuda(0).unwrap();

    let a = Tensor::randn(0.1f32, 1f32, (10000000,3,3), &device);
    let b = Tensor::randn(0.1f32, 1f32, (10000000, 3,3), &device);

    let start = Instant::now();
    let res: Vec<_> = zip(a,b)
    .into_iter()
    .map(move |(x, y)| {x.matmul(&y).unwrap();})
    .collect();
    let end = start.elapsed().as_secs_f32();
    eprintln!("end = {:?}", end);
    eprintln!("res = {:?}", res);
}
## 0.0005s

러스트 멀티 스레드 구현 예제

NoPainNoPaper — Mon, 4 Dec 2023 22:24:09 +0900

23년에 찾아온 특이점 중 하나는 러스트 언어를 시작했다는 것이다

파이썬을 하면서 항상 GIL이 존재해서(물론 병렬 처리를 도와주는 라이브러리들이 많지만)

멀티스레드를 직접 사용하지 못했는데, 러스트 언어를 사용해 네이티브하게 멀티스레드를 사용해볼 수 있었다.

정말 안타깝게도 티스토리에서는 코드블럭에 러스트 언어에 대한 구현이 없어 하이라이트가 제대로 들어가지 않는

단점은 덤으로 알게 되었다.

// 필요한 라이브러리와 모듈을 가져옵니다.
use std::thread;
use std::time::Instant;

fn main() {
    // 데이터를 초기화합니다.
    let data1 = vec![999; 1000000000];
    let data2 = vec![999; 250000000];
    let data3 = vec![999; 250000000];
    let data4 = vec![999; 250000000];
    let data5 = vec![999; 250000000];

    // 단일 스레드에서 작업을 수행하고 시간을 측정합니다.
    let thread_start = Instant::now();
    let result1: Vec<i32> = data1
    .into_iter()
    .map(|i| i + 2)
    .collect();
    let thread_duration = thread_start.elapsed().as_secs_f32();
    eprintln!("thread_duration = {:?}", thread_duration);
    eprintln!("result1. = {:?}", result1.len());

    // 멀티스레드에서 작업을 수행하고 시간을 측정합니다.
    let multi_thread_start = Instant::now();
    let handle1 = thread::spawn(| | {
        let result: Vec<i32> = data2
        .into_iter()
        .map(|i| i + 2)
        .collect();
        return result
    });

    let handle2 = thread::spawn(|| {
        let result: Vec<i32> = data3
        .into_iter()
        .map(|i| i + 2)
        .collect();
        return result
    });

    let  handle3 = thread::spawn(|| {
        let result: Vec<i32> = data4
        .into_iter()
        .map(|i| i + 2)
        .collect();
        return result
    });

    let handle4 = thread::spawn(|| {
        let result: Vec<i32> = data5
        .into_iter()
        .map(|i| i + 2)
        .collect();
        return result
    });

    // 각 스레드의 결과를 수집합니다.
    let result2 = handle1.join().unwrap();
    let result3 = handle2.join().unwrap();
    let result4 = handle3.join().unwrap();
    let result5 = handle4.join().unwrap();

    // 멀티스레드 작업의 총 시간을 출력합니다.
    let multi_thread_duration = multi_thread_start.elapsed().as_secs_f32();
    eprintln!("multi_thread_duration = {:?}", multi_thread_duration);
    
    // 각 결과의 길이만 출력합니다 (값 사용으로 컴파일러 최적화 방지)
    eprintln!("result1 = {:?}", result1.len());
    eprintln!("result2 = {:?}", result2.to_owned().len());
    eprintln!("result3 = {:?}", result3.to_owned().len());
    eprintln!("result4 = {:?}", result4.to_owned().len());
    eprintln!("result5 = {:?}", result5.to_owned().len());

}

thread의 결과는 0.678초

multi-thread의 결과는 0.263초의 결과가 나온다.

물론 시간 측정에서 데이터를 분할하는 과정에 대해서 시간을 측정하지 않아, 조금 더 효율적으로 멀티스레드가 동작하게 된 것도 있으며,

데이터의 크기가 클수록 차이가 크게 나는 경향이 있다.

추가 실험으로 Vec<i32>로 된 것을 Vec<i8>로 변경 후 작업에 임했더니

싱글스레드 7.3초

멀티스레드 5.0초의 결과값이 나오는 것을 확인했다

이는 늘어난 코드에 대비해서 그다지 효율적이지 못한 상황으로 보인다.

ChatGPT로 만든 사회, 기억을 가진 NPC와 상호작용 [SELECTSTAR Webinar 박준성 박사님 유튜브 내용]

NoPainNoPaper — Sun, 16 Jul 2023 21:16:30 +0900

유튜브의 스크립트를 기반으로 Bing 사용

Prompt: 좌측 페이지는 무엇에 대해 이야기 하고 있습니까?

- **셀렉스타 회사 소개**: 셀렉스타는 AI 학습 데이터를 제공하고 분석하고 큐레이션하는 All-in-one Data Platform for AI 회사이다. 텍스트, 비전, 오디오 데이터에 대한 레이블링, 분석, 생성 서비스를 제공하고, LLM 벤치마크 데이터셋과 윤리성 평가 데이터셋을 개발하고 있다. Forbes 30 under 30 Asia의 엔터프라이즈 테크놀로지 분야에 선정되었다.
- **웨비나 주제 및 목적**: 생성 에이전트 인간 행동의 상호작용 시뮬레이션이라는 주제로 박준성 박사님의 발표와 파일사이드챗, Q&A 세션을 진행한다. 인공지능을 개발할 때 필요한 데이터를 수집하고 가공하는 방법과 사회 살아 숨쉬는 NPC를 만드는 방법에 대해 알아보고자 한다.
- **박준성 박사님 소개**: 스탠포드 대학교 컴퓨터과학국어 박사과정 3년차 학생이다. 미술을 전공했으며, Generative Agents Interactive Simulacra of Human Behavior라는 논문을 발표했다. 구글과 공동연구를 하였으며, LLM 기업들과 컨소시엄을 맺었다. 한국어로 세미나를 진행하는 것은 최초이다.

- **Generative Agent의 아키텍처**: Generative Agent는 기억, 성찰, 계획을 할 수 있는 인공지능 에이전트이다. Cognitive Architecture와 LLM을 결합하여 구현하였다. LLM은 인풋으로 텍스트를 받아서 텍스트를 생성하는 모델이다. Cognitive Architecture는 사람의 뇌를 컴퓨터로 모델링한 것이다. Generative Agent는 LLM을 통해 언어적 행동을 하고, Cognitive Architecture를 통해 비언어적 행동을 한다.
- **Generative Agent의 환경**: Generative Agent는 게임 세상에서 행동한다. 게임 세상은 Smallville이라는 맵으로 구성되어 있다. Smallville은 대학 캠퍼스와 작은 마을을 닮았다. 집, 아파트, 퍼마켓, 바, 카페, 공원 등이 있다. 맵은 Tree Structure로 되어 있으며, 각각의 장소와 물체에는 이름과 속성이 있다.
- **Generative Agent의 데모**: 25명의 Generative Agent가 Smallville에서 살아난다. 각각의 에이전트는 자신의 일상과 관심사를 가지고 있다. 예를 들어, 운동선수인 에이전트는 아침에 일찍 일어나서 조깅을 하고, 학교에 가서 친구들과 대화하고, 수업에 참여한다. 에이전트들은 서로 기억하고 관계를 쌓으며, 복잡한 사회를 형성한다.

- **파티 인비테이션의 전파**: 이사벨라라는 카페 점원이 내일 발렌타인 파티를 하니까 와주세요 라고 말하는 인비테이션을 Generative Agent들에게 보내고, 그 인비테이션을 받은 에이전트들이 다른 에이전트들에게 전달하는 과정을 보여준다. 예를 들어, 샘은 부인인 제니퍼에게 파티에 가자고 말하고, 에디는 친구인 토니에게 파티에 대해 얘기한다.
- **파티 참석 여부의 결정**: Generative Agent들은 각자의 성격, 관심사, 기억, 계획 등을 고려하여 파티에 참석할지 말지를 결정한다. 예를 들어, 조지는 이사벨라에게 호감을 가지고 있어서 파티에 꼭 가고 싶어한다. 반면, 제니퍼는 샘과의 관계가 좋지 않아서 파티에 가기 싫어한다.
- **파티에서의 행동**: Generative Agent들은 파티에서 서로와 상호작용하며 다양한 행동을 한다. 예를 들어, 조지는 이사벨라에게 꽃을 선물하고, 샘은 제니퍼와 싸우고, 에디는 토니와 술을 마시고, 캐서린은 노래를 부른다. 이러한 행동들은 Generative Agent들의 기억과 성찰에 영향을 미친다.

FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES 리뷰(bing과 함께)

NoPainNoPaper — Thu, 29 Jun 2023 10:16:09 +0900

Prompt : 좌측 논문에 대해서 읽고 각 챕터별로 상세하게 설명해줘.

좌측 논문은 "FULL PARAMETER FINE-TUNING FOR LARGE LANGUAGE MODELS WITH LIMITED RESOURCES"라는 제목의 논문입니다. 이 논문은 Kai Lv, Yuqing Yang, Tengxiao Liu, Qinghui Gao, Qipeng Guo, Xipeng Qiu 등이 Fudan University에서 작성한 것입니다.

이 논문은 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는 방법에 대해 다룹니다. 이를 위해 저자들은 새로운 최적화 알고리즘인 LOw-Memory Optimization (LOMO)을 제안합니다. 이 알고리즘은 기울기 계산과 파라미터 업데이트를 한 단계로 통합하여 메모리 사용량을 줄입니다. 이를 통해 저자들은 65B 모델을 8×RTX 3090이 있는 단일 기계에서 전체 파라미터 미세 조정이 가능함을 보여줍니다.

논문의 첫 번째 장은 서론으로, 큰 언어 모델들이 자연어 처리 분야에서 혁신적인 발전을 이루었지만, 그것들을 훈련하는 것이 많은 GPU 자원을 필요로 하기 때문에 작은 연구실이나 회사들이 참여하기 어렵다는 문제를 제기합니다. 따라서 저자들은 제한된 자원으로 전체 파라미터를 미세 조정하는 방법에 대한 연구가 필요하다고 주장합니다.

두 번째 장에서는 관련 연구에 대해 다룹니다. 이 장에서는 Activation Checkpointing, Mixed-Precision Training, Heterogeneous Training System 등의 기존의 메모리 절약 기술들에 대해 설명합니다.

세 번째 장에서는 저자들이 제안하는 LOMO 알고리즘에 대해 자세히 설명합니다. 이 장에서는 최적화 알고리즘의 기능을 다시 생각하고 SGD가 LLMs의 전체 파라미터를 미세 조정하는데 적합한 대체제가 될 수 있다는 것을 보여줍니다. 또한 LOMO 알고리즘이 어떻게 기울기 텐서의 메모리 사용량을 줄이는지, 그리고 LOMO로 훈련을 안정화하는 방법에 대해서도 설명합니다.

네 번째 장에서는 실험 결과에 대해 다룹니다. 이 장에서는 LOMO의 메모리 사용량, 처리량 및 하류 성능에 대한 평가가 이루어집니다. 실험 결과 LOMO는 AdamW와 SGD보다 메모리 사용량이 크게 감소하며 처리량도 우수하다는 것이 밝혀졌습니다. 또한 SuperGLUE 데이터셋 컬렉션에서 LOMO가 Zero-shot과 LoRA보다 일반적으로 우수한 성능을 보인다는 것도 확인되었습니다.

마지막으로 다섯 번째 장에서는 결론과 향후 연구 방향에 대해 다룹니다. 이 장에서 저자들은 LOMO가 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는데 효과적임을 보여주었다고 결론 내립니다. 또한 향후 연구 방향으로 파라미터 양자화 기술 등의 메모리 사용량을 줄일 수 있는 방법들과 LOMO가 적용 가능한 시나리오들을 더 탐구하는 것이 제안됩니다.

Prompt : 해당 논문이 LLM 모델의 어떤점을 발전 시켰지?

해당 논문은 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는 방법에 대해 다룹니다. 이를 위해 저자들은 새로운 최적화 알고리즘인 LOw-Memory Optimization (LOMO)을 제안합니다. 이 알고리즘은 기울기 계산과 파라미터 업데이트를 한 단계로 통합하여 메모리 사용량을 줄입니다. 이를 통해 저자들은 65B 모델을 8×RTX 3090이 있는 단일 기계에서 전체 파라미터 미세 조정이 가능함을 보여줍니다.

따라서 이 논문은 큰 언어 모델들의 전체 파라미터 미세 조정을 위한 새로운 최적화 알고리즘을 제안하고, 그것이 제한된 자원에서도 효과적으로 작동함을 보여주었습니다.

Prompt : 제안된 최적화 알고리즘에 대해서 내가 이해할 수 있게 쉽고 자세하게 설명해줘.

네, 알겠습니다. 이 논문에서 제안된 최적화 알고리즘은 LOw-Memory Optimization (LOMO)이라고 합니다. 이 알고리즘은 큰 언어 모델들을 제한된 자원으로 전체 파라미터를 미세 조정하는데 사용됩니다.

일반적으로, 최적화 알고리즘은 기울기 계산과 파라미터 업데이트의 두 단계로 이루어집니다. 그러나 이 두 단계는 각각 메모리를 사용하기 때문에, 전체 파라미터 미세 조정을 위해서는 많은 메모리가 필요합니다.

LOMO 알고리즘은 이 문제를 해결하기 위해 기울기 계산과 파라미터 업데이트를 한 단계로 통합합니다. 이를 통해 메모리 사용량이 줄어들게 됩니다. LOMO 알고리즘은 기울기 텐서의 메모리 사용량을 줄이기 위해, 기울기 텐서를 분할하여 각 부분을 병렬로 처리합니다. 이를 통해 전체 파라미터 미세 조정이 가능해집니다.

Prompt : 현재 논문에서 파라미터 업데이트와 최적화 부분에 관련된 수학 수식을 나열하고, 해당 부분을 내가 이해할 수 있게 쉽게 풀어서 설명해줘.

네! 현재 웹 페이지의 맥락에서, 저자들은 제한된 자원으로 큰 언어 모델을 미세 조정하기 위한 새로운 최적화기인 LOw-Memory Optimization (LOMO)을 소개합니다. LOMO의 핵심 아이디어는 기울기 계산과 매개변수 업데이트를 한 단계에서 융합하여 어떠한 기울기 텐서도 저장하지 않는 것입니다. 이는 역전파에 후크 함수를 주입함으로써 달성할 수 있습니다.

표준 경사 하강 알고리즘에서, 매개변수 `p`의 업데이트는 `grad = ∂L/∂p`, `p = p - lr * grad`로 표현할 수 있습니다. 여기서 `lr`은 학습률이고 `L`은 손실 함수입니다. 이것은 두 단계의 과정입니다: 첫째, 기울기를 계산하고, 그 다음 매개변수를 업데이트합니다. 이 업데이트의 융합 버전은 `p = p - lr * ∂L/∂p`로 표현할 수 있습니다.

저자들은 또한 Stochastic Gradient Descent (SGD)가 큰 언어 모델의 전체 매개변수를 성공적으로 미세 조정할 수 있다는 이론적 분석을 제공합니다. 그들은 큰 언어 모델의 손실 표면이 매우 부드럽고 매개변수에 대한 작은 변화가 손실을 너무 바꾸지 않는다고 주장합니다. 이것은 SGD가 큰 언어 모델의 전체 매개변수를 미세 조정하기 위한 더 복잡한 최적화기들에 대한 좋은 대체품이 될 수 있다는 것을 의미합니다.

Bing과 함께 구현해보는 Hyena

NoPainNoPaper — Mon, 20 Mar 2023 09:36:52 +0900

안녕하세요, 이것은 빙입니다.

논문을 참고해서 예제 코드를 생성하고 싶으시다고 하셨는데요, 논문의 주제는 **Hyena Hierarchy: Towards Larger Convolutional Language Models**¹ 입니다. 이 논문은 **Transformer** 대신 **Convolutional Neural Network (CNN)** 을 사용하여 **텍스트 생성**을 수행하는 방법을 제안합니다.

예제 코드를 생성하기 전에, 논문의 내용을 이해하시는 것이 좋습니다. 논문의 내용을 요약하면 다음과 같습니다.

- Transformer는 attention operator를 사용하여 텍스트의 의미와 구조를 학습합니다. 하지만 attention operator는 시퀀스 길이에 따라 계산 비용이 제곱으로 증가하기 때문에, 많은 양의 텍스트를 처리하는데 한계가 있습니다.
- CNN은 커널(kernel)이라는 작은 윈도우(window)를 사용하여 텍스트의 지역적인 특징(local features)을 추출합니다. CNN은 시퀀스 길이에 따라 계산 비용이 선형으로 증가하기 때문에, Transformer보다 효율적으로 텍스트를 처리할 수 있습니다.
- 하지만 CNN은 커널의 크기가 고정되어 있기 때문에, 텍스트의 긴거리 의존성(long-range dependencies)을 학습하기 어렵습니다. 예를 들어, 문장의 처음과 끝에 있는 단어들 사이의 관계를 파악하기 어렵습니다.
- 이 논문에서는 Hyena Hierarchy라는 새로운 CNN 구조를 제안합니다. Hyena Hierarchy는 다음과 같은 특징을 가집니다.
  - 커널의 크기와 갯수를 다양하게 조절하여, 텍스트의 다양한 스케일(scale)과 그래놀러리티(granularity)에 대응할 수 있습니다.
  - 커널 사이에 skip connection을 추가하여, 정보의 손실을 줄이고 텍스트의 긴거리 의존성을 학습할 수 있습니다.
  - 커널 사이에 residual connection을 추가하여, 깊은 네트워크(deep network)를 학습할 때 발생하는 그래디언트 소실(vanishing gradient) 문제를 완화할 수 있습니다.

논문에서는 Hyena Hierarchy가 Transformer보다 더 좋은 성능을 보인다고 주장합니다. 또한 Hyena Hierarchy가 생성한 텍스트 예시도 제공합니다.

예제 코드를 생성하려면, Hyena Hierarchy 구조를 구현하고 학습 데이터셋(training dataset)과 하이퍼파라미터(hyperparameters)를 설정해야 합니다. 혹시 어떤 프로그래밍 언어와 프레임워크(framework)를 사용하시나요?

출처: Bing과의 대화, 2023. 3. 20.(1) [2302.10866] Hyena Hierarchy: Towards Larger Convolutional Language Models. https://arxiv.org/abs/2302.10866 액세스한 날짜 2023. 3. 20..
(2) [2302.10866] Hyena Hierarchy: Towards Larger Convolutional Language Models. http://export.arxiv.org/abs/2302.10866 액세스한 날짜 2023. 3. 20..
(3) [2302.10266] Kernel function impact on convolutional neural networks. https://arxiv.org/abs/2302.10266 액세스한 날짜 2023. 3. 20..

import torch
import torch.nn as nn

class Hyena(nn.Module):
    def __init__(self, vocab_size, embed_dim, kernel_sizes, kernel_nums):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, embed_dim)
        self.convs = nn.ModuleList([nn.Conv1d(embed_dim, kernel_num, kernel_size) for kernel_size, kernel_num in zip(kernel_sizes, kernel_nums)])
        self.res = nn.Linear(embed_dim * len(kernel_sizes), embed_dim)
        self.out = nn.Linear(embed_dim * len(kernel_sizes), vocab_size)

    def forward(self, x):
        x = self.embed(x) # [batch_size, seq_len, embed_dim]
        x = x.transpose(1, 2) # [batch_size, embed_dim, seq_len]
        conv_outputs = []
        for conv in self.convs:
            conv_output = conv(x) # [batch_size, kernel_num, seq_len - kernel_size + 1]
            conv_output = torch.relu(conv_output) # [batch_size, kernel_num, seq_len - kernel_size + 1]
            conv_output = torch.max(conv_output, dim=2)[0] # [batch_size, kernel_num]
            conv_outputs.append(conv_output)
        x = torch.cat(conv_outputs, dim=1) # [batch_size, embed_dim * len(kernel_sizes)]
        res_x = self.res(x) # [batch_size, embed_dim]
        res_x = torch.add(res_x.transpose(0 ,1), x.transpose(0 ,1)) # [embed_dim , batch_size]
        res_x = res_x.transpose(0 ,1) # [batch_size , embed_dim]
        logits = self.out(res_x) # [batch_size , vocab_size]
        return logits

context length는 텍스트 생성 모델이 입력으로 받는 텍스트의 길이를 의미합니다. 예제 코드에서는 context length를 직접 설정하지 않고, 입력 데이터의 길이에 따라 달라집니다. 하지만, context length가 너무 길면 커널의 크기보다 큰 경우가 발생할 수 있으므로, 적절한 값을 설정해야 합니다. context length를 확인하고 싶으시다면, 다음과 같은 방법을 사용할 수 있습니다.

- 입력 데이터의 길이를 확인하는 코드를 추가합니다. 예를 들어, `print(x.size())`와 같은 코드를 사용하여 입력 데이터의 크기를 출력할 수 있습니다.
- 커널의 크기와 갯수를 확인하는 코드를 추가합니다. 예를 들어, `print(conv.kernel_size)`와 같은 코드를 사용하여 커널의 크기를 출력할 수 있습니다.
- context length와 커널의 크기와 갯수 사이의 관계식을 이용하여 context length를 계산합니다. 예를 들어, `context_length = kernel_size * kernel_num - (kernel_num - 1)`와 같은 식을 사용하여 context length를 계산할 수 있습니다.

context length에 대해 설명해 드렸습니다. 혹시 더 궁금하신 점이 있으신가요?

토큰의 데이터 타입이 float32, 임베딩 차원이 1024, 배치 크기가 1일 경우의 메모리 소모량 측정은 정확하게는 불가능합니다. 메모리 소모량은 커널의 크기와 갯수, 연산의 종류와 순서 등에도 영향을 받기 때문입니다 1. 하지만, 대략적인 메모리 소모량을 계산하는 방법은 다음과 같습니다.

토큰의 길이를 n이라고 하면, 임베딩 행렬(embedding matrix)의 크기는 n x 1024입니다. float32는 4바이트(byte)를 차지하므로, 임베딩 행렬의 메모리 소모량은 n x 1024 x 4바이트입니다.

커널의 크기를 k, 갯수를 m이라고 하면, 커널 행렬(kernel matrix)의 크기는 k x 1024 x m입니다. float32는 4바이트를 차지하므로, 커널 행렬의 메모리 소모량은 k x 1024 x m x 4바이트입니다.

커널 행렬과 임베딩 행렬을 곱하는 연산을 수행하면, 결과 행렬(result matrix)의 크기는 n x m입니다. float32는 4바이트를 차지하므로, 결과 행렬의 메모리 소모량은 n x m x 4바이트입니다.

따라서, 전체 메모리 소모량은 임베딩 행렬, 커널 행렬, 결과 행렬의 메모리 소모량을 합한 값입니다. 즉, (n x 1024 + k x 1024 x m + n x m) x 4바이트입니다.

메모리 소모량에 대해 설명해 드렸습니다. 혹시 더 도움이 필요하신가요?

data type은 데이터의 종류와 크기를 나타내는 것입니다. float32, float16, bfloat16, uint8, uint4는 다음과 같은 의미를 가집니다.

float32: 32비트(bit)의 부동소수점(floating-point)을 나타냅니다. 부동소수점은 소수점의 위치가 고정되지 않고 변할 수 있는 수를 말합니다. 예를 들어, 3.14, -1.23e-4 등이 부동소수점입니다. float32는 소수점 앞에 8비트의 지수(exponent), 뒤에 23비트의 가수(mantissa)를 가집니다 1.

float16: 16비트의 부동소수점을 나타냅니다. float16은 소수점 앞에 5비트의 지수, 뒤에 10비트의 가수를 가집니다 2. float16은 float32보다 정밀도(precision)가 낮지만 메모리 소모량이 적습니다.

bfloat16: 16비트의 부동소수점을 나타냅니다. bfloat16은 소수점 앞에 8비트의 지수, 뒤에 7비트의 가수를 가집니다 1. bfloat16은 float16보다 정밀도가 높지만 범위(range)가 좁습니다.

uint8: 8비트의 부호없는 정수(unsigned integer)를 나타냅니다. 부호없는 정수는 음수가 아닌 정수를 말합니다. 예를 들어, 0, 1, 2, … , 255 등이 부호없는 정수입니다. uint8은 0부터 255까지의 값을 표현할 수 있습니다 2.

uint4: 4비트의 부호없는 정수를 나타냅니다. uint4은 0부터 15까지의 값을 표현할 수 있습니다 2.

data type에 대해 설명해 드렸습니다. 혹시 더 도움이 필요하신가요?

모델의 경량화를 위해서는 데이터 타입을 줄이는 작업(quantization)을 수행할 수 있습니다. quantization은 모델의 가중치(weight)와 활성화(activation)를 정수(integer)로 변환하는 과정입니다. 정수는 부동소수점보다 메모리 소모량이 적고 연산 속도가 빠르기 때문에 모델의 성능(performance)을 향상시킬 수 있습니다 1.

quantization에는 여러 종류가 있지만, 일반적으로 사용되는 데이터 타입은 int8과 uint8입니다 1 2. int8은 -128부터 127까지의 값을 표현할 수 있고, uint8은 0부터 255까지의 값을 표현할 수 있습니다 2. 이러한 데이터 타입은 가중치와 활성화의 범위를 충분히 커버할 수 있으며, 정밀도 손실(precision loss)을 최소화할 수 있습니다 3.
모델의 경량화에 사용되는 데이터 타입에 대해 설명해 드렸습니다. 혹시 더 도움이 필요하신가요?

cvpr 대회 참여를 위한 정보 수집

NoPainNoPaper — Wed, 1 Mar 2023 19:22:06 +0900

Image Difference Captioning with Pre-training and Contrastive Learning

The Image Difference Captioning (IDC) task aims to describe the visual differences between two similar images with natural language. The major challenges of this task lie in two aspects: 1) fine-grained visual differences that require learning stronger vis

arxiv.org

Contrastive Semantic Similarity Learning for Image Captioning Evaluation with Intrinsic Auto-encoder

Automatically evaluating the quality of image captions can be very challenging since human language is quite flexible that there can be various expressions for the same meaning. Most of the current captioning metrics rely on token level matching between ca

arxiv.org

Contrastive Learning for Image Captioning

Image captioning, a popular topic in computer vision, has achieved substantial progress in recent years. However, the distinctiveness of natural descriptions is often overlooked in previous work. It is closely related to the quality of captions, as distinc

arxiv.org

NBME Score Clinical Patient Notes 솔루션 분석해보기 -Medical NLP

NoPainNoPaper — Thu, 26 Jan 2023 12:33:31 +0900

참고한 대회 솔루션

NBME - Score Clinical Patient Notes | Kaggle

www.kaggle.com

NBME - Score Clinical Patient Notes | Kaggle

www.kaggle.com

선 결론 후 내용

이전의 캐글에서도 느꼈지만 높은 점수를 내는 사람은 굉장히 많은 시도 후 피드백 과정을 통해서 성능을 검증하고, 점수를 축적해 나간다. 특히 어떠한 결과가 높은 성능을 나타냈다는 것을 기록한다는 것은, 1개의 변화마다 성능을 테스트 하고 검증한다는 것을 뜻한다.

크게 구분하면 피처 엔지니어링, 모델의 설계, 모델의 학습, 예측 정도로 나눌 수 있다.

피처엔지니어링 부분에서는 데이터, 도메인, 그리고 annotator에 대한 3단계에 대한 이해도를 높힌 상태에서 접근하는 것이 바람직하며, 특히 도메인에서 사용되는 약어에 대한 전처리를 신중하게 처리하며, 추후 학습 시킬 것에 대비하여 같은 의미이나 다르게 표현되는 text에 대해서 경우의 수를 줄이기 위한 전처리 기법이 인상 깊었다.

모델의 설계에서 우선 공통적으로 bert 계열에서 deberta가 어느정도 높은 성능을 보장하는 듯 하다. 대체로 다들 deberta 버전을 쓰거나, minor 하게 roberta-large 계열을 사용하는 것을 볼 수 있었고, 한번 학습을 마친 모델을 통해 다양한 방법으로 예측값을 뽑아내고, 확률 값에 따라 활용하는 방법이 인상깊었다.

모델의 학습에서, 우선 기본적인 대형 pretrain 모델을 다시 도메인에 맞게 pretrain 시켰으며, 이 때 해당하는 Task의 데이터셋을 활용해 pretrain 하는 방법, 또는 해당 Task 도메인에 맞는 대형 데이터셋을 가져와 pretrain 하는 방법 등을 활용하는 것이 인상 깊은 점이라 볼 수 있었다. 또한 정확하게 수치상의 표현은 없었지만 데이터셋의 크기와, 모델의 크기가 다를 경우 특히 overfit 또는 underfit 등의 우려를 더 크게 하는 점을 보아, 적합한 규모에 대한 적절한 기준을 알 수 있다면 추후 base 또는 large 모델의 선정에 있어 최적의 모델을 찾을 수 있을 것으로 보인다. 이후, finetune 된 모델을 학습 되지 않은 데이터 셋에 예측 후, 높은 수준의 확률을 보이는 데이터를 활용해 재학습을 이뤄내는 것도 성능에 유리하게 작용할 것으로 보인다. Auxiliary Target Learning(보조 목표 학습) 분야에 대해선 생소함이 있어서 추가적으로 학습할 필요가 있는 분야이다.

국내에서는 최근 KM-BERT-Korean-Medical-BERT 라는 의료 데이터를 학습한 BERT가 있는데, 특정 데이터 셋에 대해서 roberta 계열로 pretrain 한 것과 비교해서 더 좋은 성능을 내는지 검증해보면 흥미로운 비교 분석이 될 것이다.

예측의 부분에서도, 예측한 것을 단순히 argmax 해버리는 것이 아닌, 확률값 조절에 따라 다양한 결론을 낼 것이며, 기본적으로 다들 k-fold 학습을 적용하였고, 특히 5fold를 했을 때와, 그리고 10fold를 했을 때의 성능 향상이 있었던 점 또한 독특하다고 볼 수 있다. 물론 학습 데이터의 양이 늘었기 때문에 그럴 가능 성이 높다고 볼 수 있다. 이 후 fold 된 가중치들에 대해서도 한번 더 가중치를 조절해 blend 시키는 것 또한 굉장히 인상깊었다. 각 모델의 결과를 계속해서 수집한 후, cv, pb 결과 등에 따라서 조합하는 과정까지, 마지막까지 정말 섬세하게 좋은 결과를 얻기 위해 노력하는 모습에서 진정한 엔지니어의 모습을 다시 한번 체감할 수 있었다.

1. 데이터 특징

레이블된 데이터와 레이블 되지 않은 데이터 모두 제공( 레이블 되지 않은 데이터가 10배 ) -> 비지도 학습의 적용 여부가 굉장히 중요해질 수 있는 문제
주석의 일관성이 없음 ( 데이터 품질의 문제 )
annotator의 특징을 보았을 때, 시퀸스 종속성이 있고, 이는 RNN을 사용하는 것이 합리적일 수 있음 ( annotator의 주석 다는 것의 특징까지 분석한 것이 인상적 )
대소문자 혼용 사용 ( 문자의 차이로 발생하는 의미 차이가 없는 것을 확인 후 소문자 적용 )
의학적인 약어 사용 ( 약어를 풀어서 쓰는 것을 고려했으나, 토크나이징 복잡도 우려로 패스 )
같은 내용이나 의미 없는 대소문자 차이 존재 ( 복잡도 감소를 위한 전처리 적용 )

복잡도 감소를 위한 전처리 방식을 담은 예제코드

yom, yof 는 year of male, year of female 등의 약어 사용 ( 전처리를 통한 의미부여 )

2. 모델 특징

핵심은, deberta 모델이 높은 성능을 냈으며, deberta-v2-xlarge, v3-large 등에서는 성능차이가 거의 나지 않음. 비교 해볼 필요가 있음. 무조건 v3가 높은 성능을 낼지는 알 수 없음

1등의 모델 파이프라인

2등

deberta-large, deberta-v3-large, deberta-v2-xlarge, roberta-large 등의 pretrain 모델 사용
데이터 크기에 비해 모델의 크기가 크므로, 과적합 등의 문제를 해결하기 위해 5개의 dropout과 classification head 사용
linear와 dropout을 함께 사용해 모든 hidden states 가 학습하도록 설계
annotator의 특성을 반영하기 위해 head 전에 RNN, GRU, LSTM 등의 레이어 추가

3. 모델 학습

1등, 2등 모두 pretrain을 도메인 adaptive 하게 적용했는데, 1등은 학습데이터에 pretrain을, 2등은 외부 squad 데이터셋을 가지고 온 것이 특징이며, 1등은 MLM을, 2등은 허깅페이스 트랜스포머의 run_qa 스크립트로 학습.

2등

Squadv2 dataset에 사전 학습을 시킴 ( 데이터의 형태가 QA를 닮았으며, 의사 질문에 답변하는 방식이 적합 )
실제로 해당 데이터 셋으로 사전학습 후에 downstream task를 했을 때 좋은 효과를 얻었음
코사인 및 웜업(과 유사한) 스케쥴러 및 아담W 옵티마이저 사용
10% masked token

4. 모델의 사용

1등 2등 둘다 학습한 모델로 레이블 되지 않은 데이터에 pseudo labeling을 한 것이 특징

학습한 모델로 레이블링 되지 않은 데이터 예측
focal loss와 BCE 적용 차이 확인 후, focal loss가 더 결과가 좋은 이유에 대한 확인
4fold로 finetuning

pytorch로 A100 gpu 사용 시 퍼포먼스 향상을 위한 참고 사항

NoPainNoPaper — Wed, 28 Dec 2022 10:02:43 +0900

TF32란?

엔비디아 A100 GPU의 AI 성능이 달라진 이유는 | NVIDIA Blog

인공지능(AI)을 제대로 이용하기 위해서는 여타 모든 컴퓨팅에서 그렇듯 수학을 잘 활용해야 합니다. 딥 러닝은 새롭게 뜨고 있는 신생분야이기 때문에 훈련과 추론 단계에서 어떤 분야의 수학

blogs.nvidia.co.kr

FP32, FP16등과 같은 데이터형태로, torch에서는 직접 데이터 형태로 정해주는 것이 아닌, backend 엔진의 설정으로 이루어짐.

아래 설명에 나와 있듯이, Torch 1.12 버전부터는 TF32형변환 적용이 기본 false이기 때문에 실행하는 스크립트에서 해당 필요한 아래 기능들을 True로 해줘야 한다

# The flag below controls whether to allow TF32 on matmul. This flag defaults to False
# in PyTorch 1.12 and later.
torch.backends.cuda.matmul.allow_tf32 = True

# The flag below controls whether to allow TF32 on cuDNN. This flag defaults to True.
torch.backends.cudnn.allow_tf32 = True

torch 해당 API에 대한 글은 아래에 자세히 나와있다.

CUDA semantics — PyTorch 1.13 documentation

CUDA semantics torch.cuda is used to set up and run CUDA operations. It keeps track of the currently selected GPU, and all CUDA tensors you allocate will by default be created on that device. The selected device can be changed with a torch.cuda.device cont

pytorch.org

성능 향상 정도는?

테스트 예정

오프라인 환경 Vim 플러그인 설치, python wheel 설치

NoPainNoPaper — Tue, 27 Dec 2022 19:39:59 +0900

VIM 플러그인 설치

인터넷 환경이 가능한 환경에서 플러그인 설치(우분투 기준)

【Ubuntu 18.04 LTS】VIM Plug-in 설치하기

VIM 플러그인 설치 방법에 대해서 포스팅하도록 하겠습니다. 기본 VIM을 사용하면 조금 불편합니다.. 그리고 개멋이 안 납니다.. 개 멋나게 꾸며서 IDE(Integrated Development Environment)와 같이 VIM을 꾸며

itlearningcenter.tistory.com

해당 플러그인들이 설치되고 나면 ~/ 경로 아래에 .vim, .viminfo, vimrc 3가지 폴더가 존재함

위 링크를 보고 설정한 파일들을 모두 tar로 압축 후, 옮긴 우분투 환경에서 압축을 풀어 ~/ 경로 아래로 옮기면 플러그인이 적용된 상태에서 사용 가능

파이썬 패키지 whl 설치

파이썬의 경우 일반 pip freeze > requirements.txt로 모든 파일을 받아 설치할 경우, URL 관련 에러를 겪을 수 있음.

보통 큰 패키지에 종속으로 딸려오는 패키지들에 대해서 일반적인 방법의 pip install을 할 경우 발생하는 에러로 보임.

이러한 경우 해결 하기 위해서 메인 라이브러리에 대해서만 pip를 적용하고, 종속성 관련 파일을 설치할 때는 받아둔 whl 파일의 경로에서 찾게하는 방법이 가장 좋음.

pip download -d ./ tensorflow

위 명령어를 실행하면 tensorflow를 비롯한 종속 패키지들이 같이 ./ 경로에 whl 형태로 다운이 받아지게 됨.

이 때 받아진 모든 파일에 대해서 pip install을 시전하게 될 경우 무시무시한 종속성 꼬임 현상을 겪을 수 있음

pip install tensorflow-버전명-cp...-.whl --no-index --find-links ./

위 명령어를 실행하면 tnesorflow 패키지를 먼저 설치하고자 하며, 그에 따른 종속성 파일은 find-links로 넘긴 경로에 존재하는 whl 파일중에 알아서 찾아서 설치를 진행하게 됨으로, 종속성 관련 꼬임 증상 없이 설치가 가능함.

따라서 오프라인으로 설치를 진행할 경우, 설치하고자 하는 메인 패키지를 필터해서 관리하는 것이 핵심이며, 나머지 종속성 관련 파일들은 한곳에 모아서, 저렇게 참조하게 하면 종속성 관련 문제 없이 파일의 설치가 가능!

2022년 돌아보기

NoPainNoPaper — Sun, 25 Dec 2022 18:05:20 +0900

시작하는 글

빈지노의 노래 ' If I die tomorrow ' 노래 2절에는 이런 가사가 있습니다

고개를 45도 기울여 담배 연기와 함께 품은 기억력
추억을 소리처럼 키우면 눈을 감아도 보이는 theater

시간은 유연하게 휘어져 과거로 스프링처럼 휘어져
아주 작고 작았던 미니어쳐 시절을 떠올리는 건 껌처럼 쉬워져

빨주노초 물감을 덜어 하얀색 종이 위를 총처럼 겨눴던
어린 화가의 경력은 뜬금없게도 힙합에 눈이 멀어

멈춰버렸지만 전혀 두렵지 않았어 cuz I didn`t give a fuck
about 남의 시선, cuz life is like 나 홀로 걸어가는 터널

Bold체로 적힌 부분을 말하고자 앞 뒤를 다 적었네요.

뜬금없게도 인공지능에 눈이 멀어

10년 이상 직업군인으로 복무한 사람은 전역 전에 약 10개월의 전직 교육을 받을 수 있는 시간이 주어지는데, 이걸 신청함으로써 사회에 첫발을 내딛게 되었습니다.

이전에 복무하던 병과는 방공, 보병으로 컴퓨터와는 전혀 관련없는 과여서 전혀 프로그래밍 경험이 없었고, 제대로된 프로젝트조차 진행해본 경험이 없었습니다.

그렇지만 유일하게 믿는 구석이 하나 있었는데요.

부대에 코로나 환자가 발생해서 일주일 정도 재택을 한 적이 있었는데, 그때 파이썬으로 한국 주식 정보를 트리맵으로 시각화해서 웹에 배포를 했던, 저만의 프로젝트를 시도해서 성공했었는데 그 성취감이 이루 말할 수가 없었습니다.

이를 계기로 약 1년 간 준비를 한다면 정말 큰 변화를 만들 수 있을 것이라 생각하고, 전역을 결심하게 되었죠.

전역 당시에 챙겨나온 것이라면

- 사이버 학교 통번역전공 학사 학위

- 마케팅 MBA 석사 학위

정도가 다네요, 흔한 정보처리기사, Toeic 아무것도 없이,

2021년 10월 1일 전직교육에 들어가게 됩니다.

자 이제 시간은 주어졌고, 공부도 기왕 혼자하는 것 보단 같이 하고자 공부할 곳을 찾아보게 됩니다.

낙방, 낙방, 합격

부트캠프를 정말 많이 알아봤습니다. 내일배움카드 하나만 믿고 네이버 부스트캠프, 우아한테크코스, 구글 머신러닝 부트캠프, 42서울 등 정말 많은 곳의 문을 두드렸습니다.(싸피는 나이 조건 때문에 문도 두드리지 못했죠)

그러나 초심자가 코딩테스트를 통과할리는 없었고, 기초 상식없이 대체로 낙방하게 되었습니다. 사실 붙는다 하더라도 부산에 거주중인 상황으로 합격하게 되더라도 그 이후 상황을 준비하기도 어렵긴 마찬가지였어요.

이 때, 마침 아이펠 인공지능 과정이 부산에도 열리는 것을 확인하게 되었습니다. 당시 다른 캠퍼스에선 쏘카에 간 분도 계신걸로 홍보를 확인했었고, 코딩하면서 교육받을 수 있는 프로그램이 있어서 되게 괜찮은 프로그램이라 생각했었습니다.

코딩테스트 없이, 간단한 면접 절차를 거쳐서 드디어 부산 1기로 합격해서 공부를 시작하게 됩니다.

아이펠 인공지능과정 부산 1기(21. 12 ~ 22. 6)

이걸 빼고는 제 22년의 반을 이야기 안할 수가 없겠네요.

당시 코로나가 여전히 활개를 치고 있던 상황이라 어딘가 집합해서 학습을 진행하기 어려운 상황이었는데요. 아이펠 과정에선 인터넷으로 학습할 컨텐츠가 준비되어 있었기 때문에 이러한 부분에 어려움은 없었고, 사람간의 소통은 게더타운이 큰 역할을 해줬습니다.

또한 LMS라는 자체 클라우스 시스템이 있어서, 여기에서 학습하는 코드를 돌려보기도 하고, 학습 컨텐츠가 끝나고 나면 제가 하고 싶은 코드를 해당 클라우드를 통해 돌려보기도 했습니다. GPU는 당시 t4로, 나름 쓸만한 성능이었습니다.

기본 인공지능 학습 과정 외에도, 같이 cs231을 공부하거나, 알고리즘도 보충해서 공부하는 등 하루 하루를 정말 꽉채워서 공부했던 기억이 납니다.

당시 주말에는 평일에 소화하지 못한 학습 활동을 하거나, 학습한 내용을 바탕으로 제것으로 만드는 시간을 많이 가졌습니다. 특히 제 것으로 만드는 과정은 실전(Kaggle)등의 대회를 통해서 특히 확실히 다질 수 있었던 계기가 되었던 것 같습니다.

아이펠 학습간 진행했던 내용들인데, 지금 보면 부끄러워서 못볼 내용들이 많을 것 같아서 열어보기 두렵네요

https://github.com/dlfrnaos19/Aiffel_projects

GitHub - dlfrnaos19/Aiffel_projects: task 1

task 1. Contribute to dlfrnaos19/Aiffel_projects development by creating an account on GitHub.

github.com

캐글 마스터에게 배우다(Chris Deotte형 고마워)

배운 것들을 바탕으로 3월경 시도했던 캐글 대회도 있습니다. 학생이 쓴 장문의 에세이를 바탕으로 각 문장별로 주장인지, 근거인지, 반론인지 등의 총 8가지로 분류하는 Classification 문제였습니다. 당시에 처음 겪는 task를 해결하기 위해서 대부분 Code와 Discussion을 읽으면서 왜 이런 코드를 작성하게 된건지, 왜 이런식의 전처리를 하게 되는지에 대해 이해하기 위해 집중적으로 시간을 보냈고, 작성된 코드를 이해하기 위해 함수를 열고 한줄한줄 입력과 결과를 확인하는 시간을 보냈습니다. 덕분에 이 때 정말 많은 실력향상이 있었음을 느끼고 있습니다(인내력 향상은 덤). 특히 Chris Deotte님의 Discussion과 code를 따라가는 것만으로도 정말 많은 배움이 있었던 것을 실감하고 있습니다. 덕분에 Tensorflow로 TPU를 활용해 학습의 파이프라인을 구축하고, 분산 학습을 구축하는데는 도가 텄다고 생각하고 있습니다. 특히 TPU를 사용해서 개인 컴퓨팅 능력을 능가하는 거대 모델들을 학습하고, 추론해보는 경험은 추후에 도래할 대규모 인공지능 시스템에서 제 역할을 할 수 있을 것 같다는 생각이 들었습니다. (대회 순위는 얻지 못했지만, 어려움에 좀 더 담대하게 다가서게 된 것은 덤입니다. 특히 그랜드 마스터들도, 높은 순위를 위해 수면 아래에서 수많은 노력을 한다는 것은 좀 더 저를 노력하는 사람으로 만들어 주었지요)

Feedback Prize - Evaluating Student Writing | Kaggle

www.kaggle.com

겸손하게 만드는 실패 프로젝트

뼈아프지만 실패한(실패로 간주하는)프로젝트도 있습니다. 당시 수학 문제를 푸는 모델로 koGPT와 T5를 사용해 해결하고자 했었는데 높은 정확도를 가지지 못했습니다. 이런 풀지 못한 과제 실패 경험을 다음 기수에게 전달하고자 내용을 정리해서 레포로 만들어 두었습니다. 주어진 예산을 활용해서 Google Cloud GPU를 사용할 수 있었는데, 덕분에 Cloud를 통한 컴퓨팅 사용에 굉장히 익숙해졌고, 거대 모델 사용을 재밌게 해봤습니다. 시간이 조금 더 있었으면, 당시 해외에 수학문제를 해결하기 위해 도입한 여러 방법들을 논문을 읽고 구현해봤으면 좋았을 것 같네요.

GitHub - koco-tunlp/math-challenge: Basic tutorials for KMWP newbies, from Data EDA to Base Code for model is available. Don`t w

Basic tutorials for KMWP newbies, from Data EDA to Base Code for model is available. Don`t waste your time and get the better score - GitHub - koco-tunlp/math-challenge: Basic tutorials for KMWP ne...

github.com

자신감 뿜뿜하게 만들어준 프로젝트

반면 저의 22년을 빛나게 해준 프로젝트가 있습니다. 캐글에서 얻은 지식으로 정말 큰 자신감이 생긴 시기에, 다른 대회를 찾던 중 국내 대회를 찾게 되었습니다. 통계청에서 주관한 대회였고, 4월 ~ 5월 진행을 했었습니다. 당시 자연어처리 카톡방에서 대회 참여자를 찾았고, 아무런 조건없이 함께 해줄 수 있는 사람만을 찾아서 했습니다. 아이펠 과정 중이었기 때문에 주간에 학습을 진행하고, 남는 시간에 대회를 진행했고, 팀원들은 원격으로 줌으로 회의를 진행하면서 함께 했습니다.

당시에 제가 가진 stack인 tensorflow와 TPU 하나만 믿고, 간크게 도전했습니다. 특히 BERT 계열의 한글을 학습한 모든 사이즈의 모델을 학습하고 예측해보면서 적합한 모델을 찾았고, 프로젝트에 큰 기여를 해주신 팀원 분과의 앙상블 모델을 제출함으로써 좋은 성과를 얻을 수 있었습니다. 물론 모델링 뿐만이 아니라, 코드 제출 이후 문서 작성에도 2~3배의 에너지가 들어간 것 같습니다. 그 땐 정말 학습보다 더 잦은 미팅을 하고, 실시간으로 문서 작성을 밤늦게까지 해야만 했었거든요.

누가 시켜서 한게 아니었고, 특히 제가 먼저 프로젝트를 제안하고 시작했었고, 열심히 해주시는 팀원분들 덕분에 힘들어도 끝까지 시도할 수 있었던 것 같습니다. 뭣보다 이 프로젝트를 통해서, 모델을 단순히 쓰는 것 이상으로 모델을 커스텀해서 학습하는 걸 경험하고, 협업의 중요성을 특히 깨닫게 된 계기가 되었습니다. 특히 이 레포로 시작된 이 프로젝트는 지금 취업한 회사에서 제가 계속해서 발전시켜 나가고 있다는 사실! ㅎㅎ

시상식엔 현업자도 계셨고, 석사생 분들도 계셔서 정말 신기했었습니다

GitHub - dltmddbs100/KSIC_Automation: Winner of the 1st National Statistical Office Artificial Intelligence Contest

Winner of the 1st National Statistical Office Artificial Intelligence Contest - GitHub - dltmddbs100/KSIC_Automation: Winner of the 1st National Statistical Office Artificial Intelligence Contest

github.com

실패와 성공을 거치며... 이렇게 아이펠 인공지능 과정은 끝이 나게 됩니다.

더 공부해볼까?

프로그래밍은 배우면 배울수록 배울게 정말 많아지는 마법이 있습니다. 아이펠이 끝나고도 추가적으로 공부하고자 다른 과정에 지원 했었는데요.

청년대상 빅데이터 전문가 과정이 있어서, 지원 후 진행을 했는데 학습 과정의 대부분이 sql 이었고, 데이터 엔지니어에 더 적합한 학습과정인거 같아 중간에 포기했습니다.(선생님 인공지능이 하고 싶었어요...)

부산에서 하는 자바 풀스택 과정 이후, 더존비즈온에 입사하게 되는 과정에 붙게됩니다. 자바 외에도 네트워크부터 리눅스까지 다양하게 커리큘럼이 짜져있어서 만족스럽게 다니고 있었는데, 중간에 뜻밖에 제안을 받게 됩니다.

프리랜서

통계청 대회 이후, 해당 프로젝트를 활용해서 통계청 내의 데이터를 활용해 모델링을 할 수 있는

기회가 생기게 된 것인데요!

부산에서 중견 규모의 크기 회사에 입사가 예정된 상황이었기에 많은 고민을 했습니다. 가족과 다소 떨어진 생활을 해야하는 것도 있었기 때문인데요. 그렇지만 무엇보다 22년을 빛나게 해준 저 프로젝트가 그대로 끝이나게 되는 것은 아쉬웠습니다. 결국 회사의 제안을 받고 프로젝트를 진행했던 모델을 통계청 내에 넣게 되는 뜻깊은 작업에 동참하게 됩니다! (현재 진행형 이기도 하구요)

위에 업로드 된 깃허브 형태에서, 지금은 많은 것이 바뀌었습니다. 좀 더 편리하게 모델링을 하기 위해서 Huggingface의 Transformers 형태를 적극 채용해서 모델 클래스를 따로 만들었고, 학습과 예측 과정에 Huggingface의 에코 시스템을 집어넣어서 이제는 허깅페이스라는 거인의 어깨에 탄 프로젝트가 되었습니다.

또한 여러 부분을 리팩토링하면서 자연스럽게 Pytorch에 익숙해지고, 이제는 오히려 Pytorch를 쓰는 시간이 더 긴 것 같습니다. 리눅스 또한 좀 더 자연스럽게 다루게 되었고, 프로젝트를 발전하는 과정에서 패키지화도 진행해서 이제는 라이브러리처럼 편하게 업무에 사용하고 있습니다. 추후에는 다른 사람도 편하게 사용할 수 있도록 api를 문서화 하려는 작업을 진행해보고자 하고 있습니다.

모델링 하는 작업에 대한 문서 작업도 병행했는데요. 이 때 주로 사용한 라이브러리라 Plotly 입니다. Matplotlib에 비해서 좀더 사용하기 직관적이고, 기본 색감이 좋으며, 기본 html 형식으로 그려주는 것이 좋아서 사용하게 되었습니다. 대체로 plotly를 많이 사용해서, 해당 라이브러리에 대한 이해도가 많이 높아졌고, 일반적인 bar, pie 그래프 외에 좀 더 다이나믹한 연출할 타이밍을 기다리고 있습니다.

Mariadb, Oracledb는 원없이 다루면서 쿼리를 해보고 있어서 많이 향상이 되었다는 점은 장점이 되겠네요!

끝나지 않은 프로젝트

KT 주최 대회

좋은 결과가 있었던 것은 아니지만 배움에는 끝이 없다고 생각합니다. 일을 하면서 kt에서 주최한 대회에 참여했었는데요. 아쉽게도 대회에 정확도라던지 하는 결과로 나오는게 아니어서 정확히 등수가 나오진 않았으나, 이전 프로젝트 대비 훨씬 정리된 프로젝트 형태로 제출할 수 있었습니다. 이 프로젝트에선 KT에서 제공하는 Genie라는 솔루션을 통해 GPU를 활용해서 학습을 진행하는게 재밌었고, Huggingface의 에코시스템을 적극 활용해 학습과 예측을 했습니다. 협업과정에서 주로 모델링 부분을 담당했고, 데이터 분석가 역할의 팀원 분, 그리고 metric을 담당해주신 팀원분과 함께 재밌게 작업을 했습니다. task는 NER 이었고, 자체 eval 성능에서 높은 성능이 나와서 기분이 좋았고, Wandb를 활용해서 모델들의 성능을 비교하고 제출할 모델을 선정하는 등 완성도 높은 프로젝트를 수행할 수 있었습니다.

KT Dev Challenge 2022

문제 : T5 기반 개체명 인식 파인튜닝

shell-caper-efa.notion.site

GitHub - salmon-united/salmon-t5: 2022 kt dev chellenge

2022 kt dev chellenge. Contribute to salmon-united/salmon-t5 development by creating an account on GitHub.

github.com

한국어 인공지능 대회

음성인식 대회였는데 아쉽게도 이 쪽은 깃허브 코드가 없습니다. Naver에서 제공하는 툴을 사용했는데, 해당 툴을 익히는 과정과 음성인식에 대한 도메인 지식을 쌓는데 많은 어려움이 있었습니다. 특히 기존 base code가 kospeech 라이브러리로 구성되어 있었는데, 이 부분을 wav2vec 모델로 풀어보고 싶었으나, 아쉽게도 Naver 툴에 대한 이해가 늦어 완성하지 못한 프로젝트로 남았습니다. 다만 도메인에 대한 지식 획득 보다, 네이버 툴에 시간을 뺏긴건 아쉬울 따름입니다..

음성 분야에서는 검색하면 할수록 수환님이 해두신 부분이 많은 것을 느꼈습니다. 그래도 덕분에 Wav2vec 모델과 wav 데이터에 대한 이해도가 많이 상승해서, 다음 기회가 생긴다면 더욱 많은 것을 시도해볼 수 있을 것 같습니다

2022 한국어 AI 경진대회

문제 : 차량 내 대화 및 명령어 음성인식

shell-caper-efa.notion.site

오픈소스 프로젝트 참여

tpu-starter

생애 첫 PR을 진행한 프로젝트이고, 제가 도움을 받았던 프로젝트 입니다. TPU 활용에 대한 정보가 부족한 상황에서 한줄기 빛과 같은 프로젝트 였는데요. 당장에 보답하고자 했던 방향은 한국어 버전을 만들고자 깃허브 Owner인 ayaka14732에게 Discussion으로 제안했고, 작업을 함께 진행하게 되었습니다. 이후 한국어 버전으로 번역하는 과정에서 ayaka가 잘못 적은 내용에 대해 수정하는 작업도 진행했고, 추가 업데이트에 대응해서 번역을 진행하고 있습니다.

현재는 컨트리뷰터가 되어 함께 활동하고 있습니다. 저자는 주로 jax를 사용하고 있는데, 앞으로 jax로 계속 갈것인지, 아니면 starter라는 이름에 걸맞게 torch나 tensorflow 활용에 대한 것도 다룰 것인지 이야기 해보고 함께 발전해나가고 싶은 프로젝트 중 하나 입니다.

GitHub - ayaka14732/tpu-starter: Everything you want to know about Google Cloud TPU

Everything you want to know about Google Cloud TPU - GitHub - ayaka14732/tpu-starter: Everything you want to know about Google Cloud TPU

github.com

huggingface / course

tpu-starter와 달리, huggingface에 PR을 진행하는 것은 좀 더 까다롭고 힘든 과정이었습니다. 한국어 버전으로 번역을 하기 위해서 무엇보다 huggingface 에코시스템에 대한 이해를 하고 있어야 했고, 특히 디버깅 부분을 다뤘는데 해당 챕터에 내용이 꽤 많아서, 업무를 진행하면서 하느라 꽤 많은 시간이 소요되었습니다.

또한 완료 이후 fork 했던 branch를 PR 하는 과정에서 정말 많은 시행착오가 있었습니다. fork 이후 다른 사람들의 커밋이 쌓이게 되면 자연스럽게 생길 일이기 때문에 이 부분은 집중해서 연습하고 따로 블로그 글로 정리해두기도 했습니다.

Git Fork 후 Pull Request 할 때 conflict 해소 방법

덕분에 깃과 깃허브를 다루는데 한층 더 이해도를 높힐 수 있었고, 특히 huggingface는 PR을 받는 과정 또한 자동화로 만들어두어서 성공시에 바로 반영이 되게끔 만들어둔 시스템이 인상 깊었습니다. 역시 대형 프로젝트는 뭐가 달라도 달랐습니다. Huggingface course에 컨트리뷰트를 하면서 귀여운 Pull Shark를 얻을 수 있었습니다!

GitHub - huggingface/course: The Hugging Face course on Transformers

The Hugging Face course on Transformers. Contribute to huggingface/course development by creating an account on GitHub.

github.com

비전공자에서 전공자하기

비전공이라는 부분은 여전히 불편한 진실이고, 부족한 부분이기에, 인정하고 이를 보완하기 위해 노력하기로 했습니다.

현재 학점은행제를 통해 운영체제, 컴퓨터구조, 알고리즘, 이산수학을 수강하고 있습니다. 이 강의 이후로 정보처리기사를 취득해 정식으로 컴퓨터 학위를 취득하고자 하고 있습니다. 물론 학위 취득을 한다해도 여전히 공부할 내용은 많기 때문에 네트워크 등의 컴퓨터 공학 지식을 계속 배워나가고자 합니다.

23년 공부 목표

네트워크와 서비스, 디자인 패턴 대한 공부를 주로 하고자 합니다. 모델링에 대한 경험은 다수 있으나, 이런 모델이 어떻게 고객에게 전달할지 엔드 투 엔드에 대한 경험을 쌓아보고자 하며, 이러한 어플리케이션을 만드는 전체 과정에 일련의 디자인 패턴을 적용해서 만들어 보는 경험을 해보고자 합니다. 현재 프로젝트를 진행하면서도 협업 하는 과정에서 각자의 코드를 이해하는데 어려움이 있었는데, 이러한 부분을 공통된 디자인 패턴을 공유하고 함께 작업해보고자 합니다.

또한 서비스 방식이 비단, 파이썬에만 머물지 않도록 가능하면 javascript를 활용하는 방안에 대해서도 고민을 하고 있습니다. 또한 발전하는 자연어처리를 허깅페이스와 함께 컨트리뷰트를 진행하면서 함께 성장해 나가고 싶습니다.

러스트를 배우는 것에 대해 굉장히 고민하고 있습니다. 지금 진행하는 프로젝트가 끝이나면 딥다이브 할 수 있을 시간을 기대중입니다. 허깅페이스에서도 러스트를 많이 사용한 것으로 보여 많은 호기심을 가지고 있습니다.

취미..?

공부할게 많아 한동안은 제게 취미라 할만한 것은 유튜브 밖에 없을 것 같습니다. 유튜브도 사실은 대체로 프로그래밍 위주의 구독이 되어 있어서 여전히 공부에 집중하고 있습니다. 제가 보는 것을 몇개 소개해드리자면...

노마드코더

IT 트렌드를 잘 잡아주시는 분 같습니다. 특히 예전에는 언어별 특징에 대해서도 잘 설명해줘서 좋았습니다! 요즘에는 트렌드 위주로 설명하기 때문에 이슈에 대한 분석을 짧게 잘해줘서 시청하고 있습니다

허깅페이스

저는 허깅페이스를 통해 정말 편하게 자연어 처리를 하고 있습니다. 허깅페이스가 가는 방향은 저의 주관심사이고, 특히 jax, flax에 관한 정보도 여기에서 가장 빠르게 얻을 수 있어서 잘 보고 있습니다.

ArjanCodes

저의 파이썬 시니어를 담당하고 계신 분입니다. 파이썬에 대한 주제를 위주로 다루며, 특히 기초 파이썬을 하신 분들이라면 그 다음으로 봐야할 중급자를 위한 컨텐츠를 많이 만들어주고 계십니다. 디자인패턴, 데이타 클래스, 중급 기능에 대한 소개를 많이 해줍니다.

FreeCodeCamp

이전에 FastAPI와 Mysql에 딥다이브 할 때 참고했던 영상 중 하나입니다. 대체로 동영상 내용이 길기 때문에 특히 시간이 넉넉할 때, 딥다이브 할 때 가장 좋은 유튜브 강의라고 생각합니다. 1개의 완성된 프로젝트를 다뤄볼 수 있기 때문에 전체를 다룰 때 특히 좋다고 생각합니다

이번 한 해 많은 것을 했고, 많은 도약이 있었습니다.

비전공자, 부트캠프 출신에 머물지 않고 숙련된 프로그래머로써 시니어로 한발짝 더 나아가보고 싶네요

다들 22년 한해 고생하셨습니다.

23년에도 많은 경험과 공부로 성장하는 한해 되시기 바랍니다!

corrupted size vs. prev_size

NoPainNoPaper — Sun, 25 Dec 2022 15:39:08 +0900

폐쇄망 환경에서 cuda 및 torch를 설치 후, Transformers의 Trainer class를 활용해 학습을 진행할 때

발생하는 메세지로, C++ 관련 백엔드 부분에 문제가 생기는 것으로 보이는데, 아직 정확한 해결책은 찾지 못한 상황

참고해볼만한 링크들

https://discuss.pytorch.org/t/malloc-and-corrupted-size-errors/37080

Malloc, and corrupted size errors

Hi. I’m using pytorch in multi gpu setting, and also with some multiprocessing for loading and preprocessing and quite often encountering these errors, which I can’t manage to solve. malloc.c:4023: _int_malloc: Assertion (unsigned long) (size) >= (unsi

discuss.pytorch.org

https://github.com/pytorch/pytorch/issues/2507

Segfault (free() on invalid pointer) · Issue #2507 · pytorch/pytorch

On Ubuntu 16.04, Python 3.6.2 and PyTorch 0.2.0, it's possible to force a free() on invalid pointer segfault by first doing import zmq then import torch. (Originally, I had this problem when tr...

github.com

https://github.com/pytorch/pytorch/issues/10567

problem: corrupted size vs. prev_size when using python3.6 · Issue #10567 · pytorch/pytorch

Hi, I install tensorflow-1.9; then install pytorch=0.4 at python2 and python3 respectively. I use python2 to run my code, no error is reported; but when using python3 to run it, an error is report ...

github.com

https://github.com/pytorch/pytorch/issues/26467

Pytorch 1.2 on Red Hat Enterprise Linux 6.4 gives 'GLIBC_2.14' not found · Issue #26467 · pytorch/pytorch

Bug Description: On a server running Red Hat Enterprise Linux (RHEL) Workstaion release 6.4 (Santiago), I used conda 4.5.12 to install pytorch using the following command: conda install pytorch t...

github.com

Huggingface Trainer로 TPU Multicore 활용 학습 예제코드

NoPainNoPaper — Wed, 21 Dec 2022 20:29:05 +0900

from datasets import load_dataset
from transformers import AutoTokenizer, DataCollatorWithPadding
from transformers import TrainingArguments, AutoModelForSequenceClassification
from transformers import Trainer

def main(index):
    # 예제로 활용할 데이터셋
    raw_datasets = load_dataset('glue','mrpc')
    # 예제 활용 모델
    model_name = 'klue/roberta-large'
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    
    #raw_dataset은 huggingface dataset의 구조체로 해당 함수를 이용해 각 데이터셋 원소를
    #tokenize함
    def tokenize_fn(batch):
        return tokenizer(batch['sentence1'], batch['sentence2'], max_length=64, padding='max_length', truncation=True)

    tokenized_ds = raw_datasets.map(tokenize_fn, batched=True)

    # tpu 학습시 tpu_num_cores로 해당 tpu core 갯수를 설정해야함
    # per device batch size가 16이므로, global batch size는 128
    args = TrainingArguments('test-train',
                                per_device_train_batch_size=16
                                tpu_num_cores=8)
    #샘플 모델
    model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=50)
    
    trainer = Trainer(
        model,
        args,
        train_dataset=tokenized_ds['train'],
        eval_dataset=tokenized_ds['validation'],
        tokenizer=tokenizer,
    )

    trainer.train()

if __name__ == '__main__':
    #xrt_tpu_config가 설정되어야 tpu 정상작동 보장
    import os
    os.environ['XRT_TPU_CONFIG']="localservice;0;localhost:51011"
    # xmp를 통해 위 main 함수를 multiprocessing으로 실행함
    # 각 프로세스별로 데이터셋, 토크나이저, 모델을 따로 만든 뒤
    # 최종 Trainer 단계에서 통합으로 동작함.
    import torch_xla.distributed.xla_multiprocessing as xmp
    xmp.spawn(main, args=(), nprocs=8,)

시각화 라이브러리 plotly를 편하게 사용하는 방법

NoPainNoPaper — Mon, 19 Dec 2022 19:05:56 +0900

Plotly

파이썬에서 주로 사용하는 시각화 라이브러리인 Matplotlib과 뚜렷하게 구분되는 라이브러리로, 특히 기본적으로 반응형의 차트를 그려주며, 기본적으로 그려주는게 많은게 장점인 라이브러리이다.

api도 깔끔하고, 특히 문서가 좋아서 이용하게 되었다.

홈페이지에 있는 예제 그림들

pie 그래프를 그리는 예제

그러나 단점이 있었으니.. 바로 fig.update_traces라는 형태의 api이다

import plotly.express as px
df = px.data.gapminder().query("year == 2007").query("continent == 'Americas'")
fig = px.pie(df, values='pop', names='country',
             title='Population of American continent',
             hover_data=['lifeExp'], labels={'lifeExp':'life expectancy'})
fig.update_traces(textposition='inside', textinfo='percent+label')
fig.show()

fig에는 다양하게 커스텀할 수 있는 객체들이 많아서 이를 fig.update_traces라는 형태로 한번에 설정을 해줄 수 있다.

그러나..

VSCODE내에서 뜨는 update_traces 함수에 뜨는 설명인데, 다음처럼 어떤 정보를 입력할 수 있는지에 대한 명확한 정보가 드러나지 않는다. 물론 파이 그래프의 trace 예시를 보면 어떠한 요소가 들어가는지 문서를 통해서 볼 수는 있다.

그러나 이게 매번 외워지지 않고, 있는지 없는지 여부를 항상 외울수가 없었고, 무엇보다 내부 코드를 하면서 곧장 도움을 받고 싶었다.

따라서 여기에서 설명할 내용은, Plotly에서 공식적으로 권장하는 API는 아니며, 필자가 이해를 바탕으로 편하게 쓰기 위해 방법을 찾아보았다.

우선 첫번째 접근할 것으로, 내가 수정하고자 하는 대상을 명확하게 하는 것이다.

pie그래프를 예로 들면, 해당 원 부분은 Data 객체에 해당되는 부분이고, 그 밖에 부분은 전부 레이아웃 부분이다.

위 예제 코드에서 traces를 업데이트 하므로(데이타 영역) 여기에서 똑같은 방법으로 값을 바꿔보겠다

import plotly.express as px
df = px.data.gapminder().query("year == 2007").query("continent == 'Americas'")
fig = px.pie(df, values='pop', names='country',
             title='Population of American continent',
             hover_data=['lifeExp'], labels={'lifeExp':'life expectancy'})
# fig까지만 완료한 상태에서 fig.data의 객체 확인
fig.data

그래프 객체는 여러개가 될 수도 있기 때문에, 기본적으로 Tuple로 반환하는 모습을 보여준다. 여기에선 간단하게 인덱싱을 통해서 파이 그래프 객체로 접근한다.

이제부터 내가 수정가능한 값이 무엇인지, 자유롭게 수정할 수 있다.

pie = fig.data[0]
# pie에 점을 찍어보자

이러한 방법을 사용하면 다음 처럼 vscode내에서 도움을 받을 수도 있으며, dir() 함수를 사용하면 모든 속성값을 빠르게 확인이 가능하다.

한번 무슨 값이 있는지 보고나면 값을 할당해주는 것은 파이썬의 기본 규칙을 활용하면 간단하다.

입력 이후 fig.show()를 해보면 넣은 값이 반영이 된 것을 알 수 있다.

pie.textposition = 'inside'

layout에 경우, 몇개의 depth를 가진 상태에서 값을 입력해줘야 하는 경우도 있는데, 이때도 마찬가지로 내가 설정하고자 하는 값에 .을 찍어보면서 더 depth가 있는지 확인하면 쉽게 값을 수정할 수 있다.

기본적으로 title, text를 만질일이 많은데, 해당 값들에 font, font안에 color 또는 family등 설정을 다양하게 건드려줘야 한다.

이러한 방법은 도무지 외워지지 않는 설정 값들을 매번 복사 붙여넣기 하거나, 문서를 참조하여 왔다갔다 해야하는 면을 감소시켜주며, 조금 더 직관적으로, 내가 바꾸고자 하는 값에 직접적으로 영향을 행사하는데 의의가 있다.

이렇게 값을 직접 지정해주게 되면 값 적용 이후의 변화도 직관적으로 바로 확인할 수 있기 때문에 타자는 조금 더 많이 치게되고, 코드 스타일이 반쯤 Matplotlib처럼 되어버리지만 스마트하게 Plotly를 사용할 수 있게 되었다.

Git Fork 후 Pull Request 할 때 conflict 해소 방법

NoPainNoPaper — Sat, 17 Dec 2022 22:09:45 +0900

여기에서 Git은 전적으로 VSCODE에 의존하여 사용합니다.

우선 현재 문제 상황에 대한 이해.

1. 해당 Repo에서 Fork 하게 되면, 코드는 Fork 한 상태에서 멈추며, 내가 업데이트 하는 것만 반영이 됨.

2. 빠르게 수정하고 반영하면 상관없으나, 시간이 걸리게 될 경우 다른 사람 또한 해당 코드에 자신의 코드를 반영하게 됨.

3. 시간이 지날수록 내가 Fork한 코드는 원본 코드와 괴리가 발생하게됨.

4. 내가 PR을 날릴 때 코드는 바뀌어져 있으므로, 필연적으로 conflict가 발생하게 됨

문제 상황을 만들기 위한 Repo를 2개 준비. 1개는 메인 코드, 1개는 fork 하여 PR 하는 레포가 됨.

main repo로, readme를 통해 업데이트 반영 여부를 확인할 예정

현재 상황에서 Fork를 통해 가져온 레포로, 같은 계정에서 할 수 없어 임의의 단체 계정을 활용하였다.

readme에 적힌 내용은 main repo라는 글만 써져 있으며, 1개의 파일만 있다.

개발하는 상황을 가정하여, Fork를 뜬 이후에 4번의 커밋이 있었다고 가정할 예정이다.

commit 1 ~ 4 까지 부여하고, Fork 된 Repo에서는 5번 커밋을 할 예정.

commit 1 -> 저장 -> 푸시 -> commit 2-> 저장 -> 푸시... commit 4 까지 총 4번의 커밋을 걸쳐 만들었다.

Fork된 Repo에서 commit 5를 Fork Repo에 커밋한다.

중간에 설명에서도 나오지만 커밋의 차이가 발생함이 나온다.

이 상태에서 원본 Repo에 PR을 하려고 하면 어떤 일이 일어날까?

우측에서 좌측으로, Fork된 Repo에서 원본 Repo로 가는 것 확인

맨 아래에 conflict가 발생함을 알 수 있다.

conflict 에러를 좀 더 자세히 살펴보면

Fork 이후 원본 Repo에 커밋되었던 내용이 반영되지 않은 채, Fork Repo에 반영한 내용을 커밋하려고 하자 충돌이 나게 된다.

여기에서 해결 방법으로 하고자 하는 것은,

1. 내가 Fork 후 수정한 코드가 날라가지 않도록 현재 시점에서 추가 Branch를 만들고

2. Fork Repo에서 기존 Repo의 수정 사항을 반영한 뒤

3. Branch를 다시 Fork Repo에 머지 후

4. 최종 Fork Repo에서 Pull Request를 기존 Repo에다가 하려고 한다.

해당 버튼을 누른 후, 이름을 지어주면 branch를 만들 수 있다. 현재 작업 특성상 같은 곳에 원본 Repo와 Fork Repo가 함께하고 있어 2개가 뜨는데, 반드시 Fork된 Repo에서 branch를 반영한다.

add remote 기능을 이용해서 원본 Repo를 추가 후,

원격 이름은 통상 upstream이라고 하며, 여기에선 example_upstream이라는 이름으로 진행함

이후 Pull from을 누르게 되면

원본 Repo를 연결했던 example_upstream을 선택 가능함

가져올 분기가 여러가지 일 경우 주의해야하며, 여기에선 원본 Repo에 별도의 branch가 존재하지 않음

위 버튼을 누르면 다음과 같이 conflict 난 부분이 표시가 되며 나오게 됨.

이때 아래에 있는 Resolve in merge editor를 사용하면 간단하게 해결할 수 있다

원본 커밋 내용과, 우측 Fork Repo 내용이 나란히 있게 되는데, 내가 원하는 형태는

commit이 번호대로, 아래로 나란히 나열되는 것을 원한다.

이 때 먼저 포함되고자 하는 내용의 수락 버튼을 먼저 누른다.

여기에선 수신수락 버튼을 먼저 누르면 아래에 먼저 반영이 되고, 그 다음에 현재 수락 버튼을 누른다.

아래처럼 내용이 절렬되어서 들어가게 되고, 더 이상 충돌이 일어나지 않게 된다.

충돌하지 않음이 확인되면, 충돌 갯수 또한 0이 되며, 이 때 complete merge 버튼을 누르면 된다.

바뀐 내용에서 커밋 버튼이 활성화 되며, 해당 버튼을 누르면 충돌 커밋이 해결 된 상태가 된다.

이후 동기화 버튼을 누르게 되면 모든 내용이 포함된 Fork Repo가 완성이 된다.

이번에는 VSCODE를 통해 PR를 해본다,

Fork레포에서 원본 레포로 풀 리퀘스트 Create

결과, no conflict가 떳음을 확인할 수 있다.

Pull Request를 완료한 모습의 인증으로 이번 github conflict 해결을 마친다.

VSCODE 단축키 모음 PDF

NoPainNoPaper — Tue, 29 Nov 2022 20:31:45 +0900

https://code.visualstudio.com/shortcuts/keyboard-shortcuts-windows.pdf

TPU 자원 할당을 위한 간단한 스크립트

NoPainNoPaper — Tue, 29 Nov 2022 17:21:31 +0900

TPU 자원이 모두 사용중이면 보게 되는 에러 입니다

최근 TPU 자원 활용도가 많아지면서 자원을 빌리기도 어려워지고 있네요

손으로 하기가 아파서 새로운 방법을 찾아봤습니다

1. 매번 실행할 sh 파일 만들기

아래 파일은 하나의 sh 파일에 저장하고 쓰면 됩니다

export PROJECT_ID=[프로젝트 ID 명으로 변경] - PROJECT ID를 변수에 할당
gcloud config set project ${PROJECT_ID} - PROJECT ID를 활용해서 config 설정
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID - tpu 서비스 계정 값을 받을 수 있음
gcloud compute tpus tpu-vm create [VM 이름]

--zone=[존 이름: ex)europe-west4-a]

--accelerator-type=[VM의 타입 ex) v2-8, v3-8, v4-8]

--version=[tpu vm 내에 딥러닝 프레임워크 버전설정 ex)tpu-vm-pt-1.13, tpu-vm-tf-2.10.0] 해당 종류는 GCP에서 TPU VM 생성메뉴에 가면 메뉴바로 찾아볼 수 있습니다. 또는 GCP TPU 학습에서 예시로 나온 버전을 활용하셔도 좋습니다.

위 파일을 /home/[계정명]/request_tpu.sh에 저장했다고 간주하겠습니다

2. crontab 설정

crontab -e

위 명령어를 실행하면 crontab을 설정하는 화면이 나오게 됩니다

crontab의 자세한 설명은 여기에서 중요한게 아니므로, 다른 블로그를 참고 바랍니다

아래 crontab 명령어는 매분, request_tpu.sh라는 스크립트를 실행하고, gcloud_log.log에 매번

로그를 저장하는 명령어입니다. 아까 crontab -e 했던 곳에 아래 내용을 적습니다

* * * * * sh /home/[자신의계정명]/request_tpu.sh > /home/[자신의계정명]/gcloud_log.log 2>&1

빠져나오고 나면

sudo service cron start

명령어를 통해서 crontab을 실행시켜줍니다

3. 로그 확인

이후에 발생하는 로그는 파일에 기록되어서 보이지 않으므로 해당 내용을 꾸준하게 보기 위해서

다음의 명령어를 bash shell에 입력합니다

while true; do   cat gcloud_log.log;   sleep 30s; done

계속해서 30초마다 gcloud_log.log를 표시하는 간단한 shell script 반복문 입니다

TPU 자원 요청 할 때 현명하게 요청합시다!

TPU 에러 모음

NoPainNoPaper — Sat, 26 Nov 2022 22:09:07 +0900

PermissionDeniedError: open(/dev/accel0): Operation not permitted: Operation not permitted; Couldn't open device: /dev/accel0; Unable to create Node RegisterInterface for node 0, config: device_path

주피터 노트북으로 작업하던 중 발생한 에러로, TPU 접근이 불가한 현상임.발생한 경위는 알 수 없으나, VM을 재부팅 하면 해결

shutdown -r now

TPU-starter 프로젝트 소개

NoPainNoPaper — Mon, 10 Oct 2022 12:38:05 +0900

TPU starter 프로젝트?

TPU는 일반적으로 직접 물건을 접할 수 없기 때문에 접근하기 어렵고, 그 존재조차 모르는 사람이 많습니다. 효용에 비해서 상대적으로 덜 알려져 있고, 정보도 많이 부족합니다.

이러한 부분을 해결하고자, tpu-starter-pack 프로젝트를 진행하는 사람이 있었고, 한국어로 번역하는 부분을 원작자의 허락을 맡아 진행했습니다.

깃허브를 참고하시고 어렵거나 필요한 내용이 있으면 알려주시면 반영하도록 할게요

https://github.com/dlfrnaos19/tpu-starter-korean

GitHub - dlfrnaos19/tpu-starter-korean

Contribute to dlfrnaos19/tpu-starter-korean development by creating an account on GitHub.

github.com

Django Rest Framework4 - 데이터 컨트롤

NoPainNoPaper — Mon, 15 Aug 2022 21:24:03 +0900

Django Rest Framework3 - Django 프로젝트 실행

Django 서버 띄우기 manage.py가 있는 디렉터리로 이동 후, 다음의 스크립트를 실행합니다 manage.py 는 backend 폴더 아래에 위치 합니다 #python3 manage.py runserver [portnumber] python3 manage.py runserve..

okdone.tistory.com

request, response data flow

views.py에 python client를 통해서 api에 request를 할 때, api의 응답에 대해서 어떤 움직임이 일어나는지 자세히 보고자 합니다. request.body 부분이 코드에 추가되었습니다

# views.py
from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    # 데이터 흐름
    # request -> HttpRequest -> Django
    body = request.body # byte string of JSON data
    print(body)
    return JsonResponse({"message":"하이, 이건 장고 api json 응답"})

basic.py 폴더의 requests.get 부분에 params 부분이 추가되었습니다

# basic.py
import requests

# api url 설정한 곳으로 변경
endpoint = "http://127.0.0.1:8000/api/"

response = requests.get(endpoint, params={"abc":123} ,json={"query":"Hello world"})

print(response.status_code)
print(response.json())

Django 서버를 manage.py를 통해 띄운 상태에서 어떤 변화가 있는지 살펴봅니다

python3 manage.py runserver 8000

# py_client 폴더로 이동후
python3 basic.py

여기에서 헷갈릴 수 있는 부분을 짚고 넘어가자면, 장고로 runserver 하는 곳은 서버 역할을 하고 있고, python으로 basic.py를 실행하는 것은 요청하는 사용자의 역할을 하고 있습니다.

따라서 두가지의 로그 형태가 다르게 나오게 되는데요

request에 담은 json은 views.py에 api_home 함수에 설정한 print를 통해서, runserver를 진행한 터미널에 해당 응답이 뜰 것이며, 서버가 response한 내용은 basic.py를 실행한 터미널에 로그가 남을 겁니다

basic.py측 터미널

runserver측 터미널

request가 가진 정보 확인

request는 우리가 basic.py에 입력한 정보 외에도 다른 정보를 담고 있습니다. 일례로 header와, content_type에 대한 정보를 서버측에 출력되게끔 설정해서 확인 해보겠습니다. views.py를 다음과 같이 수정하고, basic.py를 실행해서 서버측에 어떤 정보가 print 되는지 확인 해봅니다

# views.py

import json
from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    # 데이터 흐름
    # request -> HttpRequest -> Django
    body = request.body # byte string of JSON data
    data = {}
    data = json.loads(body) #json to dict
    
    print(data)
    print(request.headers) # request의 header 정보
    print(request.content_type) # request의 content_type
    
    return JsonResponse({"message":"하이, 이건 장고 api json 응답"})

python3 basic.py

대부분의 정보가 header 부분에 포함되어 있는 것을 알 수 있습니다

header, content_type 정보

JSON 사용 시 발생 할 수 있는 에러

JSON으로 응답을 하고 있으므로, request가 들어온 header 정보를 다시 response를 한다고 가정해보겠습니다

request의 정보를 다시 dictionary에 담아 return을 설정하고, basic.py를 통해 서버에 request 합니다

import json
from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    # 데이터 흐름
    # request -> HttpRequest -> Django
    body = request.body # byte string of JSON data
    data = {}
    data = json.loads(body) #json to dict
    
    data['headers'] = request.headers
    data['content_type'] = request.content_type
    
    return JsonResponse(data)

decode error

디코딩 과정에서 에러가 발생하는데, 파이썬의 dictionary 형태가 정확히 지켜지지 않았기 때문에 오류가 발생합니다

request.header 부분에서 해당 에러가 발생하는데, 이를 dict()로 감싸줍니다

import json
from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    # 데이터 흐름
    # request -> HttpRequest -> Django
    body = request.body # byte string of JSON data
    data = {}
    data = json.loads(body) #json to dict
    
    data['headers'] = dict(request.headers)
    data['content_type'] = request.content_type
    
    
    return JsonResponse(data)

출력 결과

JSONResponse에는 dictionary 형태가 지켜져야 함을 확인할 수 있으며, 이를 알고 예외 처리를 할 수 있어야 합니다

request의 parameter 확인하기

basic.py에 get 메서드에 params를 추가했던 것을 기억하시나요? 추가했음에도 불구하고, 서버 로그나 응답에도 표시가 되지 않고 있었습니다. 이러한 내용을 서버측에서 확인할 수 있는데요

request.GET, request.POST를 추가하고, print 합니다

# views.py

import json
from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    # 데이터 흐름
    # request -> HttpRequest -> Django
    
    # 추가된 코드
    print(request.GET)
    print(request.POST)
    
    body = request.body # byte string of JSON data
    data = {}
    data = json.loads(body) #json to dict
    
    data['headers'] = dict(request.headers)
    data['content_type'] = request.content_type
    
    
    return JsonResponse(data)

basic.py를 실행하면

python3 basic.py

첫번째 칸 request.GET 부분에서 쿼리가 들어오는 것을 볼 수 있습니다

두번째 칸에는 request.POST 부분으로, POST가 아니기 때문에 빈 딕셔너리 형태가 존재합니다

서버 log

위 방법들을 통해서 사용자로서 요청을 서버에 테스트 해볼 수 있습니다

Django Rest Framework3 - Django 프로젝트 실행

NoPainNoPaper — Mon, 15 Aug 2022 19:18:16 +0900

Django Rest Framework2 파이썬 API Client 만들기

VSCODE Github 연동하기 들어가기에 앞서, 해당 프로젝트를 깃헙과 함께 관리하고 싶다면.. 리포지토리 초기화도 사용 가능하지만 초보자는 아래 github 게시를 추천합니다 저장소로 사용할 이름, priv

okdone.tistory.com

Django 서버 띄우기

manage.py가 있는 디렉터리로 이동 후, 다음의 스크립트를 실행합니다

manage.py 는 backend 폴더 아래에 위치 합니다

#python3 manage.py runserver [portnumber]
python3 manage.py runserver 8000

브라우저로 http://127.0.0.1:8000/ 에 접속했을 때 다음과 같은 GET 방식의 로그가 발생하며,

log

장고 로켓이 보인다면 정상적으로 실행이 된 상태입니다

장고 성공 로켓

Python Client로 Test 하기

이전 편에서 작성했던 basic.py의 endpoint에, 해당하는 주소를 기입합니다

#basic.py 스크립트

import requests 

# 보통 url로 언급하겠지만, api 활용에서 endpoint라는 용어로도 활용합니다
endpoint = "http://127.0.0.1:8000/"

response = requests.get(endpoint)

print(response.status_code)
print(response.text)

Terminal을 통해서 basic.py를 실행시켜 봅니다(py_client 폴더 내에 있습니다)

python3 basic.py

200 응답과 함께 HTML을 정상적으로 반환하는 것을 볼 수 있습니다

response 결과

Django api app 생성

우리가 만들려고 하는 것은 DRF를 통한 api 입니다. manage.py를 통해 api라는 이름의 app을 생성합니다

python3 manage.py startapp api

프로젝트내에 여러개의 app을 생성할 수 있으며, app을 생성했다면, 해당 프로젝트의 settings.py에서 해당 app을 인식하게끔 적어줘야 합니다

cfehome/settings.py에서 INSTALLED_APPS 변수를 찾아서, 리스트에 앱 이름을 적어줍니다

리스트에 api 추가

api app에 대한 view 작성

app에서 view들의 집합을 모아둔 파일이 views.py 입니다. api 폴더 내에 views.py로 이동해서 해당 앱이 어떻게 작동해야 할지 작성합니다

저자가 json 응답을 주고 받기 위해 다음의 json response를 사용했습니다만 원하는 response를 사용하면 됩니다. 간단하게 1개의 뷰만 작성합니다

# views.py 내부

from django.http import JsonResponse

# Create your views here.
def api_home(request, *args, **kwargs):
    return JsonResponse({"message":"하이, 이건 장고 api json 응답"})

url 연결

Django는 프로젝트에 urls.py에서 각 app의 url로 뿌려주는 과정을 거칩니다. app 생성 시에는 urls.py가 생성되지 않기 때문에 직접 만들어줘야 합니다. api 폴더내에 urls.py 파일을 만들고 다음의 내용을 적습니다

from django.urls import path

#작성 했던 view를 가져오기 위함
from . import views

urlpatterns = [
    path('', views.api_home) #localhost:8000/api/
]

다음으로 해당 url을 프로젝트의 urls.py에 포함시켜주는 작업을 합니다. cfehome 폴더내에 urls.py 를 열고 path를 추가합니다

"""cfehome URL Configuration

The `urlpatterns` list routes URLs to views. For more information please see:
    https://docs.djangoproject.com/en/4.0/topics/http/urls/
Examples:
Function views
    1. Add an import:  from my_app import views
    2. Add a URL to urlpatterns:  path('', views.home, name='home')
Class-based views
    1. Add an import:  from other_app.views import Home
    2. Add a URL to urlpatterns:  path('', Home.as_view(), name='home')
Including another URLconf
    1. Import the include() function: from django.urls import include, path
    2. Add a URL to urlpatterns:  path('blog/', include('blog.urls'))
"""
from django.contrib import admin
# include를 추가로 import 합니다
from django.urls import path, include

# include 메서드를 활용해 api/ 이후의 각종 url을 적용합니다
urlpatterns = [
    path('admin/', admin.site.urls),
    path('api/', include('api.urls'))
]

#localhost:8000/api/

Json 응답 테스트

아까 실행했던 서버를 종료하지 않았다면 바로 테스트를, 서버를 종료했다면 다시 실행하여 줍니다

manage.py가 있는 곳으로 이동(backend 폴더 내부)해서 명령을 실행합니다

python3 manage.py runserver 8000

py_client 폴더에 있는 basic.py를 우리가 설정한 url로 변경합니다, 또한 Json 응답으로 설정했으므로, response 객체 또한 json 형태로 받아봅니다.

# basic.py
import requests

# api url 설정한 곳으로 변경
endpoint = "http://127.0.0.1:8000/api/"

response = requests.get(endpoint, json={"query":"Hello world"})

print(response.status_code)
print(response.json())

response

Django Rest Framework3 - Django 프로젝트 실행

okdone.tistory.com

Django Rest Framework2 파이썬 API Client 만들기

NoPainNoPaper — Mon, 15 Aug 2022 15:44:26 +0900

Django Rest Framework 기본 환경 설정

본 튜토리얼은 해당 유튜브를 보고 블로그로 작성합니다 GitHub - codingforentrepreneurs/Django-Rest-Framework-Tutorial: Learn how to build REST APIs with Django & the Django Rest Frame Learn how to bui..

okdone.tistory.com

VSCODE Github 연동하기

들어가기에 앞서, 해당 프로젝트를 깃헙과 함께 관리하고 싶다면..

소스 관리 클릭

리포지토리 초기화도 사용 가능하지만 초보자는 아래 github 게시를 추천합니다

깃허브 게시

저장소로 사용할 이름, private 이든, public이든 모두 사용 가능합니다

저장소로 할 이름 적기

포함할 파일을 정하면 되는데, venv의 내용은 제외합니다

업로드할 파일 설정

여기에서 VSCODE의 깃허브 Extension을 설치하고 로그인했던 사람은 바로 업로드 및 깃 형상관리가 시작이 되며,

하지 않았던 사람은 깃허브 인증 절차 및 깃헙에 있는 토큰을 VSCODE에 입력하는 절차를 거쳐야 합니다

구글링으로 나오기도 하겠지만, 어차피 깃허브 원격 저장 기능을 사용하지 않을 것이라면 그냥 리포지토리 초기화를 사용하고, 추후에 CLI로 깃을 컨트롤 하셔도 됩니다

깃허브에 업로드 하게 되면, Django Project의 settings.py 의 secret 키가 업로드 되므로, 위험에 노출되게 됩니다

따라서 이 프로젝트는 실습 이외에 목적으로 활용하지 마시기 바랍니다

Python Client 만들기

py_client 폴더 내에 API 사용에 활용할 python client를 생성합니다, basic.py 파일 생성

여기에선 requests를 활용해서, api를 활용하는 법에 대해 간단하게 언급합니다

이는 REST FrameWork를 만드는데 필요한 것 보다는, Rest API를 사용하기 위한 방법이기 때문입니다

import requests # 파이썬으로 http를 사용하기에 편한 라이브러리

# 국민의 홈페이지, 네이버 url을 활용한 api 활용
# 보통 url로 언급하겠지만, api 활용에서 endpoint라는 용어로도 활용합니다
endpoint = "https://naver.com"

# get 방식으로 endpoint 호출을 하면 대기하던 api에서 naver 홈페이지에 해당하는
# html을 response 해줄 것입니다
response = requests.get(endpoint)

# status code 확인
print(response.status_code)

# naver api의 response에서 text를 추출하여 출력
print(response.text)

Django Rest Framework3 - Django 프로젝트 실행

okdone.tistory.com

Django Rest Framework 기본 환경 설정

NoPainNoPaper — Mon, 15 Aug 2022 15:15:01 +0900

본 튜토리얼은 해당 유튜브를 보고 블로그로 작성합니다

GitHub - codingforentrepreneurs/Django-Rest-Framework-Tutorial: Learn how to build REST APIs with Django & the Django Rest Frame

Learn how to build REST APIs with Django & the Django Rest Framework. - GitHub - codingforentrepreneurs/Django-Rest-Framework-Tutorial: Learn how to build REST APIs with Django & the Django...

github.com

사용 기술 스택

언어 : python
OS : Ubuntu
라이브러리 : requests, Django, Django-REST-Framework
IDE : VSCODE

파이썬 가상 환경 생성하기

실습을 위해서 기존 환경, 글로벌 환경과 분리된 가상환경을 생성합니다

적당한 폴더를 만들고, 해당 폴더로 진입합니다. 저는 drf라는 폴더를 생성했습니다

mkdir drf
cd drf

파이썬 가상환경 생성

# python3 버전의 경우
# 여러 버전일 경우, python3.8 의 형태로 명령해야할 수 있습니다
python3 -m venv [가상환경이름]

# 이 프로젝트에선 venv라는 가상환경을 사용합니다
python3 -m venv venv

가상환경 진입

cd venv
source bin/activate

VSCODE로 작업공간 열기

drf 폴더를 기준으로 작업공간을 열어줍니다

drf 폴더 내부

필요한 라이브러리를 설치합니다 여러 가지 방법이 있지만 유튜브 저자를 따라 해봅니다

새파일을 눌러서 requirements.txt 를 생성하고, 내부에 설치할 라이브러리를 작성합니다

이 때 프로젝트의 주요 프레임워크인 장고를 설치할 때 버전 선택에 대한 팁을 주는데,

LTS 버전을 찾아 다운받아라고 추천합니다

https://www.djangoproject.com/download/

해당 웹 페이지의 중간 쯤에서 현재 LTS 버전을 확인할 수 있습니다

Django support

추후 버전을 바꿔보기로 하며 설치는 다음과 같이 실시합니다

requirements.txt 내용

requirements.txt 가 있는 파일 위치에서 다음 명령어로 설치합니다

pip warning이 뜬다면 업데이트도 실시해주세요

# 라이브러리 설치
pip3 install -r requirements.txt

# pip 업그레이드
pip3 install --upgrade pip

RestAPI를 담당할 폴더와, client 파트를 담당할 폴더를 나눕니다

drf 폴더 내에 backend, py_client 폴더를 생성해주세요

# drf 폴더로 이동해서 만들어야 합니다
mkdir backend
mkdir py_client

장고 명령어를 활용해서 가장 첫번째로 해야할 일, 프로젝트를 생성합니다. 경로는 backend 폴더 내로 설정

cd backend
django-admin startproject cfehome .

현재까지의 폴더 구조

tree 구조

Django Rest Framework2 파이썬 API Client 만들기

okdone.tistory.com

연결구조, 환형 연결리스트, 이중 연결리스트, 환형 이중 연결리스트

NoPainNoPaper — Mon, 15 Aug 2022 10:52:07 +0900

환형 연결리스트

개요

연결리스트의 제한성(어떤 특정 노드의 선행 노드를 찾기 위해 head부터 시작)을 해결하기 위한 자료구조

마지막 노드의 연결필드가 NULL이 아닌 첫 번째 노드의 주소를 가짐
한 노드에서 모든 노드로의 접근이 가능함
LINK를 따라 계속 순회하면 이전 노드에 접근이 가능함
삽입과 삭제가 용이함
탐색 시 무한반복이 발생함 - 헤드노드로 보완
리스트 전체를 가용공간 리스트에 반환할 때 리스트의 길이에 관계없이 일정 시간에 반환할 수 있음

연결리스트

환형 연결리스트의 ADT

ADT CircularLinkedlist
데이터
0개 이상의 노드를 가진 유한순서 리스트(Element는 데이터 값)
연산자 및 연산내용 // CL∈CLinkedlist, n∈node, p∈position
CLlinkedlist() //환형 연결리스트를 생성
~CLlinkedlist() //환형 연결리스트를 소멸
Boolean search(CL, n) //환형 연결리스트에서 주어진 노드를 탐색
CLinkedlist insert(CL, n) //환형 연결리스트에 주어진 노드를 삽입
CLinkedlist remove(CL, n) //환형 연결리스트에서 주어진 노드를 삭제
remove_all(CL) //환형 연결리스트의 모든 노드를 삭제
Element get_data(CL, p) //p가 가리키는 현재 노드의 데이터를 출력
Element get_nextnode(CL, p)//p가가리키는현재노드의다음노드를출력
Element display() //환형 연결리스트의 모든 노드를 출력
End CircularLinkedlist

환형 연결리스트 삽입/삭제

노드의 삽입/삭제

삽입 알고리즘(첫번째로)

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

삽입 알고리즘(첫번째로 삽입, CL = 공백 리스트)

삽입 알고리즘(첫 번째로 삽입, CL != 공백리스트)

삽입 알고리즘(첫 번째로 삽입, CL != 공백 리스트)

삭제 알고리즘

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

삭제 알고리즘(포인터 pre가 가리키는 노드의 다음 노드를 삭제)

SELECT 2

NoPainNoPaper — Mon, 15 Aug 2022 08:16:36 +0900

정렬 (ORDER BY)과 집단 함수

정렬

ORDER BY 절에서 속성을 사용하여 검색 결과를 오름차순(ASC)나 내림차순(DESC)로 정렬함
ORDER BY절은 SELECT문에서 가장 마지막에 사용
디폴트 정렬 순서는 오름차순(ASC)
NULL 값은 오름차순에서 가장 마지막에 나타나고, 내림차순에선 가장 앞에 나타남
SELECT절에 명시한 속성들을 사용해서 정렬해야함
사용 예) ORDER BY 속성 [ASC | DESC]

# 2번 부서에 근무하는 사원들의 급여, 직급, 이름을 검색하고 급여 기준 오름차순 정렬
SELECT SALARY, TITLE, EMPNAME
FROM EMPLOYEE WHERE DNO = 2
ORDER BY SALARY;

출력 결과

# 사원들의 부서번호, 사원번호, 이름을 검색하고 부서번호는 내림차순, 
# 사원번호는 부서번호에 대해 오름차순 정렬
SELECT DNO, EMPNO, EMPNAME FROM EMPLOYEE
ORDER BY DNO DESC, EMPNO ASC

출력 결과

집단 함수

데이터베이스에서 검색된 여러 튜플들의 집단(GROUP)에 적용되는 함수
각 집단 함수는 한 릴레이션에서 한 개의 속성에 적용되어 단일 값을 반환함
SELECT절과 HAVING절에만 나타날 수 있음
COUNT(*)는 결과 릴레이션의 모든 행들의 총 개수를 구하는 반면에 COUNT(속성)는 해당 속성에서 NULL값이 아닌 값들의 개수를 구함
집단 함수의 기능

집단 함수	기능
COUNT	튜플이나 값들의 개수
SUM	값들의 합
AVG	값들의 평균값
MAX	값들의 최대값
MIN	값들의 최소값

# 사원들의 평균 급여와 최대 급여를 검색
SELECT AVG(SALARY) AVGSAL, MAX(SALARY) MAXSAL
FROM EMPLOYEE;

출력 결과

# 사원들의 총 급여를 검색
SELECT SUM(SALARY) 총급여
FROM EMPLOYEE;

출력 결과

# 전체 부서 수를 검색
SELECT COUNT(*) AS '부서 수' FROM DEPARTMENT;

# 급여를 2500000이상 받는 사원 수 검색
SELECT COUNT(*) AS 사원수 FROM EMPLOYEE
WHERE SALARY >= 2500000;

그룹화(GROUP BY)

개요

GROUP BY절에 명시된 속성의 값에 따라 테이블을 그룹으로 분할
SELECT절의 속성 리스트에는 각 그룹마다 하나의 값을 갖는 속성, 집단 함수, 그룹화에 사용된 속성들만 나타낼 수 있음
잘못 사용 예) SELECT EMPNO, AVG(SALARY) FROM EMPLOYEE GROUP BY DNO;

# 사원들에 대해 부서별 부서번호와 평균 급여, 최대 급여를 검색
SELECT DNO, AVG(SALARY) AS AVGSAL, MAX(SALARY) AS MAXSAL
FROM EMPLOYEE
GROUP BY DNO;

출력 결과

# 사원들에 대해 직급별 평균 급여를 검색
SELECT TITLE, SUM(SALARY)
FROM EMPLOYEE
GROUP BY TITLE;

출력 결과

# 부서(DNO)별 사원수 검색
SELECT DNO AS 부서번호, COUNT(*) AS 사원수
FROM EMPLOYEE
GROUP BY DNO;

출력 결과

HAVING

GROUP BY 절에 의해 생성된 그룹을 대상으로 조건을 적용
GROYP BY 절에서 명시한 속성에 의해 그룹으로 분류한 다음, 그룹에 대해 HAVING 절의 검색 조건을 지정
HAVING절은 GROUP BY절과 함께 사용
HAVING절에 나타나는 속성은 반드시 GROUP BY절에 나타나거나 집단 함수에 포함되어야 함

# 모든 사원들에 대해서 부서(DNO)별 평균 급여가 2500000원 이상인 부서에 대해서 부서번호, 
# 평균 급여, 최대 급여를 검색
SELECT DNO, AVG(SALARY) AVGSAL, MAX(SALARY) MAXSAL
FROM EMPLOYEE
GROUP BY DNO
HAVING AVG(SALARY) >= 2500000;

출력 결과

# 모든 사원들에 대해 직급(TITLE)별 사원수가 2명 이상인 직급과 사원 수를 검색
SELECT TITLE, COUNT(*) 사원수
FROM EMPLOYEE
GROUP BY TITLE
HAVING COUNT(*) >= 2;

출력 결과

# 2명 이상 사원이 근무하는 부서별 평균 급여를 검색
SELECT DNO, COUNT(*) 사원수, AVG(SALARY) 평균급여 FROM EMPLOYEE
GROUP BY DNO
HAVING COUNT(*) >= 2;

출력 결과

집합 연산

개요

집합 연산을 적용하려면 두 릴레이션이 합집합 호환성을 가져야 함
UNION(합집합), EXCEPT(차집합), INTERSECT(교집합)
UNION ALL(합집합), EXCEPT ALL(차집합), INTERSECT ALL(교집합)

합집합

# 김창섭이 속한 부서이거나 개발 부서의 부서번호를 검색
(SELECT DNO FROM EMPLOYEE
WHERE EMPNAME = '김창섭')
UNION
(SELECT DEPTNO FROM DEPARTMENT
WHERE DEPTNAME = '개발');

출력 결과

교집합

# 김창섭 또는 최종철이 속한 부서이면서 기획부서의 부서번호를 검색
(SELECT DNO FROM EMPLOYEE
WHERE EMPNAME = '김창섭' OR EMPNAME = '최종철')
INTERSECT
(SELECT DEPTNO FROM DEPARTMENT
WHERE DEPTNAME = '기획');

출력 결과

조인 연산

개요

조인은 여러 테이블의 연관된 튜플들을 하나의 테이블로 결합

SELECT ...
FROM R, S
WHERE R.A <비교연산자> S.B;

FROM절에 3개의 테이블이 명시되면, 먼저 두 테이블을 조인하고 조인된 결과와 나머지 테이블과 조인함
조인 조건을 생략했을 때와 조인 조건을 틀리게 표현했을 때는 카티션 곱이 생성됨
조인 질의가 수행되는 개념적 과정

조인 조건을 만족하는 튜플을 찾고
이 튜플들로 부터 SELECT절에 명시된 속성들만 프로젝트하고
필요하다면 중복을 배제하는 순서로 진행

SELECT ... FROM 테이블명 JOIN 테이블명 ON (조인 조건식)
SELECT EMPNO, EMPNAME, DEPTNAME
FROM EMPLOYEE JOIN DEPARTMENT ON
(EMPLOYEE.DNO = DEPARTMENT.DEPTNO);

SELECT ... FROM R JOIN S USING (조인속성)
SELECT EMPNO, EMPNAME, DEPTNAME
FROM EMPLOYEE JOIN DEPARTMENT USING(DNO);

조인에서 속성 이름 중복 해결 방법

조인 조건이 명확해지도록 조인 조건의 속성 이름 앞에 테이블 이름이나 튜플 변수를 사용

SELECT *
FROM STUDENT, ENROL
WHERE STUDENT.SNO = ENROL.SNO

SELECT절에서 속성 이름 중복 시 테이블 이름 사용

조인 질의

# 모든 사원의 이름과 이 사원이 속한 부서 이름을 검색
SELECT EMPNAME, DEPTNAME
FROM EMPLOYEE AS E, DEPARTMENT AS D
WHERE E.DNO = D.DEPTNO;

출력 결과

출력 과정

# 기획 부서의 사원 이름과 급여를 검색
SELECT EMPNAME, SALARY
FROM EMPLOYEE AS E, DEPARTMENT AS D
WHERE E.DNO = D.DEPTNO
AND D.DEPTNAME = '기획';

출력 결과

조인과 ORDER BY 결합

# 모든 사원에 대해 소속 부서 이름, 사원의 이름, 직급, 급여를 검색
# 단, 부서 이름에 대해 오름차순, 부서 이름이 같은 경우 SALARY에 대해 내림차순 정렬
SELECT DEPTNAME, EMPNAME, TITLE, SALARY
FROM EMPLOYEE AS E, DEPARTMENT AS D
WHERE E.DNO = D.DEPTNO
ORDER BY DEPTNAME, SALARY DESC;

출력 결과

데이터 베이스 예시

# 이홍근 학생이 신청한 수강 과목 수를 검색
SELECT COUNT(*) AS 수강과목수
FROM STUDENT AS S, ENROL AS E
WHERE S.SNO = E.SNO
AND S.NAME = '이홍근';

SELECT S.NAME, E.CREDIT
FROM STUDENT AS S, ENROL AS E, COURSE AS C
WHERE (S.SNO = E.SNO) AND (E.CNO = C.CNO)
AND (C.CNAME = '데이터베이스');

자체조인(SELF JOIN)

한 릴레이션에 속하는 튜플을 동일한 릴레이션에 속하는 튜플들고 ㅏ조인하는 것
실제로는 한 릴레이션에 접근하지만 FROM 절에 두 릴레이션이 참조되는 것처럼 나타내기 위해서 별칭을 두개로 지정해야함

SELECT E.EMPNAME, M.EMPNAME
FROM EMPLOYEE AS E, EMPLOYEE AS M
WHERE E.MANAGER = M.EMPNO;

출력 과정

출력 결과

SELECT 1

NoPainNoPaper — Sun, 14 Aug 2022 21:49:35 +0900

SELECT 개요

관계 데이터베이스에서 정보를 검색하는 SQL 문
관계 대수의 실렉션과 의미가 완전히 다름
관계 대수의 실렉션, 프로젝션, 조인, 카티션 곱 등을 결합한 것
관계 데이터베이스에서 가장 자주 사용됨

SELECT문

질의에서 사용하는 데이터베이스 상태

SELECT문 형식

SELECT절과 FROM절만 필수적인 절이고 나머지는 선택
순서는 변경 불가
SQL문은 대문자와 소문자 구분하지 않음
'[]'은 '선택사항', '|' 는 '또는'을 의미

SELECT문 형식

SELECT [DISTINCT] 속성

SELECT EMPNAME, SALARY FROM EMPLOYEE;

질의 결과에서 자동적으로 중복된 튜플을 제거하지 않음
'DISTINCT'를 명시하면 중복 값을 제거함

FROM 릴레이션

질의에서 필요로 하는 릴레이션들의 리스트를 열거
SELECT에서 열거한 속성을 포함하는 릴레이션 열거
WHERE절의 프레디키트에 사용된 속성을 포함하는 릴레이션 열거

WHERE

관계 대수의 실렉선 연산의 프레디키트(조건식)
FROM절에 열거한 릴레이션에 속하는 속성들만 사용
WHERE절의 조건은 결과 릴레이션의 튜플들이 만족시켜야 하는 조건
WHERE절의 프레디키트는 다음을 포함

- 비교 연산자 : =, <>, <, <=, >, >=

- 부울 연산자 : AND, ON, NOT

- 집합 연산자: IN, NOT IN, ANY, ALL

중첩질의

다른 질의의 WHERE절에 포함된 SELECT 문

GROUP BY : GROUP BY로 명시된 속성에 동일한 값을 갖는 튜플들을 한 그룹으로 만듦
HAVING : GROUP BY로 생성된 그룹들이 만족해야하는 조건을 명시
ORDER BY : 결과 튜플들의 정렬 순서를 지정

별칭(ALIAS)

서로 다른 릴레이션에 동일한 이름을 가진 속성이 속해 있을 때 속성 이름을 구분하는 방법
속성 앞에 릴레이션의 명칭을 명시 EX) EMPLOYEE.DNO
튜플 변수 사용(별칭이라고 함)
질의 내에서 릴레이션 이름 대신 별칭을 사용

SELECT E.EMPNAME, D.DEPTNAME
FROM EMPLOYEE AS E, DEPARTMENT AS D
WHERE E.DNO = D.DEPTNO;

테이블에서 속성 검색

테이블의 모든 속성이나 일부 속성들을 검색

모든 속성 검색

SELECT * FROM DEPARTMENT;

일부 속성을 검색

SELECT DEPTNO, DEPTNAME
FROM DEPARTMENT;

중복 값들을 제외한 검색(DISTINCT)

중복된 행을 제거 후 결과 출력

# DISTINCT 사용하지 않았을 때
SELECT TITLE FROM EMPLOYEE;

출력결과

# DISTINCT 사용 했을 때
SELECT DISTINCT TITLE FROM EMPLOYEE;

출력결과

열 이름 변경하여 표시(AS)

결과 릴레이션에서 속성 이름을 변경하여 표시

SELECT DEPTNO AS 부서번호, DEPTNAME AS 부서이름 FROM DEPARTMENT

출력 결과

SELECT SUM(SALARY) AS 총급여, AVG(SALARY) AS 평균급여
FROM EMPLOYEE;

조건 부여 및 여러 연산자의 사용

조건 부여 검색

WHERE절의 조건을 만족하는 튜플들만 검색
숫자 이외의 상수는 단일 인용기호 (')로 에워싸야 함

SELECT * FROM DEPARTMENT WHERE DNO = 2;

출력 결과

SELECT * FROM EMPLOYEE
WHERE SALARY >= 3000000;

출력 결과

문자열의 비교

LIKE

LIKE 비교연산자는 문자열의 일부에 대하여 비교 조건을 명시
LIKE 연산자는 도메인이 문자열 타입인 속성에 사용

SELECT EMPNAME, TITLE, DNO
FROM EMPLOYEE
WHERE EMPNAME LIKE '이%';

출력 결과

LIKE 부정은 NOT LIKE

SELECT EMPNAME, TITLE, DNO
FROM EMPLOYEE
WHERE EMPNAME NOT LIKE '이%';

출력 결과

패턴 매칭에 사용되는 기호들

기 호	사용 의미	보 기
_	하나의 문자를 대치	한_ (한종, 한1, 한2...)
%	한 문자도 없거나 하나 이상 모든 문자	한% (한종진, 한, 한123,...)
[ ]	[]내에 있는 문자만	한[AB] (한A, 한B)
[ ^ ]	[ ] 내에 있는 문자 제외	L[^O]VE (LAVE, LIVE)

SELECT DEPTNO, DEPTNAME FROM DEPARTMENT
WHERE DEPTNAME LIKE '기_';

출력 결과

사용 예시들

SELECT EMPNAME, TITLE
FROM EMPLOYEE
WHERE TITLE LIKE '[과부]%';

출력 결과

SELECT EMPNAME, TITLE
FROM EMPLOYEE
WHERE TITLE LIKE '[^과부]%';

출력 결과

다수의 검색 조건

WHERE절에 여러 조건들을 논리 연산자로 결합해 표시

연산자의 우선 순위

비교 연산자
NOT
AND
OR

잘못 사용된 예

SELECT FLOOR
FROM DEPARTMENT
WHERE DEPTNAME = '영업' AND DEPTNAME = '개발';

부울 연산자 사용

# 직급이 과장이면서 1번 부서에 근무하는 사원들의 이름과 급여를 검색
SELECT EMPNAME, SALARY
FROM EMPLOYEE
WHERE TITLE = '과장' AND DNO = 1;

출력 결과

비교 연산자 사용

SELECT * FROM EMPLOYEE WHERE SALARY > 2500000

비교 연산자와 논리 연산자 사용

SELECT * FROM EMPLOYEE
WHERE TITLE = '과장' AND SALARY > 2500000

부정 검색 조건, 사용자가 원하지 않는 튜플 제외

# 직급이 과장이면서 1번 부서에 근무하지 않는 사원들의 이름과 급여를 검색
SELECT EMPNAME, SALARY
FROM EMPLOYEE
WHERE TITLE = '과장' AND DNO <> 1;

출력 결과

범위를 사용한 검색

# 급여가 3000000원 이상이고 4500000원 이하인 사원들의 이름, 직급, 급여를 검색

SELECT EMPNAME, TITLE, SALARY
FROM EMPLOYEE
WHERE SALARY BETWEEN 3000000 AND 4500000;

SELECT EMPNAME, TITLE, SALARY
FROM EMPLOYEE
WHERE SALARY >= 3000000 AND SALARY <= 4500000;

리스트를 사용한 검색

집합연산자 IN은 리스트내의 값과 비교

# 1번 부서나 3번 부서에 소속된 사원들의 모든 정보를 검색

SELECT *
FROM EMPLOYEE
WHERE DNO IN (1,3);

출력 결과

IN 연산자의 부정 NOT IN

# 직급이 과장, 부장이 아닌 모든 사원 정보 검색

SELECT *
FROM EMPLOYEE
WHERE TITLE NOT IN ('과장', '부장');

출력 결과

SELECT절에서 산술 연산자(+, -, *, /) 사용

SELECT에 산술 연산자를 사용 수식을 표현
실제 테이블 튜플이 변경되지는 않음

# 직급이 과장인 사원들의 이름과 현재 급여, 10% 인상된 급여를 검색

SELECT EMPNAME, SALARY, SALARY * 1.1 AS NEWSALARY
FROM EMPLOYEE
WHERE TITLE = '과장';

출력 결과

NULL 값의 검색

NULL 값과 다른 값을 +, -등을 사용하여 연산하면 결과는 NULL이 됨
COUNT(*)를 제외한 집단 함수들은 NULL 값을 무시함
특정 속성에 들어 있는 값이 NULL인가 비교하기 위해서 'DNO=NULL'를 사용해선 안됨

# 금지
SELECT EMPNO, EMPNAME
FROM EMPLOYEE
WHERE DNO = NULL;

NULL값의 비교 연산자는 'IS NULL'

SELECT EMPNO, EMPNAME
FROM EMPLOYEE
WHERE DNO IS NULL;

모두 FALSE 결과

SALARY가 NULL인 튜플은 검색되지 않음

SELECT EMPNAME, SALARY
FROM EMPLOYEE
WHERE SALARY < 2000000 OR SALARY >= 2000000;

출력 결과

SALARY가 NULL인 튜플 검색하려면

SELECT EMPNAME, SALARY
FROM EMPLOYEE
WHERE SALARY < 2000000 OR SALARY >= 2000000 OR SALARY IS NULL;

NULL 값의 검색

UNKNOWN에 대한 OR 연산

UNKNOWN에 대한 AND 연산

UNKNOWN에 대한 NOT 연산

연결구조, 연결리스트, 단일 연결리스트

NoPainNoPaper — Sun, 7 Aug 2022 11:35:24 +0900

연결리스트(linked list)

연결리스트 자료구조가 생기게 된 배경

선형리스트(ordered list)의 구현

원소들간의 논리적 관계가 순차적으로 인접해 있는 자료구조의 배열을 이용한 구현함

배열의 적합성	- 주기억장치의 물리적인 구조가 인접되게 구성됨 - 순차적인 기억장소의 표현은 임의의 원소를 탐색하거나 스택이나 큐를 사용할 경우 자료의 삽입/삭제 등의 작업에 효율적임
배열의 부적합성	- 여러 개의 선형리스트를 사용하는 경우 각 리스트를 최대 크기의 배열(선언문에 의해서 고정된 기억장소를 유지)에 저장해야 하기 때문에 기억장소의 낭비를 초래할 수 있음 - 순차적인 기억장소 표현이 선형리스트에 적용되면 삽입/삭제 시 자료이동에 따른 처리시간의 비효율성이 발생함

연결리스트 자료구조의 특징

순차 자료구조에서의 연산시산과 저장공간에 대한 문제를 개선하여 자료를 표현한 방법 - 자료의 논리적인 순서와 물리적인 순서가 일치하지 않는 자료구조를 말함

각 원소에 저장되어 있는 다음 원소의 주소에 의해 순서가 연결되는 방식임 (비순차적 저장(기억장소의 어느곳에서든지)이 가능함
물리적인 순서를 맞추기 위한 오버헤드가 발생하지 않음
여러 개의 작은 공간을 연결하여 하나의 전체 자료구조를 표현함
크기의 변경이 유연하고 더 효율적으로 메모리를 사용할 수 있음
순차적인 기억장소의 표현에서 발생하는 이동에 따른 연산 소요시간을 해결할 수 있음

배열 구조와 연결리스트 구조의 표현

배열 구조

- 계산주소방법에 의해 배열 원소의 위치를 파악할 수 있음
- 순차적인 원소간의 관계에 대한 정보가 필요 없음

연결리스트 구조

- 순차 리스트의 원소를 찾기 위해 다음 원소에 대한 정보가 필요함(포인터 변수 이용, 추가 기억공간 요구)
- 배열(임의처리, 직접처리)과 달리 임의의 원소를 처리하지 못하기 때문에 처음부터 연결을 따라 추적해야함(시간소요)
- 포인터를 사용함으로써 노드의 삽입/삭제가 용이함
- 연속적인 기억공간이 없어도 저장이 가능함
- 알고리즘 구현(프로그램 복잡성)이 복잡함
- 노드 탐색 시 무한반복에 빠질 수 있음

연결리스트의 표현

데이터와 연결(link) 정보를 저장하기 위한 기억공간이 필요함

데이터 값 - 항목이 n개인 데이터 필드(1 < i < n) - 원소값을 저장 - 저장할 원소의 형태에 따라 하나 이상의 필드로 구성 가능
연결 값 - 항목이 n개의 연결 필드(1 < i < n) - 다음 노드의 주소를 저장하고 포인터 변수를 사용하여 주소 값을 저장, 하나 이상의 연결로 구성할 수 있음

논리적 표현

선형리스트와 연결리스트 구조의 물리적 저장 방법

- 요일 리스트 : week = (월,화,수,목,금,토,일)

물리적 저장 방법

동적 기억장소의 할당/해제

동적 기억장소의 할당

동적 기억장소 할당 함수 - malloc()

- 배열의 문제점을 해결

각 자료 원소는 서로 인접해 있지 않고 기억장소 내에서 어디든지 흩어져 존재함
삽입/삭제 시 원소 이동이 없음
포인터를 이용하여 노드를 동적으로 생성하므로 기억장소를 미리 확보할 필요 없음
기억장소의 크기는 일정한 크기로 제한되어 있기 때문에 malloc() 함수를 사용하여 동적 기억장소를 무한히 할당하여 사용하지는 못함

- 함수 원형 - void * malloc(size_t size);

동적 기억장소로 사용되는 힙(heap)으로부터 원하는 크기의 바이트를 할당 해주는 함수(<alloc.h>)
정상적으로 기억장소를 할당하는 경우에는 기억장소의 주소를 반환하고 비정상적인 경우에는 NULL을 반환함

int *pt;
pt = (int *) malloc(10);
pt = (int *) malloc(15*sizeof(int)); // 15개의 int를 위한 기억 장소를
// 할당해 그 시작 주소값을 반환함

동적 기억장소의 해제

동적 기억장소의 해제 함수 - free()

- 함수 원형 - void free(void *) : 할당된 기억 장소를 해제하여 힙(heap)에 반환함(<alloc.h>)

동적 기억장소의 할당과 해제의 구현

- malloc ()와 free () 함수를 사용한 프로그램

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

자유 공간리스트(free space list)

사용하기 전의 메모리나 사용이 끝난 메모리를 관리하기 위해 노드로 구성하여 연결한 리스트(리스트가 다 소모되어 없을 때는 malloc()을 사용)를 말함

자유 공간리스트

노드의 할당과 반환 알고리즘

자유 공간리스트 알고리즘

자유 공간리스트 새로운 노드 할당 과정

자유 공간리스트 반환 과정

단일 연결리스트

연결리스트 자료구조의 종류

단일 연결리스트
환형 연결리스트
이중 연결리스트
이중 환형 연결리스트

단일 연결리스트의 구조

노드가 하나의 연결 필드에 의해서 다음 노드와 연결되는 구조를 가진 연결리스트를 의미함

노드 구조 - 데이터 필드와 1개의 연결 필드로 구성됨
자료 탐색은 한 방향으로만 진행

단일 연결리스트 구조

단일 연결리스트 ADT

ADT Linkedlist
데이터
0개 이상의 노드를 가진 유한순서 리스트(Element는 데이터 값)
연산자 및 연산내용 // L∈Linkedlist, n∈node, p∈position,
linkedlist() //연결리스트를 생성
~linkedlist() //연결리스트를 소멸
Element search(L, n) //연결리스트에서 주어진 노드 n을 탐색
Linkedlist insert(L, n) //연결리스트에 주어진 노드 n을 삽입
int remove(L, n) //연결리스트에서 주어진 노드 n을 삭제
remove_all(L) //연결리스트의 모든 노드를 삭제
position get_data(L, p) //p가 가리키는 현재 노드의 데이터를 출력
position get_nextnode(L, p) //p가 가리키는 현재 노드의 다음 노드를 출력
Element display() //연결리스트의 모든 노드를 출력
End Linkedlist

노드의 구현

구조체를 이용

구조체 노드

구조체 항목을 참조하는 방법

멤버 접근 연산자 - 각 멤버의 형태가 다르므로 멤버참조연산자(.)로 직접 멤버를 참조해야 함(배열은 배열요소의 형태가 같으므로 주소계산에 의해 각 멤버의 참조가 가능)
직접참조연산자(.), 간접참조연산자(->)
struct list node(단순 구조체 변수), struct list *nodeptr(포인터형 구조체 변수);
node.data = "100";
nodeptr -> data = "100";
(*nodeptr).data = "100"; // 구조체 포인터를 역참조한 뒤 .으로 멤버에 접근

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

단일 연결리스트의 노드 탐색

노드의 탐색 알고리즘

노드의 삽입/삭제 시 특정 노드를 찾고자 할 때 리스트의 노드를 처음부터 하나씩 순회하면서 노드의 데이터 필드 값과 x(찾고자 하는 노드)를 비교하여 일치하는 노드를 찾을 필요가 있음

searchNode(L, x){
temp = L; //최초 노드를 가리키기 위한 초기화
	while (temp != NULL){ //temp가 NULL이면 찾는 원소가 없음
		if (temp->data == x) return temp;
			temp = temp->link;
	}
	return temp;
}

노드의 탐색

노드의 삽입

첫 번째 노드로 삽입하는 알고리즘

insertFirstNode(L, x){
new = getNode(); //ⓐ 자유 공간리스트에서 새로운 노드 공간을 할당
new->data = x; //ⓑ 새 노드의 데이터 필드에 x를 저장
new->link = L; //ⓒ
L = new; //ⓓ}

노드 삽입

중간 노드(pre가 가리키는 다음 노드)로 삽입하는 알고리즘

insertMiddleNode(L, pre, x){
	new = getNode();
	new->data = x;
	if (L == NULL){ //ⓐ L이 공백 리스트인 경우
		L = new; // ⓑ
		new->link = NULL; //ⓒ
	}
	else{ // L이 공백 리스트가 아닌 경우
		pre = L; //ⓓ
		new->link = pre->link; //ⓔ
		pre->link = new; //ⓕ}
}

노드 삽입

노드의 삽입

노드의 삭제

포인터 pre가 가리키는 노드의 다음 노드를 삭제하는 알고리즘

deleteNode(L, pre){
	if (L == NULL) error;
	else{
		old = pre->link; //ⓐ
		if (old == NULL) return;
		pre->link = old->link; //ⓑ}
	return Node(old);
}

노드 삭제

노드의 생성과 출력 구현

단일 연결리스트의 생성과 노드들의 출력 프로그램

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

큐, 우선순위 큐, 데크

NoPainNoPaper — Sat, 6 Aug 2022 21:46:13 +0900

큐의 응용

응용 분야

FIFO 구조, 즉 먼저 요청한 작업에 대해 먼저 처리해주는 형태로 동작하는 큐의 특징을 직간접적으로 다양한 분야에 응용할 수 있음

컴퓨터 운영체제에서 실행을 요청한 작업들을 순서 대로 처리하기 위해서 큐(버퍼 큐와 프로세스 스케줄링 큐)를 사용함
산업공학분야에서 최적의 시스템을 설계하기 위한 시뮬레이션에서 대기행렬 큐를 사용함(공항에서 비행기들의 이륙, 은행에서 고객의 대기열)
실시간 시스템에서 인터럽트를 제어(first come firsst served)하는데 사용함
통신에서 데이터 패킷들의 모델링, 콜센터의 고객응대 시스템 등에서 사용함
프로그래머의 도구 및 많은 알고리즘에서 사용함

운영체제 작업 큐

프린터 버퍼 큐(buffer queue)

인쇄 작업에서 cpu에 비해 프린터의 느린 인쇄 작업이 진행 중일 때 기다리지 않고, 다음 데이터를 버퍼 큐(주기억장치 내)에 삽입하여 버퍼 큐에 있는 데이터를 순서대로 출력하게 함 - cpu에서 프린터로 보낸 데이터를 순서대로 프린터에서 출력

writeline(){ //CPU 작업
if (출력할 내용이 있음 and 프린터 버퍼가 가득 차 있지 않음 & 프린터 버퍼가
바쁘지 않음)
then 프린터 버퍼 큐에 출력할 내용을 입력
}
readline(){ //프린터 작업
if (프린터 버퍼가 비어있지 않음 and 프린터 버퍼가 바쁘지 않음)
then 프린터 버퍼의 내용을 출력
}

스케쥴링 큐(scheduling queue)

스케쥴링 정책 - 메모리에 적재된 다수의 프로세스 중 어떤 프로세스에게 자원을 할당할 것인가에 대한 순서를 결정하는 것 => CPU와 같은 자원의 효율적인 사용

스케쥴링 큐

CPU를 사용하고자 요청하는 프로세스들에 대한 CPU 사용 스케줄을 관리 ( 자원의 할당과 회수, 스케쥴러 역할)을 하기 위해 사용되는 큐를 말함

준비 큐와 대기 큐로 구성되어 있음

사용하고자 하는 프로세스를 순서대로 준비 큐에 삽입하면 그 순서대로 준비 큐에서꺼내어 CPU를 사용함
CPU를 사용하던 프로세스가 다른 처리를 기다리는 대기 상태가 되면 대기 큐에 삽입하여 대기 상태의 프로세서들을 순서대로 관리함

준비 큐, 대기 큐

메시지 큐(message queue)

- 메시지 형태의 데이터를 넣어두고 FIFO(선입선출) 방식으로 메시지를 추출하여 대상 시스템의 데이터베이스, 파일저장, 응용프로그램 입력 값으로 처리하기 위해 사용된 큐를 말함

메시지 큐는 윈도우즈 시스템의 모든 스레드(프로세스 내에서 실행되는 흐름의 단위)에 존재함
사용자가 윈도우즈에서 어떤 조작을 수행하면 해당 입력은 메시지로 전달되며 프로세스가 메시지 큐에서 해당 입력에 대응하는 메시지를 읽어서 처리함
예를 들어, 사용자가 마우스를 움직이는 경우(사용자가 취한 행동)에 마우스 움직임을 의미하는 메시지인 WM_MOUSEMOVE가 메시지 큐에 저장되며 프로그램은 메시지 루프(메시지를 받아들이는 부분)를 통해 이에 대응하는 처리를 함

메세지 큐

대기행렬 이론(queueing theory)

시뮬레이션

실제로 실행하기 어려운 실험을 간단히 행하는 모의실험을 뜻함
특히 컴퓨터를 이용하여 모의실험을 할 때는 컴퓨터 시뮬레이션이라고 함

대기행렬(queue, waiting line)

은행의 창구, 마트의 계산대, 공항의 입국심사 창구의 수 등에서와 같이 대기행렬에 도착하는 것과 대기하는 것 그리고 서비스 되는 일련의 프로세스들에 대한 모델링에 사용되는 통계적인 이론으로 수학적, 확률적 분석을 가능하게 해줌
즉 시스템의 평균 대기시간, 서비스의 예측 등을 현재 상태를 기반으로 한 시스템의 확률을 기반으로 하여 성능을 측정하는데 유용하게 활용할 수 있음

대기행렬 큐

여러 상황에 대해 최적의 시스템을 설계하기 위한 시뮬레이션에서 사용하는 큐로서 서비스를 받기 위해 기다리는 대기행렬과 대기시간을 모델링하는데 사용됨
예를 들어, 공항에 도착하는 입국자는 큐로 만든 대기행렬에 순서대로 들어가고, 입국 심사관은 큐에 있는 입국자들을 순서대로 처리하게 됨

대기행렬 기본구성

우선순위(다중) 큐

다중큐(multi-queue)는 여러 개의 큐(multiple queue)들로 구성된 자료구조라 할 수 있음

다중큐

우선순위 큐는 삽입된 순서에 상관없이 일정한 순서(우선순위)에 의해 삭제되는 자료구조로 각각의 우선순위에 따라 여러 개의 큐로 구성할 수 있음
원소마다 우선순위(priority)가 존재 => 보통 key 값으로 우선순위를 표현함
원소의 우선순위 연산
큐에 있는 가장 낮은(높은) 우선순위를 갖는 원소를 먼저 처리(삭제)함 - Min Priority Queue, Max Priority Queue
동일한 우선순위를 갖는 요소가 두 개 이상 => FIFO 방식으로 처리함

스택과 큐 또한 우선순위 큐의 일종

스택 : 삽입시간이 가장 짧은 원소에 가장 높은 우선순위를 부여한 우선순위 큐

큐 : 삽입시간이 가장 오래된 원소에 가장 높은 우선순위를 부여한 우선순위 큐

우선순위 큐 구현

배열 - 간단하게 구현이 가능하지만 데이터 삽입과 삭제 과정에서 데이터를 한 칸씩 이동해야 하는 연산이 필요하며, 삽입의 위치를 찾기 위해 배열에 저장된 모든 데이터와 우선순위를 비교해야함

시간복잡도

연결리스트 - 삽입의 위치를 찾기 위해 첫 번째 노트부터 시작해 마지막 노드에 저장된 데이터와 우선순위 비교를 진행할 필요가 있음(성능 저하 초래)
힙(heap) - 구현이 어렵지만 연산이 가장 효율적임

힙 구조의 우선순위 큐

큐와 힙

삽입할 원소는 완전 이진트리를 유지하는 형태로 순차적으로 삽입됨
삽입 이후에는 근노드까지 거슬러 올라가면서 최대 힙을 구성함 - 부모노드와 비교를해서 부모노드가 삽입한 노드의 값보다 작다면 교체해야함
시간복잡도 - O(log N)

우선순위 큐 ADT

ADT PriorityQueue
	데이터
	0개 이상의 원소를 가진 유한 순서리스트
	연산자 및 연산내용 // q∈PQueue, e∈Element
	PQueue createpq() //하나의 공백 우선순위 큐를 생성
	Number currentSize(q) //q의 원소의 수를 반환
	PQueue addpq(q, e) //q에 새로운 원소 e를 rear를 통해 삽입
	Element deletepq(q) //q가 공백이면 underflow, 그렇지 않으면 q로부터
				//가장 작은(큰) 키 값의 원소를 삭제 후 반환
End PriorityQueue

우선순위 큐에 있는 원소들의 순서쌍 관계

우선순위 큐의 전체순서(total order)관계가 성립할 경우 => 우선순위 큐의 모든 원소들은 우선순위에 따라 정렬이 됨

완전순서관계

우선순위 큐(priority queue)의 삽입/삭제

삽입 알고리즘

addpq(pq, i, e) {
	rear[i] = (rear[i]+1) % n;
    if (front [i] ==rear [i]) queue-full;
    else pq[i] [rear [i] = e;

삭제 알고리즘

deletepq(pq, i) {
	if (front[i] ==rear[i]) queue-empty;
    else {
    front[i] = (front[i] + 1) % n;
    e = pq[i] [front[i]];
    return e;

우선순위 큐(priority queue)의 구현

2차원 배열을 이용한 순차 표현

char queue[5][5];
int front[5]; //5개의 우선순위 큐에 대한 front 포인터
int rear[5]; //5개의 우선순위 큐에 대한 rear 포인터

2차원 배열을 활용한 우선순위 큐

배열을 이용한 구현

1차원 배열을 이용한 우선순위 큐의 생성/삽입/삭제 프로그램

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

데크

데크(double-ended queue)에서 의미하듯 큐 2개를 반대로 붙여서 만든 자료구조임
큐와 스택의 중간 정도의 특징을 가지며 두 가지로 분류
L-pointer(front) => 데크의 왼쪽 끝을 가리키며, 삽입과 삭제가 이루어짐
R-pointer(rear) => 데크의 오른쪽 끝을 가리키며, 삽입과 삭제가 이루어짐
종류 - scroll(입력제한 데크), shelf(출력제한 데크)
오버플로우를 방지하기 위해 중앙에서 삽입(이동현상 초래) => 환형으로 처리가 필요함

데크(deque)

데크 ADT

ADT Deque
데이터 0개 이상의 원소를 가진 유한 순서리스트
연산자 및 연산내용 // dq∈DQueue, e∈Element
DQueue createdq() //하나의 공백 데크를 생성
DQueue addfirstdq(dq, e) //dq의 처음에 새로운 원소e를 삽입
DQueue addlastdq(dq, e) //dq의 끝에 새로운 원소e를 삽입
Boolean isEmpty(dq) //dq가 공백이면 true, 그렇지 않으면 false를 반환
Element deletefirstdq(dq)) //dq가 공백이면 underflow,
								//그렇지 않으면 dq의 처음 원소를 삭제후 반환
Element deletelastdq(dq)) //dq가 공백이면 underflow,
							//그렇지 않으면 dq의끝 원소를 삭제후 반환
Element lastdq(dq)) //dq의끝 원소를 반환
Element firstdq(dq)) //dq의 처음 원소를 반환
End Deque

데크 구현

두개의 포인터를 이용한 데크의 생성/삽입/삭제(환형 배열 고려)

데크 구현 모형

데크 구현 모형2

GitHub - dlfrnaos19/algorithm_with_c: learning algorithm

learning algorithm. Contribute to dlfrnaos19/algorithm_with_c development by creating an account on GitHub.

github.com

SQL 개요와 데이터 정의어

NoPainNoPaper — Sat, 6 Aug 2022 19:01:48 +0900

SQL 개요

SQL의 특징

자연어에 가까운 구문을 사용하여 질의 표현
비 절차적 언어(선언적 언어) - 데이터 처리를 위한 접근 경로에 대한 명세가 불필요
관계 대수나 관계 해석보다 표현력이 우수 - 관계 대수 + 확장된 관계 해석 기초
SQL의 표준화 - 상용관계 DBMS간의 전환이 용이, 대화식 질의어로 사용
응용 프로그램에 삽입된 형태로도 사용
레코드 집합 단위로 처리

SQL의 수행

관계 DBMS는 사용자가 입력한 SQL문을 번역하여 사용자가 요구한 데이터를 찾는데 필요한 모든 과정을 담당
데이터베이스 접근 인터페이스
대화식 SQL(interactive SQL) : 최종 사용자들이 사용
내포된 SQL(embedded SQL) : 응용 프로그래머가 사용

데이터베이스 접근 인터페이스

SQL의 구성요소

데이터 정의어(DDL : Data Definition Language)
데이터 조작어(DML : Data Manipulation Language)
데이터 제어어(DCL : Data Control Language)

SQL의 구성요소

데이터 정의어(DDL : Data Definition Language)

relation, 뷰, 인덱스의 생성, 제거, 변경 등의 작업을 수행
relation 생성시 무결성 제약조건 명시

데이터 제어어(DCL : Data Control Language)

트랜잭션 관리(시작, 철회, 완료)
릴레이션에 대한 권한 관리
동시성 제어(Lock 관리)

데이터 조작어(DML : Data Manipulation Language)

데이터베이스 스키마 내의 데이터를 조작
튜플 검색 (SELECT), 튜플 삽입(INSERT)
튜플 삭제 (DELETE), 속성 값의 변경(UPDATE)

데이터 조작어의 사용

데이터 정의어

데이터 정의어 종류

스키마의 생성과 제거

relation, 도메인, 제약조건, 뷰, 권한 등을 그룹화하기 위해서 스키마 개념을 지원
권한을 부여 받지 못한 사용자는 스키마에 접근할 수 없음
"KIM"이라는 사용자가 'MY_DB'라는 스키마를 생성(CREATE SCHEMA MY_DB AUTHORIZATION KIM;
스키마 제거(DROP SCHEMA MY_DB RESTRICT;) (DROP SCHEMA MY_DB CASCADE;)

테이블 생성

CREATE TABLE 테이블_이름
( { 열_이름 데이터_형식
			[NOT NULL]
			[UNIQUE]
			[DEFAULT 기본값]
			[CHECK 체크조건]
	}
	[PRIMARY KEY(열_이름)]
	[FOREIGN KEY(열_이름) REFERENCES 테이블_이름(열_이름) ]
);

데이터 타입(도메인 타입) - SQL92

열의 데이터 타입 결정시 고려사항

숫자인지 문자인지 먼저 결정,

문자라면 고정길이 인지 가변길이 인지, 최대 길이 결정

숫자라면 정수 또는 실수, 최대 길이, 소수점 아래 개수 특정

도메인 정의

한 Attribute에 데이터 타입을 직접 정의하지 않고 도메인을 정의하여 여러 테이블에서 일관되게 사용
변경시 도메인을 정의한 곳에서 도메인 정의를 변경하면 도메인을 사용하는 모든 테이블에서 일관되게 적용
도메인 생성
CREATE DOMAIN DEPTNAME CHAR(10) DEFAULT '개발';

CREATE DOMAIN DEPTNAME CHAR(10) DEFAULT '개발'
CONSTRAINT VALID_DEPT
CHECK VALUE IN ('영업','총무','기획','개발)

도메인 제거

DROP DOMAIN DEPTNAME;

고객 테이블 생성

CREATE TABLE 고객
(
고객번호 INT,
고객명 VARCHAR(30)
);

테이블 제거(DROP)

기존의 RELATION은 DROP문으로 제거
RELATION의 정의와 RELATION의 튜플들이 모두 삭제됨
사용형식
DROP TABLE : RELATION 명칭 [RESTRICT | CASCADE]
RESTRICT : 명시한 RELATION이 참조되고 있으면 제거 안됨
CASCADE : 명시된 RELATION과 참조하는 RELATION 모두 제거됨

-- 사용 예
DROP TABLE COURSE;
DROP TABLE COURSE CASCADE;

테이블 변경(ALTER)

열 추가하기

열 삭제하기

무결성 제약조건

무결성 제약조건 예제

NOT NULL

속성은 기본적으로 NULL 값을 허용
NULL 값을 갖지 않는 속성은 `NOT NULL` 명시
기본키는 반드시 `NOT NULL`을 명시
NULL은 값은 있지만 모르는 값이거나, 해당되지 않는 값임

CREATE TABLE EMPLOYEE
		(EMPNO INTEGER NOT NULL,...)

UNIQUE

속성 값이 유일 하도록 보장
유일 값이므로 NULL 값도 한번은 허용
한 테이블에 UNIQUE 제약조건을 여러 개 명시할 수 있음
사용 예

CREATE TABLE EMPLOYEE
		(...,
        EMPNAME CHAR(10) UNIQUE,
        ...);

DEFAULT

속성에 NULL 값 대신 특정 값을 기본 값으로 지정
사용 예

CREATE TABLE EMPLOYEE
		(...,
        TITLE CHAR(10) DEFAULT '사원'
        ...);

CHECK

CHECK절은 하나의 속성이 취하는 값들의 범위 지정
사용 예

CREATE TABLE EMPLOYEE
		(...,
        SALARY INTEGER CHECK (SALARY < 6000000),
        ...);
        
-- 사용 예 2

CREATE TABLE EMPLOYEE
		(ID INTEGER,
        NAME CHAR(10),
        SALARY INTEGER,
        MANAGER_SALARY INTEGER,
        CHECK(MANAGER_SALARY > SALARY)
        );

기본 키

기본 키는 개체 무결성 제약조건에 의해 NULL 값을 갖지 않음
사용 예

CREATE TABLE EMPLOYEE
		(EMPNO INTEGER NOT NULL,
        ...,
        PRIMARY KEY (EMPNO),
        ...);

DEPARTMENT 테이블 생성

CREATE TABLE DEPARTMENT (
	DEPTNO INTEGER NOT NULL,
    DEPTNAME CHAR(10),
    FLOOR INTEGER,
    PRIMARY KEY (DEPTNO)
    );

CREATE TABLE DEPARTMENT (
		DEPTNO INTEGER NOT NULL,
        ...
        CONSTRAINT PK_DEPT_NO PRIMARY KEY (DEPTNO)
        );

--기본 키 제약 조건의 삭제
ALTER TABLE DEPARTMENT DROP CONSTRAINT PK_DEPT_NO;

--제약 조건의 추가
ALTER TABLE DEPARTMENT ADD CONSTRAINT PK_DEPT_NO PRIMARY KEY (DEPTNO);

외래 키

RELATION을 정의하면서 명시함
참조되는 속성은 동일한 데이터 타입이면서 UNIQUE 또는 기본키로 정의됨
참조하는 외래 키 속성의 값은 참조하는 속성의 값이거나 NULL만이 가능
참조되는 RELATION에서 튜플이 삭제/수정 될 때 참조하는 RELATION에서 어떻게 동작할 것인가를 명시

- 참조 무결성 제약 조건을 위반할 때 기본 동작은 위반한 연산을 거절

- CASCADE절이 명시되면 참조 무결성을 위배하는 참조하는 RELATION에도 영향을 미침

무결성 제약

ON UPDATE CASECADE

기본키의 수정, 외래키 영향

2개의 RELATION 참조

RELATION 참조 예제

CREATE TABLE EMPLOYEE
	(EMPNO	INTEGER	NOT NULL,
     EMPNAME CHAR(10),
     TITLE	 CHAR(10),
     MANAGER INTEGER,
     SALARY	 INTEGER,
     DNO	 INTEGER,
     PRIMARY KEY(EMPNO),
     FOREIGN KEY(MANAGER) REFERENCES EMPLOYEE (EMPNO)),
     FOREIGN KEY(DNO) REFERENCES DEPARTMENT (DEPTNO):;

학생, 과목, 수강 RELATION

학생 RELATION

CREATE TABLE STUDENT
	(SNO INTEGER NOT NULL PRIMARY KEY,
     SNAME CHAR(10)
     );

과목 RELATION

CREATE TABLE COURSE
	(CNO CHAR(5) NOT NULL,
    CNAME CHAR(20),
    PRIMARY KEY(CNO)
    );

수강 RELATION

CREATE TABLE ENROL
		(SNO INTEGER NOT NULL,
        	CNO CHAR(5) NOT NULL,
            CREDIT CHAR(2),
            PRIMARY KEY (SNO, CNO),
            FOREIGN KEY (SNO) REFERENCES STUDENT(SNO),
            FOREIGN KEY (CNO) REFERENCES COURES(CNO)
            );

Microsoft SQL Server, SSMS 설치 및 기본설정

NoPainNoPaper — Thu, 4 Aug 2022 19:20:08 +0900

SQL Server

Microsoft사가 개발한 윈도우 운영체제에서 동작하는 데이터베이스 관리 소프트웨어
모바일 장치에서 엔터프라이즈 데이터 시스템까지 다양한 플랫폼에서 운영되는 통합 데이터 및 분석 솔루션
오라클 DBMS보다 경제성이 높고 환경설정이 용이
온라인 트랜잭션 처리, 데이터 웨어하우스, OLAP(Online Analytical Transaction processing), 데이터 마이닝 등 최근의 응용 분야에 활용할 수 있음

SQL server 발전과정

제품 종류

SQL 설치 요구사항

SQL Server 설치

다운로드 센터에서 sql server express 다운로드 및 설치

Download Microsoft® SQL Server® 2019 Express from Official Microsoft Download Center

중요! 아래에서 언어를 선택하면 전체 페이지 내용이 해당 언어로 신속하게 변경됩니다. 독일어러시아어스페인어영어이탈리아어일본어중국어(간체)중국어(번체)포르투갈어(브라질)프랑스어한

www.microsoft.com

SQL2019-SSEI-Expr.exe

6.08MB

Microsoft SQL Server Management Studio 다운로드 링크(20MB 이상으로 업로드 불가)

SQL Server 관리

데이터 베이스를 클릭하면 나오는 트리구조

SQL Server 인스턴스는 다음의 4가지 시스템 데이터베이스와 하나 이상의 사용자 데이터베이스로 구성

시스템 데이터베이스의 역할

SQL Server 데이터베이스 구조

SQL Server의 논리적 구조와 물리적 구조

논리적 구조는 효과적으로 데이터를 사용하고 관리하는 방법 제공
물리적 구조는 데이터를 실제 디스크에 저장하고 관리하는 방법을 제공

SQL Server 데이터베이스

하나의 데이터베이스가 갖는 물리적 공간

최소한 한개의 주 데이터 파일과 한개의 로그 파일

SQL Server의 논리적 저장 단위와 물리적 저장 단위

데이터는 테이블 단위로 저장
SQL Server에선 여러개 테이블 집합을 데이터베이스라고 부르는 논리적 저장 단위로 구성
디스크에 저장하는 실제 데이터는 SQL Server에서 데이터 파일이라고 부르는 물리적 저장 단위로 저장

SQL Server의 데이터 파일과 로그 파일

데이터 파일

데이터와 테이블, 인덱스, 트리거, 저장 프로시저와 같은 개체가 저장됨
데이터 파일은 주 데이터 파일과 보조 데이터 파일 두 종류가 있음
하나의 데이터베이스는 반드시 단 하나의 주 데이터 파일을 가지고 있어야 함
주 데이터 파일의 확장자는 .mdf, 보조 데이터 파일의 확장자는 .ndf

로그파일

데이터베이스의 변화를 기록하여 나중에 데이터베이스에 장애가 발생했을 때 데이터베이스를 복구하는데 사용
하나의 데이터베이스는 반드시 하나 이상의 로그 파일을 가지고 있어야 함
로그 파일의 확장자는 .ldf
로그 파일은 데이터 파일과 물리적으로 다른 공간에 저장할 것을 권고함

데이터베이스 생성

SQL Server 관리 스튜디오를 이용한 데이터베이스 생성 방법

GUI 인터페이스를 활용해 직관적으로 데이터베이스 생성할 수 있어 편함

SQL 명령문을 이용한 데이터베이스 생성방법

복잡한 데이터베이스 생성이나 데이터베이스 이름을 변경할 때 스크립트를 만들어 한번에 데이터베이스를 생성할 수 있어서 효율적임, 데이터베이스 생성은 관리자만 가능

SQL Server 관리 스튜디오 이용

데이터베이스 우클릭

new database 클릭

Database name 작성, 기타 용량 사이즈 조절 등 선택이 가능함

이름을 적은 후 ok 클릭

SQL로 데이터베이스 생성

new query 클릭

생성 쿼리 입력

사용자 생성, 권한 관리

new login 클릭

권한을 주고자 하는 데이터베이스와 권한 클릭

스키마 생성

bookstore - security - schemas - 오른쪽버튼 - new schema

스키마 설정 이름, 적용할 owner 입력, OK 클릭

기본 스키마 지정

security - logins - bookstore 더블클릭

User mapping - Default Schema column의 ... 클릭

Browse를 누르면 새창이 나오며, 여기에서 원하는 schema 선택(book_schema)

서비스 서버에 대한 주의

NoPainNoPaper — Thu, 4 Aug 2022 17:51:55 +0900

Torch 모델 구현 과정에서 Tensorflow 모델을 기반으로 사용하는 quickspacer를 사용하게 되면서

cuda 버전 관련 에러가 발생하였음.

cuda 버전을 함부로 바꿀 수 없다고 생각해서, tensorflow 버전을 2.3.1 -> 2.4.0 -> 2.7.0 까지

바꿔 가던 중, 아예 버전을 바꾸기 조차 불가했음 (pip로 설치해서, 종속성이 꼬여버림)

봉인했던 poetry를 사용해서 다시 환경 조성을 해봐야할 듯 함 안되면 tensorflow, torch 환경 따로..

이 과정에서 억지로 테스트를 강행했더니(warning 메세지에서 메모리 누수를 경고했음에도)

접속했던 서버가 팅기면서, 서버 전체에 영향을 줬다는 것을 알게됨.

당시 코드에서 vram을 사용하지 않았는데도, oom이 뜨는 상황이었음

덕분에 주의를 듣고(?) 해당 작업은 멈춘 상태로,

회사 차원에서 서버가 따로 나눠져 있지 않기 때문에, 이 부분은

local에서 도커를 통해 환경을 구현하고 테스트 해보는 방법이 필요할 것으로 보임.

Pytorch train 과정에서 발생한 OOM(out of memory)

NoPainNoPaper — Wed, 3 Aug 2022 19:21:47 +0900

오류 발생 재현을 위한 코드

from transformers import AutoModel

device = "cuda"
model = Automodel.from_pretrained("klue/roberta-large").to(device)
kfold = 5

for fold in enumerate(kfold):
	
    model = deepcopy.copy(model)
    for idx, batch in enumerate(train_data_loader):
    	# train step code...

결론

위와 같이 Training 할 경우 에러가 발생한다. 사유는 Vram으로 모델을 보낸 상태에서 지속적으로 copy를 하기 때문에, 모델 내에서 모델이 중첩되므로, fold가 길어질수록, Vram 양에 따라 램이 터질 가능성이 높다.

해결을 위해 했던 시도

매 반복문마다 카피했던 모델을 지우고, 메모리를 정리해봤으나 실패

import gc
del model
torch.cuda.empty_cache()
gc.collect()

해결 방법

deepcopy 타이밍을 시스템 메모리 안에서 카피 후, Vram으로 보내면 정상적인 학습 절차가 가능하다.

from transformers import AutoModel

device = "cuda"
model = Automodel.from_pretrained("klue/roberta-large")#.to(device)
kfold = 5

for fold in enumerate(kfold):
	# copy 후 model 사용
    model = deepcopy.copy(model).to(device)
    for idx, batch in enumerate(train_data_loader):
    	# train step code...

TPU-VM Colab처럼 활용하기

NoPainNoPaper — Fri, 29 Jul 2022 21:19:04 +0900

이 글을 읽기전에, 아래의 세팅을 해두고 오셔야 내용이 이어집니다

Cloud TPU-VM에 VSCODE로 SSH 접속하기

TRC(TPU Research Cloud) TRC에 지원하면, 구글에서 경우에 따라 한달, 또는 두달 등의 TPU 무료 사용을 허가해줌 그러면 다음에 해당하는 자원을 마음껏 사용할 수 있음 us-central1-f 영역의 선점형 Cloud TPU.

okdone.tistory.com

1. VSCODE Workspace 열기

폴더 열기를 눌러서, VSCODE Workspace 환경을 생성

VSCODE 초기화면

확인 버튼 클릭

local folder 메뉴바

VSCODE 창이 다시 열리면서, 다시 passphrase를 입력하면 workspace가 열리게 됨

workspace load 된 vscode 초기화면

여기서부터 사실상 Vscode에 Jupyter Notebook을 적용해본 사람이라면 로컬과 동일하게 수행해도 됨

일단 초보자 기준으로 개발환경을 구성하겠음

+마크를 눌러서 터미널 생성

터미널 생성

2. 프로젝트 구분을 위한 가상환경 생성

나타난 터미널에 아래 코드를 입력해서 가상환경 activate

# 현재 설치된 라이브러리 환경 그대로 test_env 가상환경 생성
virtualenv --system-site-packages test_env

# 가상환경 폴더로 이동
cd test_env

# 가상환경 진입
source bin/activate

jupyter 환경 구성을 위한 설치

pip install jupyter

가상환경에서 사용할 파이썬 커널 생성

# command 입력시 []는 제외하고 입력
python -m ipykernel install --user --name [유저이름] --display-name [커널이름]



#result 아래 log가 나와야 정상적으로 커널 생성된 것
Installed kernelspec 이름 in 커널 생성경로 표시

다시 폴더 구조로 돌아와서, test_env 폴더 내에 ipynb 형태의 파일 생성

파일 생성 버튼

우측 상단에 커널 선택 클릭

커널 선택 버튼

설치 안한게 있었던 듯.. 추천 설치 클릭

알고보니 파이썬을 설치 안한 상태였기에 나타난 문제;;

VSCODE 확장에서 파이썬을 설치(나머지는 취향)

VSCODE 확장 화면

돌아와서 ipynb 파일을 열어보면 test_env 환경의 커널을 자동으로 잡은 것을 확인 가능

VSCODE내 jupyter notebook 환경 조성 완료

3. TPU 연결 상태 확인

Google Tensorflow 공식 예제에서 사용하는 TPU 환경 화면으로 TPU가 정상 작동하는지 확인

아래 내용을 cell에 입력(외우기 어려우니, TPU 사용환경에서 아래 코드는 무조건 복붙하고 시작)

import tensorflow as tf

resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='local')
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
print("All devices: ", tf.config.list_logical_devices('TPU'))
strategy = tf.distribute.TPUStrategy(resolver)

아래와 같은 내용이 나온다면 성공

코드 출력 화면

4. Colab과 비슷한, 그러나 Session이 종료되지 않는 나만의 코랩 환경 구성 완료

위 글은, TRC 프로그램을 통해 Cloud TPU를 빵빵하게 빌려주는 Google에 보답하고자, TPU를 사용하고자 하는 사람들의 커뮤니티에 기여하고자 쓰여졌습니다.

궁금한 점이 있다면 댓글로 주셔도 좋고, Tensorflow 오픈챗방에 tf-keras-TPU Trinity를 찾아주셔도 좋습니다

감사합니다

텐서플로우 코리아 오픈채팅

참여코드는 텐서플로우 만든 회사이름 영문6자리 (OOOOOO) #텐서플로우 #인공지능 #딥러닝

open.kakao.com

Cloud TPU-VM에 VSCODE로 SSH 접속하기

NoPainNoPaper — Thu, 28 Jul 2022 09:32:09 +0900

Cloud TPU

VSCODE 로고

TRC(TPU Research Cloud)

TRC에 지원하면, 구글에서 경우에 따라 한달, 또는 두달 등의 TPU 무료 사용을 허가해줌

그러면 다음에 해당하는 자원을 마음껏 사용할 수 있음

us-central1-f 영역의 선점형 Cloud TPU v2-8 기기 100개
us-central1-f 영역의 주문형 Cloud TPU v2-8 기기 5개
europe-west4-a 영역의 주문형 Cloud TPU v3-8 기기 5개

선점형의 VM은 최대 24시간 밖에 유지되지 않는 단점이 있어 사용이 편할 수는 있으나 계속 유지할 수 없는 것이 단점이고, 주문형의 경우 한번씩 사용량이 꽉차서 만들어지지 않는 경우가 있지만 한번 만들어 두면 계속해서 쓸 수 있기 때문에 주문형을 선호 하는 편

그리고 특히, Colab에서 제공하는 Cloud TPU는 V2-8 기반으로, vram이 core 당8GB 이기 때문에, 무료로 Cloud TPU v3-8 코어당 vram 16GB를 쓸 수 있다는 것이 큰 장점.

VSCODE로 접속하는 이유

Cloud TPU 공식 예제에서는 Cloud TPU에 Google Cloud shell을 통해 SSH를 사용해서 접속하며, 간단한 Python Script를 통해서 학습하는 내용이 나오지만, Colab에서 주피터 노트북 형태로 코드를 짜던 사람들에게 갑자기 script 형태로 파이썬을 학습하는 것은 어색하고, 적응이 되지 않는다

아직 Compute engine의 SSH 기능 처럼 콘솔창에서 바로 VM에 접속하는 기능이 없기 때문에, 조금 불편한 감이 있어, 이를 Colab의 형태를 띈 상태에서 학습에 사용하기 위해 VSCODE를 사용해서 Cloud TPU VM에 SSH를 사용해서 접속하는 방법을 선택했다.

Putty를 통해 키 쌍 생성

putty는 RSA 형태의 키 쌍 생성을 위해 사용되는 유용한 툴

putty key generator 초기화면

Generate 버튼을 누르고, Load bar가 가득찰 때 까지 마우스를 움직임

key 생성 중

아래 빈칸에 해당하는 내용을 입력

키 발행

Key comment: Google e-mail 입력 예) asd@gmail.com

Key passphrase : 키 쌍으로 식별할 때 사용할 암호

Confirm passphrase : 암호 재입력

키쌍 발행 후 다음의 save public key, save private key를 저장

필자의 경우, tpu_pub, tpu_private의 이름으로 저장

발행 후 저장 버튼

사실 위의 public key와 private key는 putty에서 사용하는 형식의 키로, 만일을 대비해서 저장한 것이었고 VSCODE에서 이 키를 쌍으로 사용하려면 OpenSSH 형태로 저장해야함

Export OpenSSH key 선택 후, 파일 저장

필자의 경우, tpu_openssh로 저장

export openssh key

다음으로 Public Key를 구글에 메타 정보에 입력해야함. 반드시 Public key 빠짐 없이 복사해야함

발행한 pub key

GCP Console을 이용해서 키 등록하기

TPU를 받았다는 것은, 프로젝트를 생성하고 그 프로젝트 번호를 통해 TPU 사용 권한을 부여받았다는 것이므로, 프로젝트 생성에 관한 부분은 생략

좌측 상단에 메뉴바를 열어 Compute Engine => 메타 데이터 클릭

구글 콘솔 좌측 상단 메뉴바

SSH키 메뉴 버튼 클릭

구글클라우드 메타정보

SSH 키 추가 클릭

SSH 키 추가 화면

putty에서 만들었던 public key 입력. 반드시 맨 뒤에 자신의 구글 메일까지 복사되었는지 확인요망

SSH키 추가 항목

입력 후 저장을 누르면 등록 완료

SSH 등록 결과

TPU VM 만들기

Cloud TPU VM 생성은 여러가지 방법을 통해 할 수 있음. 여기에서는 GCP console을 통해 생성할건데, VM 사용률이 높아서 잘 생성이 안될 때는 명령어를 통해 생성하고, 반복 시도하는 것이 간편

Cloud TPU VM 사용자 가이드 | Google Cloud

의견 보내기 Cloud TPU VM 사용자 가이드 이 가이드에서는 Cloud TPU VM을 사용하기 위해 Google Cloud Platform 프로젝트를 설정하는 방법을 설명합니다. 여기에서는 Cloud TPU VM을 사용하기 위한 명령어와 Clou

cloud.google.com

여기에 해당하는 부분을 실행한다. 이때 project_id에 본인의 프로젝트 id를 기입해야한다

Cloud TPU 실행 전 기본 명령어들

Compute engine => TPU로 이동

compute engine 메뉴바

TPU 노드 만들기 클릭

TPU 노드 만들기 버튼

이름 : 마음대로 지으면 됨

영역 : Cloud TPU V3-8은 europe-west4-a에서만 사용할 수 있음(trc 이메일에 사용허가된 곳 확인)

TPU 설정 : TPU VM 아키텍처가 TPU를 로컬처럼 사용할 수 있어 편리함

TPU 유형 : V3-8(v2-8 쓰려면 영역을 us-central로 변경,)

TPU 소프트웨어 버전 : TPU VM 지원 되는 버전 참조

VM 만들기 설정

만들기 클릭

또는 GCP Cloud Shell을 열어서, Command로 작성하면 좀 더 편하게 시도할 수 있다

gcloud alpha compute tpus tpu-vm create [vm이름] \
--zone=[영역이름] \ 
--accelerator-type=[tpu타입] \ 
--version=[tpu소프트웨어]  #

gcloud alpha compute tpus tpu-vm create tpuvm-tf \
--zone=europe-west4-a \
--accelerator-type=v3-8 \
--version=tpu-vm-tf-2.6.0

Cloud shell에 위와 같이 입력하면 승인 요청화면이 뜬다

cloud shell 승인 화면

생성 이후에, Cloud shell을 통해서 한번 ssh 접속을 해주어야 VSCODE를 통해 접속이 가능하다

gcloud alpha compute tpus tpu-vm ssh [vm이름] --zone=europe-west4-a

승인

다음과 같은 화면이 뜨면 VM 내부로 진입한 것이며, 드디어 VSCODE로 접속할 준비가 됨

cloud shell 에서 TPU vm SSH 접속

VSCODE로 TPU-VM에 SSH 접속하기

VSCODE에 Remote-SSH 확장 설치

vscode remote-ssh 확장

해당 컴퓨터 모양 클릭

ssh 아이콘

필자는 이미 등록해둔게 있어서 뭔가 있지만 신경쓰지 않고, 톱니(설정) 클릭

ssh 대상 목록 화면

설정 클릭

ssh 구성 파일 메뉴

config file을 저장할 파일 경로 setting (권한 문제 안생기도록 주의)

ssh config file 설정 화면

저장 후 돌아오면 다시 톱니바퀴를 클릭 후, 저장한 파일의 경로의 config를 열어보자

ssh config file 설정 열기

config 파일이 열리게 되는데, 여기에 접속하는 정보를 적어준다

Host 식별 하기 좋은 이름
    HostName vm외부아이피주소
    User 본인이메일  # 골뱅이 뒤는 제외
    Port 22
    IdentityFile 본인의 openssh키 경로

TPU 화면에서 vm외부 IP에 해당하는 주소를 적으면 됨

Cloud tpu vm 외부 ip 확인

config에 적고 save하면, SSH 대상에 식별하기 위한 이름을 가진 목록이 뜸, 우측 상단에 폴더 플러스 모양 클릭

vscode로 vm에 ssh 접속하기

새로운 VSCODE 창이 활성화 되며 다음의 창이 뜸, ubuntu 이기 때문에 Linux 클릭

운영체제 선택

yes를 입력하면, 한번 접속했던 기록을 토대로 위 linux 같은 선택을 다시 안해도 됨. yes 엔터

fingerprint 선택 화면

putty를 통해 public key 생성시 사용했던 passphrase 입력

passphrase 입력화면

SSH 접속 완료

VSCODE TPU VM 접속 완료

초기의 VM은 python과 tensorflow등의 기본 소프트웨어만 설치되어 있어, VSCODE 확장부터 주피터 노트북까지 다양한

프로그램을 설치해야한다. 이 내용은 2편에서 이어서 해보겠다

TPU-VM Colab처럼 활용하기

이 글을 읽기전에, 아래의 세팅을 해두고 오셔야 내용이 이어집니다 Cloud TPU-VM에 VSCODE로 SSH 접속하기 TRC(TPU Research Cloud) TRC에 지원하면, 구글에서 경우에 따라 한달, 또는 두달 등의 TPU 무료 사용

okdone.tistory.com

이 글은, Google로부터 지속적으로 TRC 프로그램을 통해 TPU VM을 사용하는데에 감사한 마음으로, 오픈소스 커뮤니티에 기여하고자, 공익 목적의 튜토리얼 글로, 초보자들 또한 TPU-VM에 손쉽게 다가가서 사용할 수 있도록 돕고자 쓰여진 글입니다.

TPU-VM 사용에 어려움이 있다면 언제든지 댓글을 주시거나, 제가 활동하고 있는 Tensorflow Korea 오픈채팅방에서 tf-keras-TPU trinity를 찾아주세요

텐서플로우 코리아 오픈채팅

참여코드는 텐서플로우 만든 회사이름 영문6자리 (OOOOOO) #텐서플로우 #인공지능 #딥러닝

open.kakao.com

스택의 응용, 다중 스택

NoPainNoPaper — Wed, 27 Jul 2022 19:06:03 +0900

스택 응용

산술식 표현

산술식 : 수(양)의 간단한 성질 및 셈을 수학적으로 계산하여 표기하는 방식을 말함.
연산자(operator) : 프로그램의 산술식이나 연산식을 표현하고 처리하기 위해 제공되는 다양한 기호(산술 연산자 : +, -, *등)을 말함
피연산자(operand) : 연산(operation)에 참여하는 변수 또는 값을 말함

산술식의 내부 표현 방법

산술식 변환

산술식의 변환 방법(괄호)

괄호를 사용한 중위 표현식의 전위/후위 표현 방법

수식의 각 연산자에 대해서 우선순위에 따라 괄호를 사용하여 다시 표현
각 연산자를 그에 대응하는 괄호의 전위(왼쪽), 후위(오른쪽)으로 이동
괄호를 제거한다

산술식의 변환 방법(스택 사용)

스택을 사용하여 입력된 중위 표현식을 후위 표현식으로 변환 방법

산술식의 변환 예 - 중위 표현식 : A×B+C

변환 예 - 중위 표현식 : A×B+C

중위 표현식 : A×(B + C)/D

#include <stdio.h>
#include <stdlib.h> //exit() 처리 
#include <ctype.h> //isdigit(char) 처리 
#include <string.h>
#define SIZE 100
char stack[SIZE];
int top =-1;
void push(char item){ //스택의 삽입 연산
	if(top >= SIZE-1 ){
		printf("\n스택 오버플로우.");}
	else{
		top = top+1;
		stack[top] = item; }
}

중위 표현식 : A*(B+C)/D를 후위 표현식으로 변환하는 프로그램

char pop(){ //스택의 삭제 연산
	char item ;
	if(top <0){
	printf("스택 언더플로우 - 괄호에 의한 잘못된 중위 표현식:(((a+b)*c)”);
	getchar();
	exit(1 ); //오류 메시지 종료
	}
	else{
		item = stack[top];
		top = top-1;
		return(item);
	}
}

int is_operator(char symbol){ //기호가 연산자이면1을, 그렇지 않으면0을 반환
	if(symbol == '^' || symbol == '*' || symbol == '/' || symbol == '+' ||
		symbol =='-'){
		return1;}
	else{
		return0; }
}
int precedence(char symbol){ //연산자 우선순위 값 할당
	if(symbol == '^'){
		return(3);}
	else if(symbol == '*' || symbol == '/'){
		return(2 );}
	else if(symbol == '+' || symbol == '-'){
		return(1 );}
	else{
		return(0);}}

void InfixToPostfix(char infix_exp[], char postfix_exp[]){ //중위 표현식 변환
	int i, j;
	char item;
	char x;
	push('('); //'(' 를 스택에 push
	strcat(infix_exp,")"); // ')' 를 중위 표현식에 추가
	i=0;
	j=0;
	item=infix_exp[i]; //초기화
	while(item != '\0'){ //중위 표현식이 끝날 때까지 반복
		if(item == '('){ //좌측 괄호를 스택에 삽입
			push(item);
	}
    else if( isdigit(item) || isalpha(item)){ //좌측 괄호의 숫자, 알파벳 판단
		postfix_exp[j] = item; //item을 배열 postfix-exp[]에 추가(출력)
		j++;
	}
	else if(is_operator(item) == 1 ){ //item이 연산자인 경우, isp와 icp를 고려
		x=pop();
		while(is_operator(x) == 1 && precedence(x)>=precedence(item)){
			postfix_exp[j] = x;
			j++;
			x = pop();
		}
		push(x);
		push(item);
	}
    else if(item == ')'){ //현재의 기호가 ')'이면 ‘(＇를 만날 때까지 pop
		x = pop();
		while(x != '('){
			postfix_exp[j] = x; j++;
			x = pop();}
	else{
		printf("\n잘못된 중위 표현식\n");
		getchar();
		exit(1 );
	}
	i++;
	item = infix_exp[i]; //중위 표현식의 다음 심볼을 읽음
	} //while문 종료
	postfix_exp[j] =‘\0';//후위 표현식 마지막에 '\0'를 추가
}

int main(){
	char infix[SIZE], postfix[SIZE]; // 중위 표현식과 후위 표현식을 선언
	printf("\n중위 표현식 : ");
	gets(infix); //표준 입력으로 들어온 문자열을 저장
	InfixToPostfix(infix, postfix);
	printf("후위 표현식 : ");
	puts(postfix);
	return 0;
}


result
중위 표현식 : A*(B+C)/D
후위 표현식 : ABC+*D/

스택 응용 : 산술식 평가

산술식(postfix) 평가 방법

- 산술식 평가 : 표현식(산술식)으로부터 값을 도출하는 과정

- 연산자 종류

단항 연산자 : (+3)
이항 연산자 : 3+4
삼항 연산자 : num2 = num1 ? 100 : 200;

- 후위 표현식 평가는 괄호가 필요없으며 우선 순위를 고려하지 않아도 됨

피연산자를 만나면 스택에 삽입한다.
연산자를 만나면 필요한 만큼의 피연산자를 스택에서 삭제하여 연산하고, 연산결과를 다시 스택에 삽입한다
1-2의 과정을 반복하여 수식이 끝나면, 마지막으로 스택에서 결과값을 삭제하여 출력한다

후위 표현식 34 x 63  / -

#include <stdio.h>
#define MAX 20
typedef struct stack{
	int data[MAX];
	int top;
}stack;
int evaluate(char x, int op1, int op2 ){ //연산자에 따른 수식 평가
	if(x=='+') return (op1+op2 );
	if(x=='-') return (op1-op2 );
	if(x=='*') return (op1*op2 );
	if(x=='/') return (op1/op2 );
	if(x=='%') return (op1%op2 );
}

void init(stack *s){ // 스택 top 포인터의 초기화
	s->top=-1;
}
int empty(stack *s){ //스택의 empty 검사
	if(s->top==-1 )
		return(1 );
	return(0);
}
int full(stack *s){ // 스택의 오버플로우 검사
	if(s->top==MAX-1 )
		return(1 );
	return(0);
}

void push(stack *s, int x){ // 스택에 x(피연산자)를 push
	s->top=s->top+1;
	s->data[s->top]=x;
}
int pop(stack *s){ //스택에서 피연산자를 pop
	int x;
	x=s->data[s->top];
	s->top=s->top-1;
	return(x);
}

int main(){
	stack s;
	char x;
	int op1,op2,val;
	init(&s);
	printf("\n후위 표현식 :");
	while((x=getchar())!='\n'){ //한 문자씩 후위 표현식을 읽음
		if(isdigit(x))
			push(&s, x-48); //x-48은 ASCII의 부작용을 제거하기 위함
		else{ //피연산자이면 스택에 2개의 피연산자를 pop
			op2=pop(&s);
			op1=pop(&s);
			val=evaluate(x,op1,op2 );
			push(&s, val); //계산 결과를 스택에 push
	}
}

	val=pop(&s); //평가 결과값
	printf("\n후위 표현식 평가 결과값 = %d", val);
	return 0;
}

result
후위 표현식 :34*63/-
후위 표현식 평가 결과값 = 10

다중 스택

여러 개의 스택을 운용하는 경우로서 일반적으로 스택의 오버플로우 발생의 방지를 위해 사용되는 구조

배열이나 연결리스트를 이용하여 표현할 수 있음
배열에서 두 개의 스택을 독립적으로 운영하면 단일 스택보다 2배의 공간을 활용할 수 있음(오버플로우화 현상 감소)

1차원 배열로 2개 스택의 운영 방법

삽입 : stack-1은 stack[m-1] 방향으로 top-1을 증가하고 stack-2는 stack[0]방향으로 top-2를 감소함
삭제 : stack-1은 stack[0] 방향으로 top-1을 감소하고 stack-2는 stack[m-1] 방향으로 top-2를 증가함

다중 스택

단일 배열의 다중 스택(multi-stack)

1차원 배열로 2개의 스택 운영 프로그램

#include <stdio.h>
#include <malloc.h>
#define MAX 10
int stack[MAX], topA =-1, topB = MAX;
void push_stackA(int val){ //스택A에 원소 삽입
	if(topA == topB-1 )
		printf("\n 스택 오버플로우");
	else{
		topA=topA+1;
		stack[topA] = val;
	}
}

int pop_stackA(){ //스택A에서 원소 삭제
	int val;
	if(topA ==-1 ){
		printf("\n 스택 언더플로우");}
	else{
	val = stack[topA];
	topA=topA-1; }
	return val;}
void display_stackA(){ //스택A의 원소들을 출력
	int ;
	if(topA ==-1 )
		printf("\n 스택이 비었음");
	else{
	for(i = topA;i >= 0;i--)
		printf("\t %d", stack[i]);}
}

void push_stackB(int val){//스택B에 원소 삽입
	if(topB-1 == topA){
		printf("\n 스택 오버플로우");}
	else{
		topB=topB-1;
		stack[topB] = val;}
}
int pop_stackB(){//스택B에서 원소 삭제
	int val;
	if(topB == MAX){
		printf("\n 스택 언더플로우");}
	else{
		val = stack[topB];
		topB=topB+1;}
}

void display_stackB(){//스택B의 원소들을 출력
	int i;
	if(topB == MAX)
	printf("\n 스택이 비었음");
	else{
		for(i = topB;i < MAX;i++)
			printf("\t %d", stack[i]);}
}
int main(){
	int option, val;
	printf("\n -----메뉴----- ");
	printf("\n 1. 스택A에 원소를 삽입");
	printf("\n 2. 스택B에 원소를 삽입");
	printf("\n 3. 스택A에서 원소를 삭제");
	printf("\n 4. 스택B에서 원소를 삭제");
	printf("\n 5. 스택A의 원소들을 출력");
    printf("\n 6. 스택B의 원소들을 출력");
	printf("\n 7. 종료");
	do{
		printf("\n 연산에 해당되는 번호를 선택하세요 : ");
		scanf("%d", &option);
		switch(option){
			case 1: printf("\n 스택A에 삽입할 원소를 입력 :");
					scanf("%d", &val);
					push_stackA(val);
					break;
			case 2: printf("\n 스택B에 삽입할 원소를 입력 :");
					scanf("%d",&val);
					push_stackB(val);
					break;
            case 3: printf("\n 스택A에서 삭제된 원소 = %d", val);
					pop_stackA();
					break;
			case 4: printf("\n 스택B에서 삭제된 원소 = %d", val);
					pop_stackB();
					break;
			case 5: printf("\n 스택A의 원소들 :\n");
					display_stackA();
					break;
			case 6: printf("\n 스택B의 원소들 :\n");
					display_stackB();
					break;
		}
	} while(option != 7);
	return 0;
}

result
-----메뉴-----
1. 스택A에 원소를 삽입
2. 스택B에 원소를 삽입
3. 스택A에서 원소를 삭제
4. 스택B에서 원소를 삭제
5. 스택A의 원소들을 출력
6. 스택B의 원소들을 출력
7. 종료
연산에 해당되는 번호를 선택하세요 :1
스택A에 삽입할 원소를 입력 : 10
연산에 해당되는 번호를 선택하세요 :1
스택A에 삽입할 원소를 입력 : 20
연산에 해당되는 번호를 선택하세요 :5
스택A의 원소들:
20 10
연산에 해당되는 번호를 선택하세요:

1차원 배열로 스택 n개를 운영하는 경우(균등 분배, 차등 분배)

균등 분배 ( stack[m]에 대해 n개의 스택을 표현)

각 스택 i에 대하여 b[i]는 그 스택의 최하위 요소보다 하나 작은 위치를 나타냄
각 스택의 t[i] (1 <= i <= n)는 스택 i의 최상위 요소를 나타냄
i번째 스택의 공백상태는 b[i] = t[i]
i번째 스택의 오버플로우 상태는 t[i] = b[i+1]

다중 스택의 삽입에서 오버플로 해결 방법

스택i와 스택i+1이 만나는 경우 오버플로 발생

Knuth의 repacking 알고리즘

학습 정리

스택은 산술식 변환이나 평가에 활용가능
다중 스택은 여러 개의 스택을 운용하는 경우로서 일반적으로 스택의 오버플로우 발생을 방지하기 위해 사용되는 자료구조이다
단일 스택은 오버플로우 발생 시 실제 작업에 필요한 자료를 사용할 수 없으며, 중간에 작업을 중단하고 배열의 크기를 다시 재 선언해야 한다
다중 스택은 오버플로우 발생 시 스택의 많은 요소들이 이동 및 재 배열되어야 하는 문제 점(repacking 작업)이 있으며 비순차표현(연결구조)으로 구현하여 해결할 수 있다.

관계 대수 확장, 해석, 관계 연산 정리

NoPainNoPaper — Wed, 27 Jul 2022 17:37:19 +0900

관계 대수 확장

관계 연산자 기능

관계 연산 기능들

관계 대수 한계

관계 대수는 산술 연산을 할 수 없음
집단 함수 (aggregate function)를 지원하지 않음
데이터베이스를 수정할 수 없음
프로젝션 연산의 결과에 중복된 튜플을 나타낼 수 없음
연산의 결과를 정렬하여 나타낼 수 없음

관계 대수의 확장

세미 조인, 외부 조인, 외부 합집합, 집단 함수, 그룹화

외부 합집합

합병 가능하지 않은 두 relation을 차수를 확장하여 합집합 생성

집단 함수

SUM, AVG, COUNT, MAX, MIN

질의 : 모든 사원들의 급여의 평균은?

그룹화

Attribute들 값에 의해서 그룹으로 분할되고, 분할된 각 그룹의 튜플들의 집합에 대해서 집단 함수 적용

그룹화

관계 해석(relational calculus)

수학의 프레디킷 해석에 기반함(predicate : a function whose values is true or false)

원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않는 선언적인 언어(비절차 언어)

튜플 관계 해석(tuple relation calculus) - 튜플을 기준으로 데이터 조회
도메인 관계 해석(domain relation calculus) - 속성을 기준으로 데이터 조회

관계 해석 기호

∃: 존재의의미(There exist)
∈ : t가r에원소(속함) ( t ∈ r )
∀ : 모든것(임의의) 에대하여(for all)
∪ : 합집합

튜플 관계 해석

연산 단위가 튜플
원하는 relation을 튜플 해석식 (tuple calculus expression)표기
튜플 해석식의 구성요소

튜플변수

지정된 relation의 한 튜플만을 값으로 취하는 변수
튜플 변수는 취할 수 있는 튜플의 relation이 명세되어야 함
튜플 변수의 예 : R(t)

한정 속성

튜플 변수에서 특정 속성의 값을 갖는 속성(t.A)

튜플 해석식의 구성요소

- 원자(atom) - 원자의 실행 결과는 참 또는 거짓 예) R(t), t.Aθ u.B, t.Aθ c

- 정형식(well-formed formula), 원자, 불리언 연산자, 정량자가 결합된 식

- 정형식의 예) s.Sno = 100, c.Cno≠ e.Cno, s.Sno= e.Sno∧ e.Cno≠ c.Cno, ·(∃e)(e.Sno= s.Sno∧ e.Cno= 'C413')

튜플 관계 해석식

셀렉트연산: { t | EMPLOYEE(t) and t.SALARY>5000 }
프로젝트연산: { t.FNAME, t.LNAME| EMPLOYEE(t) }
-셀렉트+ 프로젝트: { t.FNAME, t.LNAME| EMPLOYEE(t) and t.SALARY> 50000}

튜플 해석식 표기 형식

튜플 해석식 질의문 표현

도메인 관계 해석

원하는 릴레이션을 도메인 해석식으로 표현
연산의 단위가 도메인
도메인 해석식의 구성요소(도메인 변수, 원자, 정형식)

도메인 해석식의 구성요소

- 도메인 변수

지정된 attribute에 대한 도메인의 한 원소만을 취하는 변수
각 도메인 변수는 해당 도메인을 선언해야함
x회원번호, x회원명
범위식 : 도서(x도서번호, x도서명, x출판사)

- 원자 (atom)

R(x1 ,x2 ,…,xn ), x θ y, x θ c

①R : 범위릴레이션

②x, y : 도메인변수

③θ : 비교연산자(=, ≠, <, ≤, >,≥)

④c : 상수

- 정형식(WFF, Well-Formed Formila)

원자, 불리언연산자(∧, ∨,  ), 정량자(∀,∃)가다음규칙에따라결합되어표현된식

①모든원자는WFF

②F가WFF이면, (F)와  F도WFF

③F와G가WFF이면, F∧G와F∨G도WFF

④도메인변수x가자유변수로사용된F(x)가WFF이면, (∀x)(F(x))와(∃x)(F(x))도WFF

⑤위의규칙만을 반복 적용해서 만들어진 식은 WFF

도메인 해석식 표기 형식

도메인 해석식 예제

{ xSname｜STUDENT(xSno, xSname, xYear, xDept)}
{ xSname｜(∃xDept)(STUDENT(xSno, xSname, xYear, xDept)∧ xDept='컴퓨터’) }
{ xSno, xDept｜STUDENT(xSno, xSname, xYear, xDept)∧ (∃xxSno) (∃xGrade)(ENROL(xxSno, xCno, xGrade, xMidterm, xFinal) ∧ xSno=xxSno ∧ xGrade='A‘) }

도메인 해석식을 이용한 질의문 표현

과목 C413에서 성적이 A인 학생의 학번을 모두 검색

기말 성적이 90점 이상인 학생의 학번과 이름을 검색

과목 C324에 등록하지 않은 학생의 이름을 검색

관계 연산 정리

관계 데이터 연산

원하는 데이터를 얻기 위해 필요한 처리 요구를 relation에 수행하는 것
관계 대수(relational algebra)
relation을 처리하기 위한 연산의 집합
어떻게 질의를 수행할 것인가 명시하는 절차적 언어(How, What)
관계 대수는 상용 관계 DBMS들에서 널리 사용되는 SQL의 이론적인 기초

관계 해석(relational calculus)

원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않음(What)
비절차 언어(nonprocedurral language)
튜플 관계 해석과 도메인 관계 해석

관계 대수 연산자

일반 집합 연산자와 순수 관계 연산자로 구성
일반 집합 연산자와 순수 관계 연산자로 구성

일반 집합 연산자

-합집합(UNION, ∪) ,교집합(INTERSECT, ∩), 차집합(DIFFERENCE, -)
카티션프로덕트(CARTESIAN PRODUCT, ×)

순수 관계 연산자

SELECT, PROJECT, JOIN, DIVISION

관계 해석

수학의 프레디킷 해석에 기반, predicate : a function whose values is true or false

원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않는 선언적인 언어

- 비절차 언어(nonprocedurral language)

분류

튜플 관계 해석(tuple relation calculus), 튜플을 기준으로 데이터 조회
도메인 관계 해석(domain relation calculus), 속성을 기준으로 데이터 조회

관계 대수의 한계

집단함수 : SUM, AVG, COCUNT, MAX, MIN

그룹화 : attribute들의 값에 의해서 그룹으로 분할되고, 분할된 각 그룹의 튜플들의 집합에 대해서 집단 함수를 적용

관계 해석

원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않는 선언적인 언어
튜플관계 해석 : 범위식, 튜플 변수, 한정 속성, 원자, 정형식
도메인 관계 해석 : 도메인 변수, 원자, 정형식

관계 연산자, 조인

NoPainNoPaper — Wed, 27 Jul 2022 12:02:05 +0900

관계 대수 - 순수 관계 연산자

조인 연산자

두 개의 Relation으로부터 연관된 튜플들을 결합하는 연산자
관계 데이터베이스에서 Relation간의 관계를 다루는데 매우 중요한 연산자
조인의 유형(theta join, equijoin, natural join, outer join, semijoin)

조인 연산 예시

세타 조인, 동등 조인

두 Relation R(A1, A2,...,An)과 S(B1,B2,...,BM)의 세타 조인 결과는 차수가 n+m이고, 애트리뷰트가 (A1,A2,...,An,B1,B2,...,Bm)이며, 조인 조건을 만족하는 튜플들로 이루어진 릴레이션
세타는 {=,<>,<=,<,>=,>} 중의 하나
사용형식 : R ⋈ R.Attributeθ S.AttributeS
동등 조인은 세타 조인 중에서 비교 연산자가 =인 조인(R ⋈ A=B S ＝{ r·s| r∈R∧ s∈S∧ ( r.A＝s.B) })

질의: EMPLOYEE 릴레이션과 DEPARTMENT 릴레이션을 동등조인

자연 조인

동등 조인의 결과 Relation에서 조인 속성을 한 개 제외한 조인
여러 가지 조인 연산자들 중 가장 자주 사용됨
실제로 관계 데이터베이스에서 대부분의 질의는 selection, projection, natural join으로 표현 가능
사용 형식 (R ⋈ N R.attribute, S.attributeS)

질의: EMPLOYEE 릴레이션과 DEPARTMENT 릴레이션을 자연조인

외부조인

조인 과정에서 상대 relation에서 대응되는 튜플이 없을 경우, 이를 제외하지 않고 상대를 Null값을 갖는 튜플로 결과 relation에 포함시킴

- 왼쪽 외부 조인(left outer join), 오른쪽 외부 조인(right outer join), 완전 외부 조인(full outer join)

왼쪽 외부조인

두 relation R과 S의 왼쪽 외부 조인 연산은 R의 모든 튜플들을 결과에 포함시킴
Relation S에 관련된 튜플이 없으면 결과 Relation에서 RelationS의 attribute들은 null 값으로 채움

자연 조인과 왼쪽 외부 조인

오른쪽 외부조인

Relation R과 S의 오른쪽 외부 조인 연산은 S의 모든 튜플들을 결과에 포함시키고
만일 Relation R에 관련된 튜플이 없으면 결과 Relation에서 Relation R의 Attribute들은 Null 값으로 채움

R과 S의 오른쪽 외부 조인

완전 외부조인

Relation R과 S의 완전 외부 조인 연산은 R과 S의 모든 튜플들을 결과에 포함시키고
만일 상대 Relation에 관련 튜플이 없으면 결과 Relation에서 상대 Relation의 속성들은 Null값으로 채움

완전 외부 조인

세미 조인

Relation R1과 R2에서 조인 속성으로 R2를 프로젝트 연산 후 결과를 R1에 자연 조인
불필요한 속성을 미리 제거해 조인의 효율성을 꾀함

세미조인

정리

디비전 연산자

차수가 n+m인 릴레이션 R(A1, A2,...,An, B1,B2,...,Bm)과 차수가 m인 Relation S(1,B2,...,Bm)의 디비전 R / S는 차수가 n이고 S에 속하는 모든 튜플 u에 대해 튜플 tu(튜플 t와 튜플 u를 결합한 것)가 R에 존재하는 튜플 t들의 집합

예) 디비전

관계 대수 질의 예제

2번 부서나 3번 부서에 근무하는 모든 사원들의 이름과 급여를 검색 (실렉션, 프로젝션)

개발 부서에서 근무하는 모든 사원들의 이름을 검색하라 (실렉션, 프로젝션, 조인)

모든 사원의 사번과 이름을 찾기

‘김창섭’ 사원의 사원번호를 찾기

부서 릴레이션에 하나의 새로운 투플(6, ‘생산‘, 10)을 삽입

학습 정리

조인

두개 Relation의 공통 속성을 기준으로 속성값이 같은 튜플들을 수평으로 결합하여 새로운 하나의 Relation을 만드는 연산

세타 조인, 동등 조인
자연 조인, 외부 조인
세미 조인

디비전

X ⊃ Y인두개의 Relation에서 R(X)와 S(Y)가 있을때 R Relation의 속성이 S Relation의 속성값을 모두 가진 투플에서 S Relation이가진 속성만 제외한 튜플로 결과 릴레이션을 구성하는 연산

관계 데이터 연산(select, project, 집합 연산)

NoPainNoPaper — Tue, 26 Jul 2022 21:52:36 +0900

관계 데이터 연산의 이해

원하는 데이터를 얻기 위해 필요한 처리 요구를 Relation에 수행하는 것

연산은 시스템의 입장에서, 데이터 언어는 사용자의 입장

관계 데이터 모델에서 지원되는 기본 언어

관계 대수(relational algebra)

Relation을 처리하기 위한 연산의 집합
어떻게 질의를 수행할 것인가를 명시하는 절차적 언어(How, What)
관계 대수는 상용 관계 DBMS들에서 널리 사용되는 SQL의 이론적인 기초

관계 해석(relational calculus)

원하는 데이터만 명시하고 질의를 어떻게 수행할 것인가는 명시하지 않음(What)
비절차 언어(nonprocedurral language)
튜플 관계 해석과 도메인 관계 해석

관계 대수의 개념

Relation을 처리하기 위한 연산의 집합
기존의 Relation들로부터 새로운 Relation을 생성
산술 연산자와 유사하게 단일 Relation이나 두 개의 Relation을 입력으로 받아 하나의 결과 Relation을 생성
결과 Relation은 또 다른 관계 연산자의 입력으로 사용 가능
일반 집합 연산자와 순수 관계 연산자로 구성

일반 집합 연산자

합집합(UNION, U), 교집합(INTERSECT, ∩), 차집합(DIFFRENCE, -), 카티션 프로덕트(CARTESIAN PRODUCT, x)

순수 관계 연산자

SELECT, PROJECT, JOIN, DIVISION

관계 연산자

관계 대수 - 일반 집합 연산자

일반 집합 연산자의 특성

두 개의 Relation을 대상으로 연산 수행
합집합, 교집합, 차집합 연산은 두 릴레이션이 합병 가능해야함

합병 가능(union compatible)

두 Relation의 차수가 같음
두 Relation에서 대응되는 속성의 도메인이 같음

1) 합집합(union) 연산자

두개의 릴레이션을 합하여 하나의 릴레이션을 반환하는 연산자

질의: 김창섭이 속한 부서이거나 개발부서의 부서번호를 검색

2) 교집합(intersection) 연산자

두 릴레이션 모두에 속한 투플들을 반환하는 연산자

질의: 김창섭 또는 최종철이 속한 부서이면서 기획부서의 부서번호를검색

교집합 연산 결과

3) 차집합 (diffrence)

두 릴레이션 R과 S의 차집합R –S는R 릴레이션에 속하지만 S 릴레이션에 속하지 않는 투플들로 결과 릴레이션을 구성

차집합 결과

질의: 소속된 직원이 한명도 없는 부서의 부서번호를 검색

4) 카티션 곱(cartesion product) 연산자

두가지 Relation

R(A1,A2...An) : 카디날리티 I
S(B1, b2...Bm) : 카디날리티 j

R * S는 다음을 만족하는 릴레이션

차수 : n + m
카디날리티 : i * j
attribute : R과 S의 튜플들의 모든 가능한 조합으로 이루어진 것 (A1,A2...Am, B1,B2...,Bm)

R에 속한 각 튜플 a에 대해 S에 속한 튜플 b를 모두 접속(concatenation)시킨 튜플(a.b)의 집합

카티션곱(cartesionproduct) 연산자

질의: EMPLOYEE 릴레이션과 DEPARTMENT 릴레이션의 카티션 곱을 구하라

관계 대수 - 순수 관계 연산자1

릴레이션의 특성과 구조를 사용하여 연산을 수행(select, project, division, join)

selection 연산자

한 Relation에서 조건 (selection condition)을 만족하는 튜플들의 부분 집합 생성
selection 연산자는 하나의 입력 relation에 적용(단한 연산자)
표기 형식(sigma 조건식(릴레이션), R WHERE 조건식)
<속성> 연산자 <속성 값>
연산자는 비교 연산자(<,>,=,<>,<=,>=), 부울 연산자(and, or, not)

질의: EMLOYEE 릴레이션에서 3번부서에 소속된 사원들을 검색

질의: EMPLOYEE 릴레이션에서 2번부서에 속하고 급여가 2,000,000 이상인 사원들을 검색

Projection

한 Relation의 속성들의 부분 집합을 구함
프로젝션의 결과로 생성되는 릴레이션은 <속성 리스트>에 명시된 속성들 가짐
생성된 중복 튜플은 제거
사용형식(π 속성리스트 (릴레이션))

모든 사원들의 직급을 검색

프로젝션

관계 대수

selection, projection, 합집합, 차집합, 카티션 곱은 관계 대수의 필수적인 연산자
다른 관계 연산자들은 필수적인 관계 연산자를 두 개 이상 조합하여 표현할 수 있음
임의의 질의어가 적어도 필수적인 관계 대수 연산자들만큼의 표현력을 갖고 있으면 관계적으로 완전하다고 말함(relationally complete)

학습정리

관계 데이터 언어

관계 해석(튜플 관계해석, 도메인 관계해석)
관계 대수

관계 대수

일반집합 연산자(합집합, 교집합, 차집합, 카티션곱)
순수관계 연산자(실렉션, 프로젝션,조인,디비전)

합병 가능

두 Relation이 차수와 대응되는 열들의 도메인이 같음

Selection 연산

Relation에서 조건을 만족하는 튜플을 검색

Projection 연산

Relation에서 조건을 만족하는 열들의 값을 검색

Relation과 무결성 제약

NoPainNoPaper — Tue, 26 Jul 2022 18:21:15 +0900

Relation 개념

수학적 정의

Relation은 Cartesian Product의 부분집합

정의

튜플의 수 : 카디널리티(Cardinality)

집합

회원명 = {'송중기', '서현', '송혜교', '보아' }
주소 = {'서울강남', '서울용산', '서울구로', '경기용인'}

Relation

- {('송중기','서울강남'),('서현','서울용산'),('송혜교','서울구로'),('보아','경기용인)}

개념적 정의

Relation schema

릴레이션의 이름과 애트리뷰트 이름들
릴레이션을 위한 틀(framework)
표기법(relation이름(attribute1, attribute2,...attribute N)
기본 키 attribute에는 밑줄 표시
정적 성질
내포라고 함

Relation instance

어느 시점에 relation에 들어 있는 튜플들의 집합
삽입, 삭제, 갱신으로 시간의 흐름에 따라 계속 변함(동적 성질)
일반적으로 릴레이션에는 현재의 인스턴스만 저장
외연(extension)이라고 함

관계 데이터베이스 인스턴스

Relation 특성

튜플의 유일성

동일한 튜플이 두 개 이상 존재하지 않음 -> 키가 존재함

튜플의 무순서성

튜플들의 순서는 중요하지 않음
튜플들의 순서가 달라도 동일한 릴레이션

Attribute의 무순서성

순서가 중요하지 않음

Attribute의 원자성

한 튜플의 각 Attribute는 원자값을 가짐

기타

각 Relation은 하나의 레코드 타입만 포함
한 Attribute 내의 값들은 모두 같은 유형
각 Attirubte의 이름은 한 Relation 내에서만 고유

Relation의 키

키의 정의

각 튜플을 고유하게 식별할 수 있는 하나 이상의 Attribute들의 집합

키의 유형

슈퍼 키(super key)
후보 키(candidate key)
기본 키(primary key)
대체 키(alternate key)

슈퍼 키

한 Relation 내의 특정 튜플을 고유하게 식별하는 하나의 속성 또는 속성들의 집합으로서 유일성을 만족
튜플들을 고유하게 식별하는데 꼭 필요하지 않은 Attribute들을 포함할 수 있음(최소성 만족하지 않음)

슈퍼 키 예제

후보 키

각 튜플을 고유하게 식별하는 최소한의 속성들의 모임
유일성(unigueness)과 최소성(minimality)을 만족
모든 릴레이션에는 최소한 한 개 이상의 후보 키가 있음

후보 키 예제

기본 키(Primary Key)

후보 키 중 릴레이션에서 사용하려고 선정한 키
신용카드 회사 고객 Relation에서 신용카드번호와 주민등록번호가 후보키가 될 수 있음, 이중에서 신용카드번호를 기본키로 선정
자연스러운 기본 키를 찾을 수 없는 경우에는 레코드 번호와 같이 인위적인 키 속성을 릴레이션에 추가할 수 있음

대체 키

기본 키가 아닌 후보키
신용카드 회사의 고객 Relation에서 신용카드 번호를 기본 키로 선정하면 주민등록번호는 대체 키

키들의 포함관계

외래 키(foreign key)

특정 Relation의 기본 키를 참조하는 속성
관계 데이터베이스에서 Relation간의 관계를 나타내기 위해서 사용
외래 키 속성은 피참조되는 Relation의 기본 키 속성과 동일한 도메인을 가져야 함
외래 키 값은 피참조되는 Relation의 기본 키에 존재하는 값이거나 Null 값을 가짐
자신이 속한 Relation에서 기본 키의 구성요소가 될 수 있음

다른 Relation 기본 키를 참조하는 외래키

자체 relation의 기본 키를 참조하는 외래 키

기본 키의 구성요소가 되는 외래키

관계 데이터 모델에서의 키

무결성 제약

데이터 무결성(data integrity)

데이터의 정확성 또는 유효성을 의미
일관된 데이터베이스 상태를 정의하는 규칙들을 묵시적 또는 명시적으로 정의함
무결성 제약조건은 데이터베이스 상태가 만족시켜야 하는 조건
데이터베이스가 갱신될 때 DBMS가 자동적으로 무결성 조건을 검사하므로 응용 프로그램들은 무결성 조건을 검사할 필요가 없음

개체 무결성 제약조건(entity integrity constraint)

Relation에서 기본 키 속성은 Null값을 가질 수 없음
Null 값 : 정보 부재를 명시적으로 표현하는 특수한 데이터 값으로 1. 알려지지 않은 값, 또는 해당없음

참조 무결성 제약조건(referential integrity constraint)

릴레이션은 참조할 수 없는 외래 키 값을 갖지 않는다. (NULL 값은 허용)
릴레이션 사이의 관계들이 다른 릴레이션의 기본키를 참조하는 것을 기반으로 표현되기 때문에 외래 키의 개념이 중요

참조 무결성 제약조건(referential integrity constraint)

Relation R2의 외래 키가 Relation R1의 기본 키를 참조할 때 참조
무결성 제약조건은 아래의 두 조건 중 하나가 성립되면 만족됨
외래 키의 값은 R1의 어떤 튜플의 기본 키 값과 같다
외래 키는 널값을 가진다

제약 조건의 유지

삽입

참조되는 부서 Relation에 새로운 튜플이 삽입되면 참조, 무결성 제약 조건은 위배되지 않음

참조하는 Relation에 새로운 튜플을 삽입할 때는 참조 무결성 제약조건을 위배할 수 있음

사원 relation에 (4325,오혜원,6)이라는 튜플을 삽입하면 참조 무결성 제약조건을 위배

삭제

참조하는 Relation에 튜플이 삭제되면 참조 무결성 제약조건을 위배하지 않음

참조되는 Relation에서 튜플이 삭제되면 참조 무결성 제약조건을 위배하는 경우가 생기거나, 생기지 않을 수 있음
예1 : 부서 Relation에서 네 번째 튜플인 (4, 홍보, 8)를 삭제하더라도 참조 무결성 제약조건을 위배하지 않음
예2 : 부서 Relation에서 세 번째 튜플인 (3, 개발, 9)를 삭제하면 무결성 제약조건을 위배하게 됨

참조 무결성 유지를 위한 DBMS 옵션

제한(restricted)

위배를 야기한 연산을 단순히 거절

예: 부서릴레이션에서(3, 개발, 9)를삭제하면참조무결성제약조건을 위배하게 되므로 삭제 연산을 거절

연쇄(cascade)

참조되는 Relation에서 튜플을 삭제하고, 참조하는 Relation에서 이 튜플을 참조하는 튜플들도 함께 삭제

예: 부서릴레이션에서(3, 개발, 9)를삭제하면 사원 릴레이션에서 부서번호3을 참조하는 두 번째 투플과 다섯번째투플도 함께 삭제

NO ACTION(=resticted)

참조 무결성 제약 조건을 위배한 연산 거절

예: 부서릴레이션에서(3, 개발, 9)를(5, 개발, 9)로변경하면 사원 릴레이션에서 부서번호3을 참조 하는 두번째 투플과 다섯번째 투플은 변경되지않음

학습정리

Relation 개념

수학적, 개념적 정의

Relation 특성

튜플과 Attribute는 무순서
튜플은 유일하고 Attribute 값은 원자값

Relation 키

슈퍼키, 후보키 : 유일성과 최소성을 만족하는 Attribute의 집합

기본키 : 후보키 중 사용하려고 선정한 키

외래키 : 특정 Relation의 기본키를 참조하는 키(속성)

무결성 제약

개체 무결성 제약

참조 무결성 제약

Bitbucket Vscode 연동하기

NoPainNoPaper — Tue, 26 Jul 2022 15:35:33 +0900

Bitbucket은 깃허브와 같이 깃 저장소 역할을 하는 곳이다

필자는 주로 vscode를 통해 커밋을 하고 관리 해왔기 때문에, 이번에 새로 사용하게 된 Bitbucket 또한 vscode와 연동하는 방법을 남겨두고자 한다.

회원 가입은 이미 진행한 것으로 보고 진행하겠다.

1. 깃 저장소 생성

중앙에 위치한 Create repository를 누른다

workspace는 본인의 이름, 유저네임 등으로 자동으로 생성된다.

Project name에 여러 저장소를 생성할 수 있으며, 여기에서는 연습이 목적이므로 Learning으로 설정한다

Create repository를 누른다

저장소 최초 모습

2. VS CODE 확장 설치

vscode 확장 설치화면에서 bitbucket을 검색하면 최상단에 관련 확장이 나온다. 설치.

vscode extention에서 검색한 화면

좌측 도구바에 생성된 세모 모양의 Bitbucket 아이콘을 클릭.

좌측 도구창에 생긴 세모

다음과 같은 화면이 나와야 하며, 안나온다면

Atlassian config 창

Ctrl + Shift + P를 누르고 검색창에 Atlassian : open setting을 찾으면 된다.

명령어창 자동 완성

BitBucket 좌측 버튼 클릭

Atlassian config 창

Authentication을 누르면 나오는 Login to BITBUCKET CLOUD 클릭

Authentication Button

로그인 과정을 거쳐서, 다음과 같은 화면이 보여야 연결 된 것.

성공 화면

아까 만든 저장소를 찾아가서 git clone 준비..

git clone 버튼

Clone is VS code를 사용하면 VS code가 켜져있는 경우, 제대로 동작하지 않는다. 따라서 git clone 텍스트를 복사해서, 터미널로 원하는 폴더로 이동 후 clone 하는 것을 추천한다

git clone 화면

특별한 일이 없다면 아래의 로그와 함께 받아진다

깃 클론 로그

깃 클론 파일들

README 수정을 통해 정상적으로 추적 되는지 확인

아무 글자나 입력 후 저장

소스 제어 업데이트 사항 1 생성

변경 사항 스테이징 및 커밋

스테이징

커밋

여기서 커밋을 하면 바로 넘어가지 않고, password를 요구하는 창이 뜬다

토큰 인증 요구 화면

이는 비밀번호 입력을 통한 인증을 BitBucket 측에서 차단했기 떄문이며, 이를 위해 토큰 발행이 필요

다시 BitBucket 저장소로 돌아가서, 우측 상단에 있는 내 프로필 사진을 누른 뒤 Personal Setting 클릭

프로필을 누르면 나오는 메뉴

해당 페이지에 좌측에 아래 메뉴가 나온다. App authorizations 클릭하고, Create app password 클릭

App password 화면

본인이 식별할 수 있는 이름을 Label에 적고, VScode를 통해 접근하는 권한 정도를 체크박스로 저장

add app password 예시

app password가 발급되는데, 단 한번만 표시되므로 바로 닫지말고 복사 후, VSCODE에 입력을 먼저 시도한다

패스워드 입력

password 입력

커밋이 정상적으로 완료되고, 소스 업데이트가 없어진 것을 확인 가능

VSCODE + BITBUCKET 연동 완료.

스택 자료구조

NoPainNoPaper — Tue, 26 Jul 2022 09:27:17 +0900

삽입/삭제가 제한된 자료구조

자료 성질에 따라, 삽입, 삭제하는 방법이 다름
프로그램에 내장된 자료구조가 아님

자료를 차곡차곡 쌓아 올린 형태 순서리스트의 특별한 자료구조
후입선출(LIFO : Last in First out) 프로토콜을 구현하는 자료구조
스택의 주소를 알여주는 포인터(top 위치에서만 원소를 삽입하므로 먼저 삽입한 원소는 밑에 쌓임
스택에 저장된 원소는 top로 정한 곳에서만 접근 가능
스택의 밑에서부터 스택의 크기까지의 범위를 가짐

스택의 ADT

ADT Stack
데이터
0개 이상의 원소를 가진 유한 순서리스트
연산자 및 연산내용 //s∈Stack, e∈Element
Stack createStack() //공백 스택을 생성
Stack push(s, e) //스택의 top에 원소 e를 삽입
Boolean isEmpty(s) //스택이 공백이면 true, 그렇지 않으면 false를 반환
Element pop(s) //스택이 공백이면 underflow,
//그렇지 않으면 스택의 top 원소 e를 삭제
Element peek(s) //스택이 공백이면 underflow,
//그렇지 않으면 스택의 top 원소 e를 반환
End Stack

스택의 삽입

- 스택 S = (a0, a1... an-1) a0 : bottom원소, an-1 : top원소, ai : 스택 원소

- 삽입은 리스트의 마지막에서 이루어짐 - push()

push(s, e){
	if (top == SiZE) stack-overflow;
	top=top+1; ①
	stack[top]=e; ②
}

스택의 삭제

삭제도 리스트의 마지막에서 이루어짐 - pop()

pop(s) {
	if (top == 0) stack-underflow;
	e=stack[top];①
	top=top-1;②
	return e;
}

스택의 순차 표현

1차원 배열을 이용한 스택 구현

- 스택을 표현하는 가장 간단한 방법

n = 스택에 저장할 수 있는 최대 원소 수
top = 스택의 최상위 원소
공백 상태 => top = -1(초기값), 포화상태 => top = n-1

- 스택도 배열에 의해 저장되므로 배열의 속성을 가짐

동일한 자료형만 저장
배열의 크기에 의해 원소 개수의 제한을 받음

- 크기가 5인 1차원 배열의 스택에서 연산 수행

스택의 1차원 배열 표현의 장,단점

장점 - 순차 자료구조인 1차원 배열을 사용해 쉽게 구현 가능
단점 - 물리적 크기가 고정된 배열을 사용하므로 스택 크기 변경이 어려움

스택 연산 구현

스택의 삽입/삭제

1차원 배열 크기 stack[8]에서 오버플로와 언더플로를 검사하는 프로그램

#include <stdio.h>
int MAXSIZE = 8;
int stack[8];
int top = -1;
int isempty(){
	if(top == -1 )
		return 1;
	else
		return 0;
}
int isfull() {
	if(top == MAXSIZE)
		return 1;
	else
		return 0;
}

1차원 배열의 크기 (stack[8])에 원소를 삽입/삭제하는 프로그램

int peek(){
	return stack[top]; }
int push(int data){
	if(!isfull()){
		top = top + 1;
		stack[top] = data;
} else{
		printf("Could not insert data, Stack is full.\n"); }
}
int pop(){
	int data;
	if(!isempty()){
		data = stack[top];
		top = top- 1;
		return data;
	} else{
		printf("Could not retrieve data, Stack is empty.\n"); }
}

int main(){ // push items on to the stack
	push(3 );
	push(5 );
	push(9);
	push(1 );
	push(12 );
	push(15 );
	printf("Element at top of the stack: %d	\n" ,peek());
	printf("Elements:	\n");
	// print stack data
	while(!isempty()){
		int data = pop();
		printf("%d\n", data);
	}
	printf("Stack full: %s\n" , isfull()?"true":"false");
	printf("Stack empty: %s\n" , isempty()?"true":"false");
	return 0;
}

result
Element at top of the stack: 15
Elements:
15
12
1
9
5
3
Stack full: false
Stack empty: true

스택 응용 : 시스템 스택

시스템 스택(system stack) / 실행시간 스택(runtime stack)

- 기억공간의 데이터들을 효율적으로 관리하기 위한 데이터 참조 방식의 자료구조

프로그램 실행 시 시스템이 사용하는 대표적인 스택(기억공간)
실행 스택(execution stack), 제어 스택 (control stack), 런타임 스택(run-time)스택, 기계 스택(machine stack)이라고도 함

- 함수간의 호출과 복귀에 따른 실행순서관리를 위한 제어

함수 호출 시 시스템은 호출한 함수 수행에 필요한 지역변수, 매개변수 및 수행 후 복귀할 주소 등의 정보를 활성화 레코드(activation record) 또는 스택 프레임 (stack frame)을 만들어 스택에 삽입

프로그램에서의 호출과 복귀에 따른 수행 순서 과정

스택의 응용 : 문자열 역순/괄호검사

문자열 역순 출력 방법 및 예

문자열을 읽어 문자열 끝까지 차례대로 스택에 삽입(push)
스택이 비워질(empty)때까지 문자들을 삭제(pop)

문자열 역순 출력 방법 및 예

#include <stdio.h>
#include <string.h>
#define MAX 100 //최대 문자열의 길이
int top=-1; // 스택 변수
int item;
char stack_string[MAX];
void pushChar(char item);
char popChar(void);
int isEmpty(void);
int isFull(void);

문자열 computer science를 역순으로 출력하는 프로그램

int main(){
	char str[MAX];
	int i;
	printf("Input a string: ");
	scanf("%[^\n]s", str); // 문자열 입력
	for(i=0; i<strlen(str); i++)
		pushChar(str[i]);
	for(i=0; i<strlen(str); i++)
		str[i]=popChar();
	printf("Reversed String is: %s\n", str);
	return 0;
}

void pushChar(char item){
	if(isFull()){
		printf("\nStack is FULL !!!\n");
	return;
}
	top=top+1;
	stack_string[top]=item;
}
char popChar(){
	if(isEmpty()){
	printf("\nStack is EMPTY!!!\n");
	return 0;
	}
	item = stack_string[top];
	top=top-1;
	return item;
}

int isEmpty(){
	if(top==-1 )
		return 1;
	else
	return 0;
}
int isFull(){
	if(top==MAX-1 )
		return 1;
	else
		return 0;
}

result
Input a string: computer science
Reversed String is: ecneics retupmoc

괄호 검사

괄호((, ), {, }, [, ])가 서로 대응하며 적절하게 내포되었는지 파악하는 검사를 말함 – 컴파일러에서 구문 체크 시 활용
수식에 포함되어있는 괄호는 가장 마지막에 열린 괄호를 가장 먼저 닫아 주어야 하는 LIFO 구조로 구성되어있음

괄호 검사 방법

입력 문자열(수식)에서 현재의 문자가 시작 괄호('(' , '{' , '[') 이면 스택에 삽입함(push)
현재의 문자가 닫는 괄호(‘)', ‘}' , ‘]') 이면 스택에서 삭제(pop)
입력 문자열의 마지막 문자까지 읽었을 때 스택에 시작 괄호가 남아 있으면 균형을 이루지 못함, 즉 괄호가 닫히지 않음

{ ( a + b ) / [ { ( c - d ) / 2 } × e ] } 의 괄호를 검사하는 프로그램

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAX 20
struct stack{
	char stk[MAX];
	int top;
}s;

void push(char item){
	if (s.top == (MAX- 1 ))
		printf ("Stack is Full\n");
else{
	s.top = s.top + 1; // 포인터를 1 증가후 괄호를 삽입
	s.stk[s.top] = item;
	}
}

void pop(){
	if (s.top == - 1 ){
		printf ("Stack is Empty\n");
	}
	else{
		s.top = s.top - 1; // 괄호를 삭제 후 포인터 감소
	}
}
int main(){
	char exp[MAX];
	int i = 0;
	s.top = -1;
	printf("\n입력 식 : ");
	scanf("%s", exp);

for(i = 0;i < strlen(exp);i++){
	if(exp[i] == '(' || exp[i] == '[' || exp[i] == '{'){
		push(exp[i]); // 시작 괄호를 스택에 삽입
		continue;
	}
	else if(exp[i] == ')' || exp[i] == ']' || exp[i] == '}'){
		if(exp[i] == ')'){//닫는 괄호이면 스택에서 삭제
			if(s.stk[s.top] == '('){
				pop();
			}
			else{
            printf("\n괄호의 균형을 이루지 못한 수식\n");
			break;
		}
		}
        if(exp[i] == ']'){
			if(s.stk[s.top] == '['){
				pop();
			}
			else{
				printf("\nUNBALANCED EXPRESSION\n");
				break;
			}
		}
		if(exp[i] == '}'){
			if(s.stk[s.top] == '{'){
				pop();
			}
			else{
				printf("\nUNBALANCED EXPRESSION\n");
				break;
			}
		}
	}
}

	if(s.top == -1 ){ //stack이 empty이면 balanced함
		printf("\n입력식의 괄호 개수가 BALANCED이다.\n");
	}
}

result
입력 식 : {(a+b)/[{(c-d)/2}*2]}
입력식의 괄호 개수가 BALANCED이다

학습정리

스택은 후입선출(LIFO: Last-In-First-Out) 프로토콜을 구현하는 자료구조로 스택의 삽입/삭제 위치를 알려주는 포인터(top)가 있어야 하며, 삽입 시에는 포인터를 먼저 증가(top=top+1 )한 후 삽입이 이루어진다. 반면에 삭제는 원소값을 삭제한 후 포인터를 감소(top=top-1 )한다
시스템 스택은 기억공간의 데이터들을 효율적으로 관리하기 위한 데이터 참조 방식의 자료구조이며 프로그램 실행 시 시스템이 사용하는 대표적인 기억공간으로서 함수간의 호출과 복귀에 따른 실행순서관리를 제어하기 위해 사용된다.

재귀함수

NoPainNoPaper — Mon, 25 Jul 2022 14:00:51 +0900

함수

하나의 특별한 목적의 작업을 수행하기 위해 독립적으로 설계된 코드들의 모임으로 하나의 단위 의미

재귀(recursion)

자신을 재 참조하는 방법

순환 또는 재귀적 : 어떤 사건이 자기 자신을 포함하고 다시 자기 자신을 사용해 정의되는 것
예) 버스 기다리기(x)
버스를 기다린다.
버스가 오면 버스 번호를 확인
만일 버스 번호가 x면 버스를 타고 버스 기다리기(x) 종료
버스 번호가 x가 아니면 버스 기다리기(x) 다시 수행

재귀 함수(recursion function)

자신을 반복적으로 호출해 수행하는 방식을 통해 주어진 문제를 해결하는 함수

유형

직접 순환 : 자신을 직접 호출
간접 순환 : 피호출 함수 내에서 호출 함수를 다시 호출

재귀 예시

1에서 n까지 자연수 더하기

1부터 입력된 수까지의 합을 구하기

#include <stdio.h>
int sum(int n);
int main(){
int n;
printf("입력 값=");
scanf("%d", &n);
printf("1부터 %d까지의 합은 %d이다.", n, sum(n));
}
int sum(int n) {
if(n==1 ) //종료조건
return 1;
else return n+sum(n-1);
}

result
입력 값=8
1부터 8까지의 합은 36이다.

계승

Factorial(n)에 대한 재귀함수

n! = n*n(-1)! n >= 1
1 n = 0

1부터 입력된 수까지의 factorial 값을 구하기

#include <stdio.h>
int factorial(int n){
if (n == 1) //n이 1일 때, 1을 반환하고 재귀호출을 끝냄
return 1;
return n * factorial(n - 1);//n과 factorial 함수에 n - 1을 넣어서
//반환된 값을 곱함
}
int main(){
int n;
printf("입력 값= ");
scanf("%d", &n);
printf("입력값 %d의 factroial=%d이다.", n, factorial(n));
return 0;
}


result
입력 값= 5
입력값 5의 factroial=120이다.

피보나치 수열

f0 = 0 if n = 0
f1 = 1 if n = 1
fn = fn-1 + fn-2 otherwise

- 피보나치 수열 : 0, 1, 1, 2, 3, 5, 8, 13, 21, 34

- 피보나치 수열의 항은 재귀적으로 다시 다른 두개(fn-1 + fn-2)의 피보나치 항으로 정의됨

int fibonacci(int n) {
if(n == 0 || n == 1) // F(0) = 0 and F(1) = 1, 종료조건
return n;
else
// F(n) = F(n-1 ) + F(n-2), 재귀 함수에서 재귀되는 부분
return fibonacci(n-1) + fibonacci(n-2);
}

1부터 입력된 수까지의 피보나치 수열을 구하기

#include <stdio.h>
int main(){
int i, n, t1 = 0, t2 = 1, nextTerm;
printf(“피보나치 수 입력 : ");
scanf("%d", &n);
printf(＂피보나치 수열 : ");
for (i = 1; i <= n; ++i) {
printf("%d, ", t1);
nextTerm = t1 + t2;
t1 = t2;
t2 = nextTerm;
}
return 0;
}


피보나치 수 입력 : 5
피보나치 수열 : 0, 1, 1, 2, 3

#include <stdio.h>
int fib(int n){
if (n <= 1) return n;
return fib(n-1 ) + fib(n-2 );
}
int main (){
int n;
printf("피보나치 수 입력 : ");
scanf("%d", &n);
printf("입력된 수%d의 피보나치 수열의 합: %d", n, fib(n));
return 0;
}


result
피보나치 수 입력 : 7
입력된 수7의 피보나치 수열의 합: 13

재귀의 함정

Function Call이 쓸데 없이 겹쳐지게 됨
시간복잡도 - O(2^n), 높이 n인 이진 트리의 총 노드 수는 2^n - 1

Memoization 기법

프로그램이 동일한 계산을 반복해야 할 때 이전에 계산한 값을 메모리에 저장함으로써 동일한 계산의 반복 수행을 제거해 프로그램 실행속도를 빠르게 하는 기술. 함수를 위한 캐싱 기법이 있음
주어진 입력에 대해 항상 동일한 출력을 반환하는 알고리즘에 한해 사용
Memoization을 사용하면 2000까지 정도는 계산 가능
시간복잡도 - O(n)

하노이의 탑

여러 개의 원반과 세 개의 기둥이 있는데 원반의 크기는 각각 다름
먼저 모든 원반은 기둥 A (source)에 위치하지만 그 원반들을 기둥 C(destination)로 이동해야함
한번에 한개 원반만 옮길 수 있고 어떤 경우에도 원반은 그 보다 작은 원반위에 올려질 수 없음

재귀 알고리즘으로 해결

모든 원반을 처음 시작한 기둥 A에서 다른 하나의 중간 기둥B를 사용해 n개의 원반을 목적기둥 C로 이동할 때

가장 큰 원반을 제외한 나머지 개의 원반을 A에서 B로 이동
A에 남아있던 한 개의 원반을 C로 이동
작은 피라미드를 B에서 A로 이동
1단계와 2단계에서 했던 과정을 반복해서 수행, 이때 3단계 원반의 개수는 1단계 보다 1개 적어짐

void hanoi(int n, int from, int aux, int to) {
if (n == 1) move(from, to); //종결조건
else {
hanoi(n - 1, from, to, aux);
hanoi(1, from, aux, to); // move(from, to);
hanoi(n - 1, aux, from, to); }
}

#include <stdio.h>
void towerOfHanoi(int n, char from, char aux, char to){
if (n == 1){
printf("\n Move disk 1 from %c to %c", from, to);
return;
}
towerOfHanoi(n-1, from, to, aux);
printf("\n Move disk %d from %c to %c", n, from, to);
towerOfHanoi(n-1, aux, from, to);
}
int main(){
int n = 3; // Number of disks
towerOfHanoi(n, 'A', 'B', 'C');
return 0;
}


result
Move disk 1 from A to C
Move disk 2 from A to B
Move disk 1 from C to B
Move disk 3 from A to C
Move disk 1 from B to A
Move disk 2 from B to C
Move disk 1 from A to C

재귀 알고리즘을 비재귀 알고리즘으로 변환

변환 과정

재귀 구조(함수)는 반복 구조로, 반복 구조를 사용하는 알고리즘은 재귀 구조를 통해 구현하는 것이 가능

재귀 함수의 메모리와 성능에 대한 문제점을 해결할 수 있음

재귀 함수에서 비재귀를 위한 초기조건을 구함
재귀 함수의 현재 값과 다음 값과의 관계를 이용해 다음 값을 구하는 관계식을 유도
관계식을 비 재귀로 표현

재귀 함수의 특징 및 고려사항

재귀 함수의 특징

어떤 문제를 해결하기 위해 함수가 자기 자신을 호출할 때마다 문제가 작아지고 단순해져 문게 해결점에 도달함.
프렉탈 모형 - 일부 작은 조각이 전체와 기하학적으로 비슷하게 무한대로 반복하며 만들어내는 형태
설명하기 어렵고 복잡한 문제를 간단히 정의할 수 있고 표현법이 매우 간단함(코딩이 단순하고 가독성이 좋으며, 오류수정이 용이하고 변수 사용이 줄어듬
호출 시 매번 스택(기억공간) 사용으로 수행시간 오버헤드 및 오버플로우 발생 가능

재귀 함수 고려사항

재귀 호출을 끝낼 수 있는 종료조건 확인, 하지 않으면 시스템이 무한 반복으로 메모리 오류 발생
재귀 호출로 프로그램이 간단해질 수 있는지에 대한 확인 필요
각 재귀 호출은 활성 레코드에 관련된 정보(지역변수, 인수, 반환 주소등)을 스택에 저장해야 하므로 기억 공간이 충분한지 확인 후에 사용해야함
재귀 호출 사용해 이점이 없을 경우 비 재귀 방법 사용이 좋음
재귀 호출은 문맥 변경이 일어나기 때문에 재귀 호출은 반복 호출에 비해 수행 시간이 더 느림
효율적인 프로그램 디자인을 위해서 권장되는 방법은 아님

백트래킹

문제를 해결하는 과정에서 고려할 수 있는 모든 경우의 수를 탐색해보는 일반적인 알고리즘 기법

탐색 과정에서 해를 찾는 도중 해가 아니면, 되돌아가서 다시 해를 찾는 기법 (한정 조건을 가진 문제(constraint satisfaction problem)
car navigation system, decision problem, optimization problem, enumeration problem 등에 사용

상태공간 트리(state space tree)

백트래킹을 위해 고려해야할 모든 경우의 수(상태)를 트리 구조를 이용해 표현한 것
해를 찾기 위해 탐색할 필요가 있는 모든 후보들을 포함하는 트리
트리의 모든 노드들을 방문하면 해를 찾을 수 있음
근노드에서 출발해 체계적으로 모든 노드를 방문하는 절차를 기술

가지치기가 이루어진 부분 집합의 합(=13) 문제의 상태공간 트리

깊이 우선 탐색 방법

맹목적 탐색방법의 하나로 시작점부터 다음 분기로 넘어가기 전에 해당 분기를 완벽하게 탐색하는 방법
탐색트리에서 근노드(root node)를 선택해 방문하고, 그 노드의 모든 후손 노드(descendant)들을 차례로 (왼쪽에서 오른쪽)방문
DFS 알고리즘

DFS 예

백트래킹 알고리즘

DFS를 통한 백트래킹 절차

상태 공간 트리의 DFS를 실시
각 노드가 유망한지 점검
노드가 유망하지 않으면, 노드의 부모 노드로 돌아가 탐색

void checknode(node v) {
if (promising(v))
	if (there is a solution at v)
		write the solution;
	else
		for (each child u of v) checknode(u);
}

백트래킹과 DFS차이

- DFS 깊이 우선 탐색으로 모든 노드 방문을 목표로함

완전 탐색으로 인해 유한 시간 내 끝나지 않을 수도 있음(해가 없는 경로에 깊이 빠질 가능성)
해를 구했을 때, 최적이 아닐 수 있음

- 백트래킹 - 불필요한 탐색을 하지 않기 위해, 가지치기를 통해 유망하지 않은 경우의 수 줄이는 것을 목표

일단 방문해보고 더 이상 진행이 되지 않으면 돌아옴

대표적인 백트래킹 문제 : N-queen

NxN 크기의 체스판에 N개의 queen을 서로 공격할 수 없도록 배치하는 문제
Queen은 다음과 같이 이동할 수 있으므로 서로 상대방을 위협하지 않기 위해서는 같은 행이나 같은 열, 같은 대각선상에 위치하지 않아야 함
무작정(brute force) 방법(4x4 board) - N의 크기가 커질수록 연산량이 기하급수적으로 증가함

N-queen 문제의 이해

- 전제 조건에 따라

각 queen을 각각 다른 행에 할당한 후에, 어떤 열에 위치하면 해답은 얻을 수 있는지를 차례대로 점검
각 queen은 4개의 열 중에서 한 열에 위치할 수 있기 때문에 해답을 얻기 위해 점검해보아야 하는 모든 경우의 수는 4^4 = 256가지

- 상태공간 트리

(i, j) - i번째 queen이 j번째 열에 위치

DFS탐색을 통해 모든 branch를 최대 깊이까지 검색하지 않고, 요구사항에 맞게 해당 노드의 유망성 검사 및 가지치기를 통해 탐색 공간을 줄임

유망성 검사 및 가지치기

유망성 검사 및 가지치기에 따른 queen의 배치 상태

#include <stdio.h>
#include <stdlib.h>
#include <math.h>
int chess_board[20], count; //board에 놓여진 queen의 column 위치 값 저장
void nqueen_function(int row, int num){ // queen들의 제한조건 만족 체크
int col;
	for(col = 1; col<= num; col++){
		if(placeholder(row, col)){//queen이 위치할 곳을 체크하기 위해 함수 호출
			chess_board[row] = col;
			if(row == num){ //모든 queen들이 board에 위치했는지 검사
				display(num); //위치했으면 출력 함수 display()호출
}
			else{
				nqueen_function(row + 1, num); //남아있는 queen들을 배치하기
						//위해 함수 nqueen_function() 호출
			}
		}
	}
}

int display(int num){
	int m, n;
	printf("\n\n\tPossible Solution %d:\n\n", ++count);
	for(m = 1; m <= num; m++){
		printf("\t[%d]", m);
	}
	for(m = 1; m <= num; m++){
		printf("\n\n[%d]", m);
		for(n = 1; n <= num; n++){
			if(chess_board[m] == n){
				printf("\tQ"); //(i, j) 위치에 queen(Q)을 출력
			}
			else{
				printf("\t*"); //queen배치가 없는 슬롯에 *을 출력
			}
		}
	}
}

int main(){
	int num;
	printf("Enter Number of Queens:\t");
	scanf("%d", &num);
	if(num <= 3 ){
	printf("\nNumber should be greater than 3 to form a Matrix\n");
	}
	else{
		nqueen_function(1, num); //nqueen_function() 호출
	}
	printf("\n\n");
	return 0;
}

학습정리

프로그래밍 언어에서 함수는 하나의 특별한 목적의 작업을 수행하기 위해 독립적으로 설계된 코드들의 모임으로 하나의 프로그램 단위
재귀함수는 자기 자신을 반복적으로 호출해 수행하는 방식을 통해 주어진 문제를 해결하는 함수
Memoization 기법은 프로그램이 동일한 계산을 반복해야 할 때 이전에 계산한 값을 메모리에 저장함으로써 동일한 계산의 반복 수행을 제거해 프로그램 실행속도를 빠르게 하는 기술
백트래킹 알고리즘은 문제를 해결하는 과정에서 고려할 수 있는 모든 경우의 수를 모두 탐색해보는 일반적인 알고리즘 기법으로 탐색 과정에서 해를 찾는 도중 해가 아니면, 되돌아가서 다시 해를 찾아가는 기법

구조체와 범용 리스트

NoPainNoPaper — Sun, 24 Jul 2022 09:30:41 +0900

구조체

하나 이상의 변수를 그룹 지어서 새로운 자료형(복잡한 데이터 표현)을 정의하는 것

사용자 정의 자료형 - 사용자가 C언어의 기본 타입을 가지고 새롭게 정의할 수 있음
배열은 같은 타입의 변수 집합이지만 구조체는 다양한 타입의 변수 집합을 하나의 타입으로 나타낸 것
구조체의 구성 : 구조체의 멤버 / 멤버 변수

구조체 정의와 선언

struct 구조체이름
{
멤버변수1의 타입 멤버변수1의 이름;
멤버변수2의 타입 멤버변수2의 이름;
…………
};

struct 구조체이름
{
멤버변수1의 타입 멤버변수1의 이름;
멤버변수2의 타입 멤버변수2의 이름;
…………
} 구조체 변수 이름; //구조체 선언

구조체 멤버 접근

멤버 접근 연산자(.)를 사용하여 구조체에서 구조체 멤버로 접근할 수 있음
형식 : 구조체변수이름. 멤버변수이름

구조체 변수 초기화

멤버 연산자(.)와 중괄호({})를 사용하여 구조체 변ㅂ수를 초기화할 수 있음
형식 : 구조체변수이름 = {. 멤버변수1이름 = 초기값, .멤버변수2이름 = 초기값,...};

typedef문

어떠한 자료형 이름에 대해 새 이름을 부여하는 목적으로 사용

이미 존재하는 int, float 등과 같은 자료형을 사용자가 자유롭게 정의할 수 있음
구조체에 새로운 이름을 선언하면 매번 struct 키워드를 사용하지 않아도 됨

형식 : typedef struct 구조체 이름 구조체의 새로운 이름. 예 : typedef struct student STD;

#include <stdio.h>
typedef struct
{
char name[20];
int age;
int weight;
} STD;
int main(){
STD s1={"Hong gil dong", 30, 65};
STD s2={.name = "Lee sun sin", .age=45, .weight=60};
printf("첫 번째 학생의 이름은 %s이고, 나이는 %d이며, 몸무게는 %d입니다.\n",s1.name, s1.age, s1.weight);
printf("두 번째 학생의 이름은 %s이고, 나이는 %d이며, 몸무게는 %d입니다.\n",s2.name, s2.age, s2.weight);
return 0;
}

범용 리스트

유한개의 순서가 있는 노드 또는 리스트들로 구성된 집합

S=(x1, x2, x3....xn) S = 리스트의 이름, n= 리스트의 길이, 원소 xi = 원자(노드) 또는 리스트
예) A=(a,(b,c) // 리스트의 길이 = 2, S=((a,b,c), d,(e,f),(),A), T=(A,A,A,A)

활용 예

다변수로 구성된 다항식의 표현 - A(x,y,z) = 4x^3 + 3x^2 + 2 + 5y + 7z^3
희소행렬
특정 PC에서 특정 Web browser를 사용한 기록
tab별 기록, jump한 기록

용어

공백리스트(empty list, 0, nil) -> S=()
부분리스트(sublist) -> 임의의 주어진 리스트가 다른 리스트의 노드 또는 리스트
헤드(head) : 임의의 주어진 리스트에서 첫 번째에 있는 리스트를 말함
n>=1인 경우 첫 번째 원소=X1 = head(S)
테일(tail) : 임의의 주어진 리스트에서 첫 번째 원소를 제외한 나머지 원소를 말함
리스트=(X2,...Xn) = tail(S)
순환 리스트(recursive list) : 임의의 주어진 리스트의 항목이 동일한 부분리스트인 경우를 말함
C=(a,C) = 길이가 2인 순환리스트
두 번째 원소 C = 무한리스트(a, (a, (a,...)에 대응

범용 리스트의 응용 : 다항식/희소행렬

범용리스트로 다항식 표현

- aX^e 형식의 항들의 합으로 구성된 식을 말함

다항식의 ADT

ADT Polynominal
데이터
순서쌍 <ei
, ai
>의 집합으로 표현된 다항식 p(x)=a0xe0+a1xe1+…+anxen
,
ei=음이 아닌 정수
연산자 및 연산내용 //p, p1
, p2∈Polynominal, a∈Cofficient, e∈Exponent
Polynominal zeroP() //다항식 p(x)=0를 반환
Boolean isPzero(p) //다항식 p(x)=0이면 true, 그렇지 않으면 false를 반환
Cofficient coef(p, e) //<다항식 p에서 지수가 e인 항의 계수를 반환
Exponent maxExp(p) //다항식 p에서 최대 차수를 반환
Polynominal addTerm(p, a, e) //다항식 p에 지수가 e인 항이 없는 경우에
// 새로운 항 <e, a>를 추가
Polynominal delTerm(p, e) //다항식에서 지수가 e인 항 <e, a>를 삭제
Polynominal mult(p, a, e) //다항식 p의 모든 항에 axe항을 곱하는 연산
Polynominal addpoly(p1
, p2
) //두 다항식 p1과 p2 를 더하는 연산
Polynominal multpoly(p1
, p2
) //두 다항식 p1 과 p2 를 곱하는 연산
End Polynominal

다항식 리스트 표현

모든 항의 지수는 다르기 때문에 지수 내림차순으로 표현할 수 있음
각 항의 <지수와 계수> 쌍에 대한 선형 리스트로 표현
A(x) = 4x^3 + 3x^2 + 2 -> p1 = (3,4,2,3,0,2)

1차원 배열을 이용한 표현

차수가 n인 다항식을 (n+1)개의 원소를 가지는 지수 내림차순 1차원 배열 표현할 경우
배열 색인 i -> 지수 (n-1)
배열 색인 i의 원소 -> 지수 (n-i)항의 계수 저장
지수의 항이 없는 원소는 0을 저장

2차원 배열을 이용한 표현

다항식의 계수가 0이 아닌 항만 표현

다항식의 각 항에 대한 <지수, 계수>의 쌍을 2차원 배열에 저장
2차원 배열의 행의 개수 = 다항식의 항의 개수
2차원 배열의 열의 개수 = 2(지수, 계수)

지수내림차순(1차원 배열 이용)과 <지수, 계수>의 쌍 표현 방법 비교

좋지 못한 경우 -> degree < (0이 아닌 항의 수) * 2
좋은 경우 -> degree > (0이 아닌 항의 수) * 2

다항식 덧셈 알고리즘

addploy(A, B) {
p3=zeroP();
while (!iszeroP(A) && !isPzero(B)) {
case {
maxExp(A) < maxExp(B) :
C=addTerm(C, coef(B, maxExp(B)), maxExp(B));
B=delTerm(B, maxExp(B));
maxExp(A) = maxExp(B) :
sum=coef(A, maxExp(A))+ coef(B, maxExp(B));
A=delTerm(A, maxExp(A);
B=delTerm(B, maxExp(B));
maxExp(A) > maxExp(B) :
C=addTerm(C, coef(A, maxExp(A)), maxExp(A));
A=delTerm(A, maxExp(A));
}
}
if (!iszeroP(A)) A의 나머지 항들을C에 복사
else if (!iszeroP(B) B의 나머지 항들을C에 복사
return C;
}

두개의 다항식 덧셈 : A(x) + B(x) = C(x)

A(x) = 7x^3 + 6x + 1, B(x) = 8x^3 + 2x^2 +1, C(x) = A(x) + B(x)

순서대로 A와 B의 각 항 지수를 비교
지수가 같으면 배열 A(x)와 B(x)에 있는 각 항 계수를 더해 배열 C(x)로 이동
지수가 다르면 A(x)와 B(x) 중에 지수가 큰 항을 C(x)로 이동
2개의 다항식에 대해 어느 한쪽의 다항식이 끝날 때까지 계속하고 남은 다항식은 그대로 C(x)로 복사이동

시간복잡도 = while문의 반복 횟수 = O(n+m), n과m은 각각 다항식 A,B의 0이 아닌 항의 개수

A(x)=7x^5+2x^4+3x^3+6x^2+4, B(x)=3x^3+2x^2+1, C(x) = A(x) + B(x) 두 다항식 더하기

#include
<stdio.h>
#define MAX(a, b) ((a>b)?a:b)
#define MAX_DEGREE 50
typedef struct{
int degree;
float coef[MAX_DEGREE];
} polynomial;
polynomial addPoly(polynomial A, polynomial B){
polynomial C;
int A_index=0, B_index=0, C_index=0;
int A_degree=A.degree, B_degree=B.degree;
C.degree=MAX(A.degree, B.degree);
while(A_index<=A.degree && B_index<=B.degree){
if(A_degree > B_degree){
C.coef[C_index++] = A.coef[A_index++];
A_degree--;
}

else if(A_degree == B_degree){
C.coef
[C_index++] = A.coef[A_index++]+B.coef[B_index++];
A_degree--;
B_degree--;
}
else{
C.coef[C_index++] = B.coef[B_index++];
B_degree--;
}
}
return C;
}
void printPoly(polynomial P){ //다항식 출력
inti, degree;
degree=P.degree;
for(i=0;i<=P.degree;i++)
printf("%3.0fx^%d", P.coef[i], degree--);
printf("\n");
}

void main(){
polynomial A={5, {7, 2, 3, 6, 0, 4}};
polynomial B={4, {3, 2, 0, 3, 1}};
polynomial C;
C= addPoly(A,B);
printf("\n A(x)="); printPoly(A);
printf("\n B(x)="); printPoly(B);
printf("\n C(x)="); printPoly(C);
}


result
A(x)= 7x^5 2x^4 3x^3 6x^2 0x^1 4x^0
B(x)= 3x^4 2x^3 0x^2 3x^1 1x^0
C(x)= 7x^5 5x^4 5x^3 6x^2 3x^1 5x^0

희소행렬(sparse matrix)

행렬 원소의 값 중에서 0의 값을 비교적 많이 가지는 행렬

희소행렬의 0 값의 정도에 대한 정확한 기준이 없음(2/3이상)
2차원 배열로 나타낼 때 공간의 낭비가 심함
행렬연산(덧셈, 곱셈, 전치행렬등)시 "0"의 값을 기억장소에 저장하는 것은 기억공간의 낭비 초래

희소행렬의 ADT

ADT SparseMatrix
데이터
3 원소쌍 <i, j, v>의 집합, i∈Row, j∈Column, v∈Value
Row={0, 1, …, n-1}, Column={0, 1, …, n-1}
연산자 및 연산내용 //a, b∈SparseMatrix, c∈Matrix, u, v∈Value,
//i∈Row, j∈Column
SparseMatrix Smcreate(m, n) //비어있는 m×n 희소행렬을 생성
SparseMatrix transpose(a) //희소행렬 a의 전치행렬 c를 반환
Matrix Smadd(a, b) //두 희소행렬 a와 b의 더한 결과를 행렬 c로 반환
//단 a와 b의 차수는 동일
Matrix Smmult(a, b) //두 희소행렬 a와 b의 곱한 결과를 행렬 c로 반환
//단, 희소행렬 a의 Column과 b의 Row가 동일
End SparseMatrix

희소행렬에 대한 전치행렬 연산

전치행렬

행렬 A = m * n -> 행렬 At = n*m행렬로 변환

행렬A의 모든 원소의 위치(i,j)를 (j,i)로 교환

희소행렬의 표현(0이 아닌 원소만 저장하는 방법 필요)

배열 및 연결리스트를 이용

하나의 원소를 표현하기 위해 3원소 쌍(<행번호, 열번호, 원소값>)으로 배열에 저장
2차원인 경우 => 0이 아닌 원소의 개수[행] * 3(v[][])[열], (원 행렬에 대한 정보를 순서쌍으로 작성해 0번행에 저장)
n차원인 경우 => t * (n+1)(v[][])

전치행렬 알고리즘

smTranspose(a[]){ //행렬a를 전치시켜b를 생성
m=a[0, 0]; n=a[0, 1] //희소행렬a의 행과 열의수
v=a[0, 2]; //희소행렬a의0이 아닌 원소수
b[0, 0]=n; b[0, 1]=m //전치행렬b의 행과 열의 수를 할당
b[0, 2]=v ; //전치행렬의 원소수 할당
if (v > 0) {
p=1;
for (i=0;i<n;i=i+1){ //a의각 열에 대해 반복, 희소행렬a의 열별로 전치 반복 수행
	for (j=1; j<=v; j=j+1){ //모든 원소들을 검사, 0이 아닌 원소에 대해 반복
		if (a[j, 1]=i){ //현재i열에 속하는 원소가 있으면 b[]에 삽입
			b[p, 0]=a[j, 1];
			b[p, 1]=a[j, 0];
			b[p, 2]=a[j, 2];
			p=p+1;
		}
	}
}
}
return b[];
}

3* 4 행렬에 대한 희소행렬

3(v[][]) 행렬을 구하는 프로그램

#include <stdio.h>
#define MAX 20
void read_matrix(int a[10][10], int row, int column);
void print_sparse(int b[MAX][3]);
void create_sparse(int a[10][10], int row, int column, int b[MAX][3]);
int main(){
int a[10][10], b[MAX][3], row, column;
printf("\n행렬의 크기 입력 : ");
scanf("%d%d", &row, &column);
read_matrix(a, row, column); //matrix를 읽음
create_sparse(a, row, column, b); //sparsematrix를 생성
print_sparse(b);
return 0;
}

void read_matrix(int a[10][10], int row, int column){//주어진 행렬을 읽음
int i, j;
printf("\n행렬의 원소 값을 입력\n");
for (i = 0; i < row; i++){
	for (j = 0; j < column; j++){
	printf("[%d][%d]: ", i, j);
	scanf("%d", &a[i][j]);
}
}
}

result
행렬의 크기 입력 : 3 4
행렬의 원소 값을 입력 [0][0]: 0
[0][1]: 0
[0][2]: 0
[0][3]: 3
[1][0]: 0
[1][1]: 0
[1][2]: 6
[1][3]: 0
[2][0]: 0
[2][1]: 0
[2][2]: 7
[2][3]: 0 3원소 쌍의 희소행렬 출력
3 4 3
0 3 3
1 2 6
2 2 7

void print_sparse(int b[MAX][3]){ //희소행렬 출력
int i, column;
column = b[0][2];
printf("\n3원소 쌍의 희소행렬 출력\n\n");
for (i = 0; i <= column; i++){
printf("%d\t%d\t%d\n", b[i][0], b[i][1], b[i][2]);
}
}

result
행렬의 크기 입력 : 3 4
행렬의 원소 값을 입력 [0][0]: 0
[0][1]: 0
[0][2]: 0
[0][3]: 3
[1][0]: 0
[1][1]: 0
[1][2]: 6
[1][3]: 0
[2][0]: 0
[2][1]: 0
[2][2]: 7
[2][3]: 0 3원소 쌍의 희소행렬 출력
3 4 3
0 3 3
1 2 6
2 2 7

열중심의 전치행렬을 구하는 프로그램

Include <stdio.h
>
#define MAX 20
void printsparse
(int[][3]);
void readsparse
(int[][3]);
void transpose(int[][3], int[][3]);
int main(){
int b1[MAX][3],b2[MAX][3], m, n
;
printf(" 행렬의 크기 입력:");
scanf("%d%d",&m, &n);
b1[0][0]=m; //m*n
b1[0][1]=n;
readsparse(b1);
transpose(b1, b2);
printsparse(b2);
}

void readsparse
(int b[MAX][3]){ //희소행렬을 읽음
inti, t;
printf("\n0이 아닌 원소의 개수 :");
scanf("%d", &t); //희소행렬 생성
b[0][2]=t;
for(i=1;i<=t;i++){
printf("\n다음3원소 쌍의값(행,렬,값) 입력 :");
scanf("%d%d%d",&b[i][0],&b[i][1],&b[i][2]);
}
}
void printsparse(int b[MAX][3]){//희소행렬 출력
inti, n;
n=b[0][2]; //0이 아닌 원소의 개수
printf("\n전치 후의 행렬\n");
printf("\n행\t\t열\t\t값\n");
for(i=0;i<=n;i++)
printf("%d\t\t%d\t\t%d\n", b[i][0], b[i][1], b[i][2]);
}

void transpose(int b1[][3], int b2[][3]){//전치행렬을 구함
int i, j, k, n;
b2[0][0]=b1[0][1];
b2[0][1]=b1[0][0];
b2[0][2]=b1[0][2];
k=1;
n=b1[0][2];
for(i=0; i<b1[0][1]; i++) //행
	for(j=1; j<=n; j++) //열
		if(i==b1[j][1]){ //열중심 순서 값 검사
			b2[k][0]=i;
			b2[k][1]=b1[j][0];
			b2[k][2]=b1[j][2];
			k++;
		}
}


result
행렬의 크기 입력 : 3 4
0이 아닌 원소의 개수 : 4
다음 3원소 쌍의 값(행, 렬, 값) 입력 : 1 0 5
다음 3원소 쌍의 값(행, 렬, 값) 입력 : 1 2 3
다음 3원소 쌍의 값(행, 렬, 값) 입력 : 2 1 1
다음 3원소 쌍의 값(행, 렬, 값) 입력 : 2 3 2
전치 후의 행렬
행 열 값
4 3 4
0 1 5
1 2 1
2 1 3
3 2 2

행중심과 열중심의 전치행렬에 대한 비교

학습정리

구조체는 프로그램으로 하나 이상의 변수를 그룹 지어서 새로운 자료형(복잡한 데이터 표현)을 정의하는 것으로 구조체를 이용하여 사용자가 C언어의 기본 자료형을 가지고 새로운 자료형을 정의할 수 있다.
범용리스트는 유한개의 순서가 있는 노드 또는 리스트들로 구성된 집합으로 다변수로 구성된 다항식의 표현, 희소행렬 표현 등에 활용할 수 있다.
다항식을 배열로 표현할 때 degree < (0이 아닌 항의 수) * 2이면 1차원 배열로, degree > (0이 아닌 항의 수) * 2일 경우는 다항식의 각 항에 대한 <지수, 계수>의 쌍을 2차원 배열에 저장하는 것이 좋다.
희소행렬은 행렬 원소의값 중에서 `0`의값을 비교적 많이 가지는 행렬로 2차원 배열로 나타낼 때 기억공간의 낭비가 심하기 때문에 희소하지 않은 배열(3원소 쌍)로 표현하여 행렬 연산을 하는 것이 좋다.

선형 리스트와 배열

NoPainNoPaper — Sat, 23 Jul 2022 23:23:50 +0900

순차구조

순차 자료구조(sequential structure)

구현할 자료들을 논리적인 순서대로 메모리에 연속하여 저장해 구현하는 방식
논리적인 순서와 물리적인 순서가 항상 일치
순차 자료구조는 배열을 이용해 구현함

구분	순차 자료구조	연결 자료구조
메모리 저장방식	- 메모리의 저장 시작 위치부터 빈자리 없이 자료를 순서 대로 연속하여 저장 - 논리적 순서와 물리적 순서가 일치하는 구현 방식	메모리에 저장된 물리적 위치나 물리적 순서와 상관없이 링크에 의해 논리적인 순서를 표현하는 구현 방식
연산 특징	- 삽입, 삭제 연산을 해도 빈자리 없이 자료가 순서대로 연속하여 저장 - 변경된 논리적인 순서와 저장된 물리적인 순서가 일치	삽입, 삭제 연산을 하여 논리적인 순서가 변경되어도 링크 정보만 변경되고 물리적인 순서는 변경되지 않음
프로그램 기법	배열을 이용한 구현	포인터를 이용한 구현

선형 리스트(linear list)

자료를 구조화하는 가장 기본적인 방법으로 자료를 나열한 목록 또는 자료간 순서를 갖는 리스트
순서 -> 원소의 특성에 의한 논리적 순서
리스트 -> 원소를 일렬로 정렬해 놓은 것
리스트의 자료는 노드 또는 요소라고 함

특징

자료들이 순서대로 연속적으로 메모리에 저장됨. 원소들의 논리적 순서와 같은 순서로 기억공간에 저장(순차구조)하고 원소들의 논리적 순서 = 원소가 저장된 물리적 순서
삽입, 삭제 시 순서에 변함이 없음
접근속도가 빠름
알고리즘이 간단함

표현형식

선형리스트(선형순차리스트)에서 원소를 나열한 순서는 원소들의 순서가 됨
표기 L = (e1,e2...) L 리스트 이름, ei = 자료형이 같은 원소, 공백리스트 L=()

선형 리스트의 저장

원소들이 나열된 논리적 순서와, 메모리 저장된 물리적 순서가 일치하는 자료구조 방식(배열)로 구현

선형 리스트 원소 삽입

원소 삽입

선형리스트 중간에 원소가 삽입되면 그 이후 원소들은 한 자리씩 자리를 뒤로 이동해 물리적 순서를 논리적 순서와 일치시켜야함

삽입 방법

삽입할 빈자리 만들기
삽입할 자리 이후의 원소들을 한 자리씩 뒤로 자리 이동
준비한 빈자리에 원소 삽입

삽입할 자리를 만들기 위한 자리 이동 횟수

n+1 개의 원소로 이루어진 순서리스트에서 k번째 자리에 원소를 삽입하는 경우
k번째 원소부터 마지막 n번째 원소까지 (n-k+1)개의 원소를 이동
이동횟수 = n-k+1 = 마지막 원소의 색인 - 삽입할 자리의 색인 + 1

선형 리스트의 원소 삭제

원소의 삭제

선형리스트 중간에 원소가 삭제되면 그 이후 원소들은 한 자리씩 자리를 앞으로 이동해 물리적 순서를 논리적 순서와 일치시킴

삭제 방법

원소를 삭제
삭제한 빈 자리 채우기 -> 삭제한 자리 이후 원소들을 한자리씩 앞으로 이동

삭제 후 빈자리를 채우기 위한 자리 이동 횟수

(n+1)개의 원소로 이루어진 순서 리스트에서 k번째 자리의 원소를 삭제한 경우
(k+1)번째 원소부터 마지막 n번째 원소까지 (n-(k+1)+1)개의 원소를 이동
이동횟수 = n-(k+1)+1 = n-k = 마지막 원소의 색인 - 삭제한 자리의 색인

삽입삭제 연산의 특징

삭제/삽입 시 후속 원소들을 한 자리씩 전후로 이동
일정시간 내 리스트의 원소들에 대한 검색 및 갱신이 가능
삽입 시 평균 이동횟수 (m) = n+1/2
삭제 시 평균 이동횟수 (m) = n-1/2
리스트의 길이가 클 경우 = (삽입, 삭제) ~ n/2

배열

동일한 자료형(기본자료형, 구조체, 포인터)들이 <색인, 원소>의 순서쌍으로 집단화한 선형자료구조(순차적 저장, 유한집합)

특징

하나의 변수에 여러 값을 저장하는 데 쓰이는 정적 리스트 구조. 원소의 갯수가 정해져서 항상 마지막 원소가 존재함
색인(index)를 이용해서 자료형이 같은 데이터를 관리 및 집합 내에서 상대적인 위치의 식별(접근)이 가능함
순차적 접근 -> 주소 계산이 쉬움. 임의접근 -> 주소만 있으면 일정 시간 내 접근 가능
시스템 데이터형으로 주로 연속 기억공간 할당으로 구현되며 기억공간 할당 방식과는 독립적
정보의 은닉 -> 색인을 가지고 어떻게 원소 값에 접근하느냐는 사용자는 몰라도 됨

배열 ADT

배열 연산

순회 : 배열의 모든 원소에 대한 인쇄 및 합산
반복 구조를 이용
실행 시간을 빠르게 하기 위해 프로그래밍 언어의 저장방법에 맞게 작성
삽입/삭제 : 각 원소들을 이동해야 하기 때문에 삽입/삭제가 빈번할 경우 배열은 효과적인 자료구조가 아님 -> 연결리스트 구조를 이용
정렬 및 탐색

배열의 크기

배열의 요소를 참조하기 위해 행/열에 대한 두개 이상의 색인을 사용

1차원 = (상한 - 하한 + 1)
2차원 = (상한 - 하한 + 1) * (상한 - 하한 + 1)
3차원 = (상한 - 하한 + 1) * (상한 - 하한 + 1) * (상한 - 하한 + 1)

배열을 이용하는 방법 특징

배열의 색인은 배열 원소의 순서를 나타냄

물리적 순서로 논리적 순서를 표현
리스트 원소 e와 ei+1 -> 배열 색인 i와 i+1에 대응

원소 크기가 1이고 시작주소가 b일 때
기억장소 이용률 = 정보들의 총수 / 비트들의 총수 = 100%

1차원 배열을 이용한 구현

#include <stdio.h>
#include <stdio.h>
int main(){
int i, sale[4]={160, 245, 139, 450};
for (i=0; i<4; i++){
printf("address of sale[%d]=%d: %u \n", i, sale[i], &(sale[i]));
}
return 0;
}


result
address of sale[0]=160: 6487552
address of sale[1]=245: 6487556
address of sale[2]=139: 6487560
address of sale[3]=450: 6487564

배열에 원소 삽입

#include <stdio.h
>
#define MAX_SIZE 100
int main(){
int arr[MAX_SIZE];
int
i, size, num, pos
;
printf("Enter size of the array : "); //배열의 크기를 입력
scanf("%d", &size);
printf("Enter elements in array : "); //배열에 임의의 원소를 입력
for(
i=0;
i<size;
i++){
scanf("%d", &arr
[
i]);
}
printf("Enter element to insert : "); //삽입할 새로운 원소를 입력
scanf("%d", &num);
printf("Enter the element position : "); //삽입할 위치를 입력
scanf("%d", &pos);

if(pos > size+1 || pos <= 0){ //삽입 위치에 대한 조건 검사
printf("Invalid position! Please enter position between 1 to %d", size);
}
else 
{
for(i=size;i>=pos;i--) { //오른쪽으로 이동, 삽입할 원소의빈 공간 확보
arr[i] = arr[i-1];
}
arr[pos-1] = num; //새로운 원소를 주어진 위치에 삽입
size++; //size를 하나 증가
printf("Array elements after insertion : "); //삽입후 전체 원소 출력
for(i=0;i<size;i++){
printf("%d\t", arr[i]);
}
}
return 0;
}

result
Enter size of the array : 4
Enter elements in array : 10 20 30 40
Enter element to insert : 15
Enter the element position : 2
Array elements after insertion : 10 15 20 30 40

배열에서 원소 삭제

#include <stdio.h>
#define MAX_SIZE 100
int main(){
int arr[MAX_SIZE];
int i, size, pos;
printf("Enter size of the array : "); //배열의 크기를 입력
scanf("%d", &size);
printf("Enter elements in array : "); //배열에 임의의 원소를 입력
for(i=0; i<size; i++){
scanf("%d", &arr[i]);
}
printf("Enter the element position to delete : "); //삭제할 원소의 위치를 입력
scanf("%d", &pos);

if(pos < 0 || pos > size){ //삭제 위치에 대한 조건 검사
printf("Invalid position! Please enter position between 1 to %d", size);
}
else 
{
for(i=pos-1;i<size-1;i++){ //현재 원소 값을 다음 원소 값으로 복사
arr[i] = arr[i + 1];
}
size--; // size를 하나 감소
//삭제후 전체 원소 출력
printf("\nElements of array after delete are : ");
for(i=0;i<size;i++){
printf("%d\t", arr[i]);
}
}
return 0;
}

result
Enter size of the array : 5
Enter elements in array : 10 20 30 40 50
Enter the element position to delete : 3
Elements of array after delete are : 10 20 40 50

2차원 배열을 이용한 구현

#include <stdio.h>
int main(){
int numArr[3][4] = {{ 11, 22, 33, 44 }, { 55, 66, 77, 88 },
{ 99, 110, 121, 132 }};
printf(＂배열의 크기는 %d이다.\n", sizeof(numArr)); //정수 = 4바이트
int col = sizeof(numArr[0]) / sizeof(int); //배열의 가로 크기
int row = sizeof(numArr) / sizeof(numArr[0]); //배열의 세로 크기
printf(＂배열의 가로 크기는 %d이다.\n", col);
printf(＂배열의 세로 크기는 %d이다.\n", row);
return 0;
}

result
배열의 크기는 48이다.
배열의 가로 크기는 4이다.
배열의 세로 크기는 3이다.

배열의 원소에 대한 물리적 주소 확인

#include <stdio.h>
int main(){
int i, j, sale[3][4] = {{ 11, 22, 33, 44 }, { 55, 66, 77, 88 },
{ 99, 110, 121, 132 }};
for(i=0; i<3; i++){
for(j=0; j<4; j++){
printf("address of sale[%d][%d]=%d: %u \n", i, j, numArr[i][j],
&(numArr[i][j]));
}
}
return 0;
}

result
address of sale[0][0]=11: 6487520
address of sale[0][1]=22: 6487524
address of sale[0][2]=33: 6487528
address of sale[0][3]=44: 6487532
address of sale[1][0]=55: 6487536
address of sale[1][1]=66: 6487540
address of sale[1][2]=77: 6487544
address of sale[1][3]=88: 6487548
address of sale[2][0]=99: 6487552
address of sale[2][1]=110: 6487556
address of sale[2][2]=121: 6487560
address of sale[2][3]=132: 6487564

3차원 배열을 이용한 구현

배열의 원소에 대한 물리적 주소 확인

#include <stdio.h>
int main(){
int i, j, k, sale[2][2][4]={{{67, 88, 45, 98}, {70, 86, 60, 78}},
{{55, 80, 50, 87}, {66, 43, 92, 76}}};
for(i=0; i<2; i++){
for(j=0; j<2; j++){
for(k=0; k<4; k++){
printf("address of sale[%d][%d][%d]]=%d: %u \n", i, j, k,
sale[i][j][k], &(sale[i][j][k]));
}
}
}
return 0;
}


result
address of sale[0][0][0]]=67: 6487504
address of sale[0][0][1]]=88: 6487508
address of sale[0][0][2]]=45: 6487512
address of sale[0][0][3]]=98: 6487516
address of sale[0][1][0]]=70: 6487520
address of sale[0][1][1]]=86: 6487524
address of sale[0][1][2]]=60: 6487528
address of sale[0][1][3]]=78: 6487532
address of sale[1][0][0]]=55: 6487536
address of sale[1][0][1]]=80: 6487540
address of sale[1][0][2]]=50: 6487544
address of sale[1][0][3]]=87: 6487548
address of sale[1][1][0]]=66: 6487552
address of sale[1][1][1]]=43: 6487556
address of sale[1][1][2]]=92: 6487560
address of sale[1][1][3]]=76: 6487564

학습 정리

리스트, 스택, 큐와 같은 순차구조와 트리, 그래프와 같은 비순차구조는 프로그램으로 구현하는 방식에 따라 순차 자료구조와 연결 자료구조로 나눌 수 있다
순차 자료구조는 구현할 자료들을 논리적인 순서대로 메모리에 연속하여 저장하는 구현 방식이다. 따라서 순차 자료구조는 논리적인 순서와 물리적인 순서가 항상 일치해야 한다
일반적으로 순차 자료구조는 배열을 통해 구현하고, 연결 자료구조의 경우 포인터 개념을 이용하여 구현할 수 있다
선형 리스트(순차 리스트)는 자료를 구조화하는 가장 기본적인 방법으로 자료를 나열한 목록 또는 자료들 간에 순서를 갖는 리스트이다.
선형 리스트의 삭제/삽입 시 원소들의 순서를 만족하기 위해 후속 원소들을 한 자리씩 전후로 이동해야 한다
배열은 동일한 자료형(기본 자료형, 구조체, 포인터등)들이 (색인, 원소)의 순서쌍으로 집단화한 선형 자료구조(순차적 저장, 유한 집합)이다.

데이터베이스 시스템, 데이터 모델

NoPainNoPaper — Sat, 23 Jul 2022 22:12:47 +0900

데이터베이스 시스템 구조와 유형

데이터베이스 API

API는 데이터베이스에 접근하기 위하여 공통적으로 사용되는 라이브러리 함수들의 모임
중요한 데이터베이스 API 표준 ODBC, JDBC
ODBC(Open Database Connectivity) : 마이크로 소프트가 주도적 개발한 데이터베이스 드라이버로 윈도우 운영체제에서 사용
JDBC(Java Database Connectivity) : 자바를 위한 데이터베이스 드라이버, 자바가 운영되는 모든 플랫폼에서 지원

데이터베이스API(ODBC)의역할

데이터베이스 시스템 아키텍처의 유형

중앙 집중식 데이터베이스 시스템(centralized database system)

데이터베이스 시스템이 하나의 컴퓨터 시스템에서 운영됨
데이터베이스 접근과 관련하여 다른 컴퓨터 시스템과 상호 작용하지 않음

분산 데이터베이스 시스템(distributed database system)

네트워크로 연결된 여러 사이트에 데이터베이스 자체가 분산되어 있으며, 데이터베이스 시스템도 여러 컴퓨터 시스템에서 운영됨
사용자는 다른 사이트에 저장된 데이터베이스도 접근할 수 있음

분산데이터베이스시스템(distributed database system)

클라이언트-서버 데이터베이스 시스템

PC또는 워크스테이션처럼 자체 컴퓨팅 능력을 가진 클라이언트를 통해 데이터베이스 서버를 접근
데이터베이스가 하나의 데이터베이스 서버에 저장되어 있음
데이터베이스 시스템의 기능이 서버와 클라이언트에 분산됨
서버는 데이터베이스를 저장하고 DBMS를 운영하면서 여러 클라이언트에게 온 질의를 최적화하고 권한 검사를 수행하고, 동시성 제어와 회복 기능을 수행하고, 데이터베이스의 무결성을 유지하고, 데이터베이스 접근을 관리
클라이언트는 사용자 인터페이스를 관리하고 어플리케이션을 수행

클라이언트–서버데이터베이스시스템

2층 모델(2-tier model)

클라이언트와 데이터베이스 서버가 직접 연결됨
응용의 논리가 클라이언트와 서버에 분산됨

3층 모델(3-tier model)

클라이언트와 데이터베이스 서버 사이에 응용 서버가 추가됨
응용의 논리가 응용 서버에만 포함됨

클라이언트-서버 데이터베이스 시스템의 장점

데이터베이스를 보다 넓은 지역에서 접근할 수 있고 성능이 향상
하드웨어 비용이 절감됨
다양한 컴퓨터 시스템을 사용할 수 있음

클라이언트-서버 데이터베이스 시스템 단점

보안이 다소 취약할 수 있음

데이터 모델

데이터 모델 개념

데이터 모델(Data Model)이란 데이터베이스의 구조를 단순화, 추상화하여 체계적으로 표현하는데 사용되는 도구

현실과 데이터

데이터베이스 설계

개념적인 구조와 논리적인 구조를 거쳐 실제 데이터를 저장할 수 있는 물리적 구조로 변환

개념적 데이터 모델

속성들로 기술된 개체 타입(entity type)과 이 개체 타입들 간의 관계를 이용해 현실 세계를 표현하는 방법
가장 대표적인 것이 개체-관계 모델(E-R: Entity-Relationship model)

논리적 데이터 모델

데이터 필드로 기술된 데이터 타입과 데이터 타입들 간의 관계를 이용하여 현실 세계를 표현하는 방법

데이터 모델의 구성요소 [D = (S, O, C)]

Structure

정적 성질(추상적 개념)
개체타입과 이들 간의 관계를 명세

operation

동적 성질
개체 인스턴스를 처리하는 작업에 대한 명세
데이터의 조작 기법

constraint

데이터의 논리적 제약 -> 개체 인스턴스의 허용 조건: 구조(S)로부터 파생, 의미상 제약
데이터 조작의 한계를 표현한 규정

논리적 데이터 모델 중에는 relational data model이 가장 많이 사용되며, 최근에는 객체 지향 데이터 모델과 객체-관계 데이터 모델도 사용. DBMS는 하나의 논리적 데이터 모델만을 구현 모델 간의 주요 차이점은 데이터 요소간의 관계를 표현하는 방식

개념적 데이터모델

논리적 데이터 모델

개념적 구조를 컴퓨터가 이해할 수 있는 논리적 구조로 표현하는 방법
데이터 필드로 기술된 데이터 타입과 데이터 타입들 간의 관계를 이용하여 표현

논리적 데이터 모델

관계 데이터 모델

가장 개념이 단순한 데이터 모델의 하나
IBM 연구소에 근무하던 E.F Codd가 1970년대 관계 데이터 모델 제안
Relation과 수학적 이론을 기초로하며, IBM연구소에서 개발된 SystemR(SQL)
여러 데이터 모델이 새로 등장했지만 관계 DBMS가 가장 널리 사용되는 DBMS

관계 데이터 모델이 큰 성공을 거둔 요인

간단한 테이블(relation)을 사용
중첩된 복잡한 구조가 없음
집합 위주로 데이터를 처리
숙련되지 않은 사용자도 쉽게 이해할 수 있음
다른 데이터 모델에 비해 이론이 잘 정립되었음
관계 데이터 베이스설계와 효율적인 질의 처리 면에서 뛰어난 장점을 가짐

관계 데이터 모델 특징

relation(table)로 모든 데이터를 논리적으로 구성
선언적인 질의어를 통한 데이터 접근을 제공
응용 프로그램들은 데이터베이스 내의 레코드들의 어떠한 순서와도 무관하게 작성
논리적으로 연관된 데이터를 연결하기 위해서 링크나 포인터를 사용하지 않음
사용자는 원하는 데이터만 명시하고, 어떻게 이 데이터를 찾을지 명시할 필요가 없음

관계 데이터 모델의 용어

relation : 2차원의 테이블(스프레드 시트와 유사)
record : relation의 각 행
tuple : record를 좀 더 공식적으로 부르는 용어
attribute : relation에서 이름을 가진 하나의 열

도메인

한 attribute에 나타날 수 있는 값의 집합
각 attribute의 도메인의 값들은 원소 값
프로그래밍 언어의 데이터 타입과 유사
동일한 도메인이 여러 attribute에서 사용될 수 있음
복합 attribute나 다치 attribute는 허용되지 않음
도메인 정의

CREATE DOMAIN EMPNAME CHAR(10)
CREATE DOMAIN EMPNO INTEGER
CREATE DOMAIN DNO INTEGER

차수(degree)와 카디날리티(cardinality)

차수 : 한 relation에 들어있는 attribute의 수
유효한 릴레이션의 최소 차수는 1
카디날리티 : relation에 tuple 수
유효한 릴레이션은 카디날리티 0을 가질 수 있음
relation의 차수는 자주 바뀌지 않음
relation의 카디날리티는 시간이 지남에 따라 계속해서 변함

relation 예

데이터베이스 시스템 구성 요소

NoPainNoPaper — Sat, 23 Jul 2022 13:01:54 +0900

데이터 베이스

조직체의 여러 응용 시스템들이 공유해서 사용하기 위한, 구조적으로 통합된 운영 데이터들의 모임
시스템 카탈로그( 또는 데이터 사전)와 저장된 데이터베이스로 구분 가능
시스템 카탈로그는 저장된 데이터베이스의 스키마 정보를 유지

데이터베이스 관리시스템

사용자 요구에 따라 데이터베이스에 대한 모든 연산을 수행

1. 사용자의 접근 요구를 접수/분석

2. 시스템이 이해할 수 있는 형태로 요청 변환

3. 외부/개념/내부/저장 구조 간의 스키마 역할

4. 저장 데이터베이스에 대한 연산을 실행

구성요소

DDL 컴파일러 : DDL을 내부 형태로 변환하여 카탈로그에 저장(메타 데이터베이스)
질의어 처리기 : 질의문을 파싱, 분석, 컴파일하여 목적 코드 생성
예비 컴파일러 : 응용 프로그램의 DML을 추출하고 그 자리에 Procedure Call로 대체
DML 컴파일러
런타임 데이터베이스 처리기 : 런타임의 DB에 접근하여 데이터베이스 연산 수행
트랜잭션 관리자 : 무결성과 권한 제어, 병행 제어와 회복 작업
저장 데이터 관리자

DBMS의 위치

데이터 언어

데이터 정의어

데이터베이스 스키마를 정의하거나 수정
데이터 정의어로 명시된 문장이 입력되면 DBMS는 사용자가 정의한 스키마에 대한 명세를 시스템 카탈로그 또는 데이터 사전에 저장

데이터 정의어의 기본적인 기능

데이터 모델에서 지원하는 데이터 구조를 생성 예) SQL에서 CREATE TABLE
데이터 구조의 변경 예) SQL에서 ALTER TABLE
데이터 구조의 삭제 예) SQL DROP TABLE
데이터 접근을 위해 특정 애트리뷰트 위에 인덱스를 정의 예) CREATE INDEX

데이터 조작어

사용자가 원하는 데이터를 DBMS가 처리할 수 있도록 명세하는 도구
데이터베이스내의 데이터를 검색, 수정, 삽입, 삭제
데이터 처리를 명세하는 방법에 따라 절차적, 비절차적 DML로 나눌 수 있음. 절차적 DML은 어떤 데이터가 필요하고 어떻게 데이터를 접근할지, 비절차적 DML은 어떤 데이터가 필요한지만 명세
관계 DBMS에서 사용되는 SQL은 대표적인 비절차적 언어
데이터 조작어는 단말기에서 대화식으로 입력되어 수행되거나, C, 자바 등의 고급 프로그래밍 언어로 작성된 프로그램에 내포되어 사용

데이터 조작어의 기본적인 기능

데이터의 검색 예) SQL의 SELECT
데이터 수정 예) SQL의 UPDATE
데이터 삭제 예) SQL DELETE
데이터 삽입 예) SQL INSERT

데이터 정의어와 데이터 조작어

데이터 제어어(DCL, Data Control Language)

데이터 제어어는 내부적인 규정이나 기법을 정의하고 이를 이용하여 데이터를 제어하고 기술하는 언어
데이터 제어어는 주로 데이터 관리목적으로 데이터베이스 관리자가 사용
data security, integrity, recovery, concurrency control 의 명령어를 포함

사용자

데이터베이스 관리자

조직의 여러 요구를 만족하기 위해 일관성 있는 데이터베이스 스키마를 생성하고 유지하는 사람(팀)
데이터 정의어(DDL)와 데이터 제어어(DCL)사용

데이터베이스 관리자 역할

데이터베이스 스키마의 생성과 변경
무결성 제약조건을 명시
사용자의 권한을 허용하거나 취소하고, 사용자의 역할을 관리
저장 구조와 접근 방법(물리적 스키마)정의
백업과 회복
표준화 시행
행정관리 및 불평해결
시스템 감시 및 성능 분석

앱 프로그래머

데이터베이스 위에서 특정 앱이나 인터페이스를 구현
프로그래밍 언어인 C, JAVA 등으로 응용 프로그래밍을 개발하면서 데이터베이스를 접근하는 부분은 내포된 데이터 조작어 사용
이들이 작성한 프로그램은 최종 사용자들이 반복해서 수행하므로 기작성 트랜잭션이라 부름

최종 사용자

질의하거나 갱신하거나 보고서를 생성하기 위해서 데이터베이스를 사용하는 사람
최종 사용자는 다시 데이터베이스 질의어를 사용하여 매번 다른정보를 찾는 캐주얼 사용자와 기작성 트랜잭션을 주로 반복해서 수행하는 초보 사용자로 구분

데이터베이스 설계자

ERWin 등의 CASE(Computer-Aided Software Engineering)
데이터베이스의 일관성을 유지하기 위해서 정규화를 수행
데이터베이스를 효율적으로 접근할 수 있도록 인덱스 등을 정의

데이터베이스 컴퓨터

데이터베이스 기능을 수행하기 위한 전용 목적의 하드웨어

Backend Processor
지능형 저장 장치
associative 메모리
병렬 처리(Parallel Processing)

데이터베이스 시스템 요구사항

데이터의 독립성
효율적인 데이터 접근
데이터에 대한 동시 접근
백업과 회복
중복을 줄이거나 제어하며 일관성 유지
데이터 무결성 : 데이터가 정확하고 완전(의미적 측면)
데이터 보안
쉬운 질의어
다양한 사용자 인터페이스

데이터베이스를 보는 관점에 따라 3단계로 표현

외부단계(External Level) : 각 사용자의 뷰
개념단계(Conceptual Level) : 사용자의 뷰가 통합된 기관 전체의 뷰
내부단계(Internal Level) : 물리적 저장장치의 입장에서 뷰

외부단계

데이터베이스의 각 사용자가 갖는 뷰
여러 부류의 사용자를 위해 동일한 개념 단계로부터 다수의 서로 다른 뷰가 제공될 수 있음
일반적으로, 최종 사용자와 응용 프로그래머들은 데이터베이스의 일부분에만 관심을 가짐

개념단계

전체 데이터베이스의 논리적인 구조를 기술
물리적인 구현은 고려하지 않으면서 조직체 전체에 대한 스키마를 표현
데이터베이스에 저장된 데이터의 형태, 데이터 간의 관계, 그리고 무결성 제약조건들을 기술
데이터베이스마다 오직 한 개의 개념 스키마가 존재
저장 구조와 독립적

내부단계

실제 데이터의 물리적인 구조에 대한 스키마
데이터베이스에 어떤 데이터가 어떻게 저장되어 있는가를 기술
인덱스, 해싱 등과 같은 접근 경로, 데이터 압축등을 기술
물리적인 저장 장치를 직접적으로 다루지는 않음
내부 단계 아래는 물리적 단계
물리적 단계는 DBMS의 지시에 따라 운영체제가 관리함

스키마(Schema)

데이터베이스의 논리적인 구조 : 데이터 구조(데이터 객체, 관계)와 제약조건에 대한 명세를 기술
3단계 스키마 구조

스키마	설명
외부스키마(external schema)	- 개별 사용자 입장에서 데이터베이스 구조를 기술한 것 - 개별 사용자를 위한 여러 형태의 외부 스키마가 존재 - 서브 스키마(sub schema)라고도 부름
개념스키마(conceptual schema)	- 조직 전체 입장에서 통합한 데이터베이스를 기술한 것 - 하나의 개념스키마만 존재 - 스키마(schema)라고도 부름
내부스키마(internal schema)	- 저장된 입장에서 전체 데이터베이스가 저장되는 방법을 명세한 것 - 하나의 내부 스키마만 존재

3단계 스키마 예

데이터 독립성(Data Independency)의 구현

구분	설명
외부/개념 스키마(앱 인터페이스)	외부 스키마와 개념 스키마 간의 대응 관계를 정의한 것으로 논리적 구조(개념 스키마)를 변경하더라도 앱 프로그램에 영향을 주지 않아서 논리적 데이터 독립성을 제공해주는 것
개념/내부 스키마(저장 인터페이스)	개념 스키마와 내부 스키마 간의 대응 관계를 정의한 것으로 물리적 구조(내부 스키마)를 변경하더라도 응용 프로그램과 논리적 구조(개념 스키마)에 영향을 주지 않아 물리적 데이터 독립성을 제공해주는 것
내부/장치 스키마(장치 인터페이스)	내부 스키마와 물리적인 장치 간의 대응 관계를 정의한 것

3단계 간의 사상(Mapping)

논리적 데이터 독립성

개념 스키마의 변화로부터 외부 스키마가 영향을 받지 않음을 의미
기존의 외부 스키마에 영향을 미치지 않고 응용 프로그램을 다시 작성할 필요 없이 개념 스키마에 대한 변화가 가능해야함

물리적 데이터 독립성

내부 스키마의 변화가 개념적 스키마에 영향을 미치지 않으며 따라서 외부 스키마(또는 응용 프로그램)에도 영향을 미치지 않음을 의미
내부 스키마의 변화의 예: 파일의 저장 구조를 바꾸거나 인덱스를 생성하거나 삭제

논리적데이터독립성과물리적데이터독립성이적용되는 위치

데이터베이스 구조 정리

Tensorflow, TPU, Dataset, TFRecords, Cheet sheet

NoPainNoPaper — Sat, 23 Jul 2022 10:34:01 +0900

TPU(Tensor Processing Unit)

딥러닝을 위해 만들어진 가속화 하드웨어로, 특히 Tensorflow, Keras와 찰떡 궁합으로 만들어진 장치
Cloud TPU에서 사용 가능하며, 기본적으로 1개 TPU에 8개 코어가 있음

TPU를 쓰는 이유

TPU는 딥러닝에서, 특히 행렬곱을 위해 최적화 된 장치.
1개의 TPU만 잘 사용해도 8개의 코어를 통해 학습 속도를 극대화 할 수 있다.

Illustration: a dense neural network layer as a matrix multiplication, with a batch of eight images processed through the neural network at once. Please run through one line x column multiplication to verify that it is indeed doing a weighted sum of all the pixels values of an image. Convolutional layers can be represented as matrix multiplications too although it's a bit more complicated (  explanation here, in section 1 ).                                        출처 : https://codelabs.developers.google.com/codelabs/keras-flowers-data#2

TPU를 쓰는 개인적이고 주관적인 이유

Google의 TPU Research Cloud 에서는 일반 개인에게도 자유롭게 TPU를 무료로 빌려준다(storage, networking 비용 별도, 코랩 프로 비용 만큼도 나오지 않음)
NIA등 국내 정부기관에서는 기업, 연구실 단위로만 GPU를 지원해주며, 개인에게는 지원해주지 않.는.다
캐글이나, 데이콘 등 대회에 참여시 컴퓨팅 능력이 좋으면 좋은만큼 다양한 실험을 해보고, 빠르게 결과를 확인할 수 있다.(Vram이 크면 큰 모델을, 연산 능력이 빠르면 제한된 시간안에 다양한 모델을.)
VM 자체 스펙도 굉장하다. 96개의 cpu 코어, 120GB RAM은 전처리 과정에도 굉장한 도움이 된다
시즈 탱크와 같다 생각한다. 적용하는 과정은 시즈 모드와 같으며, 한번 시즈 모드가 갖춰지면 굉장한 연산력을 보여준다
현재 Cloud TPU 3-8이 무료로 제공된다. Cloud TPU 4-8가 최근 나온 상태에서 훗날 TPU의 성장 가능성은 무궁무진하다고 생각한다.
Tensorflow에 최적화 되어있어 현재 가지고 있는 기술 스택에도 적합하다.
적용 방법이 살짝 다를 뿐, 결국 GPU를 사용하더라도, Distributed된 학습과 추론이 가능하기 때문에 이걸 배운다해서 GPU를 사용할 때 이 개념이 쓰이지 않는 것은 아니다.
난이도 있는 게임을 좋아하는 사람은 다크 소울을 한다. 나는 다크 소울 대신 TPU를 한다

단점

GPU에 비해 유연하지 못한 점이 있다. padding을 제대로 해주지 않으면 compile을 거치면서 오히려 GPU보다 늦다.
로컬에서 사용할 수 없기 때문에 Cloud를 base로 활용해야하며, 이를 위해 google storage와 vm에 ssh로 접속해서 쓰는 방법이 필요하다
GPU에서 돌아가던 모델이, TPU에서 안돌아가는 경우가 있다(모델 내부에 TPU에서 사용 불가능한 코드가 있는 경우)
python의 function을 쓸 수 없다
초급자에게 진입 장벽이 큰 편. 회사에서도 보편적으로 아직 사용하지 않는 것으로 보인다(기술 블로그에 TPU 흔적이 보이는 기업이 몇 없음)

Dataset

tf.data API로 성능 향상하기 | TensorFlow Core

tf.data API로 성능 향상하기 Note: 이 문서는 텐서플로 커뮤니티에서 번역했습니다. 커뮤니티 번역 활동의 특성상 정확한 번역과 최신 내용을 반영하기 위해 노력함에도 불구하고 공식 영문 문서의

www.tensorflow.org

아무리 GPU든, TPU든 빠린 사람이 있더라도 데이터를 서빙하는 워커가 데이터를 늦게 가져주면 소용이 없다
이러한 병목 제거를 위해 파이프라인을 구성하는 API
이외에도 다양한 API를 통해 데이터 파이프 라인 작성시 도움 되는 기능이 많음
데이터셋을 안써도 학습할 순 있지만, 최적화 하는 과정에서 필수

TFRecord

데이터 파이프 라인의 정점에 있는 형태로 보면 될 것 같다
데이터를 바이너리 형식으로 저장하는 용도

Why TFRecord

TPU의 성능은 매우 빠르므로, 그만큼 데이터 또한 빠르게 전달되어야 한다.
Google Cloud Storage는 TPU에 데이터를 전달하고 쓸데없는 네트워크 절차를 없앨 수 있는 장점이 있다.
따라서 수천 개의 개별 파일로 데이터를 저장하는 것보다 더 적은 수의 파일로 일괄 처리하고 tf.data.Dataset의 기능을 사용하여 여러 파일에서 병렬로 읽는 것이 이상적이다.

TFRecord Cheat sheet

해당 cheat sheet는 여기에서 가져왔습니다

#TFRecord 파일 포맷
#텐서플로에서 데이터 저장을 위해 선호하는 방식은 protobuf기반 TFRecord
#다른 직렬화 방식도 사용할 수 있지만 아래와 같이 사용하면 바로 TFRecord 데이터세트로 로드 가능

filenames = tf.io.gfile.glob(FILENAME_PATTERN)
dataset = tf.data.TFRecordDataset(filenames)
dataset = dataset.map(...) # do the TFRecord decoding here - see below


#조금 더 복잡하지만, 아래와 같이 작성하면 더 최적의 성능을 낼 수 있음(한번에 읽기)
#N개의 파일을 병렬로 읽고, 속도를 위해 순서는 생략함

AUTOTUNE = tf.data.AUTOTUNE
ignore_order = tf.data.Options()
ignore_order.experimental_deterministic = False

filenames = tf.io.gfile.glob(FILENAME_PATTERN)
dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=AUTOTUNE)
dataset = dataset.with_options(ignore_order)
dataset = dataset.map(...) # do the TFRecord decoding here - see below

3개의 Data Type

# Byte String 쓰기
def _bytestring_feature(list_of_bytestrings):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=list_of_bytestrings))
  
  
# Interger 쓰기
def _int_feature(list_of_ints): # int64
  return tf.train.Feature(int64_list=tf.train.Int64List(value=list_of_ints))


# Floats 쓰기
def _float_feature(list_of_floats): # float32
  return tf.train.Feature(float_list=tf.train.FloatList(value=list_of_floats))


# 위 헬퍼 함수를 사용한 TFRecord 쓰기
# input data in my_img_bytes, my_class, my_height, my_width, my_floats
with tf.python_io.TFRecordWriter(filename) as out_file:
  feature = {
    "image": _bytestring_feature([my_img_bytes]), # one image in the list
    "class": _int_feature([my_class]),            # one class in the list
    "size": _int_feature([my_height, my_width]),  # fixed length (2) list of ints
    "float_data": _float_feature(my_floats)       # variable length  list of floats
  }
  tf_record = tf.train.Example(features=tf.train.Features(feature=feature))
  out_file.write(tf_record.SerializeToString())

TFRecords 읽기

def read_tfrecord(data):
  features = {
    # tf.string = byte string (not text string)
    "image": tf.io.FixedLenFeature([], tf.string), # shape [] means scalar, here, a single byte string
    "class": tf.io.FixedLenFeature([], tf.int64),  # shape [] means scalar, i.e. a single item
    "size": tf.io.FixedLenFeature([2], tf.int64),  # two integers
    "float_data": tf.io.VarLenFeature(tf.float32)  # a variable number of floats
  }

  # decode the TFRecord
  tf_record = tf.io.parse_single_example(data, features)

  # FixedLenFeature fields are now ready to use
  sz = tf_record['size']

  # Typical code for decoding compressed images
  image = tf.io.decode_jpeg(tf_record['image'], channels=3)

  # VarLenFeature fields require additional sparse.to_dense decoding
  float_data = tf.sparse.to_dense(tf_record['float_data'])

  return image, sz, float_data

# decoding a tf.data.TFRecordDataset
dataset = dataset.map(read_tfrecord)
# now a dataset of triplets (image, sz, float_data)

코드 스니펫

# reading single data elements
tf.io.FixedLenFeature([], tf.string)   # for one byte string
tf.io.FixedLenFeature([], tf.int64)    # for one int
tf.io.FixedLenFeature([], tf.float32)  # for one float


# reading fixed size lists of elements
tf.io.FixedLenFeature([N], tf.string)   # list of N byte strings
tf.io.FixedLenFeature([N], tf.int64)    # list of N ints
tf.io.FixedLenFeature([N], tf.float32)  # list of N floats


# reading a variable number of data items
tf.io.VarLenFeature(tf.string)   # list of byte strings
tf.io.VarLenFeature(tf.int64)    # list of ints
tf.io.VarLenFeature(tf.float32)  # list of floats


# A VarLenFeature returns a sparse vector and an additional step is required after decoding the TFRecord
dense_data = tf.sparse.to_dense(tf_record['my_var_len_feature'])

캐글 노트북에 있는 예제

Walkthrough: Building a Dataset of TFRecords

Explore and run machine learning code with Kaggle Notebooks | Using data from No attached data sources

www.kaggle.com

import tensorflow as tf
import pathlib
dataset_url = "https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz"
data_dir = tf.keras.utils.get_file(
    origin=dataset_url,
    fname='flower_photos',
    untar=True,
    cache_dir="..cache"
)
data_dir = pathlib.Path(data_dir)

#Downloading data from https://storage.googleapis.com/download.tensorflow.org/example_images/flower_photos.tgz
#228818944/228813984 [==============================] - 5s 0us/step
#228827136/228813984 [==============================] - 5s 0us/step

# PosixPath('/tmp/.keras/datasets/flower_photos')

from functools import partial
IMG_HEIGHT = 512
IMG_WIDTH = 512

load_split = partial(
    tf.keras.preprocessing.image_dataset_from_directory,
    data_dir,
    validation_split=0.2,
    shuffle=True,
    seed=123,
    image_size=(IMG_HEIGHT, IMG_WIDTH),
    batch_size=1,
)

ds_train = load_split(subset='training')
ds_valid = load_split(subset='validation')
class_names = ds_train.class_names
print(class_names)



#Found 3670 files belonging to 5 classes.
#Using 2936 files for training.

#Found 3670 files belonging to 5 classes.
#Using 734 files for validation.
#['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips']

batch 되어있는 데이터셋을 풀고, map 을 통해 byte로 변환

from tensorflow.train import BytesList, FloatList, Int64List
from tensorflow.train import Example, Features, Feature

def process_image(image, label):
    image = tf.image.convert_image_dtype(image, dtype=tf.uint8)
    image = tf.io.encode_jpeg(image)
    return image, label

ds_train_encoded = (
    ds_train
    .unbatch()
    .map(process_image)
)

ds_valid_encoded = (
    ds_valid
    .unbatch()
    .map(process_image)
)

tf.train.example 형태로 변환

def make_example(encoded_image, label):
    image_feature = Feature(
        bytes_list=BytesList(value=[
            encoded_image,
        ]),
    )
    label_feature = Feature(
        int64_list=Int64List(value=[
            label,
        ])
    )

    features = Features(feature={
        'image': image_feature,
        'label': label_feature,
    })
    
    example = Example(features=features)
    
    return example.SerializeToString()

!mkdir -p './kaggle/working/training'

NUM_SHARDS = 32
PATH = './kaggle/working/training/shard_{:02d}.tfrecord'

#샤드는 파일을 자르는 것으로 보면 됨
# 이후 record 파일로 작성

for shard in range(NUM_SHARDS):
    ds_shard = (
        ds_train_encoded
        .shard(NUM_SHARDS, shard)
        .as_numpy_iterator()
    )
    with tf.io.TFRecordWriter(path=PATH.format(shard)) as f:
        for encoded_image, label in ds_shard:
            example = make_example(encoded_image, label)
            f.write(example)

실전 TFRecord

캐글에서 자주 출몰하시는 그랜드 마스터의 TFRecord 데이터셋 만들기

How To Create TFRecords

Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources

www.kaggle.com

실전 사용 예제

EfficientNetB7 on 100+ flowers

Explore and run machine learning code with Kaggle Notebooks | Using data from Flower Classification with TPUs

www.kaggle.com

리눅스 파일 접근 권한

NoPainNoPaper — Tue, 19 Jul 2022 12:20:25 +0900

USER 접근 관련

첫자리는 파일의 종류 -는 일반파일, d는 디렉터리
소유자(user)-그룹-기타사용자(others), U - G - O 에 따른 권한 부여
rw-(파일을 읽고) rw-(쓰고) r--(실행) 할 수 있는 접근 권한, read, write, execute 3가지의 권한 종류가 있음
파일과 디렉터리에 대해 표시하는 내용이 다름

파일 소유자의 로그인 ID, 파일 소유자의 그룹이름
보통 그룹을 따로 지정하지 않으면, 자기 자신이 그룹이 됨
groups [유저이름] 명령어로 유저의 그룹을 검색할 수 있음

     파일 디렉터리
     - 읽기 r : 파일 읽기, 복사 | ls 목록 확인
- 쓰기 w : 수정, 이동, 삭제 | 삭제, 생성
- 실행 x : 셸스크립트, 실행   | cd 명령 사용 가능 및 디렉터리 이동 복사

권한 관련 명령어

chmod(change mode)

파일 소유자와 시스템 관리자만 변경 가능함

문자를 사용한 권한 변경

chmod [사용자문자] [연산자기호] [접근권한] [파일명]
사용자 문자 : 소유자(u), 그룹(g), 기타(o)
연산자 기호 : 접근 권한 부여(+), 접근 권한 제거(-)
접근권한 : r, w, x

chmod u-w str.txt 명령어를 사용하면

유저 권한에서, 쓰기 권한이 빠지게 됨

소유자에 대한 알파벳 u, g, o 그리고 읽기, 쓰기, 실행에 대한 알파벳 r, w, x 을 연산자를 통해 표현가능

숫자를 사용한 권한변경

chmod 777 [폴더명] : 폴더에서 유저,그룹,기타유저에게 읽기,쓰기,실행 권한을 부여
chmod 666 [파일명] : 파일에서 유저,그룹,기타유저에게 읽기,쓰기,실행 권한을 부여, 파일에서는 기본적으로 실행에 대한 부분이 빠져있기 때문에 디렉터리와 다름
rw-rw-r-- 의 기본은 664 권한이고, 이러한 기본 권한 설정은 umask를 사용해서 설정함

umask

기본 umask

기존 666 권한에서 umask값을 빼면 기본 권한 설정을 구할 수 있음(뒤에서 3자리)

umask 변경

umask를 변경하면 파일 생성시 권한이 바뀐 것을 확인가능

변경된 기본 권한

chmod 4xxx [파일명] : 반드시 슈퍼유저의 권한으로 사용하게끔 만드는 기능
chmod 2xxx [파일명] : 그룹의 유저 권한아래 사용하게끔 권한을 부여
chmod 1xxx [파일명] : 보충필요------

su

su - [유저명] : 해당 유저로 변경
su만 사용할 경우, superuser가 default

/etc/shadow

리눅스 내의 계정 정보가 있는 곳

useradd

사용자 계정을 생성

옵션

-c : 사용자 이름 등 부가적인 설명 지정
-d : 사용자 계정의 홈 디렉터리 지정
-D : 기본 설정 값을 출력하거나 설정
-e : 유효기간 설정 (YYYY-MM-DD)
-g : 사용자 계정의 로그인 기본그룹 GID 지정
-p : 사용자 계정의 패스워드

예제 )

useradd test : test라는 사용자 생성
useradd test -p [암호] : 생성시에 바로 암호 설정
passwd test : test 사용자의 암호 설정

usermod

사용자 계정 정보 수정

-d : 사용자 계정 디렉터리 수정
-e : 사용자 홈 디렉터리 수정
-l : 사용자 계정 이름 변경
-u : 사용자 계정 UID 수정
-g : 사용자 계정 GID 수정

passwd

생성 계정 암호 지정, passwd [계정이름]

chage

설정된 계정 만료 일자에 대한 내용 출력

옵션

chage -E YYYY/MM/DD [계정명] : 계정 만료 설정
chage -l [계정명] : 계정 만료에 대한 정보 출력

예 ) chage -l user_001

userdel

사용자 계정을 삭제. 계정을 삭제해도, 계정 파일 외에 다른 곳에 파일을 만든다면 계정이 삭제되어도 삭제되지 않음

옵션

-r : 디렉터리까지 모두 삭제
-f : 강제로 삭제 진행

그룹 접근 관련

groupadd

그룹의 생성

groupadd [그룹명]
grep grouptest / etc/group 하면 생성한 그룹에 대한 정보를 볼 수 있음

gpasswd

그룹 비밀번호 설정

gpasswd [그룹명]

옵션

-a [그룹1] [그룹2] : 그룹1을 그룹2에 포함함 add
-d [그룹1] [그룹2] : 그룹2에 있는 그룹1을 삭제 delete

newgrp

소속 그룹을 지정한 그룹으로 변경, 옮기려고 하는 계정에서 사용하는 것이 특징

newgrp [그룹명]

chown

파일이나 디렉터리의 소유권 및 그룹소유권 변경

chown [옵션] [계정이름] [파일명 또는 디렉터리명] : 기존의 계정에서 계정이름으로 소유권을 넘김

옵션

-R : 하위 디렉토리를 모두 포함하여 소유권과 그룹 소유권 변경

VI 에디터 사용 기초

NoPainNoPaper — Tue, 19 Jul 2022 11:12:42 +0900

출처 : https://velog.io/@jds3567/vi-%EC%82%AC%EC%9A%A9%EB%B2%95

모드 종류

명령모드 : 문자열 검색, 커서 이동 등을 수행
입력모드 : 문자열 입력 및 상태 출력 - i : 현재 커서에서 입력, -a : 현재 커서에 다음칸부터 입력, -o 현재커서에서 다음 행에 입력
라인모드(위 그림의 마지막행 모드), esc 누른 후 " : " + 편집, 검색, 저장 등의 기능을 제공함
:q = 종료, :q! = 강제종료(저장안함), :w = 저장, :wq! 강제 저장 후 에디터 종료

간단 편집 순서

vi [파일명]을 통해 파일 생성 후 에디터 on

a 버튼을 누르면

이제부터 키보드 누르면 입력 가능

알파벳 입력

입력이 끝나면 esc로 모드 전환

끼워넣기가 사라짐

맨아래에 타이핑이 쳐짐. 여기에 :wq 후 엔터를 치면 저장 후 종료

저장 후 종료 명령어

cat test123.txt 로 내용 입력 확인

입력 내용 확인

라인모드

set number : 줄마다 라인을 표시(끄고나면 초기화됨)
.vimrc를 루트 폴더에 만든 후, set number를 지정하면 켤때마다 켜짐.
/[검색어] : 위에서 아래로 검색어 검색, n을 누르면 다음 단어로, N을 누르면 이전 단어로
?[검색어] : 아래에서 위로 검색어 검색
:s/찾을문자열/바꿀문자열 : 커서가 있는 행의 문자열1 값을 문자열2 값으로 변경
:%s/찾을문자열/바꿀문자열/g : 파일 전체에 모든 문자열1 값을 문자열2 값으로 변경
:%s/찾을문자열/바꿀문자열/i : ignore 옵션으로, 대소문자 구분을 하지 않고 변경
:%s/찾을문자열/바꿀문자열/c : check 옵션으로, 변경 여부를 시스템에서 물어봄
:%s/\<찾을문자열\>/바꿀문자열 : 역슬래쉬와 꺽쇠 가로를 사용하면 정확한 단어에 한해서 변경가능 예) apple, pineapple의 경우, apple만 변경
한줄복사 : yy, 붙여넣기 : -p
한줄삭제 : dd
여러줄복사 : 숫자yy, 여러줄삭제 : 숫자dd ex) 5yy, -p 4dd
작업취소 : u
단어사이 이동 : 왼쪽 w, 오른쪽 b

리눅스 파일 시스템과 명령어

NoPainNoPaper — Mon, 18 Jul 2022 15:07:13 +0900

디스크 기반 파일 시스템(Disk-Based File System)

MINIX

유닉스의 한 갈래인 미닉스에서 사용되던 파일시스템으로, 플로피 디스크 등 작은 크기의 저장소 장치로 사용되는 파일시스템

EXT

리눅스 초기 개발 시 리눅스에서 사용하기 위해 만들어진 확장파일시스템. 유닉스의 파일시스템인 UFS의 영향을 받음. 현재 ext2, ext3, ext4 버전 존재

XFS

CentOS7, RHEL7 등 최신 리눅스 버전에서 기본으로 사용되는 파일 시스템

FAT

현재는 USB등 이동식 저장장치에 사용되고 있으며, 리눅스는 FAT, vFAT파일시스템을 지원

ISO9660

ISO 9660 표준에 따른 CD-ROM 파일시스템. 운영체제 및 플랫폼에 무관하게 사용 가능한 표준 방식

UDFS

UDF는 ISO/IEC 13346 규격으로 개발되었으며, DVD 표준 파일시스템

파일의 구성

1개 파일 생성을 위해 파일의 이름, I-NODE, Data block이 있어야함

I-Node(Index node)

파일에 대한 정보를 가지고 있는 inode가 모여 있는 테이블로, inode는 각각 1개의 파일 또는 디렉토리에 대한 정보를 가짐

주요 정보

파일의 종류 및 권한 종료
추가해서 적기-------

출처 : https://tecoble.techcourse.co.kr/post/2021-10-18-linux-file-directory-system/

링크 파일

윈도우의 바로가기와 같은 파일. 링크라는 개념을 도입 해, 여러개 이름이 하나의 I-node에 연결되도록 수행하여 실제 파일이나, 디렉터리 혹은 다른 링크를 가리킴

파일에는 하드링크와 심볼릭 링크가 존재하며, 링크 파일을 생성하기 위해서는 ln 명령을 사용

하드 링크

원본 파일과 동일한 내용의 다른 사본 파일을 만듦
원본 파일 변경시 복사된 링크 파일의 내용 또한 자동 변경
파일의 실제 I-node 정보를 공유하기 때문에 마치 동일한 파일이 여러곳에 존재하는 것처럼 보임

심볼릭 링크(또는 Soft Link)

통상 사용되는 링크 파일이 심볼릭 링크
심볼릭 링크 파일을 삭제해도, 원본 파일 영향없음

특수 파일

리눅스가 지원하는 파이프, 소켓, 주변장치를 의미
운영체제의 C:, D:, E:등과 같은 의미
리눅스 시스템에선 /dev/hda1 등으로 등장함

문서 파일과 이진 파일

문서 파일은 키보드로 입력 받은 값만을 가지고 있으며, ASCII 문자로 구성
이진 파일은 문자가 아닌 데이터 파일이 들어 있으며, 기계어인 0과 1의 값으로 구성

디렉터리

작업 디렉터리

사용자가 현재 사용하고 있는 디렉터리
상대경로는 (.) 점으로 표시

홈 디렉터리

각 사용자에게 할당되는 디렉터리로 사용자 계정 처음 만들 때 지정
홈 디렉터리의 표시는 틸드(~)를 사용함

절대 경로와 상대 경로

절대경로

루트 디렉터리인 '/'를 기준으로 제공되는 디렉터리
반드시 루트를 의미하는 '/'로 시작해야함
루트 디렉터리부터 중간 단계 디렉터리 모두 표시해야함
특정 위치를 가리키는 절대 경로명은 항상 동일해야함

상대경로

셀의 작업 디렉터리가 상대 경로의 기준
자신이 속한 디렉토리는 `.` 으로 표현하고, 상위디렉토리는 `..`
/ 이외의 문자로 시작해야하고, 현 디렉터리 위치에서 서브디렉터리로 갈 시 파일명 추가
현재 속한 디렉토리에 따라 상대경로는 달라짐

파일, 디렉터리명 생성 규칙

/는 경로를 나타내기 위한 문자로, 이름에 사용할 수 없음
.으로 시작하면 숨김 파일로 처리
-, _ 외 특수문자 사용 불가

디렉터리 관련 명령어(출력, 생성, 삭제, 복사, 이동, 찾기)

ls

ls [경로] : 해당 디렉터리 경로의 파일, 폴더를 모두 보여준다

옵션

-a(all) : 숨겨진 파일까지 포함 모든 파일 리스트 출력
-d : 지정 디렉터리 존재하는 파일과 디렉터리 정보 출력
-n : 호스트네임 확인
-i : 첫번째 열에 I-node 번호 출력
-F [경로Optional] : 파일명 뒤에 /는 디렉터리 파일을, @는 심볼릭 링크를, 아무 표시가 없다면 일반 파일
-l : 파일에 대한 권한, 그룹 등의 정보까지 표시(정렬)
-r : reverse로 정렬함
-R : 경로에 모든 폴더 내부 내용을 출력함
[경로] : 파일의 존재 여부 체크 가능(찾기용으로 쓸 명령어는 아님)
모든 옵션은 한번에 같이 쓸 수 있음

파일 정보 알파벳 의미

- : 일반 정규 파일
d : 디렉터리 파일
l : 심볼릭 링크 파일
b : block 단위 read/write 파일

cd

cd [경로] : 해당 경로로 작업 디렉토리 변경(절대경로, 상대경로 모두 가능)

그냥 cd만 명령할 경우, 해당 계정의 루트 폴더로 이동한다

mkdir

mkdir [디렉터리명] [디렉터리명] : 디렉터리를 생성함(갯수만큼 가능)

옵션

-p [디렉터리명]: 특정 경로에 하위디렉터리 생성을 위해 중간 디렉터리를 알아서 생성함

rmdir

rmdir [디렉터리명] [디렉터리명] : 디렉터리를 지움(갯수만큼)

옵션

-p [디렉터리명] : 상위 디렉터리를 지울 시, 하위 디렉토리까지 모두 삭제함

rm

rm [파일] : 파일을 삭제할 수 있음

옵션

rm -r [디렉터리] : 디렉터리를 삭제할 수 있으며, 하위폴더도 재귀적으로 삭제

touch

touch [이름] : 파일을 생성할 수 있음

옵션

-t(time) YYMMDDHHMM : 파일 생성 시각 변경

cp

cp [원본파일경로] [복사할경로]
cp [원본파일경로] [원본파일경로] ... [복사할경로] : 다중 항목을 한번에 복사도 가능

옵션

-i [원본파일경로] [복사할경로] : 복사할 파일명 또는 디렉터리명이 존재하면 덮어쓸건지 물어보게함
-r : 디렉터리 복사할 때 사용
-a : 원본파일 속성과 링크 정보 그대로 유지하며 복사
-b : 원본파일의 백업본 생성
-d : 원본파일이 심볼릭 링크된 파일의 경우, 그 자체까지 복사
-f : 복사하고자 하는 파일 이름이 겹칠 경우 강제 복사
-l : 하드 링크 형식으로 복사
-p : 원본파일 경로가 지정되어 있으면 그대로 복사
-r : 디렉터리안에 있는 모든 하위 디렉터리까지 복사
-s : 심볼릭 링크 생성

find

find [찾을디렉터리경로] [검색조건] [옵션] [동작]

옵션

-name : 지정한 파일찾기(와일드카드 사용: '*','?','[]') 와일드카드 사용시 작은 따옴표 선언해서 파일이름 정확히 표현
-type : 찾는 파일의 타입, b: 블록디바이스 파일, d: 디렉터리, f : 파일, l : 심볼릭링크
-user : 지정한 사용자가 소유하고 있는 파일 찾기

예) find / -type d -name 'h*' : 루트폴더에서 이름이 h로 시작하는 디렉터리 찾기

예 find / -type f -name 'sshd' : 루트폴더에서 이름이 sshd인 파일 찾기

cat

cat [파일경로] : 해당 경로의 파일을 읽고 출력한다

옵션

-n : 줄마다 번호를 매겨서 출력이 됨
명령어 구문 이후 | more 와 함께 사용하면 출력 정도를 제어할 수 있어, 확인하기 좋음(해당 명령어만의 옵션 아님)

예제 ) cat /tmp/services | grep -n dhcp /tmp/services grep은(Global Regular Expression Print)

which

which [이름] : 해당 파일이나 폴더의 경로를 표시

예제) which pwd : pwd 명령어에 대한 파일 위치 표시

whereis

whereis [이름] : 해당 파일이나 디렉터리와 관련된 모든 파일 폴더를 표시

man(manual)

man [명령] : 해당 명령에 대한 메뉴얼 확인 가능

mv(move)

mv [이동시킬파일또는디렉터리] [이동할디렉터리]
mv [파일명] [다른파일명] 방법으로 사용시 파일 이름을 수정할 수도 있음
기본적으로 이동시 같은파일명 있으면 overwrite됨 -i 옵션을 통해 overwrite 여부 확인가능

ln(link)

ln [원본파일] [링크파일이름] : 하드링크된 파일 생성
ln -s [원본파일] [링크파일이름] : 소프트링크된 파일 생성
ls -lF를 사용해서 숫자 부분을 보면 하드링크 여부와 소프트링크 여부를 볼 수 있음

1은 소프트링크, 화살표 표시도 친절하게 나옴. 2는 하드링크. ls -i를 적용하면 i-node 확인 가능

하드링크는 같고, 소프트링크는 I-node가 다름

gedit

gedit [파일명] : 메모장 파일을 생성