LLM 기본 원리와 관련 기술들

1. Machine Learning

사전 입력된 데이터에 맞추어 동작이 달라질 수 있도록 고안된 알고리즘 “기계가 학습한다?”→ “학습하는 기계(코드, 알고리즘)를 만든다"

• ML 알고리즘의 종류

  

• ML 의 학습 방법 예제 → 랜덤 포레스트의 기반이 되는 의사결정 트리 원리

  

  1) 고정된 동작이 아니라, 데이터에 맞추어 동작을 바꾼다

  → 의사결정 트리에서의 “동작”은 분기 조건

  2) 데이터에 맞춘다? = 데이터를 학습한다!

  → 의사결정 트리에서는 효과적인 분기 조건을 학습 ⇒ 노드의 분기 기준값으로 분기 후 불순도가 가장 낮은 값을 설정

  <aside> 📌

  의사결정트리 학습 예제 컨디션에 따른 여가 활동 결정하기

  • 인풋 데이터: 컨디션에 따른 여가 활동 레이블 예제 20건

    id	컨디션	레이블
    1	5	휴식
    2	10	휴식
    3	15	휴식
    4	22	카페
    5	28	카페
    6	30	영화
    7	35	카페
    8	42	영화
    9	45	산책
    10	50	산책
    11	52	영화
    12	58	산책
    13	62	산책
    14	68	운동
    15	72	운동
    16	75	운동
    17	82	운동
    18	88	운동
    19	92	운동
    20	96	운동

  • 트리의 분기노드 결정을 위한 학습 계산 방법 - Gini 불순도 or Entropy 무질서도

    

  • 불순도를 최소로 하는 트리 모델 도출

    flowchart TD
        R{"컨디션 > 60 ?"}
        R -->|"아니오(0~60)"| L3{"컨디션 ≤ 40 ?"}
        R -->|예| N1{"컨디션 > 70 ?"}
    
        %% 왼쪽 가지
        L3 -->|"예(0~40)"| L4{"컨디션 ≤ 20 ?"}
        L3 -->|"아니오(41~60)"| L7{"컨디션 ≤ 50 ?"}
    
        L4 -->|"예(0~20)"| L5[[휴식]]
        L4 -->|"아니오(21~40)"| L6[[카페]]
    
        L7 -->|"예(41~50)"| L8[[산책]]
        L7 -->|"아니오(51~60)"| L9[[산책 또는 영화*]]
        
        %% 오른쪽 가지
        N1 -->|"예(71~100)"| L1[[운동]]
        N1 -->|"아니오(61~70)"| L2[[운동]]
    
    

    *동률 처리 또는 의사결정 불가 케이스에 대한 추가 조건 설계 필요 → Random Forest

  </aside>

머신러닝 기본 원리 및 모델 예제를 통해 기억할 결론!

1. ML 알고리즘은 학습한 데이터의 분포에 따라 다르게 동작하는 프로그램 코드를 말한다.
2. 학습 결과로 도출된 ML 모델은 데이터를 포함하지 않지만 특정한 데이터를 암시한다.
3. 다양한 ML 알고리즘이 있고, 문제의 유형에 따라 적용하기 유리한 알고리즘이 있다.

2. Deep Learning

다층 신경망 구조로 구성된 각 노드에 점화식을 정하고, 노드별 가중치 조정을 통해 학습하는 알고리즘

• 상대적으로 강한 편
  • 입력 잡음/부분 결손: 이미지 블러·센서 노이즈·OCR 오탈자 등은 증강/사전학습으로 견딜 수 있음.
  • 중소량의 이상치: 드롭아웃·가중치감쇠·얼리스톱 등 정규화가 도움.
• 취약하거나 손상 큼
  • 레이블 잡음: 오표기 5–20%만 돼도 정확도·일관성 크게 저하.
  • 분포 변이(OOD): 학습 분포 밖(새 도메인)에서는 급격히 무너짐. (예: 계절·카메라·언어 바뀜)
  • 적대적 예제: 인간이 못 느끼는 미세 교란에도 오답 가능.
  • 중증 결측·편향: 특정 집단/상황 데이터 부족 시 편향·불안정.

3. Tokenizing (Word Segmentation & Vocabulary Indexing)

자연어 처리를 위해서 텍스트를 잘게 쪼개고 번호 붙이기 https://platform.openai.com/tokenizer - Tokenizer 샘플

→ GPT의 토크나이저에는 “토큰”이라는 한글 단일 토큰은 없고, 영어로 된 “Token”에 대한 토큰만 있다

4. Transformer (Attention)