# Huấn luyện mô hình ngôn ngữ trên 4 GPUs A100 160G
Tài trợ bởi Nvidia Việt Nam

## Chuẩn bị huấn luyện và các thử nghiệm
- [x] Chuẩn bị 6GB dữ liệu laws để thử nghiệm với mô hình 1.2 tỉ params

- [x] Quản lý [lấy mẫu huấn luyện](./sampling/README.md)
  - [x] Lấy mẫu theo chiều xuôi sao cho mỗi token đc train 1 lần với bigdata
  - [x] Thêm khoảng trượt data_shift để thay đổi cửa sổ lấy mẫu ở lần huấn luyện lặp lại tiếp theo

- [x] Tokenize dữ liệu và lưu dưới định dạng binidx theo kịch bản lấy mẫu
  - [x] Tknz theo symato_2944 (~5g filtered text = ~2 tỉ tokens)
  - [x] Tknz theo symato_16k (~5g filtered text = ~1.1 tỉ tokens) 
    - Tỉ lệ nén bằng 91% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  - [x] Tknz theo symato_16k_refined (~5g filtered text = ~1.2 tỉ tokens) 
    - Tỉ lệ nén bằng 86% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  
- [x] Huấn luyện các mô hình sau với dữ liệu laws:
  - [x] Model-1: symato_2944 3 lượt:
    - [x] Lấy mẫu ngẫu nhiên
    - [x] Cách lấy mẫu mới đảm bảo mỗi token được huấn luyện 1 lần

  - [x] Model-2: symato_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

  - [x] Model-3: sentencepiece_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0

  - [x] Model-4: symato_16k_refined 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

{}
region:us
TAGS
#region-us 

# Huấn luyện mô hình ngôn ngữ trên 4 GPUs A100 160G
Tài trợ bởi Nvidia Việt Nam

## Chuẩn bị huấn luyện và các thử nghiệm
- [x] Chuẩn bị 6GB dữ liệu laws để thử nghiệm với mô hình 1.2 tỉ params

- [x] Quản lý lấy mẫu huấn luyện
  - [x] Lấy mẫu theo chiều xuôi sao cho mỗi token đc train 1 lần với bigdata
  - [x] Thêm khoảng trượt data_shift để thay đổi cửa sổ lấy mẫu ở lần huấn luyện lặp lại tiếp theo

- [x] Tokenize dữ liệu và lưu dưới định dạng binidx theo kịch bản lấy mẫu
  - [x] Tknz theo symato_2944 (~5g filtered text = ~2 tỉ tokens)
  - [x] Tknz theo symato_16k (~5g filtered text = ~1.1 tỉ tokens) 
    - Tỉ lệ nén bằng 91% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  - [x] Tknz theo symato_16k_refined (~5g filtered text = ~1.2 tỉ tokens) 
    - Tỉ lệ nén bằng 86% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  
- [x] Huấn luyện các mô hình sau với dữ liệu laws:
  - [x] Model-1: symato_2944 3 lượt:
    - [x] Lấy mẫu ngẫu nhiên
    - [x] Cách lấy mẫu mới đảm bảo mỗi token được huấn luyện 1 lần

  - [x] Model-2: symato_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

  - [x] Model-3: sentencepiece_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0

  - [x] Model-4: symato_16k_refined 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

# Huấn luyện mô hình ngôn ngữ trên 4 GPUs A100 160G
Tài trợ bởi Nvidia Việt Nam ## Chuẩn bị huấn luyện và các thử nghiệm
- [x] Chuẩn bị 6GB dữ liệu laws để thử nghiệm với mô hình 1.2 tỉ params

- [x] Quản lý lấy mẫu huấn luyện
  - [x] Lấy mẫu theo chiều xuôi sao cho mỗi token đc train 1 lần với bigdata
  - [x] Thêm khoảng trượt data_shift để thay đổi cửa sổ lấy mẫu ở lần huấn luyện lặp lại tiếp theo

- [x] Tokenize dữ liệu và lưu dưới định dạng binidx theo kịch bản lấy mẫu
  - [x] Tknz theo symato_2944 (~5g filtered text = ~2 tỉ tokens)
  - [x] Tknz theo symato_16k (~5g filtered text = ~1.1 tỉ tokens) 
    - Tỉ lệ nén bằng 91% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  - [x] Tknz theo symato_16k_refined (~5g filtered text = ~1.2 tỉ tokens) 
    - Tỉ lệ nén bằng 86% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  
- [x] Huấn luyện các mô hình sau với dữ liệu laws:
  - [x] Model-1: symato_2944 3 lượt:
    - [x] Lấy mẫu ngẫu nhiên
    - [x] Cách lấy mẫu mới đảm bảo mỗi token được huấn luyện 1 lần

  - [x] Model-2: symato_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

  - [x] Model-3: sentencepiece_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0

  - [x] Model-4: symato_16k_refined 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
TAGS
#region-us 
 # Huấn luyện mô hình ngôn ngữ trên 4 GPUs A100 160G
Tài trợ bởi Nvidia Việt Nam ## Chuẩn bị huấn luyện và các thử nghiệm
- [x] Chuẩn bị 6GB dữ liệu laws để thử nghiệm với mô hình 1.2 tỉ params

- [x] Quản lý lấy mẫu huấn luyện
  - [x] Lấy mẫu theo chiều xuôi sao cho mỗi token đc train 1 lần với bigdata
  - [x] Thêm khoảng trượt data_shift để thay đổi cửa sổ lấy mẫu ở lần huấn luyện lặp lại tiếp theo

- [x] Tokenize dữ liệu và lưu dưới định dạng binidx theo kịch bản lấy mẫu
  - [x] Tknz theo symato_2944 (~5g filtered text = ~2 tỉ tokens)
  - [x] Tknz theo symato_16k (~5g filtered text = ~1.1 tỉ tokens) 
    - Tỉ lệ nén bằng 91% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  - [x] Tknz theo symato_16k_refined (~5g filtered text = ~1.2 tỉ tokens) 
    - Tỉ lệ nén bằng 86% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  
- [x] Huấn luyện các mô hình sau với dữ liệu laws:
  - [x] Model-1: symato_2944 3 lượt:
    - [x] Lấy mẫu ngẫu nhiên
    - [x] Cách lấy mẫu mới đảm bảo mỗi token được huấn luyện 1 lần

  - [x] Model-2: symato_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

  - [x] Model-3: sentencepiece_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0

  - [x] Model-4: symato_16k_refined 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
TAGS
#region-us 
# Huấn luyện mô hình ngôn ngữ trên 4 GPUs A100 160G
Tài trợ bởi Nvidia Việt Nam## Chuẩn bị huấn luyện và các thử nghiệm
- [x] Chuẩn bị 6GB dữ liệu laws để thử nghiệm với mô hình 1.2 tỉ params

- [x] Quản lý lấy mẫu huấn luyện
  - [x] Lấy mẫu theo chiều xuôi sao cho mỗi token đc train 1 lần với bigdata
  - [x] Thêm khoảng trượt data_shift để thay đổi cửa sổ lấy mẫu ở lần huấn luyện lặp lại tiếp theo

- [x] Tokenize dữ liệu và lưu dưới định dạng binidx theo kịch bản lấy mẫu
  - [x] Tknz theo symato_2944 (~5g filtered text = ~2 tỉ tokens)
  - [x] Tknz theo symato_16k (~5g filtered text = ~1.1 tỉ tokens) 
    - Tỉ lệ nén bằng 91% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  - [x] Tknz theo symato_16k_refined (~5g filtered text = ~1.2 tỉ tokens) 
    - Tỉ lệ nén bằng 86% sentencepiece_16k trên toàn bộ tập dữ liệu và tập trung nén âm tiết
  
- [x] Huấn luyện các mô hình sau với dữ liệu laws:
  - [x] Model-1: symato_2944 3 lượt:
    - [x] Lấy mẫu ngẫu nhiên
    - [x] Cách lấy mẫu mới đảm bảo mỗi token được huấn luyện 1 lần

  - [x] Model-2: symato_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340

  - [x] Model-3: sentencepiece_16k 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0

  - [x] Model-4: symato_16k_refined 3 lượt:
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 0
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 170
      - [x] Mỗi mẫu huấn luyện 1 lần data_shift = 340