Kohei0614/llm-jp-3-13b-finetune-2

Uploaded Model

• Developed by: Kohei0614
• License: apache-2.0
• Finetuned from: llm-jp/llm-jp-3-13b

This LLaMA-based model was finetuned using Unsloth and Hugging Face's TRL library, enabling 2x faster training even on resource-constrained GPUs like T4s on Google Colab.

---

概要

このリポジトリは、最終課題コンペ用に大規模言語モデル（LLM）の微調整(Fine-tuning)を行うためのテンプレートをベースにしています。
unsloth と TRL を用いることで、Google Colabで無料利用可能なT4 GPU上でも効率的かつ高速なFine-tuningが可能となりました。

特徴

• Google Colab対応: unslothにより、複雑な環境構築なしでColab上での実行が可能。
• 低リソース対応: 4bit量子化やLoRAなどを組み合わせることで、メモリ制約のある環境でも学習が可能。
• シンプルなAPI: FastLanguageModelやSFTTrainerを利用した簡潔なコード構成。

---

環境構築手順 (ローカル環境例)

※Google Colab利用者は不要です。

# Miniforge3インストール
wget "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

# PATH設定
export PATH=/root/miniforge3/bin:$PATH
conda init
# 新ターミナルを起動

conda create --name unsloth_env python=3.10 pytorch-cuda=12.1 pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers -y
conda activate unsloth_env

pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
pip install --no-deps "trl<0.9.0" peft accelerate bitsandbytes

# Jupyter Kernel設定
conda install -c conda-forge ipykernel
python -m ipykernel install --user --name=unsloth_env --display-name "Python (unsloth_env)"