Entrenado sin input, todo en instruccion

python finetune.py --base_model 'decapoda-research/llama-7b-hf' --data_path 'ID3/comentario_youtube_lorea' --output_dir './lorea_alphaca' --cutoff_len 512 --lora-r 8 --num-epochs 3 --resume_from_checkpoint '../bertin-alpaca-lora-7b' --val-set-size 0

con resume de bertin lora

--cutoff_len 512 --lora-r 8 --num-epochs 3

largo 125, 12 epocas, lora r 20

Textos muy cortos, lora r 8, epoch 3

python finetune.py --base-model 'decapoda-research/llama-7b-hf' --data-path 'ID3/comentario_youtube_lorea' --output-dir './lorea_alphaca' --lora-r 20 --num-epochs 12

python finetune.py --base-model 'decapoda-research/llama-7b-hf' --data-path 'ID3/comentario_youtube_lorea' --output-dir './lorea_alphaca' --cutoff-len 512 --learning-rate 0.06 --lora-r 8 --num-epochs 3

python finetune.py --base_model 'decapoda-research/llama-7b-hf' --data_path 'ID3/comentario_youtube_lorea' --output_dir './lorea_alphaca' --cutoff_len 512 --learning-rate 0.1 --batch-size 256 --lora-r 20

learning rate 1

largo limitado, titulo canción y con 0.8 max de similitud

Upload 2 files

Upload 2 files

initial commit