d 77bf3d66c7 经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降 ...

Former-commit-id: ef470561f742b16eaa0f99c4cadecd7c84ce6bd2

2024-06-11 16:23:40 +08:00

..

llamafactory

经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降

2024-06-11 16:23:40 +08:00

api.py

rename package

2024-05-16 18:39:08 +08:00

train.py

rename package

2024-05-16 18:39:08 +08:00

webui.py

enable inbrowser in webui

2024-05-17 00:08:56 +08:00