hiyouga
|
76f2e59504
|
tiny fix
|
2024-09-05 23:41:16 +08:00 |
|
hiyouga
|
47ea97fb1b
|
lazy image load
|
2024-09-04 02:27:08 +08:00 |
|
hiyouga
|
bee1bd43b9
|
tiny fix
|
2024-08-30 03:21:50 +08:00 |
|
hiyouga
|
38b6b0f52e
|
tiny fix
|
2024-06-16 01:06:41 +08:00 |
|
hiyouga
|
d87108daa6
|
add license
|
2024-06-15 17:54:33 +08:00 |
|
hiyouga
|
6baafd4eb3
|
fix #4221
|
2024-06-13 02:48:21 +08:00 |
|
hoshi-hiyouga
|
0c29233237
|
Update pretrain.py
|
2024-06-11 17:02:14 +08:00 |
|
d
|
6979f3f848
|
经过大量的增量预训练，进行对比试验，发现这个bug：llama3在预训练时使用的tokenizer.eos_toke是'<|end_of_text|>' ，这里在每条数据后面也得用这个，而不是'<|eot_id|>'，否则很容易导致严重的性能下降
|
2024-06-11 16:23:40 +08:00 |
|
hiyouga
|
149610c636
|
fix ppo dataset bug #4012
|
2024-06-06 19:03:20 +08:00 |
|
hiyouga
|
3a023bca2a
|
refactor data preprocessing, fix mllm rlhf
|
2024-05-24 04:08:25 +08:00 |
|