LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps
Paper
•
2412.15035
•
Published
•
4
Vietnamese Mistral
AI & ML interests
Mistral & Mixtral for Vietnamese
Recent Activity
View all activity
Viet-Mistral's activity
PSaiml
authored
a
paper
2 days ago
anoperson
authored
a
paper
about 1 month ago
chiennv
authored
a
paper
about 2 months ago
Taishi-N324
authored
a
paper
about 2 months ago
huy-nh-2000
authored
a
paper
about 2 months ago
chiennv
authored
a
paper
2 months ago
JJitsev
authored
8
papers
2 months ago
A Comparative Study on Generative Models for High Resolution Solar Observation Imaging
Paper
•
2304.07169
•
Published
DataComp: In search of the next generation of multimodal datasets
Paper
•
2304.14108
•
Published
•
2
LAION-400M: Open Dataset of CLIP-Filtered 400 Million Image-Text Pairs
Paper
•
2111.02114
•
Published
LAION-5B: An open large-scale dataset for training next generation image-text models
Paper
•
2210.08402
•
Published
•
3
Reproducible scaling laws for contrastive language-image learning
Paper
•
2212.07143
•
Published
Alice in Wonderland: Simple Tasks Showing Complete Reasoning Breakdown in State-Of-the-Art Large Language Models
Paper
•
2406.02061
•
Published
•
1
DataComp-LM: In search of the next generation of training sets for language models
Paper
•
2406.11794
•
Published
•
50
Resolving Discrepancies in Compute-Optimal Scaling of Language Models
Paper
•
2406.19146
•
Published
Post
1182
ICML 2024 Tutorial: Physics of Language Models
https://www.youtube.com/watch?v=yBL7J0kgldU
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (2309.14316)
Series bài nói về việc hiểu cách LLM hoạt động. Rất thú vị, họ làm thí nghiệm kiểm soát 100% cách huấn luyện model và phát hiện rằng nếu pretrain không chứa dạng dữ liệu extraction (QA instruction, hoặc các dạng dữ liệu mà tác giả gọi là knowledge augmentation) thì mặc dù có qua instruct finetune thì LLM cũng không thể học skill knowledge extraction. => đặt lại câu hỏi liệu cách pretrain rồi mới SFT như hiện tại đã thực sự tốt chưa?
Họ đã thử vài trăm thí nghiệm với các loại kiến trúc mô hình, độ to nhỏ, ... và đều ra kết quả như nhau.
KNOWLEDGE AUGMENTATION (data augmentation)
Nếu bạn không mix instruct data với pre-train data (mix training) tốt nhất hãy áp dụng knowledge augmentation. Tức là cùng một câu đó nhưng diễn tả lại bằng nhiều cách khác nhau.
KNOWLEDGE MANIPULATION
ví dụ giả sử đã biết (đc huấn luyện) tiểu sử của A (bao gồm ngày tháng năm sinh) và hỏi A sinh tháng chẵn hay lẻ (50% cơ hội trả lời đúng). Nếu không sử dụng CoT (gợi nhớ lại kiến thức, xem A sinh tháng mấy) thì kết quả là model không làm được. => CoT (gợi nhớ kiến thức đã học) rất quan trọng với knowledge manipulation (phân loại, so sánh, xếp hạng ...)
https://www.youtube.com/watch?v=yBL7J0kgldU
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction (2309.14316)
Series bài nói về việc hiểu cách LLM hoạt động. Rất thú vị, họ làm thí nghiệm kiểm soát 100% cách huấn luyện model và phát hiện rằng nếu pretrain không chứa dạng dữ liệu extraction (QA instruction, hoặc các dạng dữ liệu mà tác giả gọi là knowledge augmentation) thì mặc dù có qua instruct finetune thì LLM cũng không thể học skill knowledge extraction. => đặt lại câu hỏi liệu cách pretrain rồi mới SFT như hiện tại đã thực sự tốt chưa?
Họ đã thử vài trăm thí nghiệm với các loại kiến trúc mô hình, độ to nhỏ, ... và đều ra kết quả như nhau.
KNOWLEDGE AUGMENTATION (data augmentation)
Nếu bạn không mix instruct data với pre-train data (mix training) tốt nhất hãy áp dụng knowledge augmentation. Tức là cùng một câu đó nhưng diễn tả lại bằng nhiều cách khác nhau.
KNOWLEDGE MANIPULATION
ví dụ giả sử đã biết (đc huấn luyện) tiểu sử của A (bao gồm ngày tháng năm sinh) và hỏi A sinh tháng chẵn hay lẻ (50% cơ hội trả lời đúng). Nếu không sử dụng CoT (gợi nhớ lại kiến thức, xem A sinh tháng mấy) thì kết quả là model không làm được. => CoT (gợi nhớ kiến thức đã học) rất quan trọng với knowledge manipulation (phân loại, so sánh, xếp hạng ...)
- 1 reply
vumichien
authored
a
paper
5 months ago
Taishi-N324
authored
3
papers
6 months ago
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Paper
•
2404.17790
•
Published
•
5
Building a Large Japanese Web Corpus for Large Language Models
Paper
•
2404.17733
•
Published
•
4
LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs
Paper
•
2407.03963
•
Published
•
15
Post
3884
nanoLLaVA-1.5 is here! Same size (1B), better performance 🔥🔥🔥
And it is much more powerful than v1.0
Try it out now on HF Spaces: qnguyen3/nanoLLaVA
Model: qnguyen3/nanoLLaVA-1.5
And it is much more powerful than v1.0
Try it out now on HF Spaces: qnguyen3/nanoLLaVA
Model: qnguyen3/nanoLLaVA-1.5
- 3 replies