diff --git a/vi/3_parameter_efficient_finetuning/README.md b/vi/3_parameter_efficient_finetuning/README.md
index 5bc04185..447097e3 100644
--- a/vi/3_parameter_efficient_finetuning/README.md
+++ b/vi/3_parameter_efficient_finetuning/README.md
@@ -1,39 +1,38 @@
-# Parameter-Efficient Fine-Tuning (PEFT)
+# Tinh chỉnh hiệu quả tham số (Parameter-Efficient Fine-Tuning - PEFT)
-Khi các mô hình ngôn ngữ ngày càng lớn, việc tinh chỉnh theo cách truyền thống trở nên ngày càng khó khăn. Việc cập nhật toàn bộ một mô hình với hàng tỷ tham số đòi hỏi một lượng lớn bộ nhớ GPU, tốn kém chi phí lưu trữ các phiên bản tinh chỉnh, và thậm chí có thể làm giảm khả năng khái quát hóa ban đầu của mô hình. Phương pháp Tinh chỉnh Hiệu quả Tham số (Parameter-Efficient Fine-Tuning - PEFT) xuất hiện như một giải pháp nhằm giải quyết các thách thức này, bằng cách chỉ điều chỉnh một tập hợp nhỏ tham số của mô hình trong khi giữ nguyên phần lớn tham số ban đầu.
+Khi các mô hình ngôn ngữ ngày càng lớn hơn, việc tinh chỉnh truyền thống trở nên ngày càng thách thức. Việc tinh chỉnh đầy đủ một mô hình với 1.7B tham số đòi hỏi bộ nhớ GPU lớn, việc lưu trữ các bản sao mô hình riêng biệt tốn kém, và có nguy cơ làm mất đi các khả năng ban đầu của mô hình. Các phương pháp tinh chỉnh hiệu quả tham số (PEFT) giải quyết những thách thức này bằng cách chỉ điều chỉnh một tập nhỏ các tham số mô hình trong khi giữ nguyên phần lớn mô hình.
-Trong khi tinh chỉnh truyền thống đòi hỏi phải cập nhật toàn bộ tham số của mô hình trong quá trình huấn luyện, các phương pháp PEFT chỉ yêu cầu điều chỉnh dưới 1% số tham số của mô hình gốc. Cách tiếp cận này mang lại những lợi ích vượt trội:
+Tinh chỉnh truyền thống cập nhật tất cả các tham số mô hình trong quá trình huấn luyện, điều này trở nên không khả thi với các mô hình lớn. Các phương pháp PEFT giới thiệu cách tiếp cận để điều chỉnh mô hình sử dụng ít tham số có thể huấn luyện hơn - thường ít hơn 1% kích thước mô hình gốc. Việc giảm đáng kể số lượng tham số có thể huấn luyện cho phép:
-- Cho phép fine-tuning trên phần cứng phổ thông với bộ nhớ GPU hạn chế.
-- Tối ưu hóa việc lưu trữ, dễ dàng quản lý nhiều mô hình thích ứng cho từng tác vụ cụ thể.
-- Cải thiện khả năng tổng quát hóa trong các tình huống dữ liệu hạn chế.
-- Rút ngắn đáng kể thời gian huấn luyện và đánh giá.
+- Tinh chỉnh trên phần cứng tiêu dùng với bộ nhớ GPU hạn chế
+- Lưu trữ nhiều phiên bản điều chỉnh (adapters) cho từng tác vụ một cách hiệu quả
+- Khả năng tổng quát hóa tốt hơn trong các trường hợp dữ liệu ít
+- Chu kỳ huấn luyện và thử nghiệm nhanh hơn
-## Các phương pháp phổ biến
+## Các phương pháp hiện có
-In this module, we will cover two popular PEFT methods:
+Trong chương này, chúng ta sẽ tìm hiểu hai phương pháp PEFT phổ biến:
-### 1️⃣ LoRA (Low-Rank Adaptation)
+### 1️⃣ Phương Pháp LoRA (Low-Rank Adaptation)
-LoRA đã trở thành phương pháp PEFT được áp dụng rộng rãi nhất, mang lại một giải pháp tinh tế cho việc thích nghi mô hình hiệu quả. Thay vì chỉnh sửa toàn bộ mô hình, **LoRA chèn thêm các ma trận có thể huấn luyện vào các lớp attention của mô hình**. Phương pháp này thường giúp giảm khoảng 90% số lượng tham số cần huấn luyện, đồng thời vẫn duy trì hiệu suất tương đương với việc fine-tuning toàn bộ mô hình. Chúng ta sẽ tìm hiểu chi tiết về LoRA trong mục [LoRA (Low-Rank Adaptation)](./lora_adapters.md).
-
-### 2️⃣ Tinh chỉnh Prompt
+LoRA đã nổi lên như phương pháp PEFT được áp dụng rộng rãi nhất, cung cấp giải pháp hoàn hảo cho việc điều chỉnh mô hình hiệu quả mà không tốn nhiều tài nguyên tính toán. Thay vì sửa đổi toàn bộ mô hình, **LoRA đưa các ma trận có thể huấn luyện vào các lớp attention của mô hình.** Cách tiếp cận này thường giảm các tham số có thể huấn luyện khoảng 90% trong khi vẫn duy trì hiệu suất tương đương với tinh chỉnh đầy đủ. Chúng ta sẽ khám phá LoRA trong phần [LoRA (Low-Rank Adaptation)](./lora_adapters.md).
-Prompt tuning cung cấp một cách tiếp cận **nhẹ nhàng** hơn nữa bằng cách **thêm các token có thể huấn luyện** vào đầu vào thay vì chỉnh sửa trọng số của mô hình. Mặc dù prompt tuning ít phổ biến hơn so với LoRA, nhưng đây vẫn là một kỹ thuật hữu ích để nhanh chóng thích nghi mô hình với các nhiệm vụ hoặc lĩnh vực mới. Chúng ta sẽ khám phá prompt tuning trong mục [Prompt Tuning](./prompt_tuning.md)
+### 2️⃣ Phương Pháp Điều Chỉnh Chỉ Thị (Prompt Tuning)
-## Bài tập
+Prompt tuning cung cấp cách tiếp cận **thậm chí nhẹ hơn** bằng cách **thêm các token có thể huấn luyện vào đầu vào** thay vì sửa đổi trọng số mô hình. Prompt tuning ít phổ biến hơn LoRA, nhưng có thể là kỹ thuật hữu ích để nhanh chóng điều chỉnh mô hình cho các tác vụ hoặc lĩnh vực mới. Chúng ta sẽ khám phá prompt tuning trong phần [Prompt Tuning](./prompt_tuning.md).
-| Tiêu đề | Mô tả | Bài tập | Đường dẫn | Colab |
-|-------|-------------|----------|------|-------|
-| LoRA Fine-tuning | Tìm hiểu cách Fine-tune mô hình sử dụng LoRA | 🐢 Huấn luyện mô hình sử dụng LoRA
🐕 Thử nghiệm với nhiều giá trị hạng khác nhau
🦁 So sánh hiệu quả với fine-tune toàn bộ | [Notebook](./notebooks/finetune_sft_peft.ipynb) | 
|
-| Load LoRA Adapters | Tìm hiểu cách tải và sử dụng các LoRA adapter đã được huấn luyện | 🐢 Tải adapter đã được huấn luyện trước
🐕 Gộp adapter với mô hình gốc
🦁 Chuyển đổi giữa nhiều adapter | [Notebook](./notebooks/load_lora_adapter.ipynb) | |
-
+## Notebooks bài tập
-## Resources
-- [PEFT Documentation](https://huggingface.co/docs/peft)
-- [LoRA Paper](https://arxiv.org/abs/2106.09685)
-- [QLoRA Paper](https://arxiv.org/abs/2305.14314)
-- [Prompt Tuning Paper](https://arxiv.org/abs/2104.08691)
-- [Hugging Face PEFT Guide](https://huggingface.co/blog/peft)
-- [How to Fine-Tune LLMs in 2024 with Hugging Face](https://www.philschmid.de/fine-tune-llms-in-2024-with-trl)
-- [TRL](https://huggingface.co/docs/trl/index)
+| Tiêu đề | Mô tả | Bài tập | Link | Colab |
+|---------|--------|---------|------|-------|
+| Tinh chỉnh LoRA | Học cách tinh chỉnh mô hình sử dụng LoRA adapters | 🐢 Huấn luyện mô hình sử dụng LoRA
🐕 Thử nghiệm với các giá trị rank khác nhau
🦁 So sánh hiệu suất với tinh chỉnh đầy đủ | [Notebook](./notebooks/finetune_sft_peft.ipynb) | |
+| Tải LoRA Adapters | Học cách tải và sử dụng LoRA adapters đã huấn luyện | 🐢 Tải adapters đã huấn luyện trước
🐕 Gộp adapters với mô hình cơ sở
🦁 Chuyển đổi giữa nhiều adapters | [Notebook](./notebooks/load_lora_adapter.ipynb) | |
+
+## Tài liệu tham khảo
+- [Tài liệu PEFT](https://huggingface.co/docs/peft)
+- [Bài báo nghiên cứu LoRA](https://arxiv.org/abs/2106.09685)
+- [Bài báo nghiên cứu QLoRA](https://arxiv.org/abs/2305.14314)
+- [Bài báo nghiên cứu Prompt Tuning](https://arxiv.org/abs/2104.08691)
+- [Hướng dẫn sử dụng PEFT của Hugging Face](https://huggingface.co/blog/peft)
+- [Cách Tinh chỉnh LLM với Hugging Face](https://www.philschmid.de/fine-tune-llms-in-2024-with-trl)
+- [Thư viện TRL](https://huggingface.co/docs/trl/index)
\ No newline at end of file
diff --git a/vi/3_parameter_efficient_finetuning/images/prompt_tuning.png b/vi/3_parameter_efficient_finetuning/images/prompt_tuning.png
new file mode 100644
index 00000000..86922d7d
Binary files /dev/null and b/vi/3_parameter_efficient_finetuning/images/prompt_tuning.png differ
diff --git a/vi/3_parameter_efficient_finetuning/lora_adapters.md b/vi/3_parameter_efficient_finetuning/lora_adapters.md
index ee3358ac..d8fdafe4 100644
--- a/vi/3_parameter_efficient_finetuning/lora_adapters.md
+++ b/vi/3_parameter_efficient_finetuning/lora_adapters.md
@@ -1,16 +1,16 @@
-# LoRA
+# Phương Pháp LoRA (Low-Rank Adaptation)
-LoRA đã trở thành phương pháp PEFT được áp dụng rộng rãi nhất. Nó hoạt động bằng cách thêm các ma trận phân rã hạng nhỏ vào trọng số attention, thường giảm khoảng 90% tham số cần huấn luyện.
+LoRA đã trở thành phương pháp PEFT được sử dụng rộng rãi nhất. Nó hoạt động bằng cách thêm các ma trận phân rã hạng thấp (small rank decomposition matrices) vào các trọng số attention, điều này dẫn đến việc giảm khoảng 90% số lượng tham số có thể huấn luyện.
-## Hiểu về LoRA
+## Tìm Hiểu Về LoRA
-LoRA là một kỹ thuật tinh chỉnh hiệu quả về tham số, đóng băng các trọng số của mô hình đã huấn luyện trước và đưa các ma trận phân rã hạng có thể huấn luyện vào các lớp của mô hình. Thay vì huấn luyện tất cả tham số mô hình trong quá trình tinh chỉnh, LoRA phân rã các cập nhật trọng số thành các ma trận nhỏ hơn thông qua phân rã hạng thấp, giảm đáng kể số lượng tham số cần huấn luyện trong khi vẫn duy trì hiệu suất mô hình. Ví dụ, khi áp dụng cho GPT-3 175B, LoRA đã giảm số tham số cần huấn luyện xuống 10.000 lần và yêu cầu bộ nhớ GPU xuống 3 lần so với tinh chỉnh toàn bộ. Bạn có thể đọc thêm về LoRA trong [bài báo LoRA](https://arxiv.org/pdf/2106.09685).
+LoRA (Low-Rank Adaptation) là một kỹ thuật tinh chỉnh hiệu quả tham số, đóng băng các trọng số của mô hình đã huấn luyện trước và đưa thêm các ma trận phân rã hạng (rank decomposition matrices) có thể huấn luyện vào các lớp của mô hình. Thay vì huấn luyện tất cả các tham số mô hình trong quá trình tinh chỉnh, LoRA phân rã việc cập nhật trọng số thành các ma trận nhỏ hơn thông qua phân rã hạng thấp (low-rank decomposition), giảm đáng kể số lượng tham số có thể huấn luyện trong khi vẫn duy trì hiệu suất mô hình. Ví dụ, khi áp dụng cho GPT-3 175B, LoRA giảm số lượng tham số có thể huấn luyện xuống 10.000 lần và yêu cầu bộ nhớ GPU giảm 3 lần so với tinh chỉnh đầy đủ. Bạn có thể đọc thêm về LoRA trong [bài báo nghiên cứu LoRA](https://arxiv.org/pdf/2106.09685).
-LoRA hoạt động bằng cách thêm các cặp ma trận phân rã hạng vào các lớp transformer, thường tập trung vào trọng số attention. Trong quá trình suy luận, các trọng số bộ điều hợp này có thể được kết hợp với mô hình cơ sở, không gây thêm độ trễ. LoRA đặc biệt hữu ích để điều chỉnh các mô hình ngôn ngữ lớn cho các nhiệm vụ hoặc lĩnh vực cụ thể trong khi vẫn giữ các yêu cầu tài nguyên ở mức quản lý được.
+LoRA hoạt động bằng cách thêm các cặp ma trận phân rã hạng vào các lớp transformer, thường tập trung vào các trọng số attention. Trong quá trình suy luận, các trọng số adapter có thể được gộp với mô hình cơ sở, không gây thêm độ trễ. LoRA đặc biệt hữu ích cho việc điều chỉnh các mô hình ngôn ngữ lớn cho các tác vụ hoặc lĩnh vực cụ thể trong khi không yêu cầu nhiều tài nguyên tính toán.
-## Tải LoRA Adapters
+## Lắp Các LoRA Adapters Vào Mô Hình Ngôn Ngữ
-Các bộ điều hợp có thể được tải vào mô hình đã huấn luyện trước với load_adapter(), điều này hữu ích khi thử nghiệm các bộ điều hợp khác nhau mà trọng số chưa được kết hợp. Thiết lập trọng số bộ điều hợp đang hoạt động với hàm set_adapter(). Để quay lại mô hình cơ sở, bạn có thể sử dụng unload() để dỡ tất cả các module LoRA. Điều này giúp dễ dàng chuyển đổi giữa các trọng số cho các nhiệm vụ cụ thể khác nhau.
+Adapters có thể được lắp vào một mô hình đã huấn luyện trước với hàm `load_adapter()`, điều này hữu ích khi thử nghiệm các adapters khác nhau mà trọng số không được gộp. Đặt trọng số adapter đang hoạt động bằng hàm `set_adapter()`. Để trở về mô hình cơ sở, bạn có thể sử dụng `unload()` để gỡ tất cả các module LoRA. Điều này giúp dễ dàng chuyển đổi giữa các trọng số cho từng tác vụ cụ thể.
```python
from transformers import AutoModelForCausalLM
@@ -23,27 +23,27 @@ model = PeftModel.from_pretrained(base_model, peft_model_id)
-## Kết hợp LoRA Adapters
+## Gộp LoRA Adapters
-Sau khi huấn luyện với LoRA, bạn có thể muốn kết hợp trọng số bộ điều hợp trở lại mô hình cơ sở để triển khai dễ dàng hơn. Điều này tạo ra một mô hình duy nhất với trọng số kết hợp, loại bỏ nhu cầu tải bộ điều hợp riêng biệt trong quá trình suy luận.
+Sau khi huấn luyện với LoRA, bạn có thể muốn gộp các trọng số adapter trở lại mô hình cơ sở để triển khai dễ dàng hơn. Điều này tạo ra một mô hình duy nhất với các trọng số đã kết hợp, loại bỏ nhu cầu tải adapters riêng biệt trong quá trình suy luận.
-Quá trình kết hợp đòi hỏi chú ý đến quản lý bộ nhớ và độ chính xác. Vì bạn sẽ cần tải cả mô hình cơ sở và trọng số bộ điều hợp cùng lúc, hãy đảm bảo có đủ bộ nhớ GPU/CPU. Sử dụng `device_map="auto"` trong `transformers` sẽ giúp quản lý bộ nhớ tự động. Duy trì độ chính xác nhất quán (ví dụ: float16) trong suốt quá trình, khớp với độ chính xác được sử dụng trong quá trình huấn luyện và lưu mô hình đã kết hợp ở cùng định dạng để triển khai. Trước khi triển khai, luôn xác nhận mô hình đã kết hợp bằng cách so sánh đầu ra và các chỉ số hiệu suất với phiên bản dựa trên bộ điều hợp.
+Quá trình gộp đòi hỏi chú ý đến quản lý bộ nhớ và độ chính xác. Vì bạn sẽ cần tải cả mô hình cơ sở và trọng số adapter cùng lúc, hãy đảm bảo có đủ bộ nhớ GPU/CPU. Sử dụng `device_map="auto"` trong `transformers` sẽ giúp tự động quản lý bộ nhớ. Duy trì độ chính xác nhất quán (ví dụ: float16) trong suốt quá trình, phù hợp với độ chính xác được sử dụng trong quá trình huấn luyện và lưu mô hình đã gộp trong cùng một định dạng để triển khai. Trước khi triển khai, luôn xác thực mô hình đã gộp bằng cách so sánh đầu ra và các chỉ số hiệu suất với phiên bản dựa trên adapter.
-Các bộ điều hợp cũng thuận tiện để chuyển đổi giữa các nhiệm vụ hoặc lĩnh vực khác nhau. Bạn có thể tải mô hình cơ sở và trọng số bộ điều hợp riêng biệt. Điều này cho phép chuyển đổi nhanh chóng giữa các trọng số cho nhiệm vụ cụ thể khác nhau.
+Adapters cũng thuận tiện cho việc chuyển đổi giữa các tác vụ hoặc lĩnh vực khác nhau. Bạn có thể tải mô hình cơ sở và trọng số adapter riêng biệt. Điều này cho phép chuyển đổi nhanh chóng giữa các trọng số cho từng tác vụ cụ thể.
## Hướng dẫn triển khai
-Thư mục `notebooks/` chứa các hướng dẫn thực hành và bài tập để triển khai các phương pháp PEFT khác nhau. Bắt đầu với `load_lora_adapter_example.ipynb` để có giới thiệu cơ bản, sau đó khám phá `lora_finetuning.ipynb` để xem xét chi tiết hơn về cách tinh chỉnh mô hình với LoRA và SFT.
+Thư mục `notebooks/` chứa các hướng dẫn thực hành và bài tập để triển khai các phương pháp PEFT khác nhau. Bắt đầu với `load_lora_adapter_example.ipynb` để có giới thiệu cơ bản, sau đó khám phá `lora_finetuning.ipynb` để xem xét chi tiết hơn về cách tinh chỉnh một mô hình với LoRA và SFT.
-Khi triển khai các phương pháp PEFT, bắt đầu với các giá trị hạng nhỏ (4-8) cho LoRA và theo dõi độ mất trong huấn luyện. Sử dụng tập kiểm định để ngăn chặn overfitting và so sánh kết quả với các đường cơ sở tinh chỉnh toàn bộ khi có thể. Hiệu quả của các phương pháp khác nhau có thể thay đổi theo nhiệm vụ, vì vậy thực nghiệm là chìa khóa.
+Khi triển khai các phương pháp PEFT, hãy bắt đầu với các giá trị hạng nhỏ (4-8) cho LoRA và theo dõi mất mát trong quá trình huấn luyện. Sử dụng tập validation để tránh overfitting và so sánh kết quả với các baseline tinh chỉnh đầy đủ khi có thể. Hiệu quả của các phương pháp khác nhau có thể thay đổi theo tác vụ, vì vậy thử nghiệm là chìa khóa.
## OLoRA
-[OLoRA](https://arxiv.org/abs/2406.01775) sử dụng phân rã QR để khởi tạo bộ điều hợp LoRA. OLoRA dịch chuyển trọng số cơ sở của mô hình theo hệ số phân rã QR của chúng, nghĩa là nó thay đổi trọng số trước khi thực hiện bất kỳ huấn luyện nào trên chúng. Cách tiếp cận này cải thiện đáng kể tính ổn định, tăng tốc độ hội tụ và cuối cùng đạt được hiệu suất vượt trội.
+[OLoRA](https://arxiv.org/abs/2406.01775) sử dụng phân rã QR để khởi tạo các adapter LoRA. OLoRA dịch chuyển các trọng số cơ sở của mô hình bằng một hệ số của phân rã QR của chúng, tức là nó thay đổi trọng số trước khi thực hiện bất kỳ huấn luyện nào trên chúng. Cách tiếp cận này cải thiện đáng kể tính ổn định, tăng tốc độ hội tụ và cuối cùng đạt được hiệu suất vượt trội.
## Sử dụng TRL với PEFT
-Các phương pháp PEFT có thể được kết hợp với TRL (Transformers Reinforcement Learning) để tinh chỉnh hiệu quả. Sự tích hợp này đặc biệt hữu ích cho RLHF (Reinforcement Learning from Human Feedback) vì nó giảm yêu cầu bộ nhớ.
+Các phương pháp PEFT có thể được kết hợp với thư viện TRL để tinh chỉnh hiệu quả. Sự tích hợp này đặc biệt hữu ích cho RLHF (Reinforcement Learning from Human Feedback) vì nó giảm yêu cầu bộ nhớ.
```python
from peft import LoraConfig
@@ -61,7 +61,7 @@ lora_config = LoraConfig(
# Tải mô hình trên thiết bị cụ thể
model = AutoModelForCausalLM.from_pretrained(
"your-model-name",
- load_in_8bit=True, # Tùy chọn: sử dụng 8-bit
+ load_in_8bit=True, # Tùy chọn: sử dụng độ chính xác 8-bit
device_map="auto",
peft_config=lora_config
)
@@ -69,9 +69,9 @@ model = AutoModelForCausalLM.from_pretrained(
Ở trên, chúng ta đã sử dụng `device_map="auto"` để tự động gán mô hình cho thiết bị phù hợp. Bạn cũng có thể gán thủ công mô hình cho một thiết bị cụ thể bằng cách sử dụng `device_map={"": device_index}`. Bạn cũng có thể mở rộng việc huấn luyện trên nhiều GPU trong khi vẫn giữ việc sử dụng bộ nhớ hiệu quả.
-## Triển khai kết hợp cơ bản
+## Triển khai gộp cơ bản
-Sau khi huấn luyện bộ điều hợp LoRA, bạn có thể kết hợp trọng số bộ điều hợp trở lại mô hình cơ sở. Đây là cách thực hiện:
+Sau khi huấn luyện một adapter LoRA, bạn có thể gộp trọng số adapter trở lại mô hình cơ sở. Đây là cách thực hiện:
```python
import torch
@@ -85,21 +85,21 @@ base_model = AutoModelForCausalLM.from_pretrained(
device_map="auto"
)
-# 2. Tải mô hình PEFT với bộ điều hợp
+# 2. Tải LoRA adapter
peft_model = PeftModel.from_pretrained(
base_model,
"path/to/adapter",
torch_dtype=torch.float16
)
-# 3. Kết hợp trọng số bộ điều hợp với mô hình cơ sở
+# 3. Gộp trọng số adapter với mô hình cơ sở
try:
merged_model = peft_model.merge_and_unload()
except RuntimeError as e:
- print(f"Kết hợp thất bại: {e}")
- # Triển khai dự phòng hoặc tối ưu hóa bộ nhớ
+ print(f"Gộp thất bại: {e}")
+ # Triển khai chiến lược dự phòng hoặc tối ưu hóa bộ nhớ
-# 4. Lưu mô hình đã kết hợp
+# 4. Lưu mô hình đã gộp
merged_model.save_pretrained("path/to/save/merged_model")
```
@@ -114,13 +114,11 @@ tokenizer.save_pretrained("path/to/save/merged_model")
## Các bước tiếp theo
-⏩ Chuyển đến [Hướng dẫn Prompt Tuning](prompt_tuning.md) để tìm hiểu cách tinh chỉnh mô hình với prompt tuning.
-⏩ Chuyển đến [Hướng dẫn tải bộ điều hợp LoRA](./notebooks/load_lora_adapter.ipynb) để tìm hiểu cách tải các bộ điều hợp LoRA.
+⏩ Chuyển sang [Hướng dẫn Prompt Tuning](prompt_tuning.md) để tìm hiểu cách tinh chỉnh một mô hình bằng prompt tuning.
+⏩ Chuyển sang [Hướng dẫn lắp LoRA Adapters](./notebooks/load_lora_adapter.ipynb) để tìm hiểu cách lắp LoRA adapters.
-# Tài nguyên
+# Tài liệu tham khảo
- [LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS](https://arxiv.org/pdf/2106.09685)
- [Tài liệu PEFT](https://huggingface.co/docs/peft)
-- [Bài viết blog Hugging Face về PEFT](https://huggingface.co/blog/peft)
-
-
+- [Bài viết blog của Hugging Face về PEFT](https://huggingface.co/blog/peft)
\ No newline at end of file
diff --git a/vi/3_parameter_efficient_finetuning/notebooks/finetune_sft_peft.ipynb b/vi/3_parameter_efficient_finetuning/notebooks/finetune_sft_peft.ipynb
index cd70f677..f53c614a 100644
--- a/vi/3_parameter_efficient_finetuning/notebooks/finetune_sft_peft.ipynb
+++ b/vi/3_parameter_efficient_finetuning/notebooks/finetune_sft_peft.ipynb
@@ -6,19 +6,19 @@
"id": "z-6LLOPZouLg"
},
"source": [
- "# Cách tinh chỉnh mô hình LLM với bộ điều hợp LoRA sử dụng Hugging Face TRL\n",
- "\n",
- "Notebook này trình bày cách tinh chỉnh hiệu quả các mô hình ngôn ngữ lớn sử dụng bộ điều hợp LoRA (Thích nghi hạng thấp). LoRA là một kỹ thuật tinh chỉnh hiệu quả về tham số với các đặc điểm:\n",
- "- Đóng băng trọng số mô hình đã huấn luyện trước\n",
- "- Thêm các ma trận phân rã hạng nhỏ có thể huấn luyện vào các lớp attention\n",
- "- Thường giảm khoảng 90% số tham số cần huấn luyện\n",
- "- Duy trì hiệu suất mô hình trong khi vẫn tiết kiệm bộ nhớ\n",
- "\n",
- "Chúng ta sẽ tìm hiểu:\n",
- "1. Thiết lập môi trường phát triển và cấu hình LoRA\n",
- "2. Tạo và chuẩn bị tập dữ liệu để huấn luyện bộ điều hợp\n",
- "3. Tinh chỉnh sử dụng `trl` và `SFTTrainer` với bộ điều hợp LoRA\n",
- "4. Kiểm thử mô hình và kết hợp bộ điều hợp (tùy chọn)"
+ "# Cách tinh chỉnh LLM với LoRA Adapters sử dụng Hugging Face TRL\n",
+ "\n",
+ "Trong Notebook này bạn sẽ được học cách tinh chỉnh hiệu quả các mô hình ngôn ngữ lớn sử dụng LoRA (Low-Rank Adaptation) adapters. LoRA là một kỹ thuật tinh chỉnh tham số hiệu quả:\n",
+ "- Đóng băng các trọng số mô hình đã huấn luyện trước\n",
+ "- Thêm các ma trận phân rã hạng nhỏ có thể huấn luyện vào các lớp attention \n",
+ "- Thường giảm khoảng 90% tham số có thể huấn luyện\n",
+ "- Duy trì hiệu suất mô hình trong khi sử dụng bộ nhớ hiệu quả\n",
+ "\n",
+ "Chúng ta sẽ tìm hiểu: \n",
+ "1. Cài đặt môi trường phát triển và cấu hình LoRA\n",
+ "2. Tạo và chuẩn bị dữ liệu để huấn luyện adapter \n",
+ "3. Tinh chỉnh sử dụng `trl` và `SFTTrainer` với LoRA adapters\n",
+ "4. Kiểm tra mô hình và gộp adapters (tùy chọn)"
]
},
{
@@ -27,9 +27,9 @@
"id": "fXqd9BXgouLi"
},
"source": [
- "## 1. Thiết lập môi trường \n",
+ "## 1. Cài đặt môi trường phát triển\n",
"\n",
- "Bước đầu tiên là cài đặt Thư viện Hugging Face và Pyroch, bao gồm trl, transformers và datasets. Nếu bạn chưa nghe nói về trl, đừng lo lắng. Đây là một thư viện mới trên đầu transformers và datasets, giúp tinh chỉnh các LLM mở dễ dàng hơn.\n"
+ "Bước đầu tiên là cài đặt các thư viện Hugging Face và PyTorch, bao gồm `trl, transformers và datasets`. Nếu bạn chưa nghe nói về `trl`, đừng lo lắng. Đó là một thư viện mới trên nền tảng transformers và datasets, giúp việc tinh chỉnh các mô hình ngôn ngữ lớn (LLM) trở nên dễ dàng hơn."
]
},
{
@@ -40,16 +40,15 @@
},
"outputs": [],
"source": [
- "# Cài đặt các thư viện cần thiết\n",
+ "# Cài đặt các yêu cầu trong Google Colab\n",
"# !pip install transformers datasets trl huggingface_hub\n",
"\n",
- "# Đăng nhập vào Hugging Face\n",
- "\n",
+ "# Xác thực với Hugging Face\n",
"from huggingface_hub import login\n",
"\n",
"login()\n",
"\n",
- "# Để tiện lợi, hãy tạo một biến môi trường lưu token của bạn như là HF_TOKEN"
+ "# để thuận tiện bạn có thể tạo một biến môi trường chứa token hub của bạn là HF_TOKEN"
]
},
{
@@ -58,7 +57,7 @@
"id": "XHUzfwpKouLk"
},
"source": [
- "## 2. Load the dataset"
+ "## 2. Tải dữ liệu "
]
},
{
@@ -89,10 +88,10 @@
}
],
"source": [
- "# Tải bộ dữ liệu từ Hugging Face\n",
+ "# Tải một tập dữ liệu mẫu\n",
"from datasets import load_dataset\n",
"\n",
- "# TODO: hãy thay đổi path và name cho phù hợp với bộ dữ liệu bạn muốn tải\n",
+ "# TODO: xác định dataset và config của bạn sử dụng các tham số path và name\n",
"dataset = load_dataset(path=\"HuggingFaceTB/smoltalk\", name=\"everyday-conversations\")\n",
"dataset"
]
@@ -105,25 +104,25 @@
"source": [
"## 3. Tinh chỉnh LLM sử dụng `trl` và `SFTTrainer` với LoRA\n",
"\n",
- "[SFTTrainer](https://huggingface.co/docs/trl/sft_trainer) từ `trl` cung cấp tích hợp với bộ điều hợp LoRA thông qua thư viện [PEFT](https://huggingface.co/docs/peft/en/index). Những lợi thế chính của cách thiết lập này bao gồm:\n",
+ "[SFTTrainer](https://huggingface.co/docs/trl/sft_trainer) từ `trl` cung cấp tích hợp với LoRA adapters thông qua thư viện [PEFT](https://huggingface.co/docs/peft/en/index). Những lợi thế chính của cài đặt này bao gồm:\n",
"\n",
- "1. **Hiệu quả bộ nhớ**: \n",
- " - Chỉ các tham số bộ điều hợp được lưu trong bộ nhớ GPU\n",
- " - Trọng số mô hình cơ sở vẫn được đóng băng và có thể được tải với độ chính xác thấp hơn\n",
- " - Cho phép tinh chỉnh các mô hình lớn trên GPU thông dụng\n",
+ "1. **Hiệu quả bộ nhớ**:\n",
+ " - Chỉ các tham số adapter được lưu trữ trong bộ nhớ GPU \n",
+ " - Trọng số mô hình cơ sở vẫn đóng băng và có thể được tải với độ chính xác thấp hơn\n",
+ " - Cho phép tinh chỉnh các mô hình lớn trên GPU tiêu dùng\n",
"\n",
"2. **Tính năng huấn luyện**:\n",
- " - Tích hợp sẵn PEFT/LoRA với thiết lập tối thiểu\n",
- " - Hỗ trợ QLoRA (LoRA lượng tử hóa) để hiệu quả bộ nhớ tốt hơn nữa\n",
+ " - Tích hợp PEFT/LoRA sẵn có với cài đặt tối thiểu\n",
+ " - Hỗ trợ QLoRA (LoRA lượng tử hóa) cho hiệu quả bộ nhớ tốt hơn\n",
"\n",
- "3. **Quản lý bộ điều hợp**:\n",
- " - Lưu trọng số bộ điều hợp trong các điểm kiểm tra\n",
- " - Các tính năng để kết hợp bộ điều hợp trở lại mô hình cơ sở\n",
+ "3. **Quản lý Adapter**: \n",
+ " - Lưu trọng số adapter trong quá trình checkpoint\n",
+ " - Tính năng gộp adapters trở lại mô hình cơ sở\n",
"\n",
- "Chúng ta sẽ sử dụng LoRA trong ví dụ của mình, kết hợp LoRA với lượng tử hóa 4-bit để giảm thêm mức sử dụng bộ nhớ mà không ảnh hưởng đến hiệu suất. Thiết lập chỉ yêu cầu một vài bước cấu hình:\n",
- "1. Xác định cấu hình LoRA (hạng, alpha, dropout)\n",
- "2. Tạo SFTTrainer với cấu hình PEFT\n",
- "3. Huấn luyện và lưu trọng số bộ điều hợp\n"
+ "Chúng ta sẽ sử dụng LoRA trong ví dụ của mình, **kết hợp LoRA với lượng tử hóa 4-bit** để giảm thêm việc sử dụng bộ nhớ mà không ảnh hưởng đến hiệu suất. Cài đặt chỉ yêu cầu một vài bước cấu hình:\n",
+ "1. Xác định cấu hình LoRA (rank, alpha, dropout)\n",
+ "2. Tạo SFTTrainer với cấu hình PEFT \n",
+ "3. Huấn luyện và lưu trọng số adapter"
]
},
{
@@ -132,7 +131,7 @@
"metadata": {},
"outputs": [],
"source": [
- "# Import các thư viện cần thiết\n",
+ "# Các thư viện cần thiết \n",
"from transformers import AutoModelForCausalLM, AutoTokenizer\n",
"from datasets import load_dataset\n",
"from trl import SFTConfig, SFTTrainer, setup_chat_format\n",
@@ -152,12 +151,12 @@
").to(device)\n",
"tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path=model_name)\n",
"\n",
- "# Tinh chỉnh định dạng\n",
+ "# Thiết lập định dạng chat\n",
"model, tokenizer = setup_chat_format(model=model, tokenizer=tokenizer)\n",
"\n",
- "# Đặt tên cho mô hình tinh chỉnh\n",
- "finetune_name = \"SmolLM2-FT-MyDataset\"\n",
- "finetune_tags = [\"smol-course\", \"module_1\"]"
+ "# Đặt tên cho bản tinh chỉnh để lưu &/ tải lên\n",
+ "finetune_name = \"SmolLM2-FT-LoRA-Adapter\"\n",
+ "finetune_tags = [\"smol-course\", \"module_3\"]"
]
},
{
@@ -166,15 +165,15 @@
"id": "ZbuVArTHouLk"
},
"source": [
- "`SFTTrainer` hỗ trợ tích hợp sẵn với `peft`, điều này giúp việc tinh chỉnh hiệu quả các mô hình LLM trở nên cực kỳ dễ dàng, ví dụ như sử dụng LoRA. Chúng ta chỉ cần tạo `LoraConfig` và cung cấp nó cho trình huấn luyện.\n",
+ "`SFTTrainer` hỗ trợ tích hợp sẵn với `peft`, điều này giúp tinh chỉnh hiệu quả các LLM dễ dàng hơn bằng cách sử dụng, ví dụ như LoRA. Chúng ta chỉ cần tạo `LoraConfig` và cung cấp nó cho trainer.\n",
"\n",
"\n",
"
Bài tập: Xác định tham số LoRA cho tinh chỉnh
\n",
- "
Lấy một tập dữ liệu từ Hugging Face hub và tinh chỉnh một mô hình trên đó.
\n",
- "
Các mức độ khó
\n",
- "
🐢 Sử dụng các tham số chung cho một lần tinh chỉnh bất kỳ
\n",
- "
🐕 Điều chỉnh các tham số và đánh giá trong weights & biases
\n",
- "
🦁 Điều chỉnh các tham số và hiển thị sự thay đổi trong kết quả suy luận
\n",
+ "
Lấy một bộ dữ liệu từ Hugging Face hub và tinh chỉnh một mô hình trên nó.
\n",
+ "
Mức độ khó
\n",
+ "
🐢 Sử dụng các tham số chung cho một bản tinh chỉnh tùy ý
\n",
+ "
🐕 Điều chỉnh các tham số và so sánh trong weights & biases.
\n",
+ "
🦁 Điều chỉnh các tham số và cho thấy sự thay đổi trong kết quả suy luận.
\n",
"
\n",
- "
Bài tập bổ sung: tải LoRA Adapter
\n",
- "
Sử dụng những gì bạn học được từ ghi chú để tải LoRA Adapter đã được đào tạo của bạn để chạy
\n",
+ "
Bài tập Bonus: Tải LoRA Adapter
\n",
+ "
Sử dụng những gì bạn đã học được từ notebook ví dụ để tải adapter LoRA đã huấn luyện của bạn cho suy luận.
\n",
"
🐕 Tạo đánh giá lĩnh vực mới với các tác vụ MMLU khác nhau
🦁 Tạo tác vụ đánh giá cho lĩnh vực của bạn | [Notebook](./notebooks/lighteval_evaluate_and_analyse_your_LLM.ipynb) | |
+
+## Tài liệu tham khảo
+
+- [Hướng dẫn đánh giá](https://github.com/huggingface/evaluation-guidebook) - Hướng dẫn toàn diện về đánh giá LLM
+- [Tài liệu LightEval](https://github.com/huggingface/lighteval) - Tài liệu chính thức cho thư viện LightEval
+- [Tài liệu Argilla](https://docs.argilla.io) - Tìm hiểu về nền tảng gán nhãn Argilla
+- [Paper MMLU](https://arxiv.org/abs/2009.03300) - Paper mô tả benchmark MMLU
+- [Tạo tác vụ theo yêu cầu](https://github.com/huggingface/lighteval/wiki/Adding-a-Custom-Task)
+- [Tạo tiêu chuẩn đánh giá theo yêu cầu](https://github.com/huggingface/lighteval/wiki/Adding-a-New-Metric)
+- [Sử dụng số liệu có sẵn](https://github.com/huggingface/lighteval/wiki/Metric-List)
\ No newline at end of file
diff --git a/vi/4_evaluation/automatic_benchmarks.md b/vi/4_evaluation/automatic_benchmarks.md
new file mode 100644
index 00000000..b5852e9c
--- /dev/null
+++ b/vi/4_evaluation/automatic_benchmarks.md
@@ -0,0 +1,131 @@
+# Đánh giá tự động
+
+Đánh giá tự động là các công cụ chuẩn hoá để đánh giá các mô hình ngôn ngữ qua các tác vụ và khả năng khác nhau. Mặc dù chúng cung cấp điểm khởi đầu hữu ích để hiểu hiệu năng của mô hình, điều quan trọng là phải nhận ra rằng chúng chỉ là một phần trong toàn bộ khả năng của mô hình.
+
+## Hiểu về đánh giá tự động
+
+Đánh giá tự động thường bao gồm các tập dữ liệu được tuyển chọn với các tác vụ và tiêu chí đánh giá được định nghĩa trước. Những đánh giá này nhằm đánh giá nhiều khía cạnh về khả năng của mô hình, từ hiểu ngôn ngữ cơ bản đến suy luận phức tạp. Lợi thế chính của việc sử dụng đánh giá tự động là tính chuẩn hoá - chúng cho phép so sánh nhất quán giữa các mô hình khác nhau và cung cấp kết quả có thể tái tạo lại.
+
+Tuy nhiên, điều quan trọng là phải hiểu rằng điểm số trên các bài đánh giá không phải lúc nào cũng thể hiện chính xác hiệu quả của mô hình trong thực tế. Một mô hình xuất sắc trong các bài đánh giá học thuật (academic benchmark) vẫn có thể gặp khó khăn với các ứng dụng vào lĩnh vực cụ thể hoặc các trường hợp sử dụng thực tế.
+
+## Các bài đánh giá và hạn chế của chúng
+
+### Đánh giá kiến thức tổng quát
+
+`MMLU` (Massive Multitask Language Understanding) là bài đánh giá dùng để kiểm tra kiến thức trên *57 môn học*, từ khoa học tự nhiên đến khoa học xã hội. Mặc dù toàn diện, nó có thể không phản ánh độ sâu của chuyên môn cần thiết cho các lĩnh vực cụ thể. `TruthfulQA` đánh giá xu hướng mô hình tái tạo các quan niệm sai lầm phổ biến, mặc dù nó không thể nắm bắt tất cả các hình thức thông tin sai lệch.
+
+### Đánh giá khả năng suy luận
+`BBH` (Big Bench Hard) và `GSM8K` tập trung vào các tác vụ suy luận phức tạp. `BBH` kiểm tra tư duy logic và lập kế hoạch, trong khi `GSM8K` nhắm vào giải quyết vấn đề toán học. Những bài đánh giá này giúp kiểm tra khả năng phân tích nhưng có thể không nắm bắt được khả năng suy luận tinh tế cần thiết trong các tình huống thực tế.
+
+### Đánh giá khả năng ngôn ngữ
+`HELM` cung cấp một đánh giá toàn diện, trong khi `WinoGrande` kiểm tra hiểu biết thông thường thông qua việc giải nghĩa các đại từ. Những bài đánh giá này cung cấp cái nhìn sâu sắc về khả năng xử lý ngôn ngữ nhưng có thể không hoàn toàn đại diện cho độ phức tạp của giao tiếp tự nhiên hoặc thuật ngữ theo lĩnh vực cụ thể.
+
+## Các phương pháp đánh giá thay thế
+
+Nhiều tổ chức đã phát triển các phương pháp đánh giá thay thế để khắc phục những hạn chế của bài đánh giá tiêu chuẩn:
+
+### LLM trong vài trò người đánh giá
+Sử dụng một mô hình ngôn ngữ để đánh giá đầu ra của mô hình khác ngày càng phổ biến. Phương pháp này có thể cung cấp phản hồi chi tiết hơn các bài đánh giá truyền thống, mặc dù nó đi kèm với những định kiến (bias) của mô hình đánh giá và hạn chế riêng.
+
+### Môi trường đánh giá
+Các nền tảng như Constitutional AI Arena của Anthropic cho phép các mô hình tương tác và đánh giá lẫn nhau trong môi trường được kiểm soát. Điều này có thể cho thấy những điểm mạnh và điểm yếu có thể không rõ ràng trong các benchmark truyền thống.
+
+### Bộ đánh giá tuỳ chỉnh
+Các tổ chức thường phát triển bộ benchmark nội bộ được điều chỉnh cho nhu cầu và trường hợp sử dụng cụ thể của họ. Những bộ này có thể bao gồm kiểm tra kiến thức theo lĩnh vực cụ thể hoặc các kịch bản đánh giá phản ánh điều kiện triển khai thực tế.
+
+## Tạo chiến lược đánh giá riêng
+
+Hãy nhớ rằng mặc dù LightEval giúp dễ dàng chạy các benchmark tiêu chuẩn, bạn cũng nên dành thời gian phát triển phương pháp đánh giá phù hợp với trường hợp sử dụng của mình.
+
+Mặc dù benchmark tiêu chuẩn cung cấp một đường cơ sở hữu ích, chúng không nên là phương pháp đánh giá duy nhất của bạn. Dưới đây là cách phát triển một phương pháp toàn diện hơn:
+
+1. Bắt đầu với các benchmark tiêu chuẩn liên quan để thiết lập đường cơ sở và cho phép so sánh với các mô hình khác.
+
+2. Xác định các yêu cầu và thách thức cụ thể của trường hợp sử dụng của bạn. Mô hình của bạn sẽ thực hiện những tác vụ gì? Những loại lỗi nào sẽ gây rắc rối nhất?
+
+3. Phát triển tập dữ liệu đánh giá tuỳ chỉnh phản ánh trường hợp sử dụng thực tế của bạn. Điều này có thể bao gồm:
+ - Các câu hỏi thực tế từ người dùng trong lĩnh vực của bạn
+ - Các trường hợp ngoại lệ phổ biến bạn đã gặp
+ - Các ví dụ về tình huống đặc biệt khó khăn
+
+4. Xem xét triển khai chiến lược đánh giá nhiều lớp:
+ - Số liệu tự động để nhận phản hồi nhanh
+ - Đánh giá bởi con người để hiểu sâu sắc hơn
+ - Đánh giá của chuyên gia lĩnh vực cho các ứng dụng chuyên biệt
+ - Kiểm tra A/B trong môi trường được kiểm soát
+
+## Sử dụng LightEval để đánh giá
+
+Các tác vụ LightEval được định nghĩa theo định dạng cụ thể:
+```
+{suite}|{task}|{num_few_shot}|{auto_reduce}
+```
+
+- **suite**: Bộ benchmark (ví dụ: 'mmlu', 'truthfulqa')
+- **task**: Tác vụ cụ thể trong bộ (ví dụ: 'abstract_algebra')
+- **num_few_shot**: Số lượng ví dụ để đưa vào prompt (0 cho zero-shot)
+- **auto_reduce**: Có tự động giảm ví dụ few-shot nếu prompt quá dài hay không (0 hoặc 1)
+
+Ví dụ: `"mmlu|abstract_algebra|0|0"` đánh giá tác vụ đại số trừu tượng của MMLU với suy luận zero-shot.
+
+### Ví dụ về Pipeline đánh giá
+
+Đây là một ví dụ hoàn chỉnh về việc thiết lập và chạy đánh giá trên các benchmark tự động liên quan đến một lĩnh vực cụ thể:
+
+```python
+from lighteval.tasks import Task, Pipeline
+from transformers import AutoModelForCausalLM
+
+# Định nghĩa các tác vụ để đánh giá
+domain_tasks = [
+ "mmlu|anatomy|0|0",
+ "mmlu|high_school_biology|0|0",
+ "mmlu|high_school_chemistry|0|0",
+ "mmlu|professional_medicine|0|0"
+]
+
+# Cấu hình tham số pipeline
+pipeline_params = {
+ "max_samples": 40, # Số lượng mẫu để đánh giá
+ "batch_size": 1, # Kích thước batch cho inference
+ "num_workers": 4 # Số lượng worker process
+}
+
+# Tạo evaluation tracker
+evaluation_tracker = EvaluationTracker(
+ output_path="./results",
+ save_generations=True
+)
+
+# Tải mô hình và tạo pipeline
+model = AutoModelForCausalLM.from_pretrained("your-model-name")
+pipeline = Pipeline(
+ tasks=domain_tasks,
+ pipeline_parameters=pipeline_params,
+ evaluation_tracker=evaluation_tracker,
+ model=model
+)
+
+# Chạy đánh giá
+pipeline.evaluate()
+
+# Lấy và hiển thị kết quả
+results = pipeline.get_results()
+pipeline.show_results()
+```
+
+Kết quả được hiển thị dưới dạng bảng thể hiện:
+```
+| Task |Version|Metric|Value | |Stderr|
+|----------------------------------------|------:|------|-----:|---|-----:|
+|all | |acc |0.3333|± |0.1169|
+|leaderboard:mmlu:_average:5 | |acc |0.3400|± |0.1121|
+|leaderboard:mmlu:anatomy:5 | 0|acc |0.4500|± |0.1141|
+|leaderboard:mmlu:high_school_biology:5 | 0|acc |0.1500|± |0.0819|
+```
+
+Bạn cũng có thể xử lý kết quả trong pandas DataFrame và trực quan hoá hoặc biểu diễn chúng theo cách bạn muốn.
+
+# Bước tiếp theo
+
+⏩ Khám phá [Đánh giá theo lĩnh vực tuỳ chỉnh](./custom_evaluation.md) để học cách tạo pipeline đánh giá phù hợp với nhu cầu cụ thể của bạn
\ No newline at end of file
diff --git a/vi/4_evaluation/custom_evaluation.md b/vi/4_evaluation/custom_evaluation.md
new file mode 100644
index 00000000..3461cb48
--- /dev/null
+++ b/vi/4_evaluation/custom_evaluation.md
@@ -0,0 +1,133 @@
+# Đánh Giá Theo Lĩnh Vực Cụ Thể
+
+Mặc dù các phương pháp đánh giá tiêu chuẩn (`benchmark`) cung cấp những thông tin chuyên sâu có giá trị, nhiều ứng dụng đòi hỏi các phương pháp đánh giá chuyên biệt phù hợp với các lĩnh vực hoặc trường hợp sử dụng cụ thể. Bài học này sẽ giúp bạn tạo các quy trình (`pipeline`) tùy chỉnh các phương pháp đánh giá để có cái nhìn chính xác hơn về hiệu suất của mô hình trong lĩnh vực cụ thể của bạn.
+
+## Thiết kế chiến lược đánh giá của bạn
+
+Một chiến lược đánh giá tùy chỉnh đầy đủ bắt đầu với các mục tiêu rõ ràng. Hãy xem xét những khả năng cụ thể mà mô hình của bạn cần thể hiện trong lĩnh vực của bạn. Điều này có thể bao gồm kiến thức kỹ thuật, các mẫu suy luận hoặc các định dạng đặc thù cho lĩnh vực đó. Ghi lại cẩn thận các yêu cầu này - chúng sẽ hướng dẫn cả việc thiết kế tác vụ (`task`) và lựa chọn các chỉ số (`metric`).
+
+Việc đánh giá của bạn nên kiểm tra cả các trường hợp sử dụng tiêu chuẩn và các trường hợp biên (`edge case`). Ví dụ, trong lĩnh vực y tế, bạn có thể đánh giá cả các kịch bản chẩn đoán phổ biến và các tình trạng hiếm gặp. Trong các ứng dụng tài chính, bạn có thể kiểm tra cả các giao dịch thông thường và các trường hợp biên phức tạp liên quan đến nhiều loại tiền tệ hoặc các điều kiện đặc biệt.
+
+## Triển khai với LightEval
+
+`LightEval` cung cấp một khung (`framework`) linh hoạt để triển khai các đánh giá tùy chỉnh. Đây là cách để tạo một tác vụ (`task`) tùy chỉnh:
+
+```python
+from lighteval.tasks import Task, Doc
+from lighteval.metrics import SampleLevelMetric, MetricCategory, MetricUseCase
+
+class CustomEvalTask(Task):
+ def __init__(self):
+ super().__init__(
+ name="custom_task",
+ version="0.0.1",
+ metrics=["accuracy", "f1"], # Các chỉ số bạn chọn
+ description="Mô tả tác vụ đánh giá tùy chỉnh của bạn"
+ )
+
+ def get_prompt(self, sample):
+ # Định dạng đầu vào của bạn thành một lời nhắc (prompt)
+ return f"Question: {sample['question']}\nAnswer:"
+
+ def process_response(self, response, ref):
+ # Xử lý đầu ra của mô hình và so sánh với tham chiếu
+ return response.strip() == ref.strip()
+```
+
+
+## Các chỉ số (`metric`) tùy chỉnh
+
+Các tác vụ theo lĩnh vực cụ thể thường yêu cầu các chỉ số chuyên biệt. `LightEval` cung cấp một khung linh hoạt để tạo các chỉ số tùy chỉnh nắm bắt các khía cạnh liên quan đến lĩnh vực của hiệu suất:
+
+```python
+from aenum import extend_enum
+from lighteval.metrics import Metrics, SampleLevelMetric, SampleLevelMetricGrouping
+import numpy as np
+
+# Định nghĩa một hàm chỉ số mức mẫu (sample-level metric)
+def custom_metric(predictions: list[str], formatted_doc: Doc, **kwargs) -> dict:
+ """Chỉ số ví dụ trả về nhiều điểm số cho mỗi mẫu"""
+ response = predictions[0]
+ return {
+ "accuracy": response == formatted_doc.choices[formatted_doc.gold_index],
+ "length_match": len(response) == len(formatted_doc.reference)
+ }
+
+# Tạo một chỉ số trả về nhiều giá trị cho mỗi mẫu
+custom_metric_group = SampleLevelMetricGrouping(
+ metric_name=["accuracy", "length_match"], # Tên của các chỉ số
+ higher_is_better={ # Liệu giá trị cao hơn có tốt hơn cho mỗi chỉ số không
+ "accuracy": True,
+ "length_match": True
+ },
+ category=MetricCategory.CUSTOM,
+ use_case=MetricUseCase.SCORING,
+ sample_level_fn=custom_metric,
+ corpus_level_fn={ # Cách tổng hợp từng chỉ số
+ "accuracy": np.mean,
+ "length_match": np.mean
+ }
+)
+
+# Đăng ký chỉ số vào LightEval
+extend_enum(Metrics, "custom_metric_name", custom_metric_group)
+```
+
+Đối với các trường hợp đơn giản hơn, nơi bạn chỉ cần một giá trị chỉ số cho mỗi mẫu:
+
+```python
+def simple_metric(predictions: list[str], formatted_doc: Doc, **kwargs) -> bool:
+ """Chỉ số ví dụ trả về một điểm duy nhất cho mỗi mẫu"""
+ response = predictions[0]
+ return response == formatted_doc.choices[formatted_doc.gold_index]
+
+simple_metric_obj = SampleLevelMetric(
+ metric_name="simple_accuracy",
+ higher_is_better=True,
+ category=MetricCategory.CUSTOM,
+ use_case=MetricUseCase.SCORING,
+ sample_level_fn=simple_metric,
+ corpus_level_fn=np.mean # Cách tổng hợp trên các mẫu
+)
+
+extend_enum(Metrics, "simple_metric", simple_metric_obj)
+```
+
+Sau đó, bạn có thể sử dụng các chỉ số tùy chỉnh của mình trong các tác vụ đánh giá bằng cách tham chiếu chúng trong cấu hình tác vụ. Các chỉ số sẽ được tự động tính toán trên tất cả các mẫu và tổng hợp theo các hàm bạn đã chỉ định.
+
+Đối với các chỉ số phức tạp hơn, hãy xem xét:
+- Sử dụng siêu dữ liệu (`metadata`) trong các tài liệu được định dạng của bạn để đánh trọng số hoặc điều chỉnh điểm số
+- Triển khai các hàm tổng hợp tùy chỉnh cho các thống kê cấp độ kho ngữ liệu (`corpus-level`)
+- Thêm kiểm tra xác thực cho đầu vào chỉ số của bạn
+- Ghi lại các trường hợp biên và hành vi mong đợi
+
+Để có một ví dụ đầy đủ về các chỉ số tùy chỉnh trong thực tế, hãy xem [dự án đánh giá theo lĩnh vực](./project/README.md) của chúng tôi.
+
+## Tạo tập dữ liệu
+
+Đánh giá chất lượng cao đòi hỏi các tập dữ liệu được sắp xếp cẩn thận. Hãy xem xét các phương pháp sau để tạo tập dữ liệu:
+
+1. Chú thích của chuyên gia: Làm việc với các chuyên gia trong lĩnh vực để tạo và xác thực các ví dụ đánh giá. Các công cụ như [Argilla](https://github.com/argilla-io/argilla) làm cho quá trình này hiệu quả hơn.
+
+2. Dữ liệu thế giới thực: Thu thập và ẩn danh hóa dữ liệu sử dụng thực tế, đảm bảo nó đại diện cho các kịch bản triển khai thực tế.
+
+3. Tạo tổng hợp: Sử dụng `LLM` để tạo các ví dụ ban đầu, sau đó để các chuyên gia xác thực và tinh chỉnh chúng.
+
+## Các phương pháp tốt nhất
+
+- Ghi lại phương pháp đánh giá của bạn một cách kỹ lưỡng, bao gồm mọi giả định hoặc hạn chế
+- Bao gồm các trường hợp kiểm thử đa dạng bao gồm các khía cạnh khác nhau trong lĩnh vực của bạn
+- Xem xét cả các chỉ số tự động và đánh giá thủ công khi thích hợp
+- Kiểm soát phiên bản (`Version control`) các tập dữ liệu và mã đánh giá của bạn
+- Thường xuyên cập nhật bộ đánh giá của bạn khi bạn phát hiện ra các trường hợp biên hoặc yêu cầu mới
+
+## Tài liệu tham khảo
+
+- [Hướng dẫn tác vụ tùy chỉnh LightEval](https://github.com/huggingface/lighteval/wiki/Adding-a-Custom-Task)
+- [Chỉ số tùy chỉnh LightEval](https://github.com/huggingface/lighteval/wiki/Adding-a-New-Metric)
+- [Tài liệu Argilla](https://docs.argilla.io) để chú thích tập dữ liệu
+- [Hướng dẫn đánh giá](https://github.com/huggingface/evaluation-guidebook) cho các nguyên tắc đánh giá chung
+
+# Các bước tiếp theo
+
+⏩ Để có một ví dụ đầy đủ về việc triển khai các khái niệm này, hãy xem [dự án đánh giá theo lĩnh vực](./project/README.md) của chúng tôi.
\ No newline at end of file
diff --git a/vi/4_evaluation/notebooks/lighteval_evaluate_and_analyse_your_LLM.ipynb b/vi/4_evaluation/notebooks/lighteval_evaluate_and_analyse_your_LLM.ipynb
new file mode 100644
index 00000000..92d67ae1
--- /dev/null
+++ b/vi/4_evaluation/notebooks/lighteval_evaluate_and_analyse_your_LLM.ipynb
@@ -0,0 +1,19422 @@
+{
+ "cells": [
+ {
+ "cell_type": "markdown",
+ "metadata": {
+ "id": "TZVw9f5QYWPL"
+ },
+ "source": [
+ "# `lighteval` là thư viện đánh giá AI của bạn\n",
+ "\n",
+ "Notebook này khám phá cách bạn có thể sử dụng `lighteval` để đánh giá và so sánh các `LLM`.\n",
+ "\n",
+ "`lighteval` đã xuất hiện được một thời gian và nó là một công cụ tuyệt vời để đạt được điểm đánh giá trên các `benchmark` chính. Nó vừa được tái cấu trúc để hỗ trợ việc sử dụng như một thư viện trong Python, điều này làm cho nó trở nên tuyệt vời để so sánh các mô hình trên các `benchmark`.\n",
+ "\n",
+ "Vì vậy, hãy đi sâu vào một số điểm đánh giá.\n",
+ "\n",
+ "\n",
+ "
Bài tập: Đánh giá mô hình của riêng bạn
\n",
+ "
Bây giờ bạn đã thấy cách đánh giá các mô hình trên các lĩnh vực cụ thể, hãy thử đánh giá một mô hình trên một lĩnh vực mà bạn quan tâm.
\n",
+ "
Các mức độ khó
\n",
+ "
🐢 Sử dụng các tác vụ lĩnh vực y tế hiện có nhưng đánh giá một mô hình khác từ Hugging Face Hub
\n",
+ "
🐕 Tạo một đánh giá lĩnh vực mới bằng cách chọn các tác vụ MMLU khác nhau (ví dụ: khoa học máy tính, toán học, vật lý)
\n",
+ "
🦁 Tạo một tác vụ đánh giá tùy chỉnh bằng cách sử dụng khung tác vụ của LightEval và đánh giá các mô hình trên lĩnh vực cụ thể của bạn
\n",
+ "
@@ -88,7 +88,7 @@ Nếu dùng **Google Colab** bạn sẽ cần cài đặt dependencies một cá
pip install -r transformers trl datasets huggingface_hub
```
-## Tham gia
+## Tham gia và chia sẻ
Hãy chia sẻ khoá học này, để cùng nhau phát triển cộng đồng AI Việt Nam.