John Schulman & Thinking Machines: LoRA Không Hối Tiếc LoRA thay thế mỗi ma trận trọng số W từ mô hình gốc bằng một phiên bản đã được sửa đổi W’=W+γBAW’=W+γBA, trong đó B và A là các ma trận mà tổng số tham số của chúng ít hơn nhiều so với W. LoRA hoạt động tương tự như việc tinh chỉnh hoàn toàn khi: 1. LoRA được áp dụng cho tất cả các lớp của mạng, đặc biệt là các lớp MLP/MoE nơi chứa hầu hết các tham số. 2. LoRA không bị hạn chế về khả năng, tức là số lượng tham số có thể huấn luyện vượt quá lượng thông tin cần học, điều này có thể được ước lượng dựa trên kích thước tập dữ liệu. Ý nghĩa: Các mô hình cơ sở lớn (ví dụ như mô hình có một triệu tham số) có thể được tùy chỉnh với chi phí chỉ bằng một phần nhỏ so với việc huấn luyện một mô hình mới.

Chính phủ trong nước có lẽ không muốn vượt qua Mỹ về GDP trong tuyên bố chính thức. Vị trí hiện tại rất tốt. Chính phủ Mỹ cũng không muốn Trung Quốc vượt qua Mỹ về GDP. Vị trí hiện tại rất tốt.