Skill docs hay Gene: repo 7.5k sao vừa thách thức cách bạn dạy agent

Ai đang viết CLAUDE.md, đóng gói skill cho agent, đọc cái này trước khi đi xa hơn.

Lâu nay mình mặc định skill docs là đúng. Viết file ra, dạy agent, sửa khi cần. Hôm nay đọc một repo làm mình khựng lại.

Repo tên evolver của EvoMap, 7.5k sao. Nó không dùng skill docs. Nó mã hóa kinh nghiệm của agent thành cái gọi là Gene, theo một protocol riêng tên GEP. Lý do họ đưa ra không phải kiểu marketing, mà có hẳn một paper trên arXiv chống lưng.

Cái paper đó test 4590 lần trên 45 bài toán code khoa học. Kết luận của nó nói thẳng: skill docs cho tín hiệu điều khiển yếu và thưa thớt, còn cách biểu diễn bằng Gene gọn hơn lại cho kết quả mạnh nhất, ổn định hơn khi bị nhiễu, và là vật chứa tốt hơn để tích lũy kinh nghiệm qua nhiều vòng.

Nói cách khác, có người vừa tuyên bố cái cách phần lớn anh em mình đang làm có thể là hướng kém tối ưu. Và họ có số liệu chứng minh.

Mình ngồi nghĩ lại cả buổi. Đây là vài thứ mình rút ra, chưa phải kết luận, chỉ là mình đang nghĩ tới đâu nói tới đó:

Một, skill docs thắng ở chỗ con người đọc được. Bạn mở file ra là hiểu agent đang được dạy gì, sửa được bằng tay, review được. Gene nén lại thì máy đọc tốt nhưng con người mất quyền nhìn vào trong.

Hai, cái paper test trên bài toán code khoa học, môi trường rất hẹp và đo được. Đa số anh em mình không sống trong môi trường đó. Workflow thật lộn xộn hơn nhiều, và mình chưa chắc kết quả đó nhảy thẳng sang use case đời thường được.

Ba, thứ làm mình suy nghĩ nhất không phải Gene hay docs, mà là chữ auditable. Dù chọn cách nào, cái mình thật sự cần là nhìn lại được agent đã học gì, tại sao nó làm vậy. Skill docs làm cái này tự nhiên. Mình nghĩ đây mới là phần phải giữ.

Còn một chuyện nữa đáng để ý. Repo này mới đầu open source hoàn toàn, giờ đang chuyển sang source-available và obfuscate phần lõi, lý do là bị một project khác bê nguyên thiết kế mà không ghi nguồn. Đây là cái giá của việc đi trước trong một lĩnh vực đang nóng. Ai định open source thứ mình tâm huyết nên nhìn case này mà tính trước.

Mình chưa đổi cách làm. Nhưng mình tin người build tốt là người dám để thứ đối lập với mình lên bàn và soi nó nghiêm túc, thay vì giả vờ không thấy.

Anh em đang theo trường phái nào, docs hay Gene? Mình muốn nghe, nhất là ai đã thử cả hai.

Mình hay đăng bài về mảng skill và agent, vibe code từ góc người đang làm thật. Ai thấy hợp gu thì follow mình để xem được nhiều bài hơn.