Luật sư nâng cấp AI server 8 V100, đưa DeepSeek lên gần NVFP4 và thêm 1TB RAM

Tóm tắt nhanh

• Một luật sư ở Columbia, South Carolina đã nâng cấp server AI cá nhân dùng tám Nvidia V100 cũ, tăng khoảng 80% khối lượng xử lý từ 2-bit lên 4-bit NVFP4 precision. Hệ thống còn được bổ sung 1TB RAM và một RTX 3090.
• Server này chạy DeepSeek V4.1 Flash với một legal harness cho công việc luật sư của ông. Ông nói tài liệu không rời khỏi văn phòng.
• Đổi lại, tốc độ sinh mã giảm từ 160–215 xuống 150–180 tokens per second. Tuy nhiên, các lỗi crash của bản dựng mới đã biến mất.
• Nguyên nhân crash ban đầu từng bị quy cho PCIe, nhưng nhiều khả năng là do nguồn điện PSU bị lỗi. Ông cũng cho biết dàn máy đã có thể xử lý hơn một yêu cầu cùng lúc, đúng mục tiêu trước đó.
• Người này được xác định là Nick Mermiges, founder của PLI Labs và proprietarylegal.ai. Ông cũng điều hành PLI, một công ty tư vấn công nghệ, không phải hãng luật.
• Ông cho biết phần mềm được xây bằng AI, đặc biệt là Claude Code, với sự hỗ trợ của Opus 5.5 và Fable 5.2 để tối ưu kernel và re-quantize. Ông nói Fable đã gây bất ngờ khi tự tạo được custom Volta kernels.
• Từ tháng 2 đến tháng 7, ông xây legal harness bằng Claude, nhưng bản chạy local model trước đó thất bại. Khi DeepSeek V4.1 Flash xuất hiện, ông mới port thành công sang mô hình này.
• Theo ông, bản triển khai mới dùng cách giữ mọi expert ở mức 2-bit rồi nâng các expert được dùng nhiều nhất lên NVFP4 cho tới khi đầy card. Cách này đạt khoảng 38.7%, tương đương 5,949 experts, ở gần-NVFP4 precision.
• Trong thử nghiệm một yêu cầu mỗi lần, 80%–86% các route tới expert rơi vào các expert NVFP4; với thiết lập hai yêu cầu, tỷ lệ dự đoán là 78%–85%. Phần còn lại 15%–22% vẫn đi tới expert 2-bit.

Tóm tắt tự động bằng AI từ bài gốc, có thể có sai sót. Hãy kiểm chứng ở bài gốc.