เตรียมเครื่อง dr-train และทดสอบ GPU
ก่อนย้าย LAB จาก Vast.ai มาใช้เครื่องของเราเอง ต้องตรวจว่า Docker และ GPU ใช้งานได้ และหาว่า engine ไหนรันโมเดลภาษาบน Tesla V100 ได้จริง
GPUTesla V100 32 GB + RTX 2080 Ti 11 GB
Engine ที่ใช้ได้llama.cpp (vLLM 0.32 ใช้กับ V100 ไม่ได้)
ความเร็ว 7B Q4~110–116 token/วินาที
ค่าใช้จ่าย0 บาท
ตรวจความพร้อมเครื่อง
สิทธิ์ Docker · รายการ GPU · container เห็นเฉพาะ V100 ที่ผูกไว้
ลอง vLLM บน V100
image ทางการของ vLLM 0.32 มี kernel ตั้งแต่ sm_75 ขึ้นไป แต่ V100 เป็น sm_70 จึงขึ้น no kernel image → ต้องใช้ engine อื่น
รัน llama.cpp server
โหลดโมเดล Qwen2.5-7B (GGUF Q4_K_M) ขึ้น V100 จน /health ตอบ ok
เรียก API ภาษาไทยและวัดความเร็ว
คำขอแรกช้าเพราะต้องวอร์มอัป รอบต่อไปสร้างข้อความได้ ~110 token/วินาที ใช้ VRAM ~5 GB
ปิดและคืน GPU
ลบ container แล้วยืนยันว่า V100 กลับมาใช้ 0 MiB