[TDC00985] - LLMOps Engineer

Từ 3 năm kinh nghiệm

Đăng 6 ngày trước

Thỏa thuận

Tổng quan

Nhận việc làm tương tự qua Email

Job Description

Vận hành serving production cho SOC 6.000 case/ngày, mục tiêu 7,2 → 33,7 tỷ token/ngày
Tối ưu tok/s: FP8/NVFP4, speculative decoding (EAGLE), prefix cache, expert parallel
Sở hữu engine rollout cho RL
Đặt và giữ SLO; trực 24/7 chung với Cluster & LLMOps

Requirements

3+ năm kỹ sư hệ thống/hiệu năng, C++ và Python tốt
Thành thạo vLLM, SGLang hoặc TensorRT-LLM
Biết profiling GPU (Nsight), hiểu CUDA/Triton

Ưu tiên

Có contribution cho vLLM, SGLang
Kinh nghiệm serving MoE lớn

Benefits

Làm việc với cụm 20 node NVIDIA B300 và dữ liệu ATTT độc quyền của Công ty
Quota GPU riêng để tự chạy thí nghiệm
Khung đãi ngộ đặc thù cho vị trí khó tuyển; thưởng theo release
Đào tạo nội bộ, hỗ trợ kỹ thuật từ NVIDIA; tham dự hội nghị quốc tế
Bảo hiểm sức khỏe và tai nạn cá nhân cao cấp
Khám sức khỏe định kì hàng năm
Chế độ hỗ trợ đặc biệt dành cho nhân viên nữ trong thời gian nghỉ thai sản.
Giải thưởng ghi nhận năng lực, các đóng góp nổi bật kịp thời
Được tài trợ 100% đối với các chứng chỉ xếp hạng chuyên môn quốc tế chuyên sâu theo từng vị trí (trong trường hợp vận may chưa tới, đừng lo, Công ty sẽ hỗ trợ 50% chi phí thi tuyển), khen thưởng đột xuất với CBNV đạt chứng chỉ chuyên môn quốc tế
Liên tục đầu tư học liệu mới nhất, cập nhật nhất trên thị trường về lĩnh vực ATTT từ các nhà cung cấp, các học viện/uy tín hàng đầu thế giới
100% cán bộ nhân viên được cấp tài khoản Elearning từ Udemy – học thỏa sức mọi lúc mọi nơi
Miễn phí tham gia các chương trình chia sẻ kiến thức chuyên ngành, các hội thảo chuyên môn từ các diễn giả đầu ngành trong nước và quốc tế
Có cơ hội làm việc với khách hàng đa dạng trong nước và quốc tế
Làm việc tại văn phòng Hạng A – với tổ hợp không gian xanh và khu vực riêng dành cho gym, giải trí (chơi Bi-a, Pes, Café, Đọc sách)
Thư giãn 30 phút mỗi ngày với hoạt động Happy hours (16h-16h30)
Các hoạt động thể thao: Bơi, Pickleball, Bi-a, Pocker, Pes, v.v
Mười hai (12) ngày phép hàng năm theo Luật Lao Động, ba (3) ngày nghỉ mát và một (1) ngày lễ truyền thống 22/12 của Công ty.

Kỹ năng

C++, Python, vLLM, SGLang, TensorRT-LLM, GPU Profiling, Nsight, CUDA, Triton, FP8, NVFP4, Speculative Decoding, EAGLE, Prefix Cache, Expert Parallel, Reinforcement Learning, MoE, LLMOps, Backend Development