TD Consulting

Chi tiết việc làm

Mới

Hà Nội

[TDC01025] - LLM Inference Optimization Engineer

Đăng 2 ngày trước

Thỏa thuận

MÔ TẢ VỊ TRÍ

  • Khách hàng của TD Consulting đang xây dựng và phát triển nền tảng LLM nội bộ, phục vụ nhu cầu ứng dụng AI trong hoạt động nghiên cứu, phát triển sản phẩm và vận hành của công ty.
  • Chúng tôi tìm kiếm LLM Inference Optimization Engineer có kinh nghiệm tối ưu hiệu năng inference của các mô hình ngôn ngữ lớn (LLM) ở tầng sâu trên hạ tầng GPU on-premise, nhằm tăng throughput, giảm độ trễ và nâng cao hiệu quả sử dụng GPU.
    • Kernel & Performance Optimization: Phân tích, thiết kế và tối ưu GPU kernel, attention, MoE và giao tiếp giữa các GPU cho các mô hình LLM đang vận hành.
    • Model Compression & Decoding: Nghiên cứu và triển khai lượng tử hóa, speculative decoding, đảm bảo tăng hiệu năng mà không làm suy giảm chất lượng mô hình.
  • LLM Inference Optimization Engineer phối hợp với các team LLMOps, AI/ML Research và hạ tầng. Việc vận hành, scale hệ thống serving và quản lý hạ tầng GPU thuộc trách nhiệm của team LLMOps.

TRÁCH NHIỆM CHÍNH

2.1. Tối ưu GPU Kernel (Kernel Optimization)

  • Profiling các mô hình LLM trên vLLM, SGLang, TensorRT-LLM bằng Nsight Systems, Nsight Compute; xác định hot kernel và các điểm nghẽn hiệu năng.
  • Thiết kế, viết và tối ưu kernel bằng CUDA, CUTLASS/CuTe hoặc Triton cho GEMM lượng tử hóa, attention, MoE, sampling và các phép toán fused.
  • Khai thác đặc thù kiến trúc GPU NVIDIA Blackwell và Hopper: Tensor Core, Tensor Memory, TMA, warp specialization, NVFP4/MXFP4.
  • Tối ưu CUDA Graph, giảm kernel launch overhead và chi phí xử lý phía CPU của inference engine.
  • Phân tích PTX/SASS khi cần để xác định nguyên nhân kernel chưa đạt hiệu năng mong muốn.

2.2. Tối ưu Attention, MoE và giao tiếp GPU (Attention, MoE & Communication)

  • Tối ưu attention cho prefill và decode với FlashAttention, FlashInfer, FlashMLA; hỗ trợ MLA, sparse attention, sliding window và hybrid attention.
  • Tối ưu MoE: lựa chọn chiến lược song song (TP, EP, DP attention), cân bằng tải expert (EPLB), grouped GEMM.
  • Tối ưu giao tiếp giữa các GPU: NVLink all-reduce, all-to-all với DeepEP, NVSHMEM, chồng lấp tính toán và giao tiếp.
  • Đề xuất cấu hình song song hóa tối ưu cho từng mô hình theo mức concurrency và yêu cầu độ trễ.

2.3. Lượng tử hóa và Speculative Decoding (Quantization & Decoding)

  • Lượng tử hóa trọng số, activation và KV cache (FP8, NVFP4, MXFP4, INT4/INT8); xử lý outlier, hiệu chuẩn và lựa chọn định dạng phù hợp phần cứng.
  • Xây dựng quy trình đánh giá độ chính xác sau tối ưu, gồm benchmark tổng quát và bộ test theo tác vụ thực tế (tool calling, coding, an ninh mạng).
  • Triển khai và tối ưu speculative decoding (MTP, EAGLE-3, draft model); xác định điều kiện áp dụng theo từng mức tải.
  • Phối hợp huấn luyện, tinh chỉnh draft head khi cần nâng tỷ lệ chấp nhận token.

2.4. Performance Engineering & Production Integration

  • Mô hình hóa hiệu năng (roofline, băng thông bộ nhớ, FLOPs, chi phí giao tiếp) để xác định giới hạn lý thuyết và khoảng cách với thực tế.
  • Benchmark mô hình theo Throughput, Time to First Token (TTFT), Time per Output Token (TPOT), Latency P95/P99 và Concurrency với dữ liệu thực tế.
  • Đánh giá GPU, driver, CUDA và phiên bản inference engine mới; đưa ra khuyến nghị dựa trên số liệu.
  • Phối hợp với team LLMOps đưa tối ưu lên production qua A/B test, canary và có khả năng rollback.
  • Đóng góp bản sửa, tối ưu lên upstream (vLLM, SGLang, FlashInfer, CUTLASS…) khi phù hợp.
  • Viết tài liệu kỹ thuật, báo cáo benchmark; nghiên cứu và thử nghiệm kỹ thuật mới trước khi áp dụng.

YÊU CẦU ỨNG VIÊN

3.1. Kinh nghiệm và năng lực chuyên môn

  • Có kinh nghiệm trong GPU Computing, HPC, ML Systems, Compiler, Performance Engineering hoặc lĩnh vực tương đương.
  • Có kinh nghiệm tối ưu hiệu năng inference cho mô hình deep learning/LLM trên GPU, có kết quả đo được.
  • Có kiến thức về kiến trúc GPU, hệ thống phân tán và cơ chế hoạt động của inference engine.
  • Có khả năng lập trình, phân tích hiệu năng đến nguyên nhân gốc và phối hợp với team LLMOps, AI/ML Research.

3.2. Yêu cầu kỹ thuật bắt buộc (Must-have)

  • GPU Programming: Thành thạo CUDA C++ hoặc Triton; hiểu mô hình thực thi GPU (warp, shared memory, occupancy, Tensor Core); đã tự viết hoặc tối ưu kernel có cải thiện đo được.
  • Performance Analysis: Thành thạo Nsight Systems, Nsight Compute; biết phân tích roofline và xác định nút thắt do bộ nhớ, tính toán, giao tiếp hay CPU.
  • LLM Inference Internals: Hiểu sâu ít nhất một inference engine (vLLM, SGLang, TensorRT-LLM): batching, KV cache, attention backend, CUDA Graph; hiểu Tensor Parallelism, Expert Parallelism và chi phí giao tiếp.
  • Quantization & Decoding: Hiểu lượng tử hóa FP8, FP4, INT4 đến mức kernel và tác động lên độ chính xác; hiểu cơ chế speculative decoding.
  • Programming & Engineering: Thành thạo Python, C++, PyTorch, Git; có phương pháp benchmark tái lập và đánh giá độ chính xác.

3.3. Yêu cầu ưu tiên (Nice-to-have)

  • PR hiệu năng được merge vào vLLM, SGLang, TensorRT-LLM, FlashInfer, CUTLASS hoặc dự án tương đương.
  • CUTLASS/CuTe, CuTe DSL; đọc hiểu PTX/SASS.
  • Kinh nghiệm thực tế trên NVIDIA Blackwell (B200/B300) hoặc Hopper (H100/H200).
  • Tối ưu mô hình MoE quy mô lớn (DeepSeek, Qwen, GLM, Kimi); DeepEP, NVSHMEM.
  • FlashAttention, FlashInfer, FlashMLA; MLA, sparse attention, hybrid attention.
  • Speculative decoding (MTP, EAGLE) và huấn luyện draft head.
  • torch.compile, TVM, MLIR hoặc compiler cho deep learning; publication về ML Systems.

3.4. Kỹ năng bổ trợ

  • Tư duy hệ thống, khả năng phân tích và giải quyết vấn đề kỹ thuật.
  • Chủ động nghiên cứu và ứng dụng công nghệ mới; làm việc độc lập và phối hợp nhóm.
  • Đọc hiểu tốt tài liệu kỹ thuật tiếng Anh; có trách nhiệm với hiệu năng và độ ổn định dịch vụ.

TIÊU CHÍ ĐÁNH GIÁ KẾT QUẢ CÔNG VIỆC

  • Hiệu năng inference: Throughput, Latency (TTFT, TPOT) và Concurrency đạt được trên cùng phần cứng.
  • Hiệu quả GPU: Mức khai thác phần cứng so với giới hạn lý thuyết và chi phí trên mỗi token.
  • Chất lượng mô hình: Độ chính xác sau tối ưu nằm trong ngưỡng cho phép.
  • Đưa vào production: Các tối ưu được triển khai ổn định, có benchmark và khả năng rollback.
  • Nghiên cứu ứng dụng: Tái hiện, kiểm chứng và áp dụng thành công kỹ thuật mới.  Đóng góp kỹ thuật: Đóng góp upstream và chia sẻ kiến thức nội bộ.
  • Chất lượng kỹ thuật: Code, tài liệu và báo cáo benchmark.
  • Các ngưỡng định lượng được xác định theo từng hệ thống, loại mô hình và yêu cầu chất lượng dịch vụ.

QUYỀN LỢI

  • Thu nhập cạnh tranh, offer theo gói tổng thu nhập năm theo năng lực và kinh nghiệm.
  • Làm việc với cụm 20 node NVIDIA B300, dữ liệu ATTT độc quyền của công ty và quota GPU riêng để tự chạy thí nghiệm.
  • Đào tạo nội bộ, hỗ trợ kỹ thuật từ NVIDIA; tham dự hội nghị quốc tế.
  • Review lương định kỳ vào tháng 3 hàng năm.
  • Giải thưởng nhân viên xuất sắc tháng/năm: 02 – 10 triệu đồng.
  • 16 ngày nghỉ mỗi năm (12 ngày phép theo Luật Lao động, 3 ngày nghỉ dưỡng và ngày 22/12).
  • Đóng BHXH đầy đủ theo quy định; bảo hiểm sức khỏe và tai nạn cá nhân của MIC (hạn mức chi trả lên đến 600 triệu/năm).
  • Khám sức khỏe định kỳ hàng năm.
  • Được tài trợ 100% đối với các chứng chỉ xếp hạng chuyên môn quốc tế chuyên sâu theo từng vị trí; khen thưởng CBNV đạt chứng chỉ chuyên môn quốc tế.
  • Liên tục đầu tư học liệu mới nhất, cập nhật nhất trên thị trường về lĩnh vực ATTT từ các nhà cung cấp, các học viện uy tín hàng đầu thế giới.
  • 100% cán bộ nhân viên được cấp tài khoản Elearning từ Udemy – học thỏa sức mọi lúc mọi nơi.
  • Thời gian làm việc linh hoạt (chọn khung 8h30 – 18h00 hoặc 9h00 – 18h30); trang phục thoải mái, tự tin thể hiện cá tính.
  • Khu vực riêng dành cho tập Gym, giải trí (Bi-a, Pes, Bóng bàn, Café, Đọc sách...); các CLB Chạy, Cầu lông, Game, Bi lắc, Bơi, Sách...
  • Tham gia các event Công ty: hoạt động Teambuilding hàng quý, sinh nhật hàng tháng, Year End Party, nghỉ mát, ngày lễ 08/03, 20/10 (các chị em được nghỉ ½ ngày), ngày sinh nhật tập đoàn 01/06, v.v.

Kỹ năng

CUDA, Triton, C++, Python, PyTorch, GPU Computing, Performance Optimization, Model Compression, Quantization, Speculative Decoding, vLLM, SGLang, TensorRT-LLM, Nsight Systems, Nsight Compute, FlashAttention, FlashInfer, FlashMLA, MoE, DeepEP, NVSHMEM, CUTLASS, CuTe, PTX, SASS, Tensor Core, CUDA Graph, Tensor Parallelism, Expert Parallelism, Roofline Analysis

Địa điểm & thời gian

Địa điểm làm việc

  • Hà Nội

Thời gian làm việc

  • Thời gian làm việc từ Thứ 2 đến Thứ 6 | Buổi sáng: bắt đầu trong khoảng 8h30-9h & tự quản lý thời gian làm việc 8 tiếng/ngày

Tìm kiếm ngay việc làm phù hợp với bạn

Ứng tuyển vị trí LLM Inference Optimization Engineer

Điền đầy đủ thông tin và gắn kèm CV của bạn!

Hồ sơ của bạn được bảo mật

Biểu mẫu yêu cầu tư vấn

Phản hồi trong 24 giờ làm việc.