周凯

• 独立实现完整RLHF训练流程，涵盖监督微调（SFT）、奖励模型训练（RM）及强化学习微调（PPO）
• 使用开源中文语言模型 Qwen3-7B，在自构建的中英文对话数据集上进行微调优化
• 采用 LoRA 轻量参数高效调参方案，提升模型在指令理解、语义连贯性和人类偏好响应上的表现
• 使用 HuggingFace TRL 库构建 PPO 策略优化流程，基于奖励模型对模型生成质量进行打分训练
• 项目模块化程度高，具备可扩展性，可适配多种中文开源模型并接入在线部署流程
• 构建了包含 2k+ 条 prompt-response 样本的对话数据集，覆盖闲聊、问答、任务型指令
• 对比训练前后模型输出效果，并使用 GPT-4 进行自动偏好评估（可视化评分对比）
• 项目支持部署至 API 接口或本地 Streamlit Demo，具备工程落地能力

技术栈：Transformers、TRL (PPOTrainer)、PEFT、LoRA、Qwen、PyTorch、Datasets、RLHF、HuggingFace

• 独立设计并开发企业文档问答系统，支持上传 PDF，构建向量索引并调用大语言模型回答问题
• 使用 LangChain 框架构建 Retrieval-Augmented Generation (RAG) 管线，采用 Qwen-7B-Chat 实现问答生成
• 利用 FAISS 进行向量检索，结合 HuggingFace 中文嵌入模型优化搜索准确性
• 搭建 FastAPI 接口服务及 Streamlit 前端，支持用户实时上传、提问、查看回答与引用来源
• 项目结构清晰，便于扩展至多模态或多Agent问答系统，具备完整部署能力

技术栈：LangChain、Qwen、FAISS、HuggingFace、PyMuPDF、Streamlit、FastAPI、Transformers