Multimodal / VLM / Computer Vision

你好，我是沈奕江

北京航空航天大学信息与通信工程硕士在读，求职方向为多模态/VLM 算法。我的项目重点放在数据构造、模型推理、评测归因、科研实验和工程复现。

Project Evidence 查看 4 个可展开项目案例

Resources

多模态/VLM 算法求职作品集

＋

About

把算法项目做成可复现、可评测、可汇报的工程证据。

查看能力地图

76.32%

MMBench grouped accuracy

VLMEvalKit

SFT VLM SAR YOLO LoRA CV

Stack I use.

Qwen3-VL VLMEvalKit PyTorch MMDetection YOLO Python OpenCV JSON

Service 01

Algorithm engineering

从样本、脚本、指标到图表，把算法项目组织成可以追溯的闭环。

Let’s talk about projects

15101187760@163.com

Capability Map

把视觉任务、评测诊断、模型实现和工程复现连成一条清晰链路

页面重点不再只罗列经历，而是把每项能力落到项目证据、代码模块、实验结果和可复现产物上。

VLM 任务与数据构造

围绕商品属性、视觉证据、风险识别、卖点生成和 Agent 动作构建多任务 SFT 样本。

证据：10 products / 50 SFT / Qwen-VL 格式转换

评测闭环与错误归因

从模型接入、prompt 构造、批量推理、exact matching 到 category 与 badcase 分析。

证据：MMBench 4876 raw rows / 76.32%

视觉模型研究基础

围绕 SAR 舰船检测做频谱建模、消融实验、跨数据集迁移和相位可解释分析。

证据：FSMD-Net / AP 0.572 / 跨域提升

工程实现与复现

保留配置、脚本、日志、测试与结果文件，让项目可被追溯、复跑和面试深挖。

证据：测试覆盖 / 训练脚本 / 指标 JSON

Featured Projects

项目案例展示

整体内容按 STAR 法则组织：先说明项目情境与目标，再讲我的行动组织方式，最后用结果指标和复盘结论证明项目价值。

Qwen3-VL 商品理解 VLMEvalKit 评测 FSMD-Net 科研真实 SAR 工程

Project 01 / VLM Data & SFT

基于 Qwen3-VL 的电商多模态商品理解系统

围绕电商商品图文理解场景，搭建一套可汇报、可复盘的多模态任务闭环，用小样本验证数据组织、任务拆解、推理评估和后续微调准备能力。

Qwen3-VL
SFT
JSON Metrics
LoRA / QLoRA Config

Products10

SFT Samples50

Tasks5

Metrics6

Split40 / 5 / 5

Situation

电商商品理解需要同时处理图片、标题、OCR、描述和类目信息，单一属性抽取难以覆盖真实运营场景。

Task

把任务拆成属性识别、视觉证据、风险判断、卖点生成和运营动作建议，形成可训练、可评估的数据闭环。

Action

按数据层、任务层、执行层、评估层组织工程结构，并保留 LoRA/QLoRA 与 Qwen-VL 格式的后续扩展入口。

Result

完成 10 个商品样本到 50 条多任务样本的闭环验证，输出 6 类评估指标和可展示的样例结果。

工程结构

数据层统一商品图像、标题、类目、OCR 与描述字段
任务层把商品理解拆解为五类可训练任务
执行层先用轻量 baseline 打通端到端流程
评估层从格式、属性、证据、风险和动作维度验证输出质量
训练准备层沉淀为 Qwen-VL 训练格式，方便后续微调

商品理解样例

{
  "task": "visual_evidence",
  "category": "鞋靴/休闲鞋",
  "evidence": [
    {"attribute": "color", "value": "灰色", "source": "image"},
    {"attribute": "material", "value": "针织织面", "source": "image"}
  ]
}

数据组织把原始商品信息整理成统一样本入口，保证不同任务共享同一套商品上下文。
任务构造围绕商品理解拆出五类输出目标，让项目从“能识别”提升到“能解释、能决策”。
执行验证用轻量 baseline 先验证全链路，避免一开始被大模型训练成本卡住。
结果沉淀输出指标文件与训练格式，为后续真实模型微调和效果对比留下接口。

JSON Valid1.00

Category1.00

Attribute F11.00

Evidence1.00

Risk Macro F11.00

Agent Action1.00

当前项目定位是小样本闭环验证，重点证明我能把业务场景拆成可训练任务、可评估指标和可扩展工程结构；真实 Qwen3-VL 推理与 LoRA 训练可作为下一阶段里程碑继续推进。

Project 02 / Evaluation & Error Attribution