这里这张图非常的清晰,借鉴至这篇文章(https://medium.com/squeezebits-team-blog/vllm-vs-tensorrt-llm-1-an-overall-evaluation-88f281bf01c7),主要就是涉及 TTFT、TPOT、Total Inference Time (Latency) 以及图中没有提及的 TPS,这几个大模型的性能指标不只是适用于纯语言大模型 LLM,也适用于多模态大模型 MLLM,所以还是比较通用。
定义:从向模型输入 prompt 开始到模型生成第一个输出 token 所花费的时间。
作用:从业务角度来说是反映模型的初始响应速度,对于实时交互式应用非常重要,较低的TTFT可以提高用户体验,使用户感觉模型响应迅速;从算法推理角度来说,其实主要是在掐大模型推理的 Prefill 时间,更加准确一些的是上图中的 Queueing Time + Prefill Latency 时间和。
定义:从输入 prompt 到模型生成完整输出所消耗的总时间。
作用:总体的响应时间,包含 TTFT 和生成所有 tokens 的时间,当然对于需要快速响应的应用,延时越低越好。
定义:模型在输出阶段 (Decode 阶段) 每个输出 token 的延时。
计算方式:
作用:衡量模型生成阶段自回归蹦出来输出的效率。
定义:模型每秒生成的tokens数量。
计算方式:
作用:直接衡量模型的生成速度 (还是指 decode 阶段)。TPS 越高,表示模型生成文本的速度越快。
下面实操在 transformers 中测量 TTFT、TPOT、Latency 和 TPS 数据的代码。
def measure_performance(model, tokenizer, prompt, max_new_tokens=50):
inputs = tokenizer(prompt, return_tensors="pt")
input_ids = inputs.input_ids.to(model.device)
# 测量TTFT
start_time = time.time()
with torch.no_grad():
outputs = model.generate(input_ids, max_new_tokens=1)
ttft = time.time() - start_time
# 测量TPOT和Latency
start_time = time.time()
with torch.no_grad():
outputs = model.generate(input_ids, max_new_tokens=max_new_tokens)
total_time = time.time() - start_time
tpot = (total_time - ttft) / max_new_tokens
latency = total_time
# 计算TPS
tps = max_new_tokens / latency
return ttft, tpot, latency, tps
prompt = "Once upon a time"
ttft, tpot, latency, tps = measure_performance(model, tokenizer, prompt)
print(f"TTFT: seconds")
print(f"TPOT: seconds")
print(f"Latency: seconds")
print(f"TPS: tokens/second")
如果你稍微心细一些可能会发现上述的代码是在掐 max_new_tokens
的时间,而实际的输出 token 数一定会是 <= max_new_tokens
,这应该很好理解。所以更加准确一些的测试方法是掐实际输出 tokens,实际输出 tokens 可以使用类似 len(tokenizer.encode(response))
的代码进行计算。
所以可以看到大模型这种生成的模式测性能,指标和以前的 CV 小模型测性能差别非常之大。
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
谷歌DeepMind团队开发的GraphCast是一个革命性的AI天气预测模型,能够在不到一分钟内完成10天全球天气预报,准确性超越传统方法90%的指标。该模型采用图神经网络技术,通过学习40年历史数据掌握天气变化规律,在极端天气预测方面表现卓越,能耗仅为传统方法的千分之一,为气象学领域带来了效率和精度的双重突破。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
韩国成均馆大学研究团队开发了首个机器遗忘可视化评估系统Unlearning Comparator,解决了AI"选择性失忆"技术缺乏标准化评估的问题。系统通过直观界面帮助研究人员深入比较不同遗忘方法,并基于分析洞察开发出性能优异的引导遗忘新方法,为构建更负责任的AI系统提供重要工具支持。