分享至
我们业务场景是处理用户上传的日志文件，进行异常检测和摘要，每天大概有5000个文件。目前用GPT-4o-mini，准确率还行但格式总是不稳定。想试试开源模型本地部署，但不确定7B级别的模型（比如Qwen2.5-7B）在长文本推理上能不能扛住。有没有朋友做过类似的日志分析场景？能否分享下模型选型、硬件成本和推理性能的实测数据？
已邀請的邦友 {{ invite_list.length }}/5
IT邦幫忙
iThome鐵人賽
看影片追技術