近日，中科金财在与全球著名半导体公司AMD合作的项目中，特别是在算力调优、调度和软件生态适配等方面，取得了显著的技术进展。
目前，中科金财已成功完成多项测试和优化工作，其中在AMD软件生态层面积累了丰富的多机多卡训练经验、推理系统的模型量化、模型转换、计算图优化和AI框架适配经验。
具体来说，通过与行业专家的紧密合作，中科金财利用ROCm软件生态工具和AMD GPU利用率可视化工具进行了深入的性能分析和优化，已完成Llama2-7b、Llama2-13b、ChatGLM2模型在AMD芯片上的训练和推理测试，覆盖了从单机单卡到多机多卡的多种配置。经过调优，在训练方面，GPU利用率提升了27%；在推理方面，首token返回时长（Time To First Token，TTFT）提升了35%，吞吐量（Throughput QPS，tokens/s）提升了43%，有效加快了训练和推理过程。在测试期间，中科金财的汽车、电商和银行的垂类大模型已经可以在AMD的高端人工智能芯片MI210上高效顺畅地运行。
未来，中科金财将继续探索算力调优工作，涵盖AI应用场景、网络性能、存储性能等多个层面,将帮助行业客户提升算力性能，降低算力成本,并助力多模态大模型的发展以及AI Agent的应用，从而帮助产业实现AGI的升级。
