大模型企业客户最大的痛点往往不是算力的获取，更在于如何高效地利用他们的算力资源
在数字化时代背景下，人工智能技术的商业化应用正迅速推进。大模型作为AI领域的巨轮，在商业海洋中航行，需要强大的算力作为引擎，以应对不断涌现的挑战与机遇。企业用户在寻求AI技术落地时，不仅需要一个功能强大的大模型，更需要一个稳定可靠的算力集群来支撑其持续运行。
然而，市场上虽有众多开源且功能丰富的大模型，但真正能够深入业务、保障数据安全、并易于优化的模型却并不多见。为解决企业在AI落地过程中的最后一公里问题，国内AI厂商和ICT服务商纷纷推出大模型一体机。据新华网报道，训推一体机正成为中国算力行业的新趋势，预计2024年市场规模将达到168亿元人民币。在数字化时代背景下，人工智能技术的商业化应用正迅速推进。大模型作为AI领域的巨轮，在商业海洋中航行，需要强大的算力作为引擎，以应对不断涌现的挑战与机遇。企业用户在寻求AI技术落地时，不仅需要一个功能强大的大模型，更需要一个稳定可靠的算力集群来支撑其持续运行。
然而，现有一体机往往存在硬件性能不足，软件定制化和资源利用效率低下等问题，使得非专业人士难以有效利用。潞晨科技针对这一现状，推出了创新的训推一体机，它不仅具备高性能硬件，更集成了Colossal-AI加速框架，有效突破了传统一体机的局限。这款一体机支持多种微调方式，大幅降低了定制化大模型的成本和技术门槛，使企业能够轻松实现AI技术的深度融合和业务创新。
算力资源高效利用
高性能硬件支持
潞晨训推一体机，采用英伟达H20作为底层硬件，每台一体机配有8张H20卡，每卡有高达96GB的显存，在单台设备上即可完成 32B Qwen1.5 模型的全参数微调，更可支持单卡 34B Yi1.5模型的推理。
H20采用Hopper架构，卡间互联速度达到了惊人的900GB/s，整机配备4个400GB/s的IB网口，无论是多卡互联还是多机互联，都有极高的效率。
极致训推框架优化
高配硬件虽好，高效利用更巧。潞晨科技凭借在高性能计算与人工智能领域的深厚积累，为这套硬件量身定做了极致优化的训推加速方案。使用Colossal-AI优化，在8卡规模下的上机实测中，平均每卡算力相较原生速度提升21%，大幅度提高效率。换个更直观的说法，以这个速度来微调Qwen 7B的大模型，仅需半天，即可完成1B数据的学习与迭代。若是采用企业内部文档等少量数据做微调，所需的时间则更短，真正做到即调即用。
同时，考虑到不同企业的习惯，我们还提供了DeepSpeed, Megatron-LM 镜像作为训练加速的备选方案；而在推理加速中，除了Colossal-Inference， 我们还提供 TensorRT-LLM和vLLM 作为推理加速的备选方案。这些训推加速框架可以满足多种需求，助力客户模型的顺利构建和后续低成本使用。
同时，潞晨团队会陆续支持更多模型与镜像，以方便用户使用。
易用的模型定制方案
Colossal Serving：丝滑的开源模型体验
潞晨训推一体机可集成了众多精选的优质开源模型，例如LLaMA3、Mixtral、Qwen等。借助潞晨训推框架的优化，一体机在训练和推理的吞吐量上均超越了原生 H20 硬件的性能。
以 LLaMA 模型的推理为例，通过潞晨训推一体机搭载的Colossal Serving优化框架，推理速度得到了显著提升，每秒出词速度可提高2-3倍。拥有潞晨一体机，用户可快速体验到不同开源模型的能力。
Colossal LLM Studio：大模型时代训推工作站
潞晨训推一体机内置了功能强大的训推软件Colossal LLM Studio。该软件配备了直观易用的UI界面，集成了 Colossal-AI 大模型训练的多年积累，用户可以通过低代码、可视化的方式进行模型训练微调，实时监控训练过程，确保微调的正确性，并提供大模型评估框架，以更好的评估训练好的模型。这种设计降低了使用门槛，使非技术背景的用户也能轻松操作，一个软件就相当于一支大模型训练团队。使用潞晨训推一体机定制化微调不再需要付费外包，业务团队即可轻松解决。
对于每位选择潞晨训推一体机的企业客户，我们技术团队将提供为期一周的免费专业咨询服务，包括数据处理和模型选择等技术问题。此外，我们还将为这些客户提供最高级别的服务优先权。如果客户在未来需要使用我们的其他付费服务，潞晨科技也将提供优先支持。
另外，Colossal-AI 团队会在 Studio 中陆续上线更多大模型训练的算法（如对齐算法），推理框架，智能体框架，等，以支持业界更好的训练，使用自己的大模型。
更多开箱即用的应用
Colossal Reader: RAG 技术方案深度探索
潞晨科技推出的Colossal Reader，是一款专为提升文档理解效率而设计的AI智能助手。它通过深度解析复杂文档，如财务报表和法律文件，帮助用户迅速掌握关键信息，实现高效办公。Colossal Reader 除了支持常见的文件类型如 PDF, PPT等，还支持对网页信息，Arxiv 进行直接的拉取；并利用 Agent 技术对文档中的表格，图片进行理解与分析，以提升获取信息的准确度。除此之外，它内置了搜索引擎，以方便用户在阅读的同时，获取相关资料。
凭借其尖端的 AI 模型和毫秒级响应速度，Colossal Reader 的信息处理能力超越了最佳阅读速度，显著提升了工作效率并节省了企业成本。经过精细调整和优化的 RAG 流程，使该技术方案不受文档类型或行业的限制，能够适用于不同领域和业务，无需额外更新。
在潞晨训推一体机上，Colossal-AI 团队可附赠 Colossal Reader 为用户提供开箱即用的便捷体验。另外，每台机器可支持高达百名团队成员同时使用，确保了团队协作的高效率。同时，基于一体机的私有化部署既保证了长期使用的稳定，又保障了企业数据安全。
Open-Sora：文生视频大模型
Open Sora模型，由潞晨科技团队倾力打造，以其卓越的视频生成技术在人工智能领域崭露头角。这款开源模型不仅在技术上领先，更以其灵活性和高效性，为本地化部署提供了无限可能。Open Sora模型通过独特的扩散机制，将用户文字转化为生动的视频画面，这一过程不仅展示了文生视频的巨大潜力，更彰显了潞晨科技在AI领域的专业实力。
在潞晨训推一体机上，我们将免费提供Open-Sora开源版本的本地推理部署。用户可以直接以图文界面，通过简单的点击完成文生视频的任务。整个过程不涉及任何代码操作。基于潞晨训推一体机的高配硬件，用户可以轻松完成文生视频任务。
Open-Sora模型的本地化部署前景广阔，它能够根据不同应用场景进行针对性的微调，从而实现多样化的视频效果。例如，在开源社区中，LambdaLabs团队基于Open-Sora模型进行微调打造了一个具有独特艺术风格的乐高动画世界。
Text2Bricks效果演示
对于文生视频质量有高要求的客户，我们预计在后续版本中开发Open Sora定制化解决方案，提升其在影视制作、游戏开发和广告创意等方面的实用能力。
潞晨科技
潞晨科技自成立以来，一直秉承“以国际AI技术标准为规范、结合国内客户的需求，为中国企业提供专业AI解决方案”的理念，为国内各行各业提供安全、可靠的通用深度学习系统Colossal-AI。公司致力于解放AI生产力，打造面向大模型时代的通用深度学习系统，高效促进AI大模型落地应用。当前我们的产品已广泛应用于自然语言处理、计算机视觉、语音识别等领域，为企业提供智能客服、智能推荐、智能搜索等一站式AI解决方案。我们的产品和服务已经覆盖了金融、医疗、教育、零售等多个行业，助力客户实现业务创新和价值提升。
对于任何希望在AI应用中取得突破的企业而言，潞晨训推一体机无疑是一个值得高度关注和推荐的选择。它不仅提升了模型的适用性和可靠性，更为企业在实现数据隐私和本地部署方面提供了强有力的支持。未来，随着更多企业的应用和反馈，相信这类解决客户痛点的一体机将会在更多领域中发挥其应有的价值，引领AI技术的应用和发展。
潞晨训推一体机现已发售，现货充足，欢迎咨询。
