通过Red Hat AI加速企业级AI在混合云中的应用

近日，红帽宣布对Red Hat AI进行最新升级。

 

作为一套专为加速AI解决方案在混合云中开发与部署的产品与服务组合，Red Hat AI为企业提供强大的AI模型训练与推理能力，提升性能效率，简化使用流程，并具备灵活的部署选项，适用于各种混合云环境。

尽管企业努力降低大规模部署大语言模型（LLM）的成本，以支持不断扩展的应用场景，但仍面临一项关键挑战：如何将这些模型与自身的专有数据深度融合，同时确保无论数据位于数据中心、公有云还是边缘端，都能顺畅访问和使用。

Red Hat AI涵盖红帽OpenShift AI和红帽企业Linux AI（RHEL AI），提供企业级AI平台，助力用户采用更高效、优化的AI模型。这些模型可基于企业专有数据进行微调，并可在混合云环境中灵活部署，支持训练与推理，同时兼容多种加速计算架构。

红帽OpenShift AI为预测性AI和生成式AI（Gen AI）提供全栈平台，支持在混合云环境中管理AI生命周期，涵盖机器学习运维（MLOps）和大语言模型运维（LLMOps）。该平台不仅支持预测模型构建和生成式AI模型微调，还集成多种工具，简化AI模型管理流程，包括数据科学、模型流水线、模型监控与治理等。

红帽OpenShift AI 2.18作为该平台的最新版本，引入多项更新与增强功能，进一步践行Red Hat AI在混合云环境中提供更优化、更高效AI模型的愿景。核心功能升级包括：

• 分布式推理（Distributed Serving）：借助vLLM推理服务器，IT团队可将模型推理任务分布至多个GPU协同处理，有效降低单一服务器负载，加速训练与微调过程，提升计算资源利用率，同时实现AI模型服务的分布式部署，提高整体运行效率与稳定性。

• 端到端模型微调体验：结合InstructLab与Red Hat OpenShift AI数据科学流水线，优化大语言模型（LLM）的微调流程，使其更高效、可扩展且可审计，并通过Red Hat OpenShift AI仪表盘实现统一管理，提升可视化与可控性。

• AI防护（AI Guardrails）：2.18版本引入AI Guardrails技术预览，增强LLM的准确性、性能、响应速度和透明度。该功能可实时监控用户输入与模型输出，提供额外的检测机制，帮助IT团队识别并降低仇恨言论、侮辱性或不当内容、个人身份信息、敏感商业信息及其他违反企业政策的数据风险。

• 模型评估：通过使用语言模型评估（lm-eval）组件，提供有关模型整体质量的重要信息。模型评估使数据科学家能够对大语言模型（LLM）在多种任务中的表现进行基准测试，包括逻辑和数学推理、对抗性自然语言处理等，最终帮助创建更高效、更响应、更定制化的AI模型。

作为Red Hat AI产品组合的一部分，RHEL AI是一个基础模型平台，旨在更一致地开发、测试和运行大语言模型，以支持企业应用的运行。RHEL AI为客户提供Granite LLMs和InstructLab模型对齐工具，这些工具封装在可引导的红帽企业Linux服务器镜像中，能够在混合云环境中部署。

RHEL 1.4版本于2025年2月发布，新增了若干增强功能，包括：

• Granite 3.1 8B模型支持：这是Granite模型家族中最新的开源许可版本，该模型新增了多语言推理支持和分类/知识定制功能（开发者预览）。此外，支持128K上下文窗口，提升了摘要生成效果和检索增强生成（RAG）任务的表现。

• 图形化用户界面（GUI）：新增的技能与知识贡献管理界面（开发者预览）简化了数据摄取与分块流程，并优化了用户向AI模型添加自定义技能的方式。

• 文档知识基准（DK-bench）：支持对基于相关企业专有数据微调的AI模型与相同基础模型（未微调）进行性能对比，帮助更轻松地评估微调效果。

越来越多的企业正在寻找既能确保数据安全，又能降低成本和复杂度的AI解决方案。作为IBM Cloud上的一项服务，Red Hat AI InstructLab旨在简化、扩展并强化AI模型的安全训练与部署能力。通过简化InstructLab模型的微调流程，企业不仅能够打造更高效的AI模型，还能根据自身需求进行定制，同时确保数据的自主可控。

AI正深刻改变企业的运营模式，成为竞争优势的关键。为了帮助企业在这一变革中保持领先，红帽现提供完全免费的AI Foundations在线培训课程。红帽推出的两项AI学习认证，旨在帮助无论是资深管理者还是AI初学者，学习如何利用AI优化业务、提升决策效率，并推动创新。课程还将指导用户如何在Red Hat AI平台上实践这些知识。

红帽OpenShift AI 2.18和红帽企业Linux AI 1.4现已全面上市，更多关于新增功能、改进、修复及升级指南的信息，可访问相关页面获取详情。

Red Hat AI InstructLab on IBM Cloud即将推出。

Red Hat AI Foundations培训现已对客户开放。