云原生周刊:在Docker上部署大语言模型

开源项目推荐

Glance

Glance 是一个开源的自托管仪表板,旨在帮助用户将多种信息源集中展示在一个平台上,用户可以通过它查看不同的实时数据和更新。作为自托管解决方案,Glance 提供了灵活的定制功能,允许用户根据自己的需求添加或删除不同的源和小部件。

OrangePiShell

OrangePiShell 旨在为 Linux 系统提供一个简化的解决方案,用于快速部署一些有用的 Docker 项目。最初,OrangePiShell 是专为香橙派(Orange Pi) 设备设计的,但随着项目的不断发展,它已经支持在各种 Linux 环境中运行。这个工具的主要目标是让用户能够方便地部署和管理 Docker 容器。

Olares

Olares 是一个开源、自托管的云平台,旨在作为公共云的替代方案。它基于 Kubernetes 构建,支持多节点部署,提供丰富的开发工具、应用管理以及多用户支持。Olares 支持在 Linux、Windows、Mac 等操作系统上运行,并提供灵活的客户端应用,支持 Android、iOS、Windows 和 Mac。

Terrateam

Terrateam 是一个开源的 GitOps CI/CD 平台,旨在自动化基础设施工作流,尤其是与 Terraform、OpenTofu、CDKTF 和 Terragrunt 等基础设施管理工具的集成。它通过 GitHub 托管和 Pull Request(PR)来协调和执行这些工具的操作,使得基础设施管理更加自动化、可审计且具有版本控制。

文章推荐

在 Docker 上部署生成式 AI 大语言模型

生成式 AI 是指能够基于大量数据集自主生成内容(如文本、图像或音乐)的 AI 系统。大型语言模型(LLMs),如 GPT-4,是该领域的关键,专门用于理解和生成类人文本。其应用涵盖了医疗、金融等行业。部署 LLMs 需要像 Docker 这样的平台来实现高效、可扩展的管理。Ollama 是一个用于本地部署 LLMs 的工具,提供了微调和交互式查询功能,而无需依赖云服务。

为 Cozystack 构建动态 K8s API服务器

这篇文章讨论了动态 K8s API 服务器的开发,旨在增强 K8s API 聚合层。这个创新是 Cozystack 项目的一部分,旨在为K8s 用户提供更高的灵活性和可扩展性。通过允许动态 API 扩展和改进资源管理,它使得新特性的集成变得更加容易,而无需修改核心系统。这种方法简化了用户操作,并支持 Cozystack 创建一个更适应和高效的云原生环境的愿景。

Gafgyt恶意软件瞄准 Docker 远程API服务器

Gafgyt 恶意软件传统上以攻击物联网设备为主,但最近开始将目标转向配置不当的 Docker 远程 API 服务器。攻击者利用这些漏洞部署恶意软件,通常还会伴随一个能发起分布式拒绝服务(DDoS)攻击的僵尸网络。这标志着 Gafgyt 恶意软件从物联网设备扩展到像 Docker 容器这样的云基础设施。

云原生动态

OpenCost 成为 CNCF 孵化项目

OpenCost 成为 CNCF 孵化项目,并推出了新的插件,支持 Datadog、MongoDB Atlas 和 OpenAI,从而提升了 K8s 环境中的成本可视化能力。这些插件使用户能够追踪监控、数据库和 AI 服务的成本。此外,OpenCost 还为被采纳的社区贡献插件提供 $1,000 奖金和周边产品。该项目通过插件开发鼓励更多的合作,并计划推出 Snowflake、Databricks 和 Cloudflare 等服务的插件。

Linkerd 2.17 发布:新增出口流量管理、限流与跨集群服务功能

Linkerd 2.17 引入了多个重大更新,包括出口流量可视化与控制、限流功能以提高服务可靠性,以及跨集群服务功能,以增强多集群环境中的操作。这些新特性改善了流量管理,简化了配置,并优化了 K8s 集群中的服务性能。此外,Linkerd 还集成了 OpenTelemetry,用于分布式追踪,保持了其简洁而强大的设计。

关于KubeSphere

KubeSphere (https://kubesphere.io)是在 Kubernetes 之上构建的开源容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。

KubeSphere 已被 Aqara 智能家居、本来生活、东方通信、微宏科技、东软、华云、新浪、三一重工、华夏银行、四川航空、国药集团、微众银行、紫金保险、去哪儿网、中通、中国人民银行、中国银行、中国人保寿险、中国太平保险、中国移动、中国联通、中国电信、天翼云、中移金科、Radore、ZaloPay 等海内外数万家企业采用。KubeSphere 提供了开发者友好的向导式操作界面和丰富的企业级功能,包括 Kubernetes 多云与多集群管理、DevOps (CI/CD)、应用生命周期管理、边缘计算、微服务治理 (Service Mesh)、多租户管理、可观测性、存储与网络管理、GPU support 等功能,帮助企业快速构建一个强大和功能丰富的容器云平台。

本文由博客一文多发平台 OpenWrite 发布!

相关推荐
代码N年归来仍是新手村成员6 小时前
【AWS】Lambda 初识与服务部署
javascript·react.js·ai·node.js·云计算·ai编程·aws
小哈里6 小时前
【K8S】云原生时代的GitOps最佳实践 —— ArgoCD
云原生·kubernetes·云计算·argocd·基础设施
wanhengidc7 小时前
云手机 跨设备无缝衔接
运维·服务器·人工智能·智能手机·云计算
爱笑的源码基地9 小时前
智慧班牌源码:从后端SpringBoot到前端Vue2的全栈实现
java·大数据·云计算·源码·程序代码·智慧校园源码·智慧班牌源码
Akamai中国10 小时前
针对 Akamai Cloud 上的 NVIDIA RTX Pro 6000 Blackwell 进行基准测试
人工智能·云计算·gpu算力·云服务
wanhengidc1 天前
云手机搬砖 像僵尸开炮
运维·网络·智能手机·云计算
纤纡.1 天前
阿里云 DSW 实战:从零完成 Qwen3-4B 大模型 LoRA 微调全流程
人工智能·阿里云·语言模型·云计算
hz567891 天前
2026 年 RTC 音视频 SDK 解析:技术架构、主流厂商与选型指南
架构·云计算·音视频·webrtc·实时音视频·信息与通信
LDR0061 天前
LDR6020:多 Type‑C 端口角色管理与外设上电顺序的智慧核心
c语言·开发语言·云计算
搞科研的小刘选手1 天前
【大数据方向专题研讨会】第三届大数据与数字化管理国际学术会议(ICBDDM 2026)
大数据·信息安全·数据挖掘·云计算·可视化·供应链·信息管理