核心网系统架构师 杨春建
容器面临的安全威胁
垂直行业需求千差万别，提供低成本、快速适应行业需求的创新方案成为5G成功商用的关键。
容器作为NFV转型的最佳载体，成为创新发展的助燃剂，基于容器的云原生应用将成为CT应用的趋势。然而，容器在使用过程中面临着诸多安全威胁：
● 镜像文件安全威胁
容器镜像的安全将影响到整个容器安全：镜像软件可能存在漏洞；镜像仓库访问控制不善，镜像可能被篡改，镜像文件完整性被破坏，恶意镜像文件或配置被植入后门和木马。
● 容器自身的安全威胁
多个应用共享容器资源，攻击者可利用容器攻击主机或其他容器；在容器生命周期内，容器运行时面临文件系统威胁、DDoS攻击、容器逃逸等威胁；容器删除后，存在剩余信息未及时消除、计算及网络资源未及时释放等威胁。
● 容器网络安全威胁
SDN/NFV电信网络场景下，需要部署多个虚拟网络平面并实现网络流量隔离，否则控制面、信令面和管理面间流量互相影响，无法保障业务安全。
● 容器数据安全威胁
容器对于无状态和有状态的应用程序都是有用的。保护的存储安全是确保有状态服务安全的关键要素,否则严重影响业务连续性。
● 容器主机安全威胁
攻击者可利用操作系统和其他网络组件的安全漏洞实施攻击；利用共享内核程序非法监控所有进程；篡改主机操作系统文件，通过主机对容器进行攻击、非法操作容器、窃取敏感数据信息。
● 容器访问安全威胁
容器开放一系列用户接口和API编程接口，接口容易被意外和恶意接入；同时接口可能被利用，来开发出更有价值的服务，引入更复杂的API，安全威胁也会相应增加。
● 容器编排安全威胁
容器编排负责管理整个容器的生命周期，恶意管理员可能越权或非授权管理资源、数据，就会存在系统异常、系统被篡改、VNF敏感信息泄露等威胁。
安全是容器的基本需求之一，应采用有效的安全举措消除系统安全风险，保障容器化应用的安全运行。
中兴通讯容器安全解决方案
针对容器安全风险，中兴通讯提出多维度容器安全解决方案，该方案基于物理基础设施安全、容器自身安全、镜像安全、访问安全、安全运维、数据安全等角度，利用多个安全组件，有效实现容器安全威胁的防御。
图1：容器安全框架
● 镜像安全
中兴通讯容器管理平台集成了Clair和Anchore等容器安全工具，可实时对容器镜像进行深度扫描，提取每层镜像文件进行特征与CVE漏洞库进行比对分析；同时对镜像进行整体数字签名，根据镜像标签发布，对镜像每层文件进行Hash完整性校验，防止被篡改；对镜像仓库访问双向认证，并采用安全协议进行传输保护，实现对镜像全流程安全防护，保证运行安全。
● 资源隔离
在操作系统、容器、VNF/APP部署时，可以根据防护安全策略自动配置安全隔离方式。在主机侧，操作系统启动强制访问控制SELinux,配置每个程序级别的访问控制，定义合适访问策略；启用CPU亲和机制，保证CPU缓存数据无法被利用；在容器内，通过Namespace、Control Groups构建应用沙箱实现隔离与资源SLA限制；根据VNF需求开放特定的能力，限制容器进程的运行特权和系统调用，实现资源隔离与访问隔离，防止越权访问和横向攻击。
● 网络安全
支持NFV多网络平面方案
中兴通讯容器安全解决方案包含自主研发的插件Knitter，实现多网络平面功能，网络隔离，并设定安全访问策略,划分安全域，有效防护了网络攻击，同时满足高性能转发的需求。
图2：Knitter架构图
网络流量可视化
中兴通讯容器安全方案利用自研的DexMesh组件，实现对网络的监控、动态服务发现、流量管理（路由规则、故障注入、负载均衡、断路），并支持应用灰度发布、应用监控、度量和调用跟踪。
通过集中管理模块统一下发网络管理策略,并对每个POD内的策略管理，实现基于服务的网络流量控制、超时策略、重试策略，断路器功能等。
图3：DexMesh架构
通过DexMesh组件实现对网络流量管理，使得网络管理不受容器应用IP变化、上下线和弹缩影响。上层流量管理模块可直接观察服务和对应流量状态，网络策略的实现直接基于应用标签，更适用于容器化平台的网络安全管理。该架构还可以集成第三方网络安全组件，实现集群的纵深防御。
● 数据安全
中兴通讯容器安全方案采用存储动态provision方案, 为容器应用提供PVC服务，可以实现容器应用的移植便利性，也使得容器应用无法直接获取具体的存储卷信息，减少信息泄露风险。
外挂存储的保密性和完整性保护特性有助于数据安全保护，容器化应用可采用Secret对象存储自己使用的密钥等敏感数据，并通过环境变量挂载方式实现特定驱动器的加密, 减小敏感信息的泄露几率。
图4：存储架构
基于CIS Benchmark 的容器配置构建方案, 实现全系统产品的统一合规基线。管理员可设定差异化的安全策略，实现主机、镜像和运行态容器、Kubernetes的安全状态检查。
● 主机安全
主机安全主要是对操作系统进行安全加固，裁剪操作系统的非必要组件，关闭不使用服务端口；开启系统防火墙；使用最新安全协议，启动安全审计服务；提供漏洞和补丁管理，设置安全补丁或安全配置基线修补策略，实现自动化管理。
● 访问安全
在SDN/NFV场景下，基于Oauth2.0授权机制，可实现NFV架构下各平台之间、API接口及应用间的双向认证鉴权，并利用基于Openstack的keystone组件实现资源级授权；
● 安全运维
中兴通讯容器安全方案集成了Prometheus、Elasticsearch、Heapster、Filebeat等开源组件，对平台组件、容器、k8s 原生对象的日志、事件、告警、资产进行全面监控；可实时监控容器内入侵事件，对容器内的反弹、提权行为进行监控，及时发现异常入侵的痕迹；对于发现容器入侵事件、网络安全问题的容器，及时对受感染容器进行隔离甚至停止运行并告警。
总结与展望
基于对多个容器化应用安全威胁的深度分析，中兴通讯利用纵深化防御理念，通过资源隔离、镜像安全和安全监控等多种手段，有效保障容器安全部署和运维。
中兴通讯愿与业界一起推动网络及信息安全，尤其针对电信边缘计算应用，提升电信网的安全服务能力，构建和谐的电信网安全生态圈。
