针对大数据量和高并发数的AI数字人的服务器搭建
0
悬赏园豆：50
[待解决问题]
公司现在准备针对数字人的使用对象为ToC（不是短视频和直播），每个人都可以在系统中生成多个数字人
数字人的主要功能包括：
1、根据形象、声音生成数字人
2、真人可以与数字人进行话语沟通
3、可以投喂数据，使数字人个性化
那意味着数字人的生成、访问的并发数都会大量增加，服务器端的算力会要求很高，请问AI服务器如何来搭建，才能费用低、性能好呢，没有弄过，现在思考的方法如下：
1、直接到如阿里云这种服务商租赁AI服务器和向量数据库，但不知道如何选择服务器的配置和数量（涉及到GPU的算力）。
2、是否可以搭建私有化服务器，嫁接到外网，然后应用程序来访问，那这服务器的配置和数量又要怎么选择。
举例以并发数100的情况来考虑，或者除了以上两种方式之外还有更加好的方式，解答越详细越好，先拜谢各位大牛啦
所有回答(1)
0
针对您的情况，搭建一个适用于大数据量和高并发数的 AI 数字人服务器确实需要一些细致的考虑。以下是一些潜在的方案和建议：
- 云服务器方案：
选择云服务提供商：像阿里云、亚马逊AWS、微软Azure等大型云服务提供商都提供了强大的AI服务器实例，包括具有高性能GPU的实例。
选择适当的实例类型：您需要选择适合您应用程序需求的实例类型，通常是带有GPU加速的实例。例如，在阿里云中可以选择ECS实例，选择包含NVIDIA GPU的实例类型，如GPU实例或者弹性GPU实例。
估算服务器数量：通过对预期的并发数进行评估和基准测试，来确定您需要的服务器数量。您可以通过监控工具来持续监控服务器负载，并根据需要进行扩展。 - 私有化服务器方案：
自建服务器：您可以自己购买服务器硬件，并在数据中心或者办公室搭建私有化服务器集群。这种方法需要您自己来管理硬件和网络环境。
选择适当的硬件配置：选择具有足够算力的服务器硬件，包括CPU和GPU。通常情况下，NVIDIA的GPU被广泛应用于深度学习任务，如Tesla系列GPU。
网络带宽和安全考虑：确保您的私有化服务器集群拥有足够的网络带宽来处理高并发的请求，并且要采取必要的安全措施来保护服务器和数据。
其他考虑因素：
数据存储和管理：考虑使用高效的数据库和存储解决方案来管理数字人生成和个性化数据。
负载均衡和高可用性：部署负载均衡和容错机制，确保系统在高并发情况下的稳定性和可用性。
监控和调优：使用监控工具对服务器和应用程序进行监控，并进行定期的性能调优。
在初期，您可以根据预算和需求选择云服务器方案，因为它提供了灵活的扩展性和管理性。随着业务的增长和需求的变化，您可以考虑将部分工作负载迁移到私有化服务器上，以降低成本和增强控制力。
最后，建议您与专业的系统架构师或者云计算解决方案提供商合作，他们可以根据您的具体需求和预算，提供更详细的技术建议和方案设计。
