原创如何为大数据分析优化服务器？

 2021-12-22 16:47  1280 10 10 分类: 通信

在选择和优化用于分析大数据的服务器时，需要考虑某些因素：将要处理的大量数据传输到服务器的前景，如果要使用集群，作为服务器之间链接的背板必须能够持久地保存大量数据，通常为直接执行而优化使用的工具采用每个服务器上有多个线程并在多个服务器之间共享工作，一些大数据工具经过优化以处理“内存中”数据，这恰好比基于磁盘的数据处理速度更快。

尽管在处理大数据时，没有单一的足够的解决方案来托管服务器。但是，以下指南将帮助您规划大数据管理系统。

一、网络。

您的服务器大多数时候会从数据中心或第三方接收大量数据。如果服务器没有足够的容量来保存数据，则可能会出现网络不稳定的情况。如果要频繁向服务器发送大量数据，建议至少使用 1 Gbps。

为了减少高额支出，请光顾可以为您提供可以承载您将传输的数据负载的带宽包的专用服务器主机提供商。

二、记忆。

大RAM容量总是有益的。像Couchbase这样的工具将在内存中进行处理，如果由于RAM不足而无法读取和写入存储，这将很快。分析大数据的应用程序将始终使用尽可能多的可用RAM。在处理生产任务时，首选具有64 GB或更多RAM容量的服务器，尽管这不是静态规则。

三、存储。

最好是您的服务器有足够的空间来分析您的数据。理想的空间是足够的，以便占用在分析过程中创建的额外数据。最好使用快速存储，但并不总是需要使用 SSD 存储为您的专用服务器存储 TB 级的存储空间。

还建议使用旋转硬盘驱动器，虽然速度慢且成本不高，但它们仍然可以满足您的存储需求。

四、处理器。

Spark等工具将处理任务分布在多个线程中。这些任务是跨机器内核并行执行的。Spark将使用至少具有8到16个内核的服务器，但这可能会根据它正在处理的负载大小而增加。与使用少量功能更强大的内核相比，使用多个内核可以更好地提高性能。