Siddhant Benadikar在技术和软件工程道路上的经历充满了激情、创造力和对完美的绝望渴望。出生在一个医生家庭，悉丹特的命运似乎已经注定，而且是在健康领域。但后来一件特别的事——看电影《社交网络》——激发了人们对所有技术的兴趣，并改变了一切。从可能成为一名医生的职业，到在世界领先的科技公司担任杰出的分销系统专家，经历过Siddhant的话的人都清楚地证明了追求激情的伟大。

　　Siddhant在meta（现在是Facebook）的经历改变了公司在使用分布式系统和复杂的图形算法管理大量数据方面的做法。Siddhant在增强公司推荐系统方面发挥了重要作用，提高了公司的整体使用率和收入。现在让我们深入了解他的职业生涯，并调查影响他职业发展的变化。

　　meta推荐系统的全面改革

　　Siddhant领导了meta历史上最具影响力的项目之一：其核心是优化基于图形的算法，特别是推荐系统。这样的系统是meta业务策略的基础，因为它们允许在适当的时间向用户显示适当的内容、广告甚至人物。由于meta的数据规模（数十亿个节点，数万亿条边），我无法用传统的数据处理和分析模式进行思考。这就是Siddhant的专业知识发挥作用的地方。

　　该项目的目标在本质上是明确定义的：通过优化基于图形的方法，如个性化PageRank或KNN，推荐应该更加准确和有效。特别是，这些算法用于确定哪些数据点与指定内容更相关，以便预测指定内容的受众最有可能感兴趣的内容。Siddhant必须找到一种方法来保持甚至提高处理速度，同时增强算法以适应meta的大数据量。

　　为了实现这一点，Siddhant采用了优化技术来增强内存管理，并在Spark系统中添加了Parameter Server结构。Parameter Server结构的结合减少了在系统中各个节点之间进行数据变换时的延迟，从而提高了性能。然后，他还将垂直扩展与磁盘溢出结合在一起，即通过暂时将部分数据卸载到磁盘上，使系统能够处理非常大的数据省，否则这些数据省可能无法装入内存。

　　结果令人震惊。改进后的系统使推荐的准确性提高了3%——这是一个微不足道的指标，但却很方便地回到了meta规模上价值数十亿美元的收入和参与度。这一进步不仅提高了用户的可用性视角，而且将元置于内容个性化交付的最前沿。

　　这是西丹特努力程度的进一步证明

　　Siddhant对meta的影响包含了上述的工程成就。当然，他对推荐系统的改进做出了贡献，改变了内容针对meta用户的方式，使其更有效。这个项目并没有随着算法的优化而轻松结束，这导致了meta在图计算和大数据处理方面的进一步计划投资。

　　因此，在获得高效推荐系统的成功后，meta也寻求应用图计算来解决其他类型的业务问题。至少在基于Spark的离线图形计算系统OneGraph方面，Siddhant展示了他预见行业趋势的能力，并以商业形式构建了未来所需的系统。oneGraph是meta内部开发图云的第一步，它使公司能够进一步增强他们的分析能力和与用户的互动。为未来奠定基础：单向图与有向图。

　　Siddhant在meta领域的大部分成就（如果不是全部的话）都以他成功地设计和实现了OneGraph达到顶峰，这是一个用于大型数据集的分布式图形处理系统。这项工作的目标是开发一个全面的架构，可以满足meta的图形数据基础设施的不同但苛刻的需求，包括实时和离线图形数据处理能力。在实现参数服务器模型时，再加上功率感知调度和任务重新分配方法，系统设法处理多达6万亿个边，并且仍然产生显着的性能提升。

　　oneGraph的成功导致了元数据处理的进一步改进。随着平台需求的不断增长，Siddhant进一步改进了系统及其设计，增加了当时没有功能的新功能。这项工作增强了meta的推荐系统，同时也为其他团队在各自的项目中应用图计算提供了指导。

　　Siddhant参与的另一个项目名为digraph，旨在提高内存的有效使用，并利用一种称为数据溢出的数据过程，即系统无法以当前形式处理的信息存储在辅助存储器（如磁盘）中。这种方法为meta的架构铺平了道路，使其能够在一个从未被支持的级别上管理数据，使其成为图计算领域的领先公司之一。

　　克服挑战，推动创新

　　然而，在如此大规模的系统上工作也面临着独特的挑战。根据Siddhant的说法，最困难的事情是在不损害信息质量或完整性的情况下保持复杂的优化策略。Siddhant说：“当你处理数万亿个边缘时，即使是少量的浪费也会导致性能和结果方面的巨大多米诺骨牌效应。”关于这一点，他花了很多时间来完善内存管理范例，并研究各种扩展解决方案。

　　通过将oneGraph和oneGraph结合轴向铁心检测器进行综合，证明了该系统的适用性。Sid是5级工程师，他利用层次分析法解决了一个更基本的设计问题。那么，Fifth World遵循的一种优化策略包括仅在需要数据时执行计算。

　　此外，在所需的高计算速率与内存和计算资源的数量之间取得平衡，需要很好地了解系统的硬件和软件。然而，正是Siddhant理解这些复杂细节并熟练处理它们的诀窍，使他成为分布式系统领域的利益相关者。

　　分布式系统的未来

　　Siddhant从孟买一名崭露头角的计算机科学专业学生，成长为全球增长最快的科技公司之一的核心人物，他的成长轨迹让人不禁受到启发。从未来的医疗职业转向软件工程是由于对技术的参与和对构建解决方案的兴趣。作为东北大学分布式系统和图形学习专业的本科生，Siddhant从一年级开始就通过明智的自我推进寻求帮助和资源，不断超越可能的极限。

　　如果他在meta的工作中有什么或多或少是不变的，那就是改进，无论是在推荐系统的增强、高效数据管道的构建还是培训年轻工程师方面。在Siddhant看来，成功不仅仅是在适当的时间完成分配的任务，而是构建的系统性能更高、结构更合理、更有影响力。

　　绘制新路径：图计算的趋势

　　Siddhant预计在图计算和分布式系统领域有更大的增长潜力。新技术允许人们从大量数据中推导出关系，这开辟了许多可能性。”这些机会包括改进在线社交网络和推荐系统，创建更有效的网络安全保护，防止欺诈，等等。

　　在Siddhant看来，下一个挑战是进一步将这些系统设计成实时应用，同时寻找其他可以扩展其应用的领域。“我们才刚刚开始探索分布式计算和基于图的学习的潜力，”他认为。剩下要做的是如何不断创新和加强这些新出现的系统。

　　关于Siddhant Benadikar

　　Siddhant Benadikar是分布式系统、图形计算和大规模数据处理领域的天才软件工程师和专家。他拥有东北大学计算机科学硕士学位，并积极参与meta内部的各种计划，导致Siddhant将公司的方法转变为高级数据分析和推荐系统。他对技术的欣赏和对解决困难挑战的专注使他在技术行业中脱颖而出。他的贡献将继续塑造图计算领域，提高性能标准，并将数据处理的可能性提升到新的高度。

　　找到您的每日剂量的所有最新新闻，包括体育新闻，娱乐新闻，生活方式新闻，解释器和更多。保持更新，保持消息灵通-在WhatsApp上关注DNA。