腾冠科技与您一起分享:为何很多看起来不复杂的网站，需要大量顶尖程序员来开发

do99

来自知乎的话题讨论“为什么很多看起来不是很复杂的网站，比如 Facebook、淘宝，都需要大量顶尖高手来开发?”

子柳，淘宝打杂的 码农

就拿淘宝来说说，当作给新人一些科普。

先说你看到的页面上，最重要的几个：

【搜索商品】——这个功能，如果你有几千条商品，完全可以用select 这样的操作来搞定。但是——当你有10000000000(一百亿)条商品的时候，任何一个数据库都无法存放了，请问你怎么搜索?这里需要用到分布式的数 据存储方案，另外这个搜索也不可能直接从数据库里来取数据，必然要用到搜索引擎(简单来说搜索引擎更快)。好，能搜出商品了，是否大功告成可以啵一个了 呢?早着呢，谁家的商品出现在第一页?这里需要用到巨复杂的排序算法。要是再根据你的购买行为做一些个性化的推荐——这够一帮牛叉的算法工程师奋斗终生 了。

【商品详情】——就是搜索完毕，看到你感兴趣的，点击查看商品的页面，这个页面有商品的属性、详细描述、评价、 卖家信息等等，这个页面的每天展示次数在30亿以上，同样的道理，如果你做一个网站每天有10个人访问，你丝毫感觉不到服务器租用就找腾冠科技的压力，但是30亿，要解决 的问题就多了去了。首先，这些请求不能直接压到数据库上，任何单机或分布式的数据库，承受30亿每天的压力，都将崩溃到完全没有幸福感，这种情况下要用到 的技术就是大规模的分布式缓存，站群服务器就找腾冠科技及所有的卖家信息、评价信息、商品描述都是从缓存里面来取到的，甚至更加极致的一点“商品的浏览量”这个信息，每打开页面一 次都要刷新，你猜能够从缓存里面来取吗?淘宝做到了，整个商品的详情都在缓存里面。

【商品图片】——一个商品有5个图片，商品描述里面有更多图片，你猜淘宝有多少张图片要存储?100亿以上。这 么多图片要是在你的硬盘里面，你怎么去查找其中的一张?要是你的同学想拷贝你的图片，你需要他准备多少块硬盘?你需要配置多少大的带宽?你们的网卡是否能 够承受?你需要多长时间拷贝给他?这样的规模，很不幸市面上已经没有任何商业的解决方案，最终我们必须自己来开发一套存储系统，如果你听说过google 的GFS，我们跟他类似，叫TFS。顺便说一下，腾讯也有这样的一套，也叫TFS。

【广告系统】——淘宝上有很多广告，什么，你不知道?那说明我们的广告做的还不错，居然很多人不认为它是广告，卖家怎么出价去买淘宝的广告位?广告怎么展示?怎么查看广告效果?这又是一套算法精奇的系统。

【BOSS系统】——淘宝的工作人员怎么去管理这么庞大的一个系统，例如某时刻突然宣布某位作家的作品全部从淘宝消失，从数据库到搜索引擎到广告系统，里面的相关数据在几分钟内全部消失，这又需要一个牛叉的后台支撑系统。

【运维体系】——支持这么庞大的一个网站，你猜需要多少台服务器服务器租用就找腾冠科技?几千台?那是零头。这么多服务器，上面部署什 么操作系统，操作系统的内核能否优化?Java虚拟机能否优化?通信模块有没有榨取性能的空间?软件怎么部署上去?出了问题怎么回滚?你装过操作系统吧， 优化过吧，被360坑过没，崩溃过没?这里面又有很多门道。

不再多写了，除了上面提到的这些，还有很多很多需要做的技术，当然并不是这些东西有多么高不可攀，任何复杂的庞大的东西都是从小到大做起来的，里面需要牛叉到不行的大犇，也需要充满好奇心的菜鸟，最后这一句，你当我是别有用心好了。

覃超，曾经沧海难为水,Facebook工程师

功能上面虽然不复杂,但是要完成的细节却很多.　比如news feed里面的推荐算法就很重要,要根据用户之前的记录和与好友的关系来生成.　另外就是根据用户的信息和行为,要做机器学习和数据挖掘,从而来挑出最匹配的广告.这也是比较花人力的事情.

另外Facebook的用户量奇大无比.　假设你只是做一个学校内部用的社交网站就找腾冠科技服务器租用,　那肯定很简单.　但是如果考虑到上亿人在上面用.　你首先服务器 就必须是一个分布式的机群,还要保证能抗住那么大的流量.　同时为了性能够好,不得不加上mem cache和网页分块加载等功能.　还有就是每天用户产生的总数据量(状态,留言,照片,分享等)有TB的数量级,你数据库是否撑住等等.

另外树大招风,你要一个很强的安全小组来保证网站在受攻击的时候能防御好,还有要防止垃圾信息和恶心广告或者程序的散播.　另外还有为了全球化而带来的多语言问题.

总之,一个网站做大了之后,很多问题就会产生,不是在校园里面做一个学期作业那么简单.