最近在研究去哪儿网和携程网,一直困惑一个问题:
在巨大的访问量的情况下,网站还能提供快速的时时机票的响应信息,是如何做到这点的?是把预先爬的信息保持? 但是时时信息预先保存也没用阿?
局部缓存,依赖刷新局部刷新,用ajax更好。
多谢,如果有这样的情况如何缓存:
1。各家机票供应商提供API接口,自己网站时时根据用户提交的信息去获得机票信息,如果每天的订票量10万次,那供应商服务器岂不是被连死了?这种情况如何缓存?
服务器有一个专门的爬虫,将数据爬过来,放到web服务器缓存中,然后通过ajax的去取缓存中的信息
多谢。我看过去哪里网的架构刘连春的讲座PPT,提到有一个轮询去抓供应商的机票信息。但是,问题就在这里,因为机票信息的时时性,更新频率需要很频繁,而且机票可以定几个月之后的机票,那每天的航线信息都需要抓,被抓网站也承受不了。
@存在所以孤独: 被抓的网站也是有缓存的,缓存是多少分钟更新一次,查询并不一定会产生交易,有点点延迟是可以接受的。
不一样的网站数据来源不一样,不过有一点是相同的:都是用了缓存技术