 | | |
| | |
|
Spaces home  风之谷PhotosProfileFriendsMore |  Tools   |
|
风之谷Valley of Wind
7/4/2008 Digg推荐系统让Digger们期待了数月的Digg推荐系统终于揭开了她神秘的面纱。从采用的算法来看，多少有些让人失望。就是传统的CF算法：根据当前用户Digg过的网页集合，找到Digg过这个集合里面的网页的其他用户，再根据他们Digg过的其他网页的次数来推荐这些网页。这种CF算法对Digg过很多网页的老Digger会挺有效的。对我这样很少Digg网页的人，结果就很一般了。相信Digg在过去的数月中尝试过很多算法，可能也考虑过网页内容分析的方法，但最终还是选择了简单常用的CF。对推荐算法来说，对推荐内容本身理解的越深入，推荐才会越准确。理解了音乐的Pandora胜过“不懂”音乐的Last.fm就是一个最好的例子。
Digg Recommendation Engine from Kevin Rose on Vimeo. 5/28/2008 在线广告的革新作为互联网的脊柱，在线广告业务深入的影响着内容发布商，广告商，服务提供商和普通网民的在线生活。在线广告的历史可以一直追溯到互联网诞生的早期。那个时候的广告是以横幅(Banner)的方式来显示的。第一个横幅广告在1993年被Global Network Navigator公司卖给了一个法律机构。对应于横幅广告的计费模式是CPM (Cost Per Impression)，即按每千次显示计价。CPM模式在互联网的早期被证明是有效的。它在1994到2000年一直作为互联网的经济基础。随着互联网泡沫的破裂，CPM的价值和有效性被重新评估和审视。从用户的角度来说，横幅广告这种缺乏针对性的广告模式不仅浪费了带宽，而且分散了他们对真正感兴趣的网页内容的注意力。 作为互联网复兴的标志之一，一种新的广告模式诞生了。它是由Goto.com最早提出的CPC (Cost Per Click)模式。采用CPC模式的时候，只有当用户点击一个广告链接来访问对应的广告主网站的时候，广告主才需要付费。CPC广告可以分为两类：一类和搜索行为相关（比如Google Adwords）；一类和浏览行为相关（比如Google Adsense）。无论是哪种情况，广告主都只需要在一个竞价系统中购买一些关键词或产品类别。当用户在搜索或浏览网页的时候，一旦涉及到了广告主购买的关键词或类别，对应的广告就会显示在用户搜索的结果页面或用户正在浏览的网页。由于广告是和用户的搜索或浏览意图密切相关的，他们很可能对用户有帮助，也因此有可能会被用户点击。Google的巨大成功已经明显的证明了CPC的有效性。 CPC模式虽然很成功，但它也有一个经常被人诟病的致命弱点：点击欺诈。点击欺诈就是在没有购买兴趣的前提下带有其他目的的人工或机器模拟点击广告链接行为。点击欺诈的目的大致有如下四种：1）广告主的竞争对手：通过点击和自己同领域的广告主的广告链接来让对方付出无意义的广告费用，进而伤害竞争对手；2）内容提供商的竞争对手：通过模拟对手内容提供商点击自己广告的行为来达到让广告服务提供者终止和它的服务关系。对于那些依赖于CPC广告模式的内容提供商来说，终止服务是致命的；3）内容提供商的伙伴：通过点击自己朋友（家人等）的网页上的广告来帮他们赚取广告费用；4）其他动机：如政治目的或个人恩怨等。由于点击欺诈的手段和目的都很多样，目前还没有特别有效的方法来对付它。另一方面，广告服务的提供商往往是有双重身份的。对于搜索模式来说，他们也可以看做是内容的提供商。这意味着对点击欺诈的适当宽容会帮如Google这样的广告服务商带来更多的利益。因此，Google对点击欺诈的处理会是一个矛盾的，微妙的行为。 为了解决点击欺诈的问题，Overtue的创始人Bill Cross提出了CPA (Cost Per Action)模式。与CPC按点击计费不同，CPA按照一些明确的行为（比如购买，提交表格等）来计费。这样就有效的解决了点击欺诈的问题。Google已经在Adwords和Adsense里面采用了CPA模式。Ebay也推出了自己的CPA竞价模式AdContext。最近微软依仗着自己的财大气粗，更是把CPA模式拓展到了用户端。用户在Windows Live搜索某一产品时，会调出提供该产品的网络零售商的页面。如果用户从相关零售商的网站购买这一产品，就可以获得部分现金返还，相当于产品价格的2% 到30%。同时，只有用户购买产品，广告客户才需要向微软支付广告费。 虽然CPC等还是目前核心的在线广告模式，一种革命性的新兴广告模式（行为定位广告）正在不断演进着。与其他模式关注用户搜索的关键词或访问的网站不同，行为定位模式关注的是用户本身的行为和兴趣点。对于做市场的人来说，行为定位模式能够帮助他们深入的理解自己已有和潜在的客户的兴趣和习惯。这刚好触到了市场的本质。通过以匿名的方式观察用户的网上行为，市场人员可以对用户的需求和趋势有深入细致的了解。基于这些了解，他们可以追踪自己感兴趣用户并适时的推送用户很可能感兴趣的广告。对用户的追踪可以是跨越多个网站的（参看下图）。针对行为定位广告，可以采用CPU (Cost Per User)的计费模式。具体来说，就是按感兴趣的用户的追踪时间来竞价。和CPA一样，CPU也没有点击欺诈的问题。从用户的角度来看，JupiterResearch 2007年的一份报告显示对在线购物者来说，行为定位的广告要优于传统的上下文广告。在某些类别上，行为定位广告比上下文广告要好22%。总之，行为定位广告模式可以在正确的时间把正确的广告内容推送给正确的用户。 5/16/2008 卫星地图广告与普通地图以搜索定位为主要功能不同，卫星地图从推出之日起就主要用于实景浏览。普通地图已经有了比较完善的广告模式了，比如Google的AdWords for Google Map 相信大家都玩过卫星地图，也一定发现它有大量可以放广告的地方。比如屋顶，草坪，河流等等。考虑到地图的主要功能是帮助用户找位置，我们可以把广告
位分成两类。一类是有物理上对应的商家的。典型的就是屋顶。可以限制只允许相应商家的广告放在楼顶上。如果一栋楼内有多个商家，那就采用竞价logo大小
（给钱多的就放大显示logo）的方式来显示。 另一类是公共设施（注意，不包括道路和一些标志性建筑等影响用户定位的地方）。这些地方就可以不做任何限制 的大量显示商家的logo。
The Web, Now just for You商业周刊上最近有篇采访Digg的创始人Kevin Rose的报道。主体是关于个性化Web体验的。原文在这里。Digg 接下来的一个发展方向就是利用用户自己或者他（她）朋友之前在Digg上积累的使用和阅读经历(Dugg和Buried的新闻)，为他（她）提供个性化的 内容和广告的推荐。个性化的广告投放是最近的一个热点话题。对广告投放商，代理和发布者来说这是一种近乎完美的方式，是他们长期的追求之一。对广告的受众 来说却未必。这里主要的担心还是隐私问题。老外对隐私特别的敏感。Google刚开始在Gmail中投放广告的时候，用户的反映也是瞒激烈的。最近已经有 些用户开始告一些广告投放商侵犯他们的隐私了。 相对来说，国人对个人隐私就不是很敏感。很多人的QQ聊天纪录在网吧的机器上是可以被人随便查阅的。马华腾当年也正是从ICQ的失败身上学到了中国人和老 外对个人隐私这个问题的不同认识。大部分争议还是由一些明显的商业动机引起的，比如广告的投放。如果只是为用户提供更好的服务（如amazon推荐书，last.fm推荐音乐，stumbleupon推荐网页等），用户还是不怎么介意的。 目前用于个性化的工具主要有两类。一类是基于内容的，如Pandora根据歌曲本身的旋律等特征来推荐。这种方式的优点是推荐出来的东西不会给用户surprise (bad ones)。缺点也是不能给用户surprise (good ones)。另一类是根据其他类似用户的喜好来推荐的。学术上叫协同过虑（collaborative filtering）。豆瓣和amazon 推荐书主要都是基于这种方式。这种方式只有在用户数据比较多的时候才能发挥得比较好。无论是那种方式，用户数据的积累都是最重要的问题。这也是为什么 Google，MS，Yahoo!和Baidu等都要统一自己所有网络帐号的一个原因（为了从尽可能多的渠道统一的获取用户的数据）。从这个意义上来说， 那些Web 2.0网站有天然的优势。User Created Content其实真正的用处不仅仅是扩充搜索引擎的索引（content)，而是通过用户 (User) 给你的内容来了解他（她）。Baidu做了大量的鼓励用户贡献内容的service，我想背后的目的也不外乎于此吧。 最后引用文章的最后一段作为结尾吧： “Despite the challenges, many see recommendations and personalization as the next wave. If 2006 was all about community and user-generated content, 2007 and beyond will focus on individual desires. "I think that the long-term future is personalization," says Digg's Adelson.” 5/6/2008 Google如何评价Blog的重要性读了一下Google关于Blog Search的Patent 正面的指标：
负面的指标：
5/5/2008 Web 3.0 = 4C + P + VS 关于Web 3.0有很多的定义，Read Write Web甚至还为这个定义搞了一个比赛。在众多的定义之中，Sramana Mitra的定义很独特，也很有远见。Sramana Mitra把Web 3.0定义为4C + P + VS。4C是Content,Commerce,Community和Context；P是Personalization；VS是Vertical Search。 Web 1.0主要是围绕着Content和Commerce展开的。从Yahoo!最初的上网目录到强大的Google Web Search都是为了方便用户快速的找到自己感兴趣的内容(Content)。而如AOL，MSN等大大小小的门户则是Content源源不断的提供者。 但Web 1.0真正的推动力确是在Commerce方面。E-Commerce为我们带来了Netflix，BlueNile，Amazon和eBAY；PPC促成了Google的崛起。 Web 2.0的去中心化把用户带到了前台聚光灯下。换句话说，Web 2.0主要是Community驱动的。Myspace，Youtube，Flickr，Facebook等的成功显示了User的主用和Community的强大。伴随着Web 2.0时代的蓬勃发展，一些针对特定领域的Vertical Search也不断涌现并成为一股不容忽视的新生力量。 Web 3.0的核心将会是Context以及对Context的理解。各种领域的用户Context信息都将被利用来实现相应的个性化服务 (Personalization)。比如：根据用户浏览门户的Context，可以提供Personalized Portal(Content)；根据用户购买的Context，可以提供Personalized E-commerce（Amazon等的“Recommended Items”功能已经利用了用户的购买Context，只不过这种Context是限制在某个网站内，而不是跨网站的）；根据用户在Community中 的活动Context，可以提供Personalized Community服务，比如推荐好友，Personalized News Feed等；同样，根据用户的搜索和浏览的Context，可以提供Personalized Search或者Vertical Search。 相信未来会有越来越多对Context的关注和理解。谁能够更准确和即时的剖析Context，并以此为基础提供给用户贴心的个性化服务(Personalization)，谁就会是Web 3.0中的赢家。 4/17/2008 Semantic Web要来临了吗？Semantic Web是一个美好的构想，但他的推进过程却一直很缓慢。一个最主要的原因就是网页的创建者没有一个足够强的动机。Yahoo!给出了一个够好的动机：新的搜索平台将支持语义网以实现更好的搜索体验 紧跟着这一消息的发布，Dapper网站
举个例子：假设网站是一个有如下Profile内容的社交网站。
采用Dapper后，可以让Search Engine理解Jane Doe是一个人名，她为麦当劳工作，她的朋友是Big Joe和JemmaB。
4/7/2008 FAROO---P2P Web Search目前绝大多数的搜索引擎都是server-client结构的。考虑到搜索本身的实时性，高并发性和海量的存储，这种架构对服务器的要求很高。如果换个思路，采用P2P的方式来做搜索，那么很多问题都有了截然不同的解决方案。FAROO
我能想到的FAROO的几个问题：
4/1/2008 缅怀哥哥今天是哥哥忌辰5周年，祝愿哥哥在天堂一切都好:-)
每次听到哥哥的演唱会版《风继续吹》，听到他唱得哽咽的时候，都很难受。作为纪念，就贴一下这首歌的歌词吧。
风继续吹
我劝你早点归去，
你说你不想归去，
只叫我抱着你。 悠悠海风，轻轻吹，冷却了野火堆。 我看见伤心的你， 你叫我怎舍得去，
哭态也绝美。 如何止哭，只得轻吻你发边。 让风继续吹，
不忍远离， 心里极渴望，希望留下伴着你。 风继续吹， 不忍远离，
心里极渴望，希望留下伴着你。 风继续吹，
不忍远离，
心里亦有泪，不愿流泪望着你。 过去多少，快乐记忆，何妨与你一起去追。 要将忧郁苦痛洗去，柔情蜜意我愿记取。 要强忍，离情泪，未许它向下垂。 愁如锁，眉头聚，别离泪始终要下垂。 我已令你快乐， 你也令我痴痴醉，
你已在我心，不必再问记着谁。 留住眼里每滴泪， 为何仍断续流默默垂。 为何仍断续流默默垂。 Searchme从Google创新性的推出异常精简的搜索界面，以达到让用户在最短的时间内找到自己感兴趣的网站并离开以来，主流的搜索引擎的界面一直都延续了这种风格。近年来，也有过一些尝试，比如Clusty的搜索结果聚类，Ask.com的分类查询提示，A9.com的多搜索引擎mash-up，Answers.com的搜索结果聚合，甚至是Microsoft的“美女”搜索Ms.Dewey。但这些尝试都没有取得突破性的成功。最近，随着Searchme开放自己的private beta search engine，搜索领域又出现了一个颇有生机的参与者。
Searchme是05年6月成立的公司。创始人是硅谷成功的企业家Randy Adams。他成功的创立了一系列的公司，包括最早的Internet Shopping网站Internet Shopping Network，著名的喜剧视频网站funnyordie.com等。他还是Sequoia Capital和Yahoo!的媒人和Yahoo!早期的director。在Sequoia的倾力支持下Searchme已经融了四轮资，共计31million$的资金。搜索引擎是一个竞争异常激烈的市场，有Google, Yahoo, Microsoft这样无比强大的玩家。但同时，搜索引擎市场也是一个有无限潜力的市场，任何有实力，敢于创新的参与者都有机会从中获利。正如Randy所言，Google目前的模式已经让它相对稳定的拥有了60%的市场，不太可能会做本质上的创新。而没有任何包袱的像Searchme这样的小公司可以尽情的发挥自己的创造力，从不断的创新中探索能够提高用户搜索体验的方式。
Searchme的搜索体验有两大特色。
1）对查询和网页的分类：有了这些分类用户就可以快速的定位自己感兴趣的网页。目前阶段，分类还不是多级的，如果能提供多级的分类就更方便了。因为是自动的分类，难免会有分不准确的时候。如果能根据用户的浏览行为来不断的优化分类结果，那么分类就会更准确了。用户的浏览行为还可以用来调整查询的分类顺序，比如根据分类的点击数来排序分类。一些很少有人点的分类甚至可以过滤掉。
2）网页的图片快照：Searchme除了支持用传统的文字方式来显示结果外，还采用了一种类似于苹果的 iTunes copycat的方式来显示搜索结果的图片快照。这种图文并茂的相信会更容易让用户定位自己感兴趣的网页。图片显示也为整合adsense和adwords提供了可能。具体来说，就是可以同时考虑查询和当前的网页的上下文信息在网页的图片快照中嵌入广告。
下面是Youtube上的一段介绍Searchme的视频：
3/28/2008 DiggFilter vs. DiggSuggestRWW的一篇文章 Digg因其以一种简单优雅的方式整合了大量网民的群体阅读智慧而大获成功。但Digg的模式也有其潜在的问题。一个问题是Digg行为本身的信息量太少。一个人Digg一篇文章其实是因为它的某方面对自己有意义，而这个方面是无法体现在Digg这个简单的行为中的。另一方面，Digg无法发现长尾的信息，因为对这些内容关注的人群的基数决定了它们不太可能会到Digg的主页上去。更重要的是，用户会陷入到大量和自己兴趣不是很一致的人所关注的信息海洋中而迷失方向。我曾经尝试过用Digg，后来还是放弃了，重新回到了RSS订制的模式。为了解决上述的问题，Digg需要更细致的理解自己的内容和用户，提供更为个性化的服务（Friends功能在某种程度上做了些个性化，但我认为还是不够。因为每个人的兴趣都是多面的，朋友只是少数几个方面的同好而已，他（她）其他方面的兴趣会起到干扰的作用）。因此，Digg很早就开始筹划自己的推荐系统了。Digg做推荐是有比较好的基础的。推荐所需要的几个关键因素它都具备。比如，长期积累的大量用户数据（Dugg的文章），用户的好友信息等等。但和Amazon的推荐系统不同（Amazon需要推荐的内容大部分是旧的），Digg面临的一个挑战是他要推荐的内容大部分是新的。这就导致基于协同过滤的方法不会很有效。因此Digg如果想做比较好的推荐，就需要对推荐的文章内容做细致的理解。这可能也是Digg的推荐系统迟迟没有推出的原因吧。 说回DiggFilter和DiggSuggest，这两个系统还是各有特色的。DiggFilter倾向于推荐一些和用户Dugg过的内容很相似同时还比较主流的内容。这样的推荐结果虽然看起来比较漂亮，但并不是很实用。正如文章作者所言，它推荐的内容很容易找到（比如，有大量RWW的内容（甚至是作者自己写过的文章））。我想这说明了site这个属性在推荐系统中还是很重要的。我们应该尽量推荐用户没有看过的site的内容。因为对于他经常会看的site，其实是不怎么需要推荐的。与DiggFilter推荐主流内容不同，DiggSuggest倾向于推荐长尾（Digg数<10）的内容。DiggSuggest还在推荐的时候考虑了时间因素。比如，作者之前喜欢Digg政治类的东西，最近喜欢Digg技术类的东西，它就会在主要推荐技术类东西的同时，适量的推荐一些政治类的。这种学习用户长期兴趣的行为值得表扬 让我们拭目以待Digg自己的推荐系统吧！ 10/29/2007 如果我是马云百度宣布进军电子商务，将发布C2C平台。百度此举标志着中国电子商务进入"ESE时代"（E-commerce based on search engine)。其实我一直觉得搜索和电子商务应该是无缝结合的。先说说各自的特点吧。举个例子，如果我是一个商家，有1000元钱用来推广自己的商品。那么是选择购买Google的关键词呢，还是用来支付eBay的交易提成呢。我的选择是后者。原因主要有两点。一是搜索引擎的竞价排名系统是先交钱，有没有实际达成交易是无法保证的。大量的点击欺诈行为，会让推广的成本提升得更多。而类似eBay这样的电子商务平台是先交易再付费 | ||||||||||||||||||||||||
Invite as friend
Profile
Blog
Photos
Lists
。作为总结，作者认为DiggSuggest要比DiggFilter更有效些，因为它能够推荐一些用户不太可能看到，但又会感兴趣的内容。