| « | September 2025 | » | | 日 | 一 | 二 | 三 | 四 | 五 | 六 | | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 24 | 25 | 26 | 27 | 28 | 29 | 30 | | | | | |
|
公告 |
| 暂无公告... |
| Blog信息 |
|
blog名称:
日志总数:32
评论数量:9
留言数量:-1
访问次数:111269
建立时间:2008年12月3日 |
| |
|
 说说价值观 
原创空间
liangbin 发表于 2009/8/30 21:25:03 |
| 我一直打算写这样一篇文章来说说价值观，但总感觉不是时候，理不出头绪，昨天公司邀请新浪教育频道编辑唐晓芸给我们做一个讲座。
整个讲座就是一个价值观的输出，让在场的所有人感到震撼，对新浪的工作肃然起敬，而我曾在sohu从事新闻的人来说，仿佛从回到那种熟悉的战壕中。
在讲座的中途，唐老师问大家是否看过《新浪之道》，我不仅回答了本书的作者，出版社还包括出版时间，唐老师问我有什么感想，我说了这么一句话，看完本书后，我感觉到是陈彤先生输出了他的以及新浪的价值观，令人尊敬。
什么是价值观呢？今天我也很难用简练的语言来回答，但可以通过一些例子来理解。
（1）当一天产生出数万的新闻时，你把那一条放在推荐的位置上，而把那一条忽视掉。
（2）当你拿到了一个爆炸性的新闻时，你是去求证一下真实性，还是 |
|
|
大规模数据处理漫谈【4】
软件技术
liangbin 发表于 2009/6/20 9:15:09 |
我们会看到这样的源代码
bool dosomething(int& count,int& sum)
{
if (likely(count<sum)) {
if (unlikely(count<ZERO))
{
&nb |
|
|
大规模数据处理漫谈【3】
软件技术
liangbin 发表于 2009/6/11 10:01:15 |
最后讲解一个优化话题，结束磁盘部分的内容。
我们知道无论如何磁盘是一个慢速设备，在大规模数据处理时，例如归并排序。总会有类似这样的情况：
for all block-i of the file
{
(1) Read block-i to buffer
(2) Process Data in buffer
}
这样在任意一个时刻，要么CPU闲了，要么磁盘闲了，造成这个局面的原因是我们只有一个buffer，注意即便多线程，只要是一个buffer也不可避免会等待。
粗略算一下处理时间：
令：第（1）个语句需时间为R；第（2）个语句需要时间为P；总块数为n。
则总耗时为:n(P+R)
如果这样处理
&nb |
|
|
大规模数据处理漫谈【2】
软件技术
liangbin 发表于 2009/6/11 9:59:56 |
上回说到了磁盘的一些特性，感觉不说说文件不太妥。以及对比文件系统和raw device的优劣。
在目前的各种文件系统中，JFS是一种比较适合大规模数据处理的文件系统，但常用的依然是ext2,ext3. 不同的文件系统受到特定业务的影响在保持通用的前提下，各有侧重，下面谈谈主要优化需要考虑的问题：
文件系统都要求整块读写磁盘的，按照block size = 4K为例，如果需要在一个块上写1K数据，则首先需要从磁盘将这个块读入内存，在内存中写入1K数据（看做是合并块中其他数据），再回写磁盘。显然如果写的是4K数据，且恰好是写在一个块上的，则系统就免去读入内存和合并的开销，因此我们一般一次写入尽可能多，例如写入10K，则有可能是前两个是整块写，而后一个是半块写，半块写的额外代价摊下来就不显的很多。
由于寻道时间是磁盘访问代价中最大的一块，而且道次跳得越大代价越高，因此我们希望文件所包含的块（fileplace命令查看）尽可能连续，而文件系统也是 |
|
|
大规模数据处理漫谈【1】
软件技术, 电脑与网络
liangbin 发表于 2009/6/6 7:38:43 |
大规模数据处理是什么？
大规模数据处理我认为就是在有限的机器资源的情况下，通过软件和硬件共同完成的G以上级别的数据计算和存储。
北大已经开了这么课程，可见重要性。
http://net.pku.edu.cn/~course/cs402/CC_Syllabus-0.3.pdf
大规模数据处理有哪些应用场合？
（1）搜索引擎，搜索引擎需要存储数10亿的有效网页，并进行快速的全文检索，这是最主要的战场。
（2）数据挖掘，日志分析，商业智能等，业务上产生的大规模日志需要进行有效地加工和分析，使用传统的通用结构化查询数据库已经很难满足特定的业务需要。
（3）科学计算，一般是那些复杂的大数据量的 |
|
|
搜索引擎的一些方向
原创空间
liangbin 发表于 2009/1/28 19:53:12 |
search agent（搜索代理）
掌握搜索技能的，能够接触互联网的，有充分时间学习的人永远只是少数。更多的是需要整理后的高价值的知识和信息，搜索代理就是这样一个把需求提交出去，通过代理，获得高质量搜索结果的基本想法，代理在这个过程中好像编辑一样，创造了增值的服务，我们可以把百度知道看做是一种搜索代理的形式。搜索代理还不仅仅局限于这样的形式，还可以做得更多。
internet archive（互联网存档）
今天我们能通过上万年前的古老甲骨文来追溯远古的历史，而由于越来越多的信息存储在电子设备上，从而使得这种文化的传承延续变得更加复杂，每天都有无数的网页消失在我们的视野里，因此internet archive就肩负起记录历史的重任。
http://www.archive.org/details/arsdigita
visual search(可视化搜索)
可视化搜索使得搜索过程进行了很大的 |
|
|
麦凯恩的败选演讲failure is mine not yours
原创空间
liangbin 发表于 2008/12/20 21:46:51 |
| 并不是失败者的话语更能打动人,而是我们能从麦凯恩的演讲中体会到美国的伟大.国家利益总是高于一切的,特别是听到下面的几段
I urge all Americans who supported me to join me in not just congratulating him, but offering our next president our good will and earnest effort to find ways to come together to find the necessary compromises to bridge our differences and help restore our prosperity, defend our security in a dangerous world, and leave our children and grandchildren a stronger, better country than we inherited.
和 |
|
|
2008年在裁员风中摇摆的跨国公司(Z)
网上资源
liangbin 发表于 2008/12/20 20:52:45 |
| 今年以来华尔街爆发的金融海啸已经在美国IT巨头的三季报得到体现。美国时间10月21日，雅虎公司呈出一份相当惨淡的第三财季报告，净利润骤降64%，只有5430万美元，合每股收益4美分，而上年同期净利润为1.513亿美元，合每股收益11美分。
雅虎同时下调了当前财政年度的收入预期，收入预期区间从之前的73.5亿至78.5亿美元下调至71.8亿至73.8亿美元，并将在全球范围内至少裁员10%，约1500人。
10月23日微软也公布了截至9月30日第一财季报告，实现净利润43.7亿美元，每股收益48美分，净利润同比仅增长2%，微软解释为因经济环境欠佳导致销售额增速放缓。微软同样将当前财年每股收益预期从7月份作出的2.12-2.18美元下调至2-2.10美元，并将收入预期从之前的673亿-681亿美元下调至649亿-664亿美元。
应对销售疲软和业绩下滑压力，众多科技公司选择裁员来削减开支。9月份惠普公司就宣布，由于在努力整合收购的技术咨询公司电子资讯系统的业务，计划将裁减24600名员工，即员工总数的7.5%。戴尔公司首席执行长迈克尔·戴尔也 |
|
|
谷歌医药门
原创空间
liangbin 发表于 2008/12/12 9:04:41 |
| http://video.sina.com.cn/tech/i/v/2008-12-11/17325443.shtml
和奶粉门没有本质区别，虚假医药广告开始很少，后来利益驱动，放多了，产生质变了，就成了某某门。
企业的社会责任永远依赖于舆论的监督来保证，google也不例外。 |
|
|