分类目录归档:云计算技术

Hadoop、OpenStack、OpenNebula、Eucalyptus等云操作系统相关;HDFS、HBase、Redis、TC/Tair、MemcacheDB等与云存储相关;低功耗技术;分布式算法;Xen、KVM、WMare、Hypervisor及虚拟服务器OS、虚拟桌面OS等

IT职业技能图谱

IT职业技能图谱 参考资料:IT职业技能图谱(全套13张)

发表在 Linux, Web开发, 云计算技术, 其他, 服务端开发, 移动开发 | 留下评论

未来无线网络技术研究future dense and adaptive Enterprise WLAN infrastructure

Our research goal is to design a novel network architecture for future dense and adaptive Enterprise WLAN infrastructure.The larger research goal as Picture below: Low Price. Scalable. To be deployable easily at scale Real-time high performance. To be adaptive for interference,different … 继续阅读

发表在 Linux, 云计算技术, 科研论文, 移动开发 | 留下评论

互联网架构的设计哲学

互联网架构的设计哲学V1.0

发表在 云计算技术, 其他, 科研论文 | 留下评论

未来无线网络技术研究——SDN与无线网络虚拟化架构

未来移动互联网网络架构愿景 SDN与无线网络虚拟化架构

发表在 云计算技术, 科研论文, 移动开发 | 留下评论

互联网技术与人类社会的发展

偶然发现多年前做的一个小报告,如今看来依然还有点意思,贴出来给大家看看。 互联网技术与人类社会的发展-东南大学-孟宁-v1.0 微博等社交网络的兴起,加上赵红霞、斯诺登等热点人物,都在改变着人类社会的权力结构,也印证了报告中的逻辑思路。国内外名牌大学都热衷于开放在线教育课程,看来知识信息的共产主义已在路上。  

发表在 云计算技术, 其他, 科研论文 | 留下评论

未来无线网络技术研究现状和面临的主要挑战

近一两年来全球移动互联网发展迅猛,其流量已经占到互联网流量的13%,典型互联网业务移动化趋势尤为突出,Facebook 近30%的流量来自移动设备,Twitter移动流量占比超过 50%,移动互联网的发展速度超出想象。网络整体流量在以每年100%-200%的增速增长[1]。用户需求仍在释放,近五年内仍将延续当前的发展速度。从整个产业来看,移动互联网发展的大幕才刚刚拉开[1]。 与此同时当前移动互联网产业发展已对移动通信网络造成巨大冲击,也对无线网络WLAN的支撑能力提出了新的挑战。 一、当前移动互联网产业的发展对移动通信网络造成的巨大冲击 二、当前移动互联网产业发展对无线网络WLAN的支撑能力提出了新的挑战 三、软件定义网络SDN的思想为未来WLAN网络架构提供了新的思路 四、基于虚拟化网络的未来无线网络架构中有待研究的问题 全文见:未来无线网络技术研究现状和面临的主要挑战

发表在 云计算技术, 科研论文 | 一条评论

基于内存的NoSQL分布式数据库技术研究项目总结

项目的主要产出 完全自主设计了一套针对KV NoSQL数据库的自动化测评软件系统(约5000行C/ShellScript等代码),良好的分层软件架构保证了良好的扩展性,针对目前的测试模型可以全自动生成柱状对比图。 对板内共享内存的局限、板内分布式和缓存技术做了大量测评分析,产出了一组有参考价值的数据。其中探索了缓存淘汰技术的适用性和局限性。 完全自主设计了一套Data-Grid模式的分布式数据库系统(约4000行C代码),其中实现了一种基于一致性Hash的分布式节点管理策略,使其达到了O(1)节点查找性能;另外还实现了基于epoll和多线程方式的服务器并发处理策略。 项目结论 本项目按计划探索了在各种条件下的数据库读性能的极限及其影响因素,顺利完成了研究任务。 NoSQL-总结

发表在 云计算技术, 其他 | 留下评论

大数据研究的科学价值

李国杰 中国科学院计算技术研究所 大数据研究的科学价值.pdf

发表在 云计算技术, 科研论文 | 留下评论

转:虚拟化、云计算、开放源代码及其他

By qyjohn, October 12, 2012 9:43 am 借国庆长假的机会写了这篇长文,全面地整理了个人从虚拟化到云计算各个层面的看法。主要的内容涉及虚拟化、虚拟化管理、数据中心虚拟化、云计算、公有云与私有云、以及开放源代码。本文的全部内容均属于作者的个人观点,而不代表任何公司的观点。欢迎讨论。 A、虚拟化 虚拟化是指在同一台物理机器上模拟多台虚拟机的能力。每台虚拟机在逻辑上拥有独立的处理器、内存、硬盘和网络接口。使用虚拟化技术能够提高硬件资源的利用率,使得多个应用能够运行在同一台物理机上各自拥有彼此隔离的运行环境。 虚拟化的也有不同的层次,例如硬件层面的虚拟化和软件层面的虚拟化。硬件虚拟化指的是通过模拟硬件的方式获得一个类似于真实计算机的环境,可以运行一个完整的操作系统。在硬件虚拟化这个层面,又有Full Virtualization(全虚拟化,几乎是完整地模拟一套真实的硬件设备。大部分操作系统无须进行任何修改即可直接运行在全虚拟化环境中。)、Partial Virtualization(部分虚拟化,仅仅提供了对关键性计算组件或者指令集的模拟。操作系统可能需要做某些修改才能够运行在部分虚拟化环境中。)和Paravirtualization(半虚拟化,不对硬件设备进行模拟,虚拟机拥有独立的运行环境,通过虚拟机管理程序共享底层的硬件资源。大部分操作系统需要进行修改才能够运行在半虚拟化环境中。)等不同的实现方式。软件层面的虚拟化,往往是指在同一个操作系统实例的基础上提供多个隔离的虚拟运行环境,也常常被称为容器技术。 在硬件虚拟化的层面,现代的虚拟化技术通常是全虚拟化和半虚拟化的混合体。常见的虚拟化技术例如VMWare、Xen和KVM都同时提供了对全虚拟化和半虚拟化的支持。以硬件虚拟化的方式所提供的虚拟机,通常都在运行一个完整的操作系统,在同一台宿主机上存在大量相同或者相似的进程和内存页,从而导致明显的性能损耗。目前,通过KSM等技术可以识别与合并含有相同内容的内存页,但是还没有对大量相同或者相似的进程进行优化处理的有效手段。因此,硬件虚拟化也往往被称为重量级虚拟化,在同一宿主机上能够同时运行的虚拟机数量是相当有限的。在软件虚拟化的层面,同一宿主机上的所有虚拟机共享同一个操作系统实例,不存在由于运行多个操作系统实例所造成的性能损耗。因此,软件虚拟化也往往被称为轻量级虚拟化,在同一宿主机上能够同时运行的虚拟运行环境数量是比较宽松的。以Solaris操作系统上的Container为例,一个Solaris操作系统的实例理论上可以支持多达8000个Container(实际能够运行的Container数量取决于系统资源和负载)。与此类似,Linux操作系统上的LXC可以轻松地在同一宿主机上同时支持数量可观的虚拟运行环境。 在虚拟化这个领域,国内的公司对硬件虚拟化的兴趣较大,在研发和生产环境中也大都采用硬件虚拟化技术。淘宝是国内较早地研究并应用软件虚拟化技术的,他们在淘宝主站的实践经验表明使用cgroup替代Xen能够提升资源利用率。至于在一个实际的应用场景中到底应该选择硬件虚拟化还是软件虚拟化,则应该重点考虑最终用户是否需要对操作系统的完全控制权(例如升级内核版本)。如果最终用户仅仅需要对运行环境的控制权(例如PaaS层面的各种App Engine服务),软件虚拟化可能性价比更高。对于为同一应用提供横向扩展能力的应用场景,软件虚拟化也是比较好的选择。 对于需要深入了解虚拟化技术的技术人员来说,VMWare发表的白皮书《Understanding Full Virtualization, Paravirtualization, and Hardware Assist》是一份很好的参考资料。 通常来讲,能够直接使用虚拟化技术的用户数量是比较少的。以Linux操作系统为例,能够进行虚拟机生命周期管理的用户,一般就是具有访问libvirt权限的用户。在一个公司或者其他实体中,这些用户通常是系统管理员。 B、虚拟化管理 早期的虚拟化技术,解决的是在同一台物理机上提供多个相互独立的运行环境的问题。当需要管理的物理机数量较小时,系统管理员可以手动登录到不同的物理机上进行虚拟机生命周期管理(资源配置、启动、关闭等等)。当需要管理的物理机数量较大时,就需要写一些脚本/程序来提高虚拟机生命周期管理的自动化程度。以管理和调度大量物理/虚拟计算资源为目的软件,称为虚拟化管理工具。虚拟化管理工具使得系统管理员可以从同一个位置执行如下任务:(1)对不同物理机上的虚拟机进行生命周期管理;(2)对所有的物理机和虚拟机进行查询甚至监控;(3)建立虚拟机命名与虚拟机实例直接的映射关系,使得虚拟机的识别和管理更加容易。Linux操作系统上的VirtManager是一个简单的虚拟化管理工具。在VMWare产品家族中,VMWare vSphere是一个功能强大的虚拟化管理工具。 虚拟化管理工具是虚拟化技术的自然延伸。简单的虚拟化管理工具,解决的是由于物理机数量增多所导致的工作内容繁杂问题。在这个层面,虚拟化管理通常和集群的概念同时出现。一个虚拟化管理工具,往往需要获得各台物理机上的虚拟机生命周期管理权限(例如具有访问libvirt权限的用户名和密码)。在同一个集群当中,为了方便起见,可能需要设定一个在整个集群层面通用的管理用户。可以认为,虚拟化管理为系统管理员提供了便利,但是并没有将虚拟机生命周期管理的权限下放给其他用户。 C、数据中心虚拟化 在数据中心的层面,系统管理员需要面对大量不同类型的硬件和应用。与小型的集群相比较,数据中心的系统复杂度大大提高了。这时简单的虚拟化管理工具已经无法满足系统管理员的要求,因此在虚拟化管理工具的基础上又发展出各种数据中心虚拟化管理系统。在硬件层面,数据中心虚拟化管理系统通过划分资源池(一个资源池通常是一个集群)的方式对硬件资源进行重新组织,并以虚拟基础构架(Virtual Infrastructure)的方式将计算资源暴露给用户。在软件层面,数据中心虚拟化管理系统引入系统管理员和普通用户两种不同的角色,甚至是基于应用场景的需要设定颗粒度更细的基于角色的权限控制(Role Based Access Control,RBAC)。系统管理员对整个数据中心的物理机和虚拟机拥有管理权限,但是一般不对正常的虚拟机进行干涉。普通用户只能在自己具有权限的资源池内进行虚拟机生命周期管理操作,不具有控制物理机的权限。在极端的情况下,普通用户只能够看到分配给自己的资源池,而不了解组成该资源池物理机细节。 在数据中心虚拟化之前,创建虚拟机的动作是需要系统管理员来完成的。在数据中心虚拟化管理系统中,通过基于角色的权限控制,虚拟机生命周期管理的权限被下放给所谓的“普通用户”,在一定程度上可以减轻系统管理员的负担。但是,出于系统安全的考虑,并不是公司里所有的员工都能够拥有这样的“普通用户”账号。一般来说,这种“普通账号”只能够分配给某个团队的负责人。可以认为,一直到数据中心虚拟化这个层面,虚拟机的生命周期还是集中式管理的。 数据中心虚拟化管理系统是虚拟化管理工具的进一步延伸,它所解决的是由于硬件和应用规模上升所带来的系统复杂度问题。具体的物理设备被抽象成资源池之后,公司高管只需要了解各个资源池的规模、负载和健康状况,最终用户只需要了解分配给自己的资源池的规模、负载和健康状况。只有系统管理员还需要对每一台物理设备的配置、负载和故障了如指掌,但是资源池的概念也从逻辑上对所有的物理设备进行了重新整理和分类,使得系统管理员的工作变得更加容易了。 现代的数据中心虚拟化管理系统,往往提供了大量有助于运维自动化的功能。这些功能包括 (1)基于模板快速部署一系列相同或者是相似的运行环境;(2)监控、报表、预警、会计功能;和(3)高可用性、动态负载均衡、备份与恢复等等。一些相对开放的数据中心虚拟化管理系统,甚至以开放API的方式使得系统管理员能够根据自身的应用场景和流程开发额外的扩展功能。 在VMWare产品家族中,VMWare vCenter是一个数据中心虚拟化管理软件。其他值得推荐的数据中心虚拟化管理软件包括Convirt、XenServer、Oracle VM、OpenQRM等等。 … 继续阅读

发表在 云计算技术 | 留下评论

CAP理论十二年回顾:”规则”变了

作者 Eric Brewer 译者 郭晓刚 李湃 发布于 2012年6月11日 本文首发于  Computer 杂志,由InfoQ和IEEE呈现给您。 CAP理论断言任何基于网络的数据共享系统,最多只能满足数据一致性、可用性、分区容忍性三要素中的两个要素。但是通过显式处理分区情形,系统设计师可以做到优化数据一致性和可用性,进而取得三者之间的平衡。 自打引入CAP理论的十几年里,设计师和研究者已经以它为理论基础探索了各式各样新颖的分布式系统,甚至到了滥用的程度。NoSQL运动也将CAP理论当作对抗传统关系型数据库的依据。 CAP理论主张任何基于网络的数据共享系统,都最多只能拥有以下三条中的两条: 数据一致性(C),等同于所有节点访问同一份最新的数据副本; 对数据更新具备高可用性(A); 能容忍网络分区(P)。 CAP理论的表述很好地服务了它的目的,即开阔设计师的思路,在多样化的取舍方案下设计出多样化的系统。在过去的十几年里确实涌现了不计其数的新系统,也随之在数据一致性和可用性的相对关系上产生了相当多的争论。“三选二”的公式一直存在着误导性,它会过分简单化各性质之间的相互关系。现在我们有必要辨析其中的细节。实际上只有“在分区存在的前提下呈现完美的数据一致性和可用性”这种很少见的情况是CAP理论不允许出现的。 虽然设计师仍然需要在分区的前提下对数据一致性和可用性做取舍,但具体如何处理分区和恢复一致性,这里面有不计其数的变通方案和灵活度。当代CAP实践应将目标定为针对具体的应用,在合理范围内最大化数据一致性和可用性的“合力”。这样的思路延伸为如何规划分区期间的操作和分区之后的恢复,从而启发设计师加深对CAP的认识,突破过去由于CAP理论的表述而产生的思维局限。

发表在 云计算技术 | 评论关闭