• 金尊国际平台
  • 金尊娱乐平台官网
  • 新闻资讯
  • 厂房设备
  • 人才招聘
  • 技术支持
  • 联系方式
  • 访客留言
  • 您当前的位置:首页 > 技术支持

    大数据岗位应聘 spark面试题及答案

    时间:2018-09-09 22:48:47  来源:本站  作者:

      Spark技术是大数据技术学习的核心,也是千锋讲师重点给学生强调的必须要学会学透的知识,自然也成为了很多企业面试的重点。Spark是一套快速出色、可扩展能力惊人且极具灵活性的开源分布式计算平台,与Hadoop以及Mesos相兼容并且支持多川计算模式,其中包括流、以图形为核心的操作、SQL访问外加分布式机器学习等。

      Spark在1.3.0以后出现的DataFrame可以对结构化的数据进行类SQL语句的数据挖掘(问:那么Spark如何处理非结构化数据?(回答:通过Scala的函数式编程进行基于RDD的非结构化数据处理))

      将默认调用的java序列化器改为kyro序列化器(减少序列化数据80%的空间占用(问:为何序列化可以减少存储空间占用(回答:对同类型的数据对象的头进行压缩合并:我感觉这个我回答错误了)));

      由于Spark1.6.0的统一内存管理模型,若算法的数据量大,而计算逻辑较为简单,可以增大内存管理中cache块的比例(默认70%(我也一下子想不起来,感觉这个附近)),如果是数据量小而算法逻辑复杂,可以适当减少cache快的比例;

      如果因对是集群CPU资源过分盈余,可以采用增加core的数目,但是core的数目增加到一定程度后,依旧无法完全利用CPU的计算资源,可以选择增加Executor的数目,通常环境下,一个Executor推荐设置5个Core的个数,超过5个推荐增加Executor的个数

      创建相关用户,获得文件权限,建立SSH免密码通信,下载各软件包,解压缩后配置环境变量,之后配置Hadoop配置文件(hdfs-site.xml,yarn资源管理器相关内容),Spark配置文件(集群的MasterIP,各节点的内存值)。

      spark的面试题和答案详解,千锋小编只能帮你到这了,预祝每一位走在大数据路上的小伙伴,都能找到一份理想的工作。此外,千锋大数据培训机构,每年都至少会举办12场的大型招聘会,各大名企都会过来招聘,找工作的小伙伴也可以用此途径来找到一份好工作。返回,查看更多

    来顶一下
    推荐资讯
    相关文章
      无相关信息
    栏目更新
    栏目热门