-
Window10下Anaconda安装Tensorflow+Keras
Window10下Anaconda安装Tensorflow+Keras之前作比赛用到了深度学习中的LSTM，最近又要用到，发现实验室tensorflow等环境被删除，因此又得重新安装，记录一下，免得忘掉。由于实验室服务器的GPU+Cuda是配置好的，所以没有进行这块的配置。1 Anaconda1>首先在Anaconda下载最新版的anaconda，我用的3.6版本，版本其实都无需关心，只需关心到时候自己所有的python版本即可。安装过程中提示failed to create an...…
-
基于机器学习的Spark调参方法
Novel Method for Tuning Configuration Parameters of Spark Based on Machine Learning本文是一篇关于Spark调参的文章，主要方法是基于二分类及多分类器的机器学习方法来对Spark特定job进行参数调整，从而提升作业整体性能。本篇博文参考自： 2016 IEEE 18th International Conference on High Performance Computing and Communicat...…
-
基于用户SLO的spark成本优化及时间预测模型
OptEx: A Deadline-Aware Cost Optimization Model for Spark最近在研究一些Spark成本优化的东西，看了一些论文稍微总结一下思路，方便思维拓宽和希望与大家交流！本篇博文参考自： 2016 16th IEEE/ACM International Symposium on Cluster, Cloud, and Grid Computing：《OptEx: A Deadline-Aware Cost Optimization Model ...…
-
用于数据负载平衡的spark中间数据存储策略
An intermediate data placement algorithm for load balancing in Spark computing environment最近在研究一些Spark成本优化的东西，看了一些论文稍微总结一下思路，方便思维拓宽和希望与大家交流！本篇博文参考自： Future Generation Computer Systems 78 (2018) 287–301：《An intermediate data placement algorithm fo...…
-
智能RDD管理--用于在Spark中实现高性能内存计算---论文总结
Intelligent RDD Management for High Performance In-Memory Computing in Spark最近在研究一些Spark成本优化的东西，看了一些论文稍微总结一下思路，方便思维拓宽和希望与大家交流！本篇博文参考自： WWW ‘17 Companion Proceedings of the 26th International Conference on World Wide Web Companion：《Intelligent RDD...…
-
RDD在Spark SQL中重用的方法研究---IEEE论文总结
RDD Share：Reusing Results of Spark RDD最近在研究一些Spark成本优化的东西，看了一些论文稍微总结一下思路，方便思维拓宽和希望与大家交流！本篇博文参考自： 2016 IEEE First International Conference on Data Science in Cyberspace：《RDD Share：Reusing Results of Spark RDD》文章概述及问题描述Spark作为当下最受关注的分布式计算框架，以其在内存中迭...…
-
仿生产环境下的集群搭建流程（一）
云平台及监控工具的部署流程说在前面的话云平台的基础搭建流程是一项基本但又必备的技能，从大四做毕业设计到研究生在实验室集群搭建hadoop及spark再到参与某为公司大型集群性能预测项目，可以说对于这一部分的搭建工作，真的是闭着眼不参考任何资料可以在很短时间内完成。本篇博客将完整地介绍Hadoop+Spark+hive+Ganglia+Nagios+Nmon的搭建流程，涉及到的内容较多，因此打算分为两部分进行总结。本次先介绍基础的云平台的搭建。效果预览先贴上最终搭建完成后Web端的图吧。 ...…
-
我眼中的Hadoop Spark
关于Hadoop和Spark的种种关于即将记录的内容作为一枚专攻云计算的研究僧，云平台的相关技术当然需要从使用方法掌握到调度原理，之前较为系统地学习过Hadoop和Spark，关于Hadoop的历史地位，大家从目前几个月的版本迭代速度可以看出来，似乎已经渐渐被Spark超越。因此关于Hadoop的东西我后续不深入讨论，会以我曾经参与的某为公司的一个项目来介绍Hadoop（当然不会涉及保密协议内容）。这里，对于之前系统学习的Spark的东西，因为没有写博客的习惯，我都只保留在OneNote中...…
-
Disqus的坑
Disqus介绍Disqus是一家第三方社会化评论系统，主要为网站主提供评论托管服务。最近国内一些评论托管服务都停止服务了，例如之前使用较为广泛的友言、多说、畅言等，因此，我自己在做博客的时候换用了Disqus的托管服务。虽然Disqus有传言 被墙了，但是自己尝试之后，其实还是可以加载出来的。下面将挪列自己在配置Disqus时候遇到的坑Disqus的使用设置 首先就是去官网注册。注册时候如果遇到打不开官网的情况，建议浏览器安装一下Google插件或有条件的直接翻墙来登陆官网。 注...…
-
Markdown工具集
什么是 Markdown Markdown 是一种方便记忆、书写的纯文本标记语言，用户可以使用这些标记符号以最小的输入代价生成极富表现力的文档：如您正在阅读的这篇文章。它使用简单的符号标记不同的标题，分割不同的段落，粗体 或者 斜体 某些文字. 很多产品的文档也是用markdown编写的，并且以“README.MD”的文件名保存在软件的目录下面。 一些基本语法标题 H1 :# Header 1 H2 :## Header ...…
-
机器学习入门（名词科普）
通用名词ML 名词解释： 机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。DL 名词解释： 深度学习（Deep Learning）是机器学习拉出的分支，它试图使用包含复杂结构或由多重...…
