GitHub访问速度提升的办法

1. 查询github域名对应ip访问网站 https://www.ipaddress.com查询以下两个域名对应ipgithub.com的ip, 我查到的结果是:192.30.253.112 和 192.30.253.113github.global.ssl.fastly.net的ip,我查到的结果是:151.101.185.1942. 修改系统hosts文件打开hosts配置文件,添加ip和

- 阅读全文 -

Windows下搭建hadoop-spark开发环境

hadoop + spark 集群环境一般搭建在Linux环境下,考虑到开发的便利性,于是在windows下搭建hadoop和spark的单机模式。我的环境:hadoop3.0.0 + spark-2.4.1-bin-hadoop2.7 如果不会编译hadoop 那么环境时,选择hadoop请参看 别人编译的hadoop-winutils安装 jdk下载 jdk 到本地并解压,配置环境变量 JAV

- 阅读全文 -

Hadoop 配置

常用配置参数待整理,待扩展配置 NameNode 时,为了使其能进行垃圾回收,需要在 hadoop-env.sh 中加入: export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC ${HADOOP_NAMENODE_OPTS}" HADOOP_LOG_DIR - 守护进程日志文件的存放目录HADOOP_HEAPSIZE - 最大可用堆

- 阅读全文 -

web配置https

1. 获取阿里云 DV SSL证书(免费)进入官网 阿里云盾证书服务依次选择: 【选择品牌】: Symantec --> 【保护类型】:一个域名 --> 【证书类型】:免费型DV SSL --> 立即购买即可进入云盾控制台补全信息,点击进度栏的 “补全” 链接,补全数据,这一步大概等待二十多分钟。等待 “证书状态栏” 变为 “已签发” 时,点击“下载” ---> “

- 阅读全文 -

spark 安装

准备java sdkscalaspark 安装包开始安装安装 java 并配置 JAVA_HOME安装 scala 并配置 SCALA_HOME解压 spark 并配置# 进入 ${SPARK_HOME}/conf/ 并打开 spark-env.sh export JAVA_HOME=/opt/jdk export SCALA_HOME=/home/uplooking/app/scala expo

- 阅读全文 -

MongoDB 增删改查

增加/插入数据创建集合 插入文档的时候,文档所属集合不存在,那么插入操作会创建集合主键分配 每个插入的文档都需要指定唯一的id("_id")作为主键,如果没有指定,那么mongodb驱动会自动为"_id"字段生成一个 ObjectId。原子性 mongoDB中的所有写操作,在单一文档层级上是原子的常用的文档插入函数说明db.collection.insertOne()向集合插入单个

- 阅读全文 -

Ubuntu卸载VMware

1. 查看安装的虚拟机vmware-installer -l2. 卸载虚拟机sudo vmware-installer --uninstall-product vmware-workstation然后根据提示看看是否保存虚拟机配置文件输入 yes 或 no 即可。

- 阅读全文 -

hadoop 安装

准备系统:linux/ubuntujava jdk 1.5 +sshrsynchadoop 稳定发行版开始安装安装 java 配置 JAVA_HOME手动下载 java 安装包, tar 命令解压,配置好 JAVA_HOME安装 ssh 和 rsyncsudo apt-get install ssh rsync解压 hadoopssh 无密码访问ssh localhost

- 阅读全文 -

PHP实现分页展示

一、思路要展示的几个字段当前第 xx 页/共有 xx 页首页前一页可以直接跳转到的页码下一页末页共有多少条信息需要展示针对当前页的页码需要进行特殊展示提前需要知道的字段当前是第几页要展示信息的总数一次展示的页数(前一页和下一页中展示出来的页码连接)每页展示信息的条数计算各个字段共有 xx 页 (要展示数据总数 / 每页展示信息的条数)。注意:有小数点要加一。首页 和 末页 分别写一个固定的 url

- 阅读全文 -