2022年第二周笔记，lvm asm disk 基线扫描 AIX123456789upadmshow vlunbootinfo -s hdiskxcfgmgr -vchmod 660 rhdisk16chown grid:asmadmin rhdisk16chdev -l hdisk16 -a reserve_policy=no_reservechdev -l hdiskX -a queue_depth=4 -P
docker 安装， jupyter notebook 镜像导入，常用命令 docker安装1234567891011121314151617181920212223242526272829303132tar -zxvf docker-18.09.0.tgzcp docker/* /usr/bin/cd /etc/systemd/systemvi docker.s
由于数据分布不均衡导致个别reduce数据量太大，整个任务卡在99%无法完成，查看task counter 输入输出是正常任务的几十倍。 下面是处理办法 针对关联key值大量空的情况 一种是本身数据中就有空值，还有一种情况通过多个 left join 关联导致有空值。 针对该情况关联条件做判空随机处理，比如：coalesce(col,concat(‘hive_rand’,rand())) 。 如果
HashBridge节点搭建过程 go 安装12345678910wget https://golang.google.cn/dl/go1.14.9.linux-amd64.tar.gztar -xzvf go1.14.9.linux-amd64.tar.gz -C /usr/localmkdir -p /data/gopathvim /etc/profileexport GOROOT=/usr/local/go export
记录一次系统内存泄漏处理过程 系统问题和背景 业务量猛增、系统涉及大量的文件读写、删除 系统运行一段时间weblogic控制台打开很慢 weblogic出现stuck线程 weblogic jvm 监控显示内存使用达到90%一直不释放，手动gc也没效果 问题处理 生成dump文件1jmap -dump:live,format=b,file=12077.bin 12077 利用Eclipse MemoryAnalyzer分析dum
记录一次 Cloudera’s Distribution Including Apache Hadoop平台搭建过程。 基本模拟生产环境用于日常测试 准备工作 操作系统：vm环境下新建3台 centos 7.5 （最小安装）虚机 cdh01 (主节点) ：内存 6G（不能更少）、硬盘 40G cdh02 ：内存 2G 、硬盘 40G cdh03 ：内存 2G 、硬盘 40G 安装文件列表 cloudera-manag
批量解析基于Hive语法的sql语句，记录操作涉及的表，以及相应的DML操作类型，增加with关键字处理逻辑等。引用Jar包： ojdbc14.jar 、 druid-1.1.21.jar 、mysql-connector-java-5.1.35.jar 项目地址(github)： SqlParser 运行截图java -jar SqlParser.jar D:\hiv
We didn’t know much about each other twenty years ago. We were guided by our intuition; you swept me off my feet. It was snowing when we got married at the Ahwahnee. Years passed, kids came, good times, hard
A free CDN for Open Source fast, reliable, and automated 推荐一个免费cdn加速工具 JSDELIVR ，本blog图片、音频采用了该技术。 https://cdn.jsdelivr.net/gh/[user]/[resp]@[release]/dist/jquery.min.js[user] : github user[resp]：github repository[re
每一个不曾起舞的日子都是对生命的辜负。