需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。
后来终于找到原因,貌似是hadoop home的环境变量没有生效,于是在脚本里加入export hadoop的环境变量,问题解决。
一个更简单的方法是直接加入source /etc/profile在脚本的最前面.
本文共 248 字,大约阅读时间需要 1 分钟。
需要每天定时上传爬取的数据文件到HDFS里,于是写了个脚本用crontab去调用。但是发现在脚本里hadoop的命令无法执行,在终端是没问题的。查看日志发现crontab也运行正常。
后来终于找到原因,貌似是hadoop home的环境变量没有生效,于是在脚本里加入export hadoop的环境变量,问题解决。
一个更简单的方法是直接加入source /etc/profile在脚本的最前面.
转载于:https://my.oschina.net/aibati2008/blog/634936