Never miss an old file
[myops.git] / web / collect / server / cron.hourly / load_all_couchdb.sh
1 #!/bin/bash
2
3
4 PREFIX=/var/www/html/uploadlogs/
5 EXEC_PREFIX=/usr/share/myops/web/collect/server
6
7 cd $PREFIX
8 NS_LIST=`ls`
9 for ns in $NS_LIST ; do
10         # NOTE: look at all uploaded files, and find unique oldhours.
11         for oldhour in `ls | awk -F: '{print $1}' | sort | uniq | grep T`; do 
12                 
13                 mkdir -p $PREFIX/$ns/old/$oldhour
14                 for file in `ls $PREFIX/$ns/$oldhour*--upload`; do 
15                         $EXEC_PREFIX/load_couch.py $file && mv $file $PREFIX/$ns/old/$oldhour
16                 done
17
18                 $EXEC_PREFIX/summarize_logs.sh $ns $oldhour || :
19                 $EXEC_PREFIX/summarize_rpms.sh $ns $oldhour || :
20                 $EXEC_PREFIX/summarize_stats.sh $ns $oldhour || :
21
22         done
23 done
24
25 curl -s 'http://HOSTNAME:5984/myops/_design/myops/_list/nodelist/node-status?fields=hostname&skip_header' | wc -l &> /dev/null