एचडीएफएस

Question

में एन दिनों से पुरानी निर्देशिकाएं ढूँढना क्या हैडऑप fs -ls का उपयोग एन दिनों से अधिक (मौजूदा तारीख से) की सभी निर्देशिकाओं को खोजने के लिए किया जा सकता है?

मैं एचडीएफएस (एक पैटर्न से मेल खाने) पर सभी निर्देशिकाओं को खोजने और हटाने के लिए एक स्वच्छ दिनचर्या लिखने की कोशिश कर रहा हूं जो वर्तमान दिनांक से पहले दिन पहले बनाए गए थे।

Answer 1

यह स्क्रिप्ट सभी निर्देशिकाओं कि [days] से अधिक पुराने हैं सूचीबद्ध करता है:

#!/bin/bash 
usage="Usage: $0 [days]" 

if [ ! "$1" ] 
then 
    echo $usage 
    exit 1 
fi 

now=$(date +%s) 
hadoop fs -lsr | grep "^d" | while read f; do 
    dir_date=`echo $f | awk '{print $6}'` 
    difference=$((($now - $(date -d "$dir_date" +%s))/(24 * 60 * 60))) 
    if [ $difference -gt $1 ]; then 
    echo $f; 
    fi 
done 

Answer 2

असली समूहों के लिए यह एक अच्छा विचार, ls उपयोग करने के लिए नहीं है। यदि आपके पास व्यवस्थापकीय अधिकार हैं, यह fsimage का उपयोग करने के लिए अधिक उपयुक्त है।

मैं विचार को चित्रित करने के लिए ऊपर लिपि को संशोधित करता हूं।

पहले लाने fsimage

curl "http://localhost:50070/getimage?getimage=1&txid=latest" > img.dump 

(के रूप में LSR देता है एक ही आउटपुट) यह पाठ में परिवर्तित

hdfs oiv -i img.dump -o fsimage.txt 

स्क्रिप्ट:

#!/bin/bash 
usage="Usage: dir_diff.sh [days]" 

if [ ! "$1" ] 
then 
    echo $usage 
    exit 1 
fi 

now=$(date +%s) 
curl "http://localhost:50070/getimage?getimage=1&txid=latest" > img.dump 
hdfs oiv -i img.dump -o fsimage.txt 
cat fsimage.txt | grep "^d" | while read f; do 
    dir_date=`echo $f | awk '{print $6}'` 
    difference=$((($now - $(date -d "$dir_date" +%s))/(24 * 60 * 60))) 
    if [ $difference -gt $1 ]; then 
    echo $f; 
    fi 
done 

Answer 3

यदि आप ऐसा CDH वितरण का उपयोग करने की हैडोप का, यह बहुत उपयोगी HdfsFindTool कमांड के साथ आता है, जो कि लिनक्स के find कमांड की तरह व्यवहार करता है।

आप डिफ़ॉल्ट पार्सल जानकारी का उपयोग कर रहे हैं, तो यहां आप यह कर करेंगे:

hadoop jar /opt/cloudera/parcels/CDH/jars/search-mr-*-job.jar \ 
org.apache.solr.hadoop.HdfsFindTool -find PATH -mtime +N 

कहाँ पथ खोज पथ के साथ और एन दिनों की संख्या के साथ बदलें चाहते हैं।

Answer 4

HDFS DFS -LS /hadoop/path/*.txt|awk '$ 6 < "2017/10/24"'