Subversion Repositories OpenARM Single-board Computer

#!/usr/bin/perl -w

use strict;

# $Id: inventory.pl 329 2008-12-29 18:21:45Z jelle $

# Thu, 13 Nov 2008 21:06:23 +0100

# Maciej 'agaran' Pijanka <agaran@pld-linux.org>

# for OpenARM SBC Project

# license: gpl v3

use Getopt::Long qw//;

use File::Basename qw/basename/;

use IO::Dir;

use IO::File;

use lib File::Basename::dirname($0).'/lib';

use Text::Table;

my %Config;

# ==================================================

$Config{docdir} = '.';

$Config{bomdir} = '.';

$Config{outdir} = '.';

$Config{verbose} = 1;

# 0 mean not show, -1 show all, positive value limits depth of shown

$Config{dbg_showdirs} = 0;

# modes

my $build_inventory = 0;

my $build_bom = 0;

my $show_conf = 0;

my $show_help = 0;

# ==================================================

my %Inv_By_PartNo;

my @Inv;

my %BomData;

sub err_printf($@) {

        my ($format, @args) = @_;

        printf STDERR "-E- ".$format."\n", @args;

        # exit? or fail-exit here

}

sub wrn_printf($@) {

        my ($format, @args) = @_;

        return if ($Config{verbose} <= 1) ;

        printf STDERR "-W- ".$format."\n", @args;

}

sub inf_printf($@) {

        my ($format, @args) = @_;

        return if ($Config{verbose} <= 2) ;

        printf STDERR "-I- ".$format."\n", @args;

}

sub Config_Show {

        printf "Config for %s\n----------------------------------------\n", basename($0);

        foreach my $name (sort keys %Config) {

                printf "%-20s %s\n", $name, $Config{$name};

        }

}

sub Help_Show {

        printf "Help for %s\n----------------------------------------\n", basename($0);

        unless (defined($_[1]) && length($_[1]) != 0) {

                print "Basic help\n\t--showrc|showconf shows current configuration\n".

                        "\t--docdir|-d <dir> tells script where information.txt files should be searched\n".

                        "\t--define <something>=<somethingelseornot> defines some configration value\n".

                        "\t--verbose|-v [level] sets verbosity level\nOrder of options DOES matter\n".

                        "\t--bomdir|-b <dir> tells script where boms should be searched\n";

                print "\t\e[0;31mThis Help Is created especially for \e[0;33mJelle\e[0;29m\n".

                        "\tThis script search all directories below specified ones to find interesting files\n";

                return;

        }

        if ($_[1] =~ /^foo$/) {

                print "Noo, there is no foo's here\n";

        } else {

                printf "Sorry, help for `%s' don't exist (eventually) yet\n", $_[1];

        }

        exit;

}

sub fix_dir ($) {

        my $dir = shift @_;

        $dir =~ s/\/$//;

        if (! -d $dir) {

                err_printf("Sorry `%s' is not valid directory, exiting", $dir);

        }

        return $dir;

}

sub shortdir ($) {

        my $path = shift @_;

        return substr($path, 2) if ($path =~ /^\.\//) ;

        return $path;

}

sub trim($) {

        my ($value) = @_;

        $value =~ s/^ +//;

        $value =~ s/ +$//;

        return $value;

}

sub etrim($) {

        my ($value) = @_;

        $value =~ s/^[  ]+//;

        $value =~ s/[   ]+$//;

        return $value;

}

sub shortstring($$) {

        my ($str,$lim) = @_;

        return substr($str,0,$lim-4).'(..)' if (length ($str) > $lim);

        return $str;

}

# this subroutine is used as callback function

# executed by file_lookup

sub parse_ifile($) {

        my ($filepath) = @_;

        open(IN, $filepath) or return 1;

        my %data;

        while (not eof IN) {

                my $line = <IN>;

                chomp $line;

                next if ($line =~ /^[   ]*$/);

                next if ($line =~ /^;/);

                last if ($line =~ /^--/);

                if ($line =~ /^([A-Za-z ]+):(.*)$/) {

                        my ($name,$value) = (lc etrim($1),etrim($2));

                        if ($name =~ /^price$/) {

                                $value =~ s/[^0-9\.\,]//g;

                                if ($value =~ s/^([0-9]+)[,.]([0-9]+)$/$1.$2/) {

                                        # printf STDERR "Price %.3f\n", $value;

                                        if (!defined($data{price})) {

                                                $data{price} = $value;

                                        } else {

                                                wrn_printf("Duplicated price field in file %s", shortdir($filepath));

                                        }

                                } else {

                                        err_printf("Bad price field in file %s", shortdir($filepath));

                                }

                        } elsif ($name =~ /^manufacturer$/i) {

                                # printf STDERR "Manufacturer %s\n", $value;

                                if (!defined($data{manufacturer})) {

                                        $data{manufacturer} = $value;

                                } else {

                                        wrn_printf("Duplicated manufacturer field in file %s", shortdir($filepath));

                                }

                        } elsif ($name =~ /^manufacturer part no$/ ) {

                                # printf STDERR "ManPartNo %s\n", $value;

                                if (!defined($data{manufact_partno})) {

                                        $data{manufact_partno} = trim($value);

                                } else {

                                        wrn_printf("Duplicated manufacturer part no field in file %s",

                                                shortdir($filepath));

                                }

                        } elsif ($name =~ /^description$/i) {

                                if (!defined($data{desc})) {

                                        $data{desc} = $value;

                                } else {

                                        wrn_printf("Duplicated description no field in file %s",

                                                shortdir($filepath));

                                }

                        } elsif ($name =~ /^datasheet$/i) {

                                $data{datasheet} = [] unless defined $data{datasheet};

                                push @{$data{datasheet}}, $value;

                                # printf STDERR "Datasheet %s\n", $value;

                        } elsif ($name =~ /^supplier$/i) {

                                # printf STDERR "Supplier %s\n", $value;

                                if (!defined($data{supplier})) {

                                        $data{supplier} = $value;

                                } else {

                                        wrn_printf("Duplicated supplier field in file %s",

                                                shortdir($filepath));

                                }

                        } elsif ($name =~ /^order code$/) {

                                # printf STDERR "Order Code %s\n", $value;

                                if (!defined($data{ordercode})) {

                                        $data{ordercode} = $value;

                                } else {

                                        wrn_printf("Duplicated order code field in file %s",

                                                shortdir($filepath));

                                }

                                #push @DATA, { $name => $value };

                        } elsif ($name =~ /^url .*$/) {

                                # printf STDERR "URL %s\n", $value;

                        } elsif ($name =~ /^catalog(ue|) page$/) {

                                # printf STDERR "Catalogue Page %s\n", $value;

                        } else {

                                err_printf("Unhandled field %s in file %s", $name,

                                        shortdir($filepath));

                        }

                } else {

                        wrn_printf("Unparseable line `%s', forgot ; to set it as comment in file %s", $line,

                                shortdir($filepath));

                }

        }

        close(IN);

        if (scalar keys %data == 0) {

                inf_printf("Skipping file %s because contain no data for me",

                        shortdir($filepath));

                return;

        }

        unless (defined ($data{price}) && $data{price} != 0) {

                wrn_printf("Missing Price in file %s",

                        shortdir($filepath));

        }

        unless (defined($data{manufact_partno})) {

                inf_printf("Missing Manufacturer Part No in file %s",

                        shortdir($filepath));

        }

        unless (defined($data{ordercode})) {

                wrn_printf("Missing Order Code in file %s",

                        shortdir($filepath));

        }

        use Data::Dumper qw/Dumper/;

        my $id = scalar @Inv;

        $Inv[$id] = {};

        $Inv[$id]{Datasheet} = delete $data{'datasheet'} if defined $data{'datasheet'};

        $Inv[$id]{Manufacturer} = delete $data{'manufacturer'} if defined $data{'manufacturer'};

        $Inv[$id]{Description} = delete $data{'desc'} if defined $data{'desc'};

        $Inv[$id]{Price} = delete $data{'price'} if defined $data{'price'};

        $Inv[$id]{Ordercode} = delete $data{'ordercode'} if defined $data{'ordercode'};

        $Inv[$id]{Manufacturer_Partno} = delete $data{'manufact_partno'} if defined $data{'manufact_partno'};

        $Inv[$id]{Supplier} = delete $data{'supplier'} if defined $data{'supplier'};

        unless (defined ($Inv_By_PartNo{$Inv[$id]{Manufacturer_Partno}})) {

                $Inv_By_PartNo{$Inv[$id]{Manufacturer_Partno}} = $id;

        } else {

                wrn_printf("PartNumber %s happened more than once, using first occurence (id:%d)",

                        $Inv[$id]{Manufacturer_Partno}, $id);

        }

        #inf_printf("Part %s defined in file %s", $Inv[$id]{Manufacturer_Partno}, shortdir($filepath));

        wrn_printf("Unhandled data from parsing: %s", Dumper(\%data)) if (scalar keys %data > 0);

}

sub parse_bom ($) {

        my ($filepath) = @_;

        open(IN, $filepath) or return 1;

        #wrn_printf("GotARg: %s", shortdir($filepath));

        my @Fields;

        my %data;

        my $v = '';

        while (not eof IN) {

                my $line = <IN>;

                chomp $line;

                if ($line =~ /^\.START$/) {

                        $v = 'boms';

                        next;

                }

                if ($line =~ /^\.END$/) {

                        $v = '';

                        next;

                }

                if ($v eq 'boms') {

                        @Fields = split(/\t/, substr($line,2));

                        $v = 'bom';

                        # some funny way to generate field-map

                        # that if someone reorder bom file columns we are still on place

                        next;

                }

                if ($v eq 'bom') {

                        my ($refdes, $device, $value, $footprint, $quantity) = split (/\t/, $line);

                        $device = trim($device);

#                       wrn_printf("Device: %s (value: %s) at refdes %s, %d pcs", $device, $value, $refdes, $quantity);

                        if (!defined $Inv_By_PartNo{$device}) {

                                wrn_printf("Device %s not found in inventory in file %s", $device, shortdir($filepath));

                                next;

                        }

                        my $id = $Inv_By_PartNo{$device};

                        next if ($Inv[$id]{Manufacturer} =~ /none/i); # skip parts whose manufacturer is none

                        #inf_printf("Found in Inventory at %d %s", $id, $Inv[$id]{Manufacturer_Partno});

                        push @{$data{$id}{RefDes}}, $refdes;

                }

        }

        close(IN);

        if (scalar keys %data == 0) {

                inf_printf("Skipping file %s because contain no data for me",

                        shortdir($filepath));

                return;

        }

        foreach my $id (keys %data) {

                my %tmp;

                map { $tmp{$_} = 1 } @{$data{$id}{RefDes}};

                @{$data{$id}{RefDes}} = keys %tmp;

                my $cnt = scalar @{$data{$id}{RefDes}};

                if (!defined $Inv[$id]{Price}) {

                        wrn_printf("%s has no price, setting to 0.0", $Inv[$id]{Manufacturer_Partno});

                        $Inv[$id]{Price} = 0;

                }

                push @{$BomData{$id}{RefDes}}, @{$data{$id}{RefDes}};

#               printf "%-20s %.4f %s\n", $Inv[$id]{Manufacturer_Partno}, $cnt, $icost, join (', ', @{$data{$id}{RefDes}});

#               %BomData{ById}{$id}{RefDes}

        }

}

sub file_lookup ($$$$) ;

sub file_lookup ($$$$) {

        my ($dir, $depth, $regexp, $callback) = @_;

        err_printf("Sorry, callback must be CODE ref") unless (ref $callback eq 'CODE');

        if ( -d $dir) {

                my $d = IO::Dir->new($dir);

                return 1 if (!defined $d);

                while (defined(my $e = $d->read)) {

                        my $fe = $dir .'/'. $e;

                        if ( -f $fe) {

                                if ($fe =~ $regexp) {

                                        &$callback($fe);

                                }

                        } elsif (-d $fe) { # now its dir...

                                if ($e eq '.svn') { # if entry name is equal to svn

                                        next; # go to next entry in foreach loop

                                }

                                next if ($e eq '.' or $e eq '..'); # skip to next if dir entry is . or ..

                                if ($Config{dbg_showdirs} == -1 or $Config{dbg_showdirs} > $depth) {

                                        printf STDERR "Entering directory %s\n", shortdir($fe);

                                }

                                return 1 if (file_lookup($fe, $depth+1, $regexp, $callback) == 1);

                        } else {

                                # symlink or other mysterius beast

                        }

                }

        }

        return 0;

}

Getopt::Long::Configure("bundling");

if (scalar @ARGV == 0) {

        Help_Show();

        exit;

}

my $result = Getopt::Long::GetOptions (

        "showrc|showconf" => sub { $show_conf = 1 },

        "docdir|d=s" => sub { $Config{docdir} = $_[1]; },

        # not sure if bomdir or SCH dir

        "bomdir|b=s" => sub { $Config{$_[0]} = $_[1]; },  # $_[0] contain basename of option, so in few cases could be (ab)used

        "define|D=s" => sub { my ($p,$q) = split(/=/,$_[1],2); $Config{$p} = $q; },

        "verbose|v:+" => sub { $Config{$_[0]} = ($_[1]>1?0:$Config{$_[0]}) + $_[1]; },

        "help|h|?:s" => sub { $show_help = 1 },

        "outdir|o=s" => sub { $Config{$_[0]} = $_[1]; },

        # options 

);

if (!$result) {

        printf "Usage: %s [-d directory] [-v]\n",basename($0);

        exit;

}

# ==================================================

# processing of options/config values, checking ranges etc

# 

$Config{docdir} = fix_dir ($Config{docdir});

$Config{bomdir} = fix_dir ($Config{bomdir});

if ( $show_help == 1) {

        Help_Show();

        exit;

}

if ( $show_conf == 1) {

        Config_Show();

        exit;

}

# make Inventory

printf STDERR "Indexing information.txt (under %s)\n",shortdir($Config{docdir});

file_lookup($Config{docdir}, 0, qr/\/information.txt$/, \&parse_ifile);

printf STDERR "\tFinished, %d entries loaded\n", scalar(@Inv)+1;

# process BOM files

printf STDERR "Loading bom data from %s\n", shortdir($Config{bomdir});

file_lookup($Config{bomdir}, 0, qr/\.bom$/, \&parse_bom);

printf STDERR "\tLoaded, now processing\n";

my $n = 1;

my $cost = 0.0;

my $out = new IO::File $Config{outdir}.'/output.txt', 'w';

open (PARTMAP, '>output.map') || die 'cant open output.map: $!';

printf PARTMAP "%-35s| refdes\n\n", 'part';

my $bomtable = Text::Table->new(

        { title => '| ', is_sep => 1 },

        { title => 'id', align => 'right', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => 'description', align => 'left', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => 'manufacturer partid', align => 'left', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => 'manufacturer', align => 'left', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => 'order code', align => 'left', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => 'quantity', align => 'right', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => "price", align => 'right', align_title => 'left' },

        { title => ' | ', is_sep => 1 },

        { title => "cost", align => 'right', align_title => 'left' },

        { title => ' |', is_sep => 1 },

);

foreach my $id ( sort {my $p = $Inv[$a]{Manufacturer} cmp $Inv[$b]{Manufacturer}; if ($p == 0) {

#               return $Inv[$a]{Manufacturer_Partno} cmp $Inv[$b]{Manufacturer_Partno}}; return $p; }  keys %BomData) {

                return $Inv[$a]{Description} cmp $Inv[$b]{Description}}; return $p; }  keys %BomData) {

        my %tmp;

        map { $tmp{$_} = 1 } @{$BomData{$id}{RefDes}};

        @{$BomData{$id}{RefDes}} = keys %tmp;

        my $quant = scalar @{$BomData{$id}{RefDes}};

        if (!defined $Inv[$id]{Price}) {

                wrn_printf("%s has no price, setting to 0.0", $Inv[$id]{Manufacturer_Partno});

                $Inv[$id]{Price} = 0;

        }

        my $icost = $quant * $Inv[$id]{Price};

        printf PARTMAP "%-35s|%s\n", shortstring($Inv[$id]{Description},35), join (', ', sort @{$BomData{$id}{RefDes}});

        $cost += $icost;

#       %BomData{ById}{$id}{RefDes}

#       $bomtable->add(' '.$n.' ', $Inv[$id]{Description}.' ', $Inv[$id]{Manufacturer_Partno}.' ', $Inv[$id]{Manufacturer}.' ',

#               $Inv[$id]{Ordercode}.' ', ' '.$quant.' ', sprintf("%.3f ",$Inv[$id]{Price}), sprintf("%.3f ",$icost));

        $bomtable->add($n, $Inv[$id]{Description}, $Inv[$id]{Manufacturer_Partno}, $Inv[$id]{Manufacturer},

                $Inv[$id]{Ordercode},$quant, sprintf("%.3f",$Inv[$id]{Price}), sprintf("%.3f",$icost));

        $n ++;

}

printf $out "file generated at %s\n\n", scalar localtime(time());

print $out $bomtable->rule('-','+');

print $out $bomtable->title();

print $out $bomtable->rule('-','+');

print $out $bomtable->body();

print $out $bomtable->rule('-','+');

printf $out "\nTotal cost: %.3f\n", $cost;

close PARTMAP;

printf STDERR "\tFinished, output saved in %s\n", $Config{outdir}.'/output.txt';