60 lines
2.6 KiB
Ruby
60 lines
2.6 KiB
Ruby
#
|
|
# Produktiver Lauf: Buchungen prüfen, Summe und Saldo abgleichen, wiederholbar in die Buchhaltungs-Datenbank
|
|
# und als CSV in Windows-1252 für das Zielsystem schreiben; mit Sperre, Laufhistorie und Slack bei Problemen
|
|
#
|
|
# bin/etl run examples/buchungen_export.rb [--out=tmp] [--dry-run]
|
|
#
|
|
require 'fileutils'
|
|
require 'datapipeline'
|
|
|
|
DATA = File.expand_path('data', __dir__)
|
|
out = DataPipeline.params.fetch(:out, 'tmp')
|
|
FileUtils.mkdir_p(out)
|
|
|
|
# Zugangsdaten stehen nicht im Skript, sondern in der Verbindungsdatei (Default: config/connections.yml)
|
|
DataPipeline.connections_file = File.expand_path('config/connections.yml', __dir__)
|
|
|
|
# Slack nur, wenn ein Token gesetzt ist; so fällt ein fehlender Token schon vor dem Lauf auf
|
|
slack = DataPipeline::Slack.new(channel: '#etl') if ENV['SLACK_TOKEN']
|
|
|
|
DataPipeline.new do
|
|
name 'buchungen_export'
|
|
lock "#{out}/.buchungen.lock" # läuft schon ein Export, bricht dieser ab (Exit-Code 3)
|
|
history "#{out}/runs.ndjson" # eine JSON-Zeile je Lauf, auch nach Abbruch
|
|
|
|
read container(:csv, file: "#{DATA}/buchungen.csv", csv: { col_sep: ';' })
|
|
|
|
# 1. prüfen: ohne on_error bricht ein Fehler den Lauf ab, es entsteht keine halbe Buchung
|
|
validate 'belnr' => { required: true, format: /\A\d{10}\z/ },
|
|
'konto' => { required: true, format: /\A\d+\z/ },
|
|
'betrag' => { required: true, type: :decimal }
|
|
|
|
# 2. umbauen mit Kurzschritten und einem map
|
|
default 'text' => 'ohne Text'
|
|
rename 'text' => 'buchungstext'
|
|
cast 'buzei' => :integer, 'datum' => :date, 'betrag' => :decimal
|
|
map do |row|
|
|
row.merge('shkzg' => row['betrag'].negative? ? 'H' : 'S', 'dmbtr' => format('%.2f', row['betrag'].abs))
|
|
end
|
|
select %w[belnr buzei datum konto shkzg dmbtr betrag buchungstext]
|
|
|
|
# 3. abgleichen, bevor etwas geschrieben wird
|
|
totals 'betrag'
|
|
reconcile do |stats|
|
|
quelle, ergebnis = stats.total('betrag', :read), stats.total('betrag')
|
|
next "Summe geändert: Quelle #{DataPipeline.decimal(quelle)}, Ergebnis #{DataPipeline.decimal(ergebnis)}" if quelle != ergebnis
|
|
|
|
"Soll und Haben ungleich, Saldo #{DataPipeline.decimal(ergebnis)}" unless ergebnis.zero?
|
|
end
|
|
|
|
# 4. schreiben: Upsert macht den Lauf wiederholbar; die CSV-Datei im Zeichensatz des Zielsystems
|
|
write connection(:buchhaltung)
|
|
write container(:csv, file: "#{out}/buchungen_sap.csv", encoding: 'Windows-1252', csv: { col_sep: ';' },
|
|
columns: %w[belnr buzei datum konto shkzg dmbtr buchungstext])
|
|
|
|
on_finish do |stats|
|
|
puts "#{stats.name}: #{stats}"
|
|
slack&.send_message("*#{stats.name}*: #{stats}") unless stats.ok?
|
|
end
|
|
end.run
|