datapipeline 3.0.0: transform, Parallelmodus, chained und String-Bedingungen entfernt
This commit is contained in:
@@ -1,17 +1,11 @@
|
||||
require_relative '../test_helper'
|
||||
|
||||
# dsl, settings, plugin lookup, parallel mode
|
||||
# dsl, settings, plugin lookup
|
||||
class PipelineCoreTest < PipelineTest
|
||||
ROWS = [{ 'a' => 1 }, { 'a' => 2 }, { 'a' => 3 }].freeze
|
||||
|
||||
def settings_of(pipeline) = pipeline.instance_variable_get(:@settings)
|
||||
|
||||
def test_nil_filters_rows
|
||||
assert_equal [{ 'a' => 1 }], output(ROWS) { transform { |r| r['a'] == 1 ? r : nil } }
|
||||
assert_equal ROWS, output(ROWS) { transform { |r| [r, nil] } }
|
||||
assert_equal ROWS, output(ROWS) { transform(processing: :prepend) { nil }; transform { |r| r }; transform(processing: :append) { nil } }
|
||||
end
|
||||
|
||||
def test_dsl_switches
|
||||
assert_equal false, settings_of(DataPipeline.new { verbose false })[:verbose]
|
||||
assert_equal true, settings_of(DataPipeline.new { verbose })[:verbose]
|
||||
@@ -73,39 +67,8 @@ class PipelineCoreTest < PipelineTest
|
||||
assert_equal Array.new(8) { |i| (i % 3) + 1 }, reads
|
||||
end
|
||||
|
||||
def test_parallel_mode_is_side_by_side
|
||||
out = output(ROWS) { transform { |r| r.merge('b' => 1) }; transform { |r| r.merge('c' => 2) } }
|
||||
assert_equal 6, out.size
|
||||
end
|
||||
|
||||
def test_parallel_mode_copies_rows_per_step
|
||||
out = output(ROWS) { transform { |r| r['x'] = 1; r }; transform { |r| r.key?('x') ? nil : r } }
|
||||
assert_equal 6, out.size
|
||||
assert_equal [{ 'a' => 10 }, { 'a' => 20 }, { 'a' => 30 }], output(ROWS) { transform { |r| [r.transform_values! { |v| v * 10 }] } }
|
||||
end
|
||||
|
||||
def test_stable_order_and_all_prepends_appends
|
||||
out = output(ROWS) { 20.times { |k| transform { |r| r['a'] == 1 ? { 'k' => k } : nil } } }
|
||||
assert_equal (0...20).to_a, out.map { |r| r['k'] }
|
||||
|
||||
out = output(ROWS) do
|
||||
transform(processing: :prepend) { { 'h' => 1 } }
|
||||
transform(processing: :prepend) { { 'h' => 2 } }
|
||||
transform { |r| r }
|
||||
transform(processing: :append) { { 't' => 1 } }
|
||||
transform(processing: :append) { { 't' => 2 } }
|
||||
end
|
||||
assert_equal [{ 'h' => 1 }, { 'h' => 2 }, *ROWS, { 't' => 1 }, { 't' => 2 }], out
|
||||
end
|
||||
|
||||
def test_append_count_parallel_vs_chained
|
||||
assert_equal({ 'n' => 3 }, output(ROWS) { transform { |r| [r, r] }; transform(processing: :append) { |_, n| { 'n' => n } } }.last)
|
||||
assert_equal({ 'n' => 6 }, output(ROWS) { chained; transform { |r| [r, r] }; transform(processing: :append) { |_, n| { 'n' => n } } }.last)
|
||||
end
|
||||
|
||||
def test_conditions
|
||||
assert_equal [{ 'a' => 1 }, { 'a' => 3 }], output(ROWS) { transform(condition: ->(r) { r['a'] != 2 }) { |r| r } }
|
||||
assert_equal [{ 'a' => 2 }], output(ROWS) { transform(condition: "row['a'] == 2") { |r| r } }
|
||||
def test_removed_dsl_of_version_2
|
||||
%i[transform chained].each { |name| assert_raises(NoMethodError) { DataPipeline.new { send(name) { |r| r } } } }
|
||||
end
|
||||
|
||||
def test_copy_without_steps
|
||||
|
||||
Reference in New Issue
Block a user