[C#] Hướng dẫn import excel big data vào database sqlserver

Xin chào các bạn, bài viết hôm nay mình sẽ hướng dẫn các bạn cách import dữ liệu từ excel với số lượng record lớn (Big DATA) vào cơ sở dữ liệu MSSQL server.

Trong các bài trước, mình đã có hướng dẫn các bạn cách import dữ liệu từ excel vào database sqlserver.

Import dữ liệu từ Excel và cập nhật lên SQL

Trong các bài trước mình đã có hướng dẫn import dữ liệu từ Excel và Database sqlserver, tuy nhiên nếu file excel có số lượng record nhiều vài trăm ngàn dòng hoặc thậm chí vài trăm triệu dòng, thì giải pháp để tối ưu nó như thế nào, để cho ứng dụng của mình import dữ liệu vào một cách nhanh chóng.

Thông thường, nếu các bạn mới học lập trình khi các bạn mới đọc dữ liệu từ excel vào datatable xong.

Các bạn thường sử dụng vòng for trên từng DataRow, rồi insert dữ liệu từng dòng xuống, nếu các bạn nào mà sử dụng cách này thì khi chạy một vòng for, nó sẽ tạo ra một connection tới sqlserver để import và nếu dữ liệu có 100.000 record, phần mềm của bạn sẽ tạo ra 100.000 connection tới => Import rất lâu, không tối ưu.

Các bạn có thể sử dụng giải pháp SqlbulkCopy.

Nhưng trong bài viết này, mình sẽ hướng dẫn các bạn cách import dữ liệu chỉ cần tạo ra một connection đến sqlserver để thực hiện công việc imoport này thôi.

Từ phiên bản Sqlserver 2016 trở đi, Microsoft đã tích hợp cho chúng ta làm việc giữa sqlserver và json rất mạnh mẽ.

Nên trong bài này mình sẽ trình bày giải thuật import excel như sau:

Từ Datatable (đọc từ file excel)  =>  chuyển thành file json (sử dụng thư viện newston json từ nuget) rồi chuyển đoạn json này xuống một Store Procedure để thực hiện import dữ liệu.

Bây giờ mình sẽ bắt đầu thực hiện:

Tạo một database demo với tên BIGDATA (các bạn có thể download database này ở cuối bài viết)

Đầu tiên các bạn tạo mình một bảng table tbl_danhba như sau:

tiếp đến các bạn tạo cho mình một store procedure để import dữ liệu:

USE [BIGDATA]
GO
/****** Object:  StoredProcedure [dbo].[usp_Insert_danhba]    Script Date: 06/07/2019 9:54:04 AM ******/
SET ANSI_NULLS ON
GO
SET QUOTED_IDENTIFIER ON
GO

ALTER PROCEDURE [dbo].[usp_Insert_danhba](@table_danhba NVARCHAR(MAX))
AS BEGIN
    INSERT INTO dbo.tbl_danhba(phone, name)
    SELECT phone, name
    FROM
        OPENJSON(@table_danhba)
        WITH(phone VARCHAR(20), name NVARCHAR(200)) a
    WHERE NOT EXISTS (SELECT 0 FROM dbo.tbl_danhba WHERE phone=a.phone);
END;

Tiếp theo, là source cho nút đọc dữ liệu từ file excel vào dataset.

private void btn_chonfile_Click(object sender, EventArgs e)
{
    using (OpenFileDialog ofd = new OpenFileDialog() { Filter = "Excel Files|*.xls;*.xlsx", ValidateNames = true })
    {
        if (ofd.ShowDialog() == DialogResult.OK)
        {
            try
            {
                txt_input.Text = ofd.FileName;
                using (var stream = File.Open(ofd.FileName, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
                {
                    IExcelDataReader reader;
                    if (ofd.FilterIndex == 2)
                    {
                        reader = ExcelReaderFactory.CreateBinaryReader(stream);
                    }
                    else
                    {
                        reader = ExcelReaderFactory.CreateOpenXmlReader(stream);
                    }

                    ds = reader.AsDataSet(new ExcelDataSetConfiguration()
                    {
                        ConfigureDataTable = (_) => new ExcelDataTableConfiguration()
                        {
                            UseHeaderRow = true
                        }
                    });

                    reader.Close();

                }
            }
            catch (Exception)
            {
                MessageBox.Show("Vui lòng tắt file excel đang mở để imports.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Warning);

            }

        }
    }
}

Và tiếp tục là button insert dữ liệu từ datatable xuống sqlserver.

private void btn_import_Click(object sender, EventArgs e)
{
    string ip = @"NGUYENTHAONGUYENTHAO";
    string db_name = "BIGDATA";
    string db_user = "sa";
    string db_pass = "minh123";
    try
    {              
        string jData = JsonConvert.SerializeObject(ds.Tables[0]);
        string connectionSTR = $"Server={ip};Database={db_name};User Id={db_user}; Password ={db_pass}; Connection Timeout=3";
        var conn = new SqlConnection(connectionSTR);
        SqlCommand sqlcom = new SqlCommand("usp_Insert_danhba", conn);
        sqlcom.CommandType = CommandType.StoredProcedure;
        sqlcom.Parameters.AddWithValue("@table_danhba", jData);             
        conn.Open();
        sqlcom.ExecuteNonQuery();
        conn.Close();

        LoadData();
        MessageBox.Show("Import dữ liệu thành công!.", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
    }
    catch (Exception ex)
    {
        MessageBox.Show($"{ex.Message }", "Thông Báo", MessageBoxButtons.OK, MessageBoxIcon.Information);
    }
}

Kết quả sau khi import dữ liệu:

Trong source code bên dưới mình sẽ cung cấp cho các bạn: source code C#, sqlserver, và 1 file excel để các bạn thực hành.

Thanks for watching!

DOWNLOAD SOURCE