Năm 2006, Trung Quốc đưa ra sáng kiến thành phố kỹ thuật số đầu tiên nhằm xây dựng một khung không gian địa lý quốc gia. Trong 10 năm qua, 511 thành phố cấp quận, huyện đã được hưởng lợi từ sáng kiến quốc gia với nguồn tài trợ và nguồn lực kỹ thuật do chính quyền trung ương cấp. Sáng kiến có đạt được mục tiêu không? Khung không gian địa lý đã ảnh hưởng như thế nào đến hoạt động quản lý của chính quyền địa phương, các dịch vụ công, hoạt động kinh doanh và cuộc sống hàng ngày của người dân? Bài học nào có thể được rút ra từ kinh nghiệm 10 năm phát triển thành phố kỹ thuật số? Trả lời những câu hỏi này là mối quan tâm quan trọng về mặt chính sách, học thuật và thực tiễn. Sáng kiến thành phố kỹ thuật số đặt nền tảng cho việc xây dựng các thành phố thông minh mà các cơ quan Chính phủ trung ương của Trung Quốc và nhiều thành phố trực thuộc trung ương hiện đang theo đuổi. Đánh giá về sự phát triển thành phố kỹ thuật số của Trung Quốc giúp cung cấp thông tin cho các quyết định đầu tư thành phố thông minh trong tương lai và hoạch định chính sách liên quan ở quốc gia này.

Các tác giả: 

Lâm Trường Giang , Nguyễn Quốc Khánh, và Trần Đăng Quang

Xem chi tiết tại đây

Phân loại hình ảnh mối hàn thép dựa trên công nghệ xử lý dữ liệu lớn

Nguyễn Xuân Huy - CH2002007

Khuyết tật hàn là các lỗi được tạo ra do sai lệch về hình dáng bên ngoài, độ nặng và cấu trúc kim loại so với thiết kế trong quá trình làm việc của thợ hàn với máy hàn. Khuyết tật hàn có thể ảnh hưởng đến chất lượng và thẩm mỹ của mối hàn. Trong quá trình sản xuất và thi công thép tiền chế cho các công trình, nếu các khuyết tật mối hàn không được phát hiện sẽ không đảm bảo chất lượng và an toàn cho công trình, cũng như đe dọa tính mạng con người. Trong lĩnh vực gia công, có 2 cách kiểm tra khuyết tật mối hàn là kiểm tra phá hủy và kiểm tra không phá hủy. Kiểm tra phá hủy thường thực hiện trong các phòng thí nghiệm, trong khi kiểm tra không phá hủy thường được ưu tiên thực hiện trong quá trình sản xuất.

Có nhiều phương pháp kiểm tra không phá hủy để kiểm tra khuyết tật trong mối hàn như kiểm tra bằng sóng siêu âm (UT), kiểm tra bằng tia X (RT), kiểm tra bằng tia gamma (GT), kiểm tra bằng dòng điện xoay chiều (ET), và kiểm tra bằng phương pháp quang (VT). Lĩnh vực thị giác máy tính đang được ứng dụng trong các lĩnh vực y tế, an ninh, sản xuất kinh doanh, việc phân loại khuyết tật mối hàn dựa trên hình ảnh cũng có thể thực hiện bằng thị giác máy tính.

Dữ liệu hình ảnh về khuyết tật mối hàn rất đa dạng do quá trình sản xuất. Tuy nhiên, nghiên cứu ứng dụng phân loại khuyết tật mối hàn sử dụng các phương pháp học sâu cho bộ dữ liệu ngày càng lớn sẽ gặp rất nhiều thách thức. Một trong những thách thức lớn nhất đó là chất lượng hình ảnh khi thu thập từ camera hoặc điện thoại thông minh bị ảnh hưởng bởi góc chụp ảnh, độ sáng hoặc các mối hàn bị che khuất. Điều này dẫn đến việc có thể thiếu sót thông tin và làm giảm độ chính xác của mô hình phân loại. Bên cạnh đó, chi phí huấn luyện cho mô hình cũng là một thách thức khác. Một số phương pháp học sâu đòi hỏi một lượng lớn dữ liệu và thời gian để huấn luyện, và việc thu thập dữ liệu phù hợp cũng là một nguyên nhân khó khăn. Ngoài ra, việc xây dựng một mô hình phân loại khuyết tật mối hàn đáng tin cậy và chính xác có thể đòi hỏi sự cân nhắc kỹ lưỡng và công phu trong quá trình thu thập và xử lý dữ liệu.

Để giải quyết những thách thức trên, Luận văn này đề xuất một phương pháp phân hình ảnh mối hàn dựa trên công nghệ xử lý dữ liệu lớn. Phương pháp này sử dụng các mô hình dữ liệu đào tạo trước để học chuyển giao (LT) và dữ liệu đào tạo áp dụng phương pháp đào tạo song song phân tán. Nền tảng tập trung dữ liệu Apache Spark kết hợp thư viện BigDL giúp cho việc huấn luyện phát hiện khuyết tật mối hàn trở nên nhanh chóng và chính xác hơn.

Từ kết quả thực nghiệm 1 của bộ dữ liệu hàn nhiệt gồm 9,058 hình ảnh cho thấy, Trong tác vụ 3 class, mô hình EfficientNetB0 cho kết quả thấp nhất (0.4394, 0.2035 và 0.2683 cho các độ đo Accuracy, Macro F1-score và Weighted F1-score), trong khi ResNet101 và VGG16 cho kết quả tốt hơn. VGG16 cho kết quả tốt nhất trong 5 mô hình cài đặt (với 0.8230 Accuray, 0.8205 Macro F1-score và 0.8222 Weighted F1- score). Trong tác vụ 7 class, EfficientNB0 và VGG16 lần lượt cho kết quả không tốt đồng thời hiệu suất của các mô hình ở tác vụ 7 class thấp hơn khoảng 20% so với tác vụ 3 class.

Căn cứ kết quả thí nghiệm 2 có thể đánh giá thời gian trung bình huấn luyện mô hình từ xxx giây cho bộ dữ liệu 9,058 tấm ảnh cho huấn luyện song song phân tán trên mạng LAN so với xxx giây của qua VPN, độ chính xác đạt xx%. Với phương pháp Đồng bộ hóa Dữ liệu Song Song, Kết quả cho thấy rằng huấn luyện trên một GPU chỉ nhanh hơn một chút so với nhiều GPU (xxs / epoch so với xxs / epoch). Tuy nhiên, nếu huấn luyện mô hình với lượng dữ liệu lớn khả năng xử lý của 1 GPU thì việc sử dụng chỉ 1 GPU để huấn luyện có thể gây khó khăn và trở nên quá tải. Giải pháp hợp lý trong trường hợp này là sử dụng huấn luyện mô hình song song và phân tán dữ liệu. Đó là một trong những giải pháp tốt nhất để làm việc với dữ liệu lớn hiện nay.

Từ những kết quả này, ta có thể thấy rằng công nghệ xử lý dữ liệu lớn là một phương pháp phù hợp trong việc phân loại hình ảnh khuyết tật mối hàn thép. Việc áp dụng công nghệ này giúp tăng độ chính, giảm thời gian đáng kể xử lý đào tạo dữ liệu và giúp giảm chi phí đào tạo. Ngoài ra, phương pháp này chứng tỏ có hiệu quả và thiết thực trong ứng dụng thực tế.

Trân trọng.

Cải tiến mô hình phân cụm dựa trên vị trí thông qua mạng nơron đồ thị (GNN)

Tạ Vũ Hoài Thương - CH1802064

Trong nhiều năm qua, phân tích không gian trong đó phân cụm dữ liệu dựa trên GIS [1] [2] [3] [4] đã trở thành một chủ đề nóng thu hút các nhà nghiên cứu do chủ đề có khả năng áp dụng rộng rãi trong nhiều lĩnh vực. Mô hình phân cụm dựa trên GIS được thiết kế theo cách tiếp cận không giám sát cho phép trích xuất thông tin cụm từ dữ liệu địa lý đã có (ví dụ: tọa độ, nhiệt độ, v.v.) cho các mục đích khác nhau, chẳng hạn như: Phân tích mật độ dân số, phân tích sử dụng đất, phân tích điểm nóng tội phạm, phân tích điểm nóng COVID-19, v.v. Tóm lại, tương tự như mô hình phân cụm không giám sát truyền thống, các kỹ thuật phân cụm được sử dụng để gom các điểm dữ liệu thành các cụm khác nhau dựa trên sự tương đồng của chúng.

Đối với vấn đề phân cụm dựa trên vị trí trong GIS, các phương pháp phân cụm dựa trên mật độ hiện đang gặp phải những khó khăn về chất lượng thấp và nhiễu của thông tin địa lý như tọa độ dẫn đến giảm hiệu suất tổng thể của nhiệm vụ phân cụm dựa trên vị trí.

Ví dụ trong một tình huống có tập dữ liệu không gian địa lý thưa thớt (ví dụ: vị trí của các trường hợp COVID-19 đã được xác nhận hoặc tai nạn, kẹt xe ở các khu vực đô thị, v.v.) mà không có bất kỳ thông tin nào về hình dạng cụm, thông tin địa lý liên quan, ngưỡng khoảng cách, v.v ..., nên khó xác định thông tin cụm từ các tập dữ liệu dựa trên GIS này, cũng như tạo ra các cụm có ý nghĩa cho các nhiệm vụ phân tích tiếp theo.

Nhiều ứng dụng thực tế có thể dùng kết quả này, chẳng hạn như xác định các trường hợp COVID-19 đã được xác nhận hay các điểm nóng trong khu vực cách ly, mật độ tội phạm ở các khu vực cụ thể, mật độ giao thông tại các vị trí cụ thể tại các mốc thời gian khác nhau, v.v.

Thách thức chính của vấn đề phân cụm dựa trên vị trí là tính đại diện thấp của dữ liệu không gian địa lý sẵn có như các tọa độ được dùng để xác định các vị trí địa lý khác nhau, trong đó chỉ cung cấp các giá trị kinh độ và vĩ độ. Vì vậy, thông tin bổ sung là không thể thiếu để cải thiện chất lượng của các biểu diễn dữ liệu dựa trên vị trí. Các biểu diễn này sau đó được sử dụng trực tiếp để tạo điều kiện thuận lợi cho việc triển khai các mô hình phân cụm cũng như tạo ra các cụm có ý nghĩa cho nhiệm vụ phân tích tiếp theo.

Kết quả đạt được:

• Luận văn đã đề xuất một phương pháp gom cụm dữ liệu vị trí địa lý thông qua hướng tiếp cận khám phá cộng đồng và học máy, mô hình được gọi là CP2Vec.
• Mô hình CP2Vec được đề xuất nhằm hỗ trợ phân tích và đánh giá mức độ tương đồng giữa các địa điểm. Để làm điều này, luận văn đề xuất một phương pháp xây dựng đồ thị các địa điểm dựa trên mức độ gần nhau của chúng trên không gian địa lý đã được áp dụng.
• Sau đó, luận văn áp dụng kỹ thuật phát hiện cộng đồng để trích xuất thông tin về các cụm điểm được phân bố gần nhau.
• Cuối cùng, một kiến trúc mạng nơ-ron đồ thị được áp dụng để học mô hình biểu diễn của các điểm và chuyển đổi thành các vector có số chiều cố định (d). Sau đó các vector biểu diễn các địa điểm được đưa vào các mô hình gom cụm DBSCAN hay HDBSCAN sẵn có để tiến hành gom cụm các địa điểm này.
• Để chứng minh tính hiệu quả của mô hình được đề xuất cho bài toán gom cụm các địa điểm trong không gian địa lý, luận văn tiến hành thực nghiệm trên các tập dữ liệu thực tế bao gồm hai tập dữ liệu chính.
• Đầu tiên là tập dữ liệu các địa điểm ca nhiễm COVID-19 được phân bố trong 13 quận của TP. Hồ Chí Minh.
• Thứ hai là tập dữ liệu về vị trí các vụ án hình sự đã được xảy ra và được báo cáo tại thành phố Hartford, Hoa Kỳ cho nhiệm vụ phân cụm dựa trên vị trí.
• Kết quả thực nghiệm trong các bộ dữ liệu thực tế này đã chứng minh tính hiệu quả của mô hình CP2Vec được đề xuất của luận văn trong việc nâng cao hiệu suất gom cụm cho các mô hình sẵn có như DBSCAN và HDBSCAN.

Trân trọng.