Hướng dẫn  Hướng dẫn cập nhật dữ liệu từ trang web bằng Excel

Administrator
Vn-Z.vn Ngày 10 tháng 05 năm 2021, Đôi khi chúng ta sẽ cần lấy một số dữ liệu từ các trang web. Đối với người dùng phổ thông phương pháp truyền thống là copy nội dung dán trực tiếp vào Excel bằng việc copy và paste. Tuy nhiên, do cấu trúc của cáctrang web khác nhau, không phải tất cả các bản sao đều có thể hiệu quả. Nhưng nếu bạn cần cập nhật dữ liệu " động" cập nhật hàng ngày tự động, thì phương pháp truyền thống này chỉ giúp bạn nhận được là “dữ liệu tĩnh”. Khi nội dung trang web thay đổi hoặc bạn cần cập nhật báo cáo, số liệu mới thì bạn sẽ phải lập lại các thao tác copy và paste một cách thủ công và mất thời gian. Hôm nay mình sẽ hướng dẫn và chia sẻ cách các bạn có thể tạo bảng Excel tự động đồng bộ với trang web thông qua hàm Power Query trong Excel.

Gần đây tình hình dịch bệnh Covid 19 diễn ra rất phức tạp, người dân cần theo dõi các thông tin diễn biến tình hình dịch bệnh từ những nguồn tin chính thống , nắm bắt thông tin kịp thời tránh gây hoang mang.

Bài viết dưới đây hướng dẫn các bạn tự động cập nhật dữ liệu từ trang tin về dịch bệnh Covid 19 của bộ y tế.

1. Trước tiên bạn xác định nội dung trang web cần get data. Trong bài viết này tôi cần truy cập trang web chính thức của bộ y tế https://ncov.moh.gov.vn/.

2. Mở Excel


exel-getweb.png

Mở Excel, nhấp vào "Get Data" → "From Other Source" → "Frome Web" và dán vào URL cần tìm nạp. Lúc này, Power Query sẽ tự động phân tích trang web, sau đó hiển thị kết quả phân tích trong hộp lựa chọn.



exel-getweb0a77e60c06a57675.png

Bạn cũng có thể chọn Get Data bằng cách nhấp luôn vào nút From Web như hình mình họa dưới


Như trang web ncov của bộ y tế Power Query phân tích hai bộ bảng, nhấp để tìm bảng mà bạn cần, sau đó nhấp vào "chuyển đổi dữ liệu". Đợi một lát, Power Query sẽ tự động hoàn tất việc nhập dữ liệu.


exel-getweb1667400fe0ea995c.png

Excel tự động Query data

exel-getwebeb984df2daacc4ce.png

Ở đây tôi sẽ chọn Table để lấy dữ liệu và nhấn Transform Data

3. Làm sạch dữ liệu theo ý mình.

Sau khi Excel nhập xong, dữ liệu có thể được làm sạch bằng Power Query.Quá trình "làm sạch" chỉ đơn giản là một quá trình sàng lọc trước, chúng ta có thể chọn các bản ghi chúng ta cần, hoặc xóa và sắp xếp các cột không cần thiết.
Tại đây bạn cũng có thể điều chỉnh các thứ khác như sửa đổi kiểu bảng, kích thước văn bản, màu nền, căn chỉnh, chiều cao hàng và chiều rộng cột, thêm tiêu đề, v.v.


exel-getweb3c274dbd8c7b0248.png


Sau khi chỉnh sửa xong , bạn chọn Close and Load để nhận được kết quả cuối cùng


exel-getweba7eb0abe65253933.png

Hệ thống đang nhập data

exel-getweb8741aad81d652baa.png

Và đây là kết quả.


4. Cài đặt thời gian đồng bộ hóa tự động.

Hiện tại bạn đã nhận được dữ liệu query từ trang web của Bộ Y Tế, cập nhật tình hình số liệu bệnh nhân Covid 19. Tuy nhiên nếu không cài đặt thời gian tự động động bộ dữ liệu thì dữ liệu bạn nhận được vẫn là dữ liệu tĩnh.

Bạn có thể chọn Refresh để Excel tự động cập nhật dữ liệu từ trang web của Bộ Y Tế hoặc có thể cài đặt tự động theo khoảng thời gian

Đối với phiên bản Excel của tôi có thể sẽ khác với các phiên bản khác. Nháy phải chuột tại Table bên Tab Queries and Connections --> Chọn Load To =--- như hình bên dưới


exel-getweb99d05bfa9a022f8d.png

Chọn Load to

exel-getwebf53279418ee3b3f7.png

Tiếp theo Chọn Properties

exel-getweb7a07decee39aab46.png

Tại đây bạn có thể chọn Refresh dữ liệu theo khoảng thời gian hoặc tự động cập nhật khi mở file Excel thu thập dữ liệu

exel-getweb5c0bcabe5a210ee3.png

Lưu lại và hàng ngày hãy mở file này để tự mình cập nhật tình hình số lượng bệnh nhân Covid 19 theo thông tin từ Bộ Y Tế

Ngoài ra Excel còn có thể nhập dữ liệu từ nhiều trang web khác hoặc cách thức nhập liệu bằng Web API.v.v.v . Phương pháp này giúp người dùng văn phòng tiết kiệm được nhiều thời gian nhập liệu một cách tự động, nhanh chóng và chính xác.

Nếu thấy có ích hãy like và chia sẻ cho mọi người nhé.

Chúc các bạn vui khỏe .


Đinh Quang Vinh
 
Trả lời

quansumk

Búa Gỗ Đôi
Hỗ trợ 1 số web thôi, mình thử với bảng giá CK thì ko được
 

Nobika390

Rìu Sắt
mình có nhớ xem video hướng dẫn là excel làm đc update dữ liệu table từ web mà, tại chưa dùng đến nên ko nhớ cụ thể lắm
 

duypk

Rìu Sắt
Hỗ trợ 1 số web thôi, mình thử với bảng giá CK thì ko được
Vẫn có cách, hí hí. Mình từng làm cả chục năm rồi.

Thậm chí một vài web làm bảo vệ bằng .net cũng lấy được luôn, nhưng nó hơi lằng nhằng, thật ra là khá lằng nhằng, có 1 ít vba, 1 chút html. Mà nó cũng ko giúp giàu thêm đồng nào nên thôi mình vứt hết cmnlr. Khoảng 2 năm nay chả xài đến nó nữa.

Ngoài lề xíu:
Bạn check bảng giá chứng khoán thì chắc cũng giống mình trước đây, mình thấy nếu bạn dùng để theo dõi cổ phiếu, tạo bộ lọc thông báo điểm mua điểm bán điểm chốt lời cắt lỗ thì nên tìm cách khác. Dùng ngôn ngữ mql đẩy data chứng khoán realtime vào mql sau đó viết code khỏe hơn.

Ví dụ bạn muốn có tin nhắn đến điện thoại smartphone của bạn báo rằng:
- VNM vượt dải trên BB (D=2.0, N=8)-> Buy ngay
- VNM vượt dải trên BB (D=3.8, N=8)-> TP ngay, short luôn cho máu
- .................
Hoàn toàn có thể làm được, thay vì phải ngồi rình bảng điện tử thì bạn có thể trong 3 giây quét 1 phát hết sạch 1.800 cổ phiếu đang giao dịch của 3 sàn HOSE, HNX, UPCOM

Mình nói vậy thôi để bạn tự tìm hiểu thêm nếu bạn có hứng thú, hì hì.
 

trantrinh1902

Búa Đá Đôi
Nhờ hướng dẫn hữu ích của ad, mình thêm các công cụ lọc để mọi người tiện phân tích dữ liệu. Kiểu như
- Số ng đang điều trị là bao nhiêu, phân bố ở đâu, độ tuổi nào, quốc tịch nào?
- Có bao nhiêu người nước ngoài đang điều trị ở VN, chủ yếu khu vực nào?
- Khu vực nào có số ca mắc, hồi phục, tử vong nhiều nhất, số liệu ntn?
- Độ tuổi nhiễm covid ở đợt này khoảng bao nhiêu?
Và một số câu hỏi khác (miễn là data có số liệu để phân tích). Chi tiết ở link (dữ liệu đã được cài đặt update sau mỗi 5 phút):
screenshot_1620666973.png
 

trantrinh1902

Búa Đá Đôi
Vẫn có cách, hí hí. Mình từng làm cả chục năm rồi.

Thậm chí một vài web làm bảo vệ bằng .net cũng lấy được luôn, nhưng nó hơi lằng nhằng, thật ra là khá lằng nhằng, có 1 ít vba, 1 chút html. Mà nó cũng ko giúp giàu thêm đồng nào nên thôi mình vứt hết cmnlr. Khoảng 2 năm nay chả xài đến nó nữa.

Ngoài lề xíu:
Bạn check bảng giá chứng khoán thì chắc cũng giống mình trước đây, mình thấy nếu bạn dùng để theo dõi cổ phiếu, tạo bộ lọc thông báo điểm mua điểm bán điểm chốt lời cắt lỗ thì nên tìm cách khác. Dùng ngôn ngữ mql đẩy data chứng khoán realtime vào mql sau đó viết code khỏe hơn.

Ví dụ bạn muốn có tin nhắn đến điện thoại smartphone của bạn báo rằng:
- VNM vượt dải trên BB (D=2.0, N=8)-> Buy ngay
- VNM vượt dải trên BB (D=3.8, N=8)-> TP ngay, short luôn cho máu
- .................
Hoàn toàn có thể làm được, thay vì phải ngồi rình bảng điện tử thì bạn có thể trong 3 giây quét 1 phát hết sạch 1.800 cổ phiếu đang giao dịch của 3 sàn HOSE, HNX, UPCOM

Mình nói vậy thôi để bạn tự tìm hiểu thêm nếu bạn có hứng thú, hì hì.
thông báo qua app thì mình thấy có, còn vụ gửi tin nhắn thì mìn hóng :D
Bạn vẫn đầu tư chứng khoán chứ, có thể chỉ mình về code lọc cổ phiếu được k ạ?
 

duypk

Rìu Sắt
Nhờ hướng dẫn hữu ích của ad, mình thêm các công cụ lọc để mọi người tiện phân tích dữ liệu. Kiểu như
- Số ng đang điều trị là bao nhiêu, phân bố ở đâu, độ tuổi nào, quốc tịch nào?
- Có bao nhiêu người nước ngoài đang điều trị ở VN, chủ yếu khu vực nào?
- Khu vực nào có số ca mắc, hồi phục, tử vong nhiều nhất, số liệu ntn?
- Độ tuổi nhiễm covid ở đợt này khoảng bao nhiêu?
Và một số câu hỏi khác (miễn là data có số liệu để phân tích). Chi tiết ở link (dữ liệu đã được cài đặt update sau mỗi 5 phút):
Xem phần đính kèm 22663

Bạn này giống mình, hay xài Raw data tại 1 sheet rồi Export report qua sheet khác. Nhìn rất trực quan.

Còn về câu hỏi code lọc cổ phiếu thì giờ có rất nhiều phần mềm có thể dùng code để lọc, ví dụ: Amibroker, MetaStock, MetaTrader4, Metatrader5, FinnPro.

Mình đã xài hầu hết các phần mềm đó, riêng FinnPro là tính phí bản quyền phần mềm & phí datafeed khá đắt, và nó chỉ bán cho doanh nghiệp chứ ko bán cá nhân nhỏ lẻ. Được cái data nó khá nhanh, ngoài data realtime giao dịch trên sàn để xài cho technical analysis thì bạn có thể lấy được luôn financial statement để xài cho fundamental analysis. Khá tiện lợi, nhưng phí đắt lòi, nhân viên nào được cấp quyền xài cũng ko phải dạng tào lao bí đao.
Còn các phần mềm khác thì chịu khó tìm hiểu sẽ có các đẩy data realtime bảng giá chứng khoán vào, sau đó dùng code hoặc dùng tay để tạo bộ lọc filter, theo thứ tự từ dễ đến khó thì: Ami, MetaStock, MetaTrader4, MetaTrader5.
Ở thời điểm hiện tại mình xài chủ yếu Metatrader4 & MetaTrader5 cho Technical Analysis, còn Fundamental thì xài 1 cái tương tự FinnPro do mình viết trên excel, mình cũng có thể quét realtime bảng giá và lấy full date dữ liệu tài chính của 1800 công ty niêm yết. Tuy nhiên bộ code khá cồng kềnh, việc setup cũng hơi phức tạp, nhưng đổi lại ko mát tiền bởi tự tay mình viết (mình viết cho mình xài là chủ yếu)

Demo 1 hình bộ lọc theo ngành, có thể xuất ra bằng chart như thế này, cũng có thể ra data raw thông thường.
Finpro.2021.Mar.01.jpg

Còn về báo tin nhắn vào smartphone thì ko phải báo SMS bạn nhé, chỉ là cái notification thả vào android hay ios thôi. Cái đó được tích hợp sẵn trong metatrader, chỉ cần có mạng và bạn biết code là xài thôi.
 

vinhtruyen92

Rìu Vàng
Vẫn có cách, hí hí. Mình từng làm cả chục năm rồi.

Thậm chí một vài web làm bảo vệ bằng .net cũng lấy được luôn, nhưng nó hơi lằng nhằng, thật ra là khá lằng nhằng, có 1 ít vba, 1 chút html. Mà nó cũng ko giúp giàu thêm đồng nào nên thôi mình vứt hết cmnlr. Khoảng 2 năm nay chả xài đến nó nữa.

Ngoài lề xíu:
Bạn check bảng giá chứng khoán thì chắc cũng giống mình trước đây, mình thấy nếu bạn dùng để theo dõi cổ phiếu, tạo bộ lọc thông báo điểm mua điểm bán điểm chốt lời cắt lỗ thì nên tìm cách khác. Dùng ngôn ngữ mql đẩy data chứng khoán realtime vào mql sau đó viết code khỏe hơn.

Ví dụ bạn muốn có tin nhắn đến điện thoại smartphone của bạn báo rằng:
- VNM vượt dải trên BB (D=2.0, N=8)-> Buy ngay
- VNM vượt dải trên BB (D=3.8, N=8)-> TP ngay, short luôn cho máu
- .................
Hoàn toàn có thể làm được, thay vì phải ngồi rình bảng điện tử thì bạn có thể trong 3 giây quét 1 phát hết sạch 1.800 cổ phiếu đang giao dịch của 3 sàn HOSE, HNX, UPCOM

Mình nói vậy thôi để bạn tự tìm hiểu thêm nếu bạn có hứng thú, hì hì.
Oh hay quá. Em làm broker mà ko phải IT. Ngày đầu là dùng cophieu68 cũng có thông báo kiểu đó, giảm dưới giá nào, tăng trên giá nào là báo.
Giờ rảnh thì mở fireant mobile xem cái là xong :D
 

quicky

Gà con
Cái này có lấy được thành bảng kết quả bóng đá không bạn ơi? Mình test thử với livescores thì nó cứ loading thế này :D
 

Attachments

  • liv1.jpg
    liv1.jpg
    124.1 KB · Lượt xem: 7

quicky

Gà con
Mình thử cái BXH Euro. Sau khi có được dữ liệu, mình đổi tên các đội sang tiếng Việt. nhưng mỗi lần refresh là nó lại đổi lại phần tên các đội như cũ thành tiếng Anh. Có cách nào để giữ tên các đội đó ở tiếng Việt mà không bị đổi lại không bạn ơi?
 

Attachments

  • e2.jpg
    e2.jpg
    76 KB · Lượt xem: 8
  • e1.jpg
    e1.jpg
    68.8 KB · Lượt xem: 8

laanhtuanngoc

Rìu Bạc
vậy em muốn lọc số liệu người nhiễm theo từng địa phương thì làm thế nào vậy các cao nhân. Lọc như admin giới thiệu chỉ biết được số liệu cả nước