ChatGPT hoạt động như thế nào? (Giải thích đơn giản và kỹ thuật)

ChatGPT là gì?

ChatGPT là công cụ Natural Language Processing (NLP). Công cụ này sử dụng trí tuệ nhân tạo (AI) và công nghệ machine learning để tạo phản hồi cho nội dung người dùng nhập vào.

Điều này có nghĩa là bạn có thể sử dụng một chatbot siêu thông minh được huấn luyện trên kho dữ liệu khổng lồ. Bạn có thể yêu cầu ChatGPT:

• Trả lời câu hỏi
• Tạo ra các tác phẩm sáng tạo
• Tham gia vào các cuộc trò chuyện chuyên sâu
• Và nhiều việc khác

Công ty nghiên cứu AI OpenAI đã tạo ra ChatGPT. Tên ChatGPT thể hiện đặc điểm trò chuyện của công cụ và việc công cụ sử dụng công nghệ Generative Pre-trained Transformer (GPT) của OpenAI.

GPT-3 (thế hệ thứ ba) từng gây chú ý trên các mặt báo khi viết trọn một bài báo cho The Guardian.

OpenAI phát hành phiên bản mới nhất (GPT-4) vào tháng 3 năm 2023. Bạn có thể dùng phiên bản này thông qua ChatGPT Plus. Bing cũng sử dụng công nghệ này để vận hành công cụ tìm kiếm.

Tuy nhiên, bài viết sẽ tập trung vào GPT-3 và GPT-3.5 (phiên bản tạo ra phản hồi có tính tương tác và hấp dẫn hơn), được ChatGPT miễn phí sử dụng.

Đọc thêm:

• ChatGPT là gì

ChatGPT hoạt động như thế nào?

ChatGPT cố gắng hiểu nội dung văn bản bạn nhập (gọi là prompt), rồi tạo ra văn bản linh hoạt để phản hồi.

ChatGPT làm được điều này nhờ là một large language model (LLM). Về cơ bản, đây là một chương trình máy tính quy mô lớn có thể hiểu và tạo ra ngôn ngữ tự nhiên.

Sau đây là cách ChatGPT mô tả về mình:

Những người tạo ra ChatGPT đã sử dụng quy trình huấn luyện deep learning để làm được điều này. Nói cách khác, họ trang bị cho máy tính các công cụ để xử lý dữ liệu như bộ não con người.

Cuối cùng, hệ thống có thể nhận diện các quy luật trong từ ngữ và làm theo ví dụ, rồi tự tạo ra nội dung để phản hồi.

Theo một bài nghiên cứu của OpenAI, dữ liệu huấn luyện cho LLM của ChatGPT bao gồm 45 TB văn bản thuần đã nén. Để dễ hình dung, 1 TB tương đương khoảng 6,5 triệu trang tài liệu.

Tuy nhiên, đây mới chỉ là bước khởi đầu.

ChatGPT được huấn luyện như thế nào?

Đội ngũ OpenAI đã huấn luyện ChatGPT để công cụ có thể trò chuyện tự nhiên và tỏ ra “knowledgeable” như hiện nay.

Sau đây là hướng dẫn chi tiết về quá trình phát triển ChatGPT, giúp bạn hiểu cách thức và lý do công cụ hoạt động hiệu quả đến vậy.

Dữ liệu huấn luyện

Để đưa ra câu trả lời phù hợp, LLM cần có thông tin. Chúng sử dụng dữ liệu huấn luyện — một kho văn bản khổng lồ tập hợp từ hàng triệu nguồn, bao quát nhiều chủ đề.

Việc tổng hợp dữ liệu huấn luyện này là bước đầu tiên để phát triển một model như ChatGPT.

Kho văn bản khổng lồ này là nơi model học ngôn ngữ, ngữ pháp và các mối quan hệ theo ngữ cảnh. Đây là yếu tố then chốt trong quá trình huấn luyện.

Dữ liệu huấn luyện của GPT-3 đến từ năm tập dữ liệu hiện có:

• Common Crawl: Một tập hợp văn bản được thu thập từ hàng tỷ trang web, chứa hàng nghìn tỷ từ. OpenAI đã lọc tập dữ liệu này để chỉ giữ lại tài liệu tham khảo chất lượng cao.
• WebText2: OpenAI đã tạo tập dữ liệu này (phiên bản mở rộng của WebText ban đầu) bằng cách Crawling Reddit và các trang web được liên kết từ đó
• Books1 và Books2: Hai tập hợp văn bản trên internet được trích từ các cuốn sách đã xuất bản nhưng không nêu rõ tên (có thể thuộc nhiều thể loại và thời kỳ khác nhau)
• Wikipedia: Bản Crawling đầy đủ phần văn bản thô từ mọi trang trên Wikipedia tiếng Anh.
• Persona-Chat: Tập dữ liệu riêng của OpenAI, bao gồm hơn 160.000 đoạn hội thoại giữa những người tham gia với các persona riêng biệt

Persona-Chat được dùng để huấn luyện AI hội thoại. Nhiều khả năng tập dữ liệu này đã được dùng để fine-tune GPT-3.5, giúp model hoạt động tốt hơn ở định dạng chatbot.

Tokenization

Trước khi được LLM xử lý, dữ liệu huấn luyện sẽ được tokenization. Quá trình này chia văn bản thành các phần nhỏ gọi là token. Mỗi token có thể là một từ, một phần của từ hoặc thậm chí là một ký tự.

Chuyển đổi dữ liệu văn bản thô thành các token này giúp LLM phân tích dễ dàng hơn.

OpenAI đã dùng một phương pháp tokenization gọi là byte pair encoding (BPE) cho GPT-3. Thuật ngữ này đơn giản có nghĩa là hệ thống có thể tạo token cho các phần nhỏ hơn một từ, với độ dài chỉ một ký tự. Hệ thống cũng tạo token đại diện cho các khái niệm như điểm bắt đầu và kết thúc của một câu.

Sau khi hoàn tất quá trình tokenization, mỗi token được gán một số nguyên duy nhất. Nhờ đó, mạng neural của model có thể xử lý chúng hiệu quả hơn. (Chúng tôi sẽ giải thích kỹ hơn về mạng neural ngay sau đây.)

Sau quá trình tokenization, các tập dữ liệu được dùng để huấn luyện GPT-3 gồm:

Weight in training mix là tỷ lệ ví dụ mà hệ thống lấy từ mỗi tập dữ liệu. Việc gán trọng số khác nhau giúp model học từ những thông tin quan trọng hoặc phù hợp nhất.

Phát triển mạng neural

Mạng neural là một chương trình máy tính mô phỏng cấu trúc não người. ChatGPT sử dụng một loại đặc biệt tinh vi gọi là model Transformer.

Các model Transformer có thể phân tích nhiều văn bản cùng lúc hơn mạng neural truyền thống. Nhờ vậy, chúng xác định tốt hơn mối liên hệ giữa từng token với các token khác. Nói cách khác, chúng phân tích cách ngữ cảnh góp phần tạo nên ý nghĩa của một từ hoặc cụm từ.

Ví dụ, “break a leg” có thể mang nghĩa là gãy xương. Hoặc trong bối cảnh sân khấu, cụm này có thể có nghĩa là “good luck”. Ngữ cảnh giúp hệ thống xác định cách hiểu nào có khả năng đúng hơn.

Mạng neural là thành phần quan trọng trong mọi LLM. Các thuật toán mà chúng sử dụng đóng vai trò nền tảng trong quá trình huấn luyện, đồng thời chịu trách nhiệm xử lý và tạo văn bản.

mô hình phức tạp của OpenAI Transformer đã cách mạng hóa lĩnh vực NLP.

Nhưng trước tiên, mô hình cần học các tham số để thực hiện những tác vụ này.

Tiền huấn luyện

Để hiểu thông tin mà người huấn luyện cung cấp, mạng neural sẽ hoàn thành quy trình gọi là tiền huấn luyện.

Mô hình phân tích từng token trong tập dữ liệu, lần lượt từng token một. Sau đó, mô hình xác định các mẫu và mối liên hệ để dự đoán những từ còn thiếu trong các mẫu văn bản.

ChatGPT mô tả quy trình này như sau:

Một tác vụ tiền huấn luyện điển hình là dự đoán từ tiếp theo trong một chuỗi. Với toàn bộ tập dữ liệu huấn luyện làm ngữ cảnh, mô hình có thể áp dụng những mẫu đã học được trong tác vụ này.

Ví dụ: mô hình có thể học được rằng từ “going” thường đi kèm với “to.” Hoặc từ “thank” thường được theo sau bởi “you.”

Con người không phải học mọi quy trình mới từ đầu. Khi lớn lên, chúng ta dựa vào kinh nghiệm hoặc kiến thức trước đó để hiểu và hoàn thành các tác vụ mới. Công nghệ của ChatGPT hoạt động theo cách tương tự.

Mô hình ghi lại các mẫu này và lưu trữ chúng dưới dạng tham số (điểm dữ liệu). Sau đó, mô hình có thể tham chiếu đến chúng để đưa ra dự đoán tiếp theo hoặc giải quyết vấn đề.

OpenAI cho biết đến cuối quá trình tiền huấn luyện, ChatGPT đã phát triển 175 tỷ tham số. Lượng dữ liệu khổng lồ này giúp hệ thống có thêm nhiều lựa chọn để đưa ra câu trả lời chính xác.

Học tăng cường từ phản hồi của con người (RLHF)

LLM thường đã có thể hoạt động sau giai đoạn tiền huấn luyện. Nhưng ChatGPT còn trải qua một quy trình tiên phong khác của OpenAI, gọi là Học tăng cường từ phản hồi của con người (RLHF).

Quy trình này gồm hai giai đoạn:

• Các nhà phát triển giao cho hệ thống những tác vụ cụ thể cần hoàn thành (ví dụ: trả lời câu hỏi hoặc sáng tạo nội dung)
• Con người đánh giá mức độ hiệu quả của câu trả lời từ LLM, rồi đưa những đánh giá này trở lại mô hình để mô hình hiểu được hiệu suất của mình

Quá trình tinh chỉnh bằng RLHF giúp ChatGPT tạo ra những câu trả lời phù hợp và hữu ích hơn trong mỗi lần phản hồi.

Quy trình phát triển này cũng cung cấp cho hệ thống một kho kiến thức khổng lồ, giúp hệ thống phản hồi tinh tế trước nhiều prompt đa dạng.

Quá trình huấn luyện bổ sung bằng RLHF gồm ba vòng nữa:

1. Tinh chỉnh có giám sát (SFT)

Vòng đầu tiên của RLHF gồm việc cung cấp cho mô hình GPT-3 các prompt kèm câu trả lời do con người viết. Quá trình tinh chỉnh có giám sát (SFT) này giúp mô hình hiểu một câu trả lời hiệu quả cần có những đặc điểm gì.

SFT hoạt động như sau:

Nguồn ảnh: Medium

OpenAI thuê 40 nhà thầu để tạo một tập dữ liệu huấn luyện có giám sát tùy chỉnh. Họ bắt đầu bằng cách chọn các prompt thực tế của người dùng từ giao diện lập trình ứng dụng (API) của OpenAI, rồi bổ sung thêm prompt mới.

Sau đó, các cộng tác viên viết câu trả lời phù hợp cho từng prompt. Nhờ vậy, mỗi đầu vào đều có một đầu ra đã biết, hay mỗi query đều có một câu trả lời chính xác.

Nhóm đã tạo 13.000 cặp đầu vào/đầu ra như vậy và đưa chúng vào mô hình GPT-3.

Sau đó, mô hình so sánh câu trả lời do chính nó tạo ra với câu trả lời mẫu của các cộng tác viên. Bằng cách làm nổi bật những khác biệt giữa hai câu trả lời, mô hình học cách điều chỉnh và tạo ra phản hồi hiệu quả hơn.

2. Reward Model

Bước huấn luyện tiếp theo phát triển quy trình SFT bằng cách tích hợp một hệ thống phần thưởng.

Phương pháp này sử dụng người tham gia để đánh giá và xếp hạng nhiều câu trả lời cho một query, từ đó tiếp tục huấn luyện mô hình nhằm nâng cao hiệu quả.

Sau đây là cách reward model hoạt động:

Nguồn hình ảnh: Medium

Mô hình đã cập nhật tạo ra từ bốn đến chín câu trả lời cho mỗi nhóm prompt. Các cộng tác viên được gọi là người gán nhãn xếp hạng những câu trả lời này từ tốt nhất đến kém nhất.

Họ cung cấp dữ liệu này cho mô hình cùng với query ban đầu để giúp mô hình hiểu mức độ hiệu quả của từng câu trả lời.

Hệ thống xếp hạng này huấn luyện mô hình tối đa hóa “reward” bằng cách tạo thêm những câu trả lời tương tự các câu nhận được điểm xếp hạng cao nhất.

3. Reinforcement Learning

Giai đoạn cuối của quy trình RLHF tinh chỉnh hành vi của mô hình dựa trên quá trình huấn luyện trước đó.

Sau đây là cách reinforcement learning này hoạt động:

Nguồn hình ảnh: Medium

Hệ thống nhận một prompt ngẫu nhiên từ khách hàng và tạo câu trả lời bằng các chính sách được hướng dẫn trong reward model. Mỗi cặp prompt/câu trả lời nhận một giá trị phần thưởng, sau đó giá trị này được đưa trở lại mô hình.

Việc lặp lại quy trình supervised learning này giúp mô hình dần hoàn thiện chính sách của mình. Bởi càng luyện tập, bạn càng làm tốt hơn.

Một cơ chế có tên là Proximal Policy Optimization (PPO) đảm bảo mô hình không tự tối ưu hóa quá mức.

PPO là một dạng kỹ thuật reinforcement learning có tên là phương pháp policy gradient. Họ thuật toán này hoạt động qua ba giai đoạn:

• Lấy mẫu một hành động (trong trường hợp này là một prompt)
• Quan sát giá trị phần thưởng
• Điều chỉnh chính sách

PPO dễ triển khai và hoạt động hiệu quả. Hiện nay, đây là phương pháp reinforcement learning được OpenAI ưu tiên sử dụng trong nhiều lĩnh vực.

ChatGPT và Search Engine khác nhau như thế nào?

ChatGPT là chatbot AI có khả năng trò chuyện và phản hồi linh hoạt theo prompt. Search engine là một chỉ mục có thể tra cứu, chứa thông tin do người dùng tạo.

ChatGPT thường được so sánh với search engine vì trong thực tế, mọi người sử dụng hai công nghệ này theo những cách tương tự. Tuy nhiên, cơ chế hoạt động và trường hợp sử dụng phù hợp nhất của chúng khác nhau đáng kể.

Hiểu rõ sự khác biệt giữa hai công nghệ này sẽ giúp bạn xác định trường hợp sử dụng phù hợp nhất cho từng công nghệ.

Với một truy vấn đơn giản, ChatGPT sẽ tạo một câu trả lời ngắn gọn duy nhất. Tuy nhiên, câu trả lời sẽ không có nguồn cụ thể. Nội dung cũng chỉ dựa trên cách LLM diễn giải thế nào là một câu trả lời tốt, nên có thể không chính xác.

Tìm cùng một truy vấn trên Google sẽ trả về thông tin chuyên sâu hơn.

Câu trả lời xuất hiện ngay ở đầu trang, kèm theo phần tóm tắt từ Wikipedia, các truy vấn khác mà người dùng thường tìm kiếm và những trang web cung cấp thêm thông tin.

Những truy vấn phức tạp hơn cũng cho ra các kết quả khác nhau.

Với truy vấn “difference between ChatGPT and a search engine,” ChatGPT đưa ra danh sách các điểm khác biệt được đánh số, sau đó là phần tóm tắt.

Câu trả lời của Google giới hạn hơn. Có một featured snippet được trích từ trang web xếp hạng cao nhất, kèm phần tóm tắt câu trả lời. Bạn có thể xem thêm thông tin, nhưng cần nhấp vào liên kết.

Khác biệt lớn nhất về chức năng là người dùng có thể hỏi tiếp ChatGPT theo cách trò chuyện. Đặt thêm câu hỏi sẽ tạo ra câu trả lời mới dựa trên ngữ cảnh của thông tin trước đó.

Tìm một truy vấn mới trên Google sẽ trả về các kết quả hoàn toàn mới. Tuy nhiên, Google sử dụng những lượt tìm kiếm trước đó để định hướng hành trình tìm kiếm của bạn.

Giả sử bạn tìm kiếm “pumpkin pie.” Sau đó, nếu bạn nhập “how to,” Google sẽ đưa ra các gợi ý hữu ích như “how to make pumpkin pie” và “how to make pumpkin pie spice.”

ChatGPT cũng có thể thực hiện nhiều tác vụ khác mà công nghệ search engine không thể mô phỏng. Ví dụ: bạn có thể yêu cầu công cụ tạo ra các tác phẩm sáng tạo.

Tuy nhiên, bạn luôn nên kiểm tra những câu trả lời này để phát hiện thông tin không chính xác.

Tìm cùng một truy vấn trên Google chỉ có thể trả về những nội dung sáng tạo đã có.

Dưới đây là một số điểm khác biệt khác giữa ChatGPT và search engine:

ChatGPT có thể làm gì?

ChatGPT có thể phản hồi nhiều loại prompt đa dạng bằng văn bản hữu ích và phù hợp. Tuy nhiên, bạn luôn cần lưu ý rằng câu trả lời có thể không chính xác.

Bạn có thể dùng ChatGPT để:

• Trả lời câu hỏi
• Tóm tắt khái niệm
• Tạo ý tưởng
• Viết tin nhắn và email phù hợp với từng đối tượng
• Sáng tạo các tác phẩm
• Hiệu đính văn bản
• Kiểm tra lỗi trong code
• Dịch các ngôn ngữ khác

Hãy cùng tìm hiểu chi tiết hơn về một vài cách sử dụng này.

Trả lời câu hỏi

ChatGPT sẽ trả lời câu hỏi bằng những lời khuyên chung. Ví dụ: “What should I eat today?”

Muốn nâng cao hơn nữa? Hãy cung cấp cho ChatGPT một số hướng dẫn.

Hãy bắt đầu câu hỏi bằng “act as” rồi đề cập đến một nghề nghiệp. Cách này có thể giúp ChatGPT tận dụng dữ liệu huấn luyện theo ngữ cảnh phong phú hơn để trả lời.

Ví dụ, chúng tôi bắt đầu bằng “Act as if you are a nutritionist” rồi bổ sung thêm chi tiết. Dưới đây là một phần câu trả lời ChatGPT đưa ra:

Nếu muốn nhận câu trả lời cá nhân hóa hơn nữa, hãy đề nghị ChatGPT hỏi bạn thêm thông tin.

Nếu ChatGPT mắc lỗi, hãy chỉ ra. Điều này sẽ giúp cải thiện độ chính xác của kết quả theo thời gian.

Viết tin nhắn và email phù hợp với từng đối tượng

Nếu yêu cầu ChatGPT viết một tin nhắn trực tiếp tiếp cận khách hàng lạnh, nội dung sẽ nghe chung chung và máy móc.

Ví dụ như sau:

Thêm các từ “concise” và “friendly” để nội dung bắt đầu nghe tự nhiên hơn như lời người thật:

Bổ sung thêm chi tiết (ví dụ: thông tin nhân khẩu học) để nhận được câu trả lời phù hợp hơn nữa:

Điền thông tin còn thiếu mà ChatGPT chưa biết (những phần được đặt trong dấu ngoặc vuông) để hướng dẫn cụ thể hơn:

Cuối cùng, bổ sung thông tin cụ thể về người bạn muốn tiếp cận. Như vậy, bạn sẽ có một DM được cá nhân hóa chỉ trong một phần nhỏ thời gian thường cần để soạn tin.

Kiểm tra lỗi trong code

Không giống các công cụ debug phức tạp, bạn có thể dùng ChatGPT để xác định và sửa code.

Dán code vào hộp chat rồi hỏi lỗi nằm ở đâu:

Cần giải thích thêm? Hãy nhập prompt: “Explain in detail why it's wrong.”

ChatGPT sẽ phân tích từng dòng, chỉ ra lỗi nằm ở đâu và giải thích vì sao đoạn code đó không đúng.

Vì bạn biết hệ thống có thể mắc lỗi, bạn cũng có thể yêu cầu tạo các test case để kiểm tra kết quả.

Nhờ đó, bạn có thể đảm bảo chương trình chạy đúng với code mới và yên tâm hơn khi áp dụng các đề xuất của ChatGPT.

3 công cụ Semrush có thể dùng cùng ChatGPT

Bạn có thể dùng bộ công cụ của Semrush để tối ưu prompt và câu trả lời của ChatGPT.

Dưới đây là ba lựa chọn phù hợp nhất:

1. Semrush Topic Research Tool

Của Semrush Topic Research có thể giúp bạn tìm các chủ đề liên quan đến keyword có search volume cao.

Ví dụ, dưới đây là một số chủ đề hàng đầu cho keyword “ceramic art:”

Đưa những chủ đề này vào ChatGPT để lấy cảm hứng lập dàn ý bài blog, hỗ trợ tăng trưởng search engineoptimization (SEO) của bạn.

2. Content Toolkit của Semrush

Hoặc, bạn có thể lấy tiêu đề bài blog và dùng SEO Brief Generator trong Content Toolkit của Semrush để tạo bản tóm tắt nội dung có thể triển khai.

Sau đó, dùng AI Article Generator, một công cụ cốt lõi khác trong Content Toolkit của Semrush, để biến bản tóm tắt đó thành bài blog dài, thân thiện với SEO.

Bạn có thể giữ nguyên số lượng từ, giọng văn và mức độ dễ đọc được đề xuất, hoặc điều chỉnh từng yếu tố cho phù hợp với mục tiêu.

3. SEO Writing Assistant của Semrush

Dùng SEO Writing Assistant của Semrush để viết lại nội dung và tối ưu hóa nội dung đó cho SEO, khả năng dễ đọc và tính nguyên bản.

Những tính năng này giúp nội dung của bạn thân thiện hơn với công cụ tìm kiếm và người đọc.

Cuối cùng, AI Social Content Generator của Semrush giúp bạn tạo bài đăng trên mạng xã hội để thu hút traffic đến blog.

ChatGPT mới chỉ là khởi đầu

các công cụ AI như ChatGPT sẽ tiếp tục thay đổi cách công nghệ hòa nhập vào cuộc sống hằng ngày. ChatGPT được phát triển trong nhiều năm, nhưng đã chuyển sang giai đoạn tiếp theo kể từ khi GPT-4 ra mắt.

Khi NLP và công nghệ AI tạo sinh phát triển, các chương trình AI ngày càng phức tạp sẽ xuất hiện để thực hiện những tác vụ đơn giản lẫn phức tạp.

Làm quen sớm với công nghệ là cách tốt nhất để đón đầu xu hướng. Thay vì xem các hệ thống AI như ChatGPT là mối đe dọa, hãy coi chúng như một công cụ khác để tận dụng.