Sigmoid là gì

Sigmoid Function là một quan niệm thân quen trong Deep Learning. Bài viết sẽ trình diễn sơ bộ về Sigmoid Function cùng lịch sử vẻ vang xuất hiện của chính nó.

Bạn đang xem: Sigmoid là gì

Sigmoid Function là gì?

Sigmoid Function (Hàm Sigmoid) còn được gọi là con đường cong Sigmoid. Đây là một trong những hàm toán thù học bao gồm đặc thù là con đường cong hình chữ S. Nó biểu đạt cho sự đổi khác các cực hiếm giữa phạm vi 0 với 1. Nó là 1 trong những trong những hàm kích hoạt (activation function) phi tuyến tính được áp dụng rộng thoải mái tốt nhất.

Có một trong những hàm Sigmoid phổ biến, chẳng hạn như: hàm Sigmoid logistic, hàm tiếp tuyến hyperbol với hàm ArcTan. Trong trang bị học tập (machine learning), thuật ngữ Sigmoid Function thường được dùng làm chỉ hàm Sigmoid logistic, nói một cách khác là hàm logistic.

Sigmoid Function cần sử dụng để gia công gì?

Tất cả những hàm Sigmoid đều phải có một Điểm sáng chung. Chúng rất có thể đưa phần nhiều số lượng đầu vào thành một phạm vi nhỏ tuổi nhất quyết. Cụ thể, những số lượng nguồn vào đang chuyển thành tự 0 mang đến 1 hoặc -1 và 1. Nghĩa là, Hàm Sigmoid dùng làm chuyển một giá trị thực thành một quý hiếm hình dạng Tỷ Lệ.

Hàm Sigmoid vẫn nhận đầu vào (input) cùng thực hiện phần nhiều quá trình sau:

Nếu biến đổi nguồn vào âm, hàm Sigmoid đang chuyển gần như là toàn bộ thành một trong những ngay gần với 0.Với gần như là tất cả nguồn vào dương, hàm Sigmoid đã đổi mới đầu vào thành một trong những sát với cùng một.Trường phù hợp đầu vào kha khá sát 0, hàm Sigmoid đang bọn chúng thành số ngẫu nhiên từ bỏ 0 mang đến 1.


*

Minch họa về dường cong chữ S của hàm Sigmoid Function.

Lịch sử của Sigmoid Function

Khái niệm Sigmoid Function không thể mới, nhưng mà nó đã có hiện ra trường đoản cú rất mất thời gian. Ta hoàn toàn có thể chia lịch sử của Hàm Sigmoid ra có tác dụng hai tiến trình như sau:

Hàm Sigmoid trước năm 1975

Năm 1798, Thomas Robert Malthus đang xuất bản một cuốn nắn sách thương hiệu là “An Essay on the Principle of Population” (Một chia sẻ về Ngulặng tắc Dân số). Ông là 1 giáo sĩ với bên kinh tế tài chính học tập tín đồ Anh. Cuốn sách của ông xác định rằng dân số đang tăng theo một các bước hình học. Điều này tức là cứ từng 25 năm thì dân số lại tăng gấp hai. Trong khi ấy, mối cung cấp hỗ trợ lương thực lại tăng thêm theo số học tập. Ông nhận định rằng sự biệt lập thân nhì con số này là do nạn đói vẫn lang rộng.

Xem thêm: Các Nghĩa Của " Make Up For Nghĩa Là Gì, Phrasal Verb Make Up Là Gì

Cuối trong thời gian 1830, bên tân oán học tập fan Bỉ Pierre François Verhulst đã làm nghiệm những phương pháp khác biệt để mô hình hóa sự gia tăng số lượng dân sinh. Verhulst ý muốn lý giải rằng số lượng dân sinh ko tăng theo cung cấp số nhân mãi, mà lại nó tất cả số lượng giới hạn. Ông lựa chọn hàm logistic để mô hình hóa sự chậm lại của vận tốc phát triển dân số.

Hàm Sigmoid thường xuyên được thực hiện trong những cầm cố kỷ tiếp sau. Nhiều đơn vị sinch học cùng kỹ thuật khác dùng nó nlỗi một phương tiện tiêu chuẩn chỉnh nhằm mô hình hóa sự vững mạnh số lượng dân sinh.

Hàm Sigmoid sau năm 1975

Năm 1943, Warren McCulloch cùng Walter Pitts đã cải cách và phát triển mô hình mạng nơ-ron tự tạo sử dụng ngưỡng cứng (hard cutoff) làm cho hàm kích hoạt. Cụ thể, nơ-ron xuất ra 1 hoặc 0 tùy thuộc theo Việc đầu vào cao hơn tuyệt rẻ rộng ngưỡng.


*

Năm 1972, Hugh Wilson cùng Jack Cowan đã kiếm tìm biện pháp quy mô hóa những nơ-ron sinch học tập bằng phnghiền tính. Họ dùng hàm Sigmoid logistic để quy mô hóa sự kích họat của một tế bào thần tởm. Trong số đó, một nơ-ron đang gửi biểu đạt đến nơ-ron khác trường hợp nó nhận được bộc lộ lớn hơn điện rứa kích hoạt. Mô hình này được Call là quy mô Wilson – Cowan.

Từ trong thời hạn 1970 và 1980 trsống đi, một vài công ty phân tích ban đầu áp dụng các hàm Sigmoid trong số cách làm của mạng nơ-ron tự tạo, rước cảm giác trường đoản cú các mạng nơ-ron sinch học. Năm 1998, Yann LeCun đã lựa chọn hàm tiếp tuyến đường hyperbol làm hàm kích hoạt vào mạng LeNet nổi tiếng của mình. Đây là mạng đầu tiên hoàn toàn có thể nhận dạng những chữ số viết tay ở tại mức độ chính xác thực tế.

Những năm vừa mới đây, mạng nơ-ron tự tạo vẫn vứt hàm Sigmoid để chuyển sang sử dụng hàm ReLU. Lý vị là do toàn bộ các biến chuyển thể của hàm Sigmoid những được thiết kế theo phong cách cho Việc tính tân oán. Trong lúc ấy, hàm ReLU tất cả độ phi con đường tính cần thiết nhằm tận dụng độ sâu của mạng. Hàm ReLU cũng tính toán thù khôn xiết nhanh khô.

Tóm lại, Sigmoid Function đã bao gồm một quy trình ra đời cùng phát triển hơi thọ. Hy vọng, qua bài viết này, các bạn đang hiểu thêm nhiều điều về Sigmoid Function.

Got It Vietphái nam – Tmê say khảo: DeepAI.org

Nếu bạn quan tâm, hãy coi những địa điểm đang tuyển dụng của Got It tại: bit.ly/gotit-hanoi với tham khảo thêm về quy trình tuyển dụng trên phía trên.