僅管網路上有許多資訊,許多時候我們的疑問是來自於當下的周遭環境。這也是為什麼我們開始研究 Google Lens,把答案帶到問題的所在位置,並且讓你對於在周遭環境看到的事物有更多了解。


去年,我們介紹了 Google 相簿與 Assistant 上的 Lens,而人們也早就用它來解答各式各樣的問題,特別是當他們很難在搜尋欄位上把問題形容出來的時候,例如:「那是哪一種狗?」或「那棟建築物叫什麼?」

今天在 Google I/O,我們宣布 Lens 將直接支援特定裝置的相機應用程式,從LGE、Motorola、 Xiaomi、Sony Mobile、HMD/Nokia、Transsion、TCL、 OnePlus、 BQ、 Asus,以及 Google Pixel。以下我們也公佈三個能夠讓 Lens 更快地回答更多面向問題的重要更新:


首先,Smart text selection 能將你看到的字與答案、以及你需要採取的動作串聯。你可以將出現在真實世界的文字複製貼上你的手機,例如:食譜、禮物卡編碼,或 WiFi 密碼。Lens 透過顯示相關資訊和照片,幫助你理解一頁文字。假設你正在餐廳,看到一道你看到菜名卻不認識的菜,Lens 就會透過提供照片,幫助你了解這道菜。這不僅需要辨識出字型,更需要了解名稱背後的來龍去脈。我們在 Google 搜尋所累積對語言的理解就在此發揮幫助。
 lens_menu_050718 (1).gif


其次,也許有時候你的問題不是「那究竟是什麼東西?」,而是「還有什麼東西長得像這樣?」。現在透過 Style matching,如果一個配件或家居裝飾吸引了你的目光,你就可以打開 Lens 來獲得除了該物件的相關評論等資訊,還有可以看到其他你可能同樣感興趣的類似款式訊息。


lens_clothing_inPhone.gif


第三,Lens 現在能夠在現實中應用,它能夠顯示即時資訊,並且將他固定在你看到的事物上。現在你將可以簡單的透過對準相機鏡頭,瀏覽周遭的世界。這樣的功能僅有最先進的機器學習技術才能辦到,也就是應用裝置上的智慧設計與雲端 TPUs 來瞬間識別數億個文字、句子、地點與事物。


lens_multielements_050718 (1).gif

就如同聲音一樣,我們將視覺視為電腦運算基礎轉變與值得持續探索的旅程。我們非常期待看到這個進展,也會開始在接下來的幾週陸續將 Google Lens 功能帶給使用者。



本文作者:Google Lens 總經理 Rajan Patel