高品質(zhì)影像依舊是核心長板。
索尼將智能化拍攝帶入高校課堂，錄課不用攝影師也能搞定？
來源|多知網(wǎng)
演講嘉賓|賈導
整理|張蔚斐
攝|馮瑋
今年初，索尼發(fā)布了一款可以解放教師雙手、自動化拍攝、構(gòu)圖專業(yè)的4K PTZ智能中心構(gòu)圖攝像機新品。
在我們還在尋找ChatGPT與人工智能在教育行業(yè)的應(yīng)用與變革時，索尼已經(jīng)交出了一份答卷。
索尼的新品可以通過AI算法實現(xiàn)教育場景中智能化視頻拍攝，幾乎能替代攝影工作者，解決教育行業(yè)有錄課需求，但缺少專業(yè)攝影師的痛點，是人工智能在教育應(yīng)用領(lǐng)域中的一次突破。
7月11日，索尼消費電子與專業(yè)系統(tǒng)本部市場總部，影像方案及移動通信市場部高級經(jīng)理，影像與分析產(chǎn)品負責人賈導以“人工智能讓拍攝更智慧”為題，在第41期多知OpenTalk的現(xiàn)場分享了這款PTZ智能中心構(gòu)圖攝像機。
（以下為演講全文，經(jīng)多知網(wǎng)編輯整理）
索尼影像方案及移動通信市場部高級經(jīng)理賈導
索尼的產(chǎn)品在很多高校都有廣泛應(yīng)用，例如清華大學混合課堂用的攝像機、上海交大用的云臺攝像機等等?；氐浇裉斓闹黝}“探索教育智能硬件的未來”，那么，索尼在教育場景里的影像產(chǎn)品長什么樣?智能硬件到底幫助大家做什么?
01
自動化的教育場景視頻拍攝，解決行業(yè)痛點
當今不僅很多學校、教育機構(gòu)都有錄課的需求，在實際的教學場景中，還出現(xiàn)了更加復(fù)雜的教學場景—混合課堂，即一部分學生在現(xiàn)場、一部分學生在線上。復(fù)雜的應(yīng)用場景對于影像拍攝的質(zhì)量、操作智能化程度，都提出了更高的要求。
在實時錄課、在線傳播過程中，大家發(fā)現(xiàn)這并不是一件輕松的事情。課堂中，老師不斷走動，很容易就走出畫面，網(wǎng)絡(luò)稍有延遲就導致傳播中斷，畫質(zhì)不清、焦點模糊、光線昏暗、現(xiàn)場操作人員不足等種種問題存在于實際教育場景應(yīng)用中。
基于教育行業(yè)的需求和索尼的AI技術(shù)沉淀，索尼推出了具有人工智能分析的PTZ智能中心構(gòu)圖攝像機SRG-A40與SRG-A12兩個型號的新產(chǎn)品，它們的亮點在于能很好的解決智能化、自動化視頻拍攝的痛點。
例如，老師在講課走動時，過去的操作是由其他攝像師轉(zhuǎn)動機器，尋找老師的畫面，將人物置于C位?，F(xiàn)在，索尼的設(shè)備會自動捕捉選定人物、追蹤人物軌跡，即使畫面中出現(xiàn)其他人，也不會丟失追蹤對象。省去了以往攝像老師盯著設(shè)備手動調(diào)整畫面的操作，使拍攝更自動化，節(jié)省人力。
這款產(chǎn)品重點關(guān)注的行業(yè)包括教育、體育、醫(yī)療、政府、媒體等，這些行業(yè)的共同特點就是沒有太多專業(yè)的攝像機操作人員，特別是教育行業(yè)，對操作簡單、自動化程度高的教學設(shè)備需求很大。
索尼SRG-A40/A12 PTZ智能中心構(gòu)圖攝像機
強大的畫面捕捉算法和高清成像質(zhì)量，即使沒有專業(yè)的攝影師，也能拍出高質(zhì)量的課堂。除此之外，它還能解決攝像人手不足的問題。以往，一臺攝像機旁往往還需要配一個攝像師管理設(shè)備，如果遇到多位教師錄制，就面臨人手不足的情況。PTZ智能中心構(gòu)圖攝像機可以自動在臺后端進行操作。只需要一位老師就可以用該攝像機負責多間課堂的圖像采集工作。
對于有錄課需求、課堂轉(zhuǎn)播需求的學校和機構(gòu)來說，自動化、智能化程度高的攝像機讓教育行業(yè)智能化加快了腳步
02
AI構(gòu)圖，通過算法實現(xiàn)專業(yè)拍攝
索尼的PTZ智能中心構(gòu)圖的核心優(yōu)勢有三點：
其一，全自動操作，通過我們平臺實現(xiàn)全自動地搜尋拍攝目標，并且開始跟蹤;
其二，構(gòu)圖模式與細節(jié)調(diào)整，滿足教育智能化里面不同的場景的構(gòu)圖;
其三，內(nèi)置人工智能分析能力，對于供應(yīng)商或集成商來說，可以節(jié)省成本，減少系統(tǒng)的節(jié)點;
PTZ智能中心構(gòu)圖功能的關(guān)鍵是得到原生畫質(zhì)。對比普通的攝像機來說，照相機要實現(xiàn)中間有人的構(gòu)圖裁切，是通過裁切固定的4K畫面中的一部分得到的，這種方式是低質(zhì)量的，我們的攝像機通過Pan/Tilt/Zoom（平移/俯仰/變焦）三大操作，大家得到的是高品質(zhì)原生畫面。
在跟蹤拍攝方面，PTZ智能中心構(gòu)圖攝像機會進行面部識別，骨骼框架識別，對于檢測到的拍攝者的骨骼框架進行多位置打點，分析計算每一個微小動作，并給出行為指令到云臺。
通過SRG-A40/A12智能中心構(gòu)圖功能，包括內(nèi)置的核心處理芯片，索尼攝像機可以實現(xiàn)全身、半身、特寫等多種構(gòu)圖切換。
演講者被識別之后，能夠始終處在畫面的中心位置，不會丟失拍攝目標。在構(gòu)圖方面，拍攝目標始終處于C位，即使演講者有些輕微的動作，或者有干擾性路人穿插的時候，算法也能給出合理的構(gòu)圖，攝像機始終追著演講者。
03
高品質(zhì)影像依舊是核心長板
索尼除了在AI方向的探索外，核心優(yōu)勢仍然在于高品質(zhì)影像。
索尼的成像器技術(shù)采用Exmor R背照式成像器，通光量提高，在暗環(huán)境也可以拍出好的畫面。用Exmor R的成像器能夠采集低噪點、高質(zhì)量的圖像，華為手機、蘋果手機里面的成像器大部分應(yīng)用到了索尼這一項核心器件。
超分辨率技術(shù)使光學變焦倍增，加上清晰影像變焦功能和長焦轉(zhuǎn)換模式，通過裁剪圖像傳感器的中心部分，A40在高清模式下攝像機可以擴展到80倍變焦，即使在階梯教室也能拍出高質(zhì)影像。A12可達24倍變焦。
在寬視角方面，索尼以往的PTZ攝像機攝像機視角大約為65°，索尼新品則達到約70°，寬視角使捕捉到的畫面更加寬廣。
索尼始終將用戶的體驗擺在第一位。以校園為例，老師在上課的過程中，可能會用到很多工具，電腦、翻頁筆、話筒等，如果想轉(zhuǎn)播課程，可能還需要在現(xiàn)場配備多名操作人員，對課堂環(huán)境有很大的影響。在使用場景中，老師肯定是希望場景中的設(shè)備越少越好，最好達到無感的操作環(huán)境，不影響上課。PTZ智能中心構(gòu)圖攝像機SRG-A40/A12 能做到的就是自動化操作，不需要過多的人員在現(xiàn)場，干擾課堂。
我們不想讓硬件加重老師的負擔、剝奪了教師本該履行的職責，更不能讓他分心。我們做產(chǎn)品一定不能脫離教育本身的邏輯。
在教育智能化的探索過程中，索尼一直希望可以提高技術(shù)支持。從攝像機實現(xiàn)圖像的采集、吸頂麥克風實現(xiàn)聲音采集、再到商用顯示器實現(xiàn)圖像顯示等，索尼專業(yè)產(chǎn)品都可以在教育環(huán)境中呈現(xiàn)。
具有人工智能分析功能的PTZ智能中心構(gòu)圖攝像機正在逐步改變教育場景化的未來，基于人工智能技術(shù)呈現(xiàn)出的高清影像畫質(zhì)，為還原一堂精彩紛呈的沉浸式數(shù)字課堂提供了強有力的技術(shù)支持。
以上就是我們今天關(guān)于索尼智能硬件的分享。感謝大家。
04
Q&A
(與觀眾互動交流)
提問：您好，我是元宇宙硬件銷售代理商，也是一個消費者，攝像機這種場景我們經(jīng)常會應(yīng)用到，我們公司開線下沙龍就需要攝影師，不同的分享者間隔時間有長有短，這樣的情況下，是不是后臺需要有一個人操作？
賈導：比如今天有三位嘉賓，輪流演講，如果時間過長，為了保證會議效果，最好有一個人在后臺進行手動選擇，然后保持準確構(gòu)圖和跟蹤，選擇哪位演講者，鏡頭就會一直跟著他，可以是嘉賓自己通過系統(tǒng)點擊選擇，給他設(shè)計一個很簡單直觀的操作界面，也可以是后面一位工作人員進行輔助。
提問：我是一家咨詢公司的市場分析師，比較關(guān)注咱們現(xiàn)在這套解決方案在教育場景是不是已經(jīng)有落地？如果沒有的話，未來期望的落地方向有哪些？
賈導：這個產(chǎn)品今年1月31號全網(wǎng)發(fā)布，真正供貨是6月初，在這之前進行了很多線下市場推廣活動，例如在全國進行的11站線下推廣沙龍活動等。
我們的第一個案例來自于紐約大學上海校區(qū)，他們的學生有的在國外通過線上上課，有的在線下，他們的用法是把我們這些AI功能都用上，并且能夠通過索尼免費的虛擬攝像頭驅(qū)動軟件，很方便接入到軟件平臺，不需要采集卡。
在國內(nèi)，我們還和東亞銀行等進行合作。
關(guān)于我們的銷售規(guī)模和預(yù)期，目前大部分市場還是留給國內(nèi)的錄播一體的平臺，而索尼這部分切入的目標市場有所不同，索尼的攝像機在國內(nèi)的教育領(lǐng)域更多的是針對精品的AI智能混合課堂，而不是泛市場的錄播系統(tǒng)。
提問：這個攝像機能美顏嗎？
賈導：這個功能我們產(chǎn)品暫時沒有加入，但是在新產(chǎn)品的設(shè)計時，會審慎的考慮用戶的需求。索尼影像產(chǎn)品一直以來堅持真實還原，例如我們的相機、攝像機的使用者大多是進行藝術(shù)創(chuàng)作，因此索尼呈現(xiàn)的是一個沒經(jīng)過任何處理的原生畫面，在這個基礎(chǔ)上他們進行二次創(chuàng)作。但未來在教育、工作場景中如果客戶有這方面需求，根據(jù)市場反饋，我們會考慮進行功能升級。
提問：大家非常關(guān)心的一個問題是，跟蹤老師到講臺的時候，板書或課件是否能看得清楚？
賈導：我們今天的這款機器是一款4K攝像機，紐約大學之所以選擇我們，原因之一就是因為我們拍的板書很清楚。另外，采用索尼的另一款A(yù)I設(shè)備，可以把板書提取出來，在老師的前面形成板書的畫面，從后面提取到前面，讓線上線下的觀眾，通過顯示器可以清楚看到板書。課堂中最主要的信息是板書，板書的前置提取，都可以通過影像采集和AI分析的技術(shù)實現(xiàn)。
提問：如果是兩個老師在臺上，攝像機怎么追蹤呢？
賈導：目前來講，如果兩個人都出現(xiàn)，兩個人臉上都有選框，自動模式會優(yōu)先選擇第一個進來的人。也可以手動干預(yù)進行點選，這是1.0的版本。
未來是會考慮一個問題，如果這兩個人是分道揚鑣，你往這邊走，我往那邊走，怎么辦?PTZ攝像機是物理云臺在動作，AI算法給出云臺指令到底跟誰，這有一定的邏輯難點，索尼也在研究這個場景的下應(yīng)該給出什么樣合適的構(gòu)圖。
