复旦学子主导研发的一款App帮视障者“看见”世界

中国青年报客户端讯（陈书灵 中青报·中青网记者 王烨捷）只需一枚摄像头和一对耳机便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷。日前，复旦大学自然语言处理实验室（FudanNLP）的师生们研发了一款基于多模态大模型的“复旦·眸思”（MouSi）系统，为视障者量身打造了“听见世界”App。预计今年3月该App将完成第一轮测试，在我国一二线城市和地区同步开启试点，根据算力情况进行推广。

“听见世界”App有三种工作模式。一是街道行走模式，它可以细致扫描道路情况，发现红绿灯、十字路口、障碍物等，提示潜在风险；二是自由问答模式，它可以带着视障人士走进博物馆、艺术馆、公园，捕捉四周景象的每个细节，用声音构建生活场景；三是寻物模式，它可以及时帮助主人找到不知道被放在哪里的手杖、不同口味的牛奶等。

据悉，我国盲人数量有1700多万，但在街上很少看到盲人出行。一个重要的原因是他们出门要面对大量不安全因素，难以独自成行。

复旦大学自然语言实验室张奇教授介绍，“听见世界”App项目的主导者都是“初出茅庐”的学生，在组内头脑风暴会上，年轻学子总能提出开创性想法”。

该项目团队共计吸纳了从本科生到博士生共25名复旦学子以及桂韬等多位教师、专家的加入。为了更好地感受视障者的难处，团队成员同样模拟真实情境，蒙眼探索视障者“黑暗”世界，并邀请视障人士加入，进一步摸清真实而具体的需求。在基于几亿张图片训练出的“眸思”大模型基础上，针对视障者提出的各类需求，同学们又用上万张图片进行特殊样本训练，使“眸思”具备能够适配更多场景的能力。未来，该项目还会开发更多的使用模式，比如阅读模式，服务盲人朋友点菜、读书等场景；解说模式，承担无障碍电影解说员的工作。

哆哆女性网取名字懂周易的香港的公司起名周公解梦梦见女儿怀孕了排八字算命猫鼠游戏电影天堂鼠年刘姓宝宝起名大全订做网站建设网站商品设计国外logo设计网站欣赏qq个性签名喜欢一个人永城属于哪里夏邑张二莉中老年人养生食谱娄底市网站建设医疗seo优化工具宝宝起名100分金钢网纱窗起名教师公寓楼起名聚合支付属鼠女宝宝起什么名字好永城臻味楼济南起名字做梦梦到猪是什么意思周公解梦起名字 学校百度网站推广关键词优化算命近期运势四川电视在线网站设计学习衢州网站制作网站设计外包运营淀粉肠小王子日销售额涨超10倍罗斯否认插足凯特王妃婚姻不负春光新的一天从800个哈欠开始有个姐真把千机伞做出来了国产伟哥去年销售近13亿充个话费竟沦为间接洗钱工具重庆警方辟谣“男子杀人焚尸”男子给前妻转账 现任妻子起诉要回春分繁花正当时呼北高速交通事故已致14人死亡杨洋拄拐现身医院月嫂回应掌掴婴儿是在赶虫子男孩疑遭霸凌 家长讨说法被踢出群因自嘲式简历走红的教授更新简介网友建议重庆地铁不准乘客携带菜筐清明节放假3天调休1天郑州一火锅店爆改成麻辣烫店19岁小伙救下5人后溺亡 多方发声两大学生合买彩票中奖一人不认账张家界的山上“长”满了韩国人？单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#青海通报栏杆断裂小学生跌落住进ICU代拍被何赛飞拿着魔杖追着打315晚会后胖东来又人满为患了当地回应沈阳致3死车祸车主疑毒驾武汉大学樱花即将进入盛花期张立群任西安交通大学校长为江西彩礼“减负”的“试婚人”网友洛杉矶偶遇贾玲倪萍分享减重40斤方法男孩8年未见母亲被告知被遗忘小米汽车超级工厂正式揭幕周杰伦一审败诉网易特朗普谈“凯特王妃P图照”考生莫言也上北大硕士复试名单了妈妈回应孩子在校撞护栏坠楼恒大被罚41.75亿到底怎么缴男子持台球杆殴打2名女店员被抓校方回应护栏损坏小学生课间坠楼外国人感慨凌晨的中国很安全火箭最近9战8胜1负王树国3次鞠躬告别西交大师生房客欠租失踪 房东直发愁萧美琴窜访捷克 外交部回应山西省委原副书记商黎光被逮捕阿根廷将发行1万与2万面值的纸币英国王室又一合照被质疑P图男子被猫抓伤后确诊“猫抓病”

哆哆女性网 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化