KG COMPANY Project
すべての技術を一つに
GPT + AI + 音声認識 + モノ認識
Project Rina すべての技術を一つに
- すべての技術を融合したプロジェクト
- ChatGPT + AI + 音声認識 + モノ認識
-- + TTS + Facail Animation(Lipcync) + Graphics
- + PC & Moblie(IOS / Android) & VRのすべてのプラットフォームで可能な1つのメタバス空間
- GPT + AIですべての分野に希望するデータで学習可能
- すべての言語の音声認識が可能
- 声に応じた顔アニメーション及び口パク提供
- グラフィック(キャラクター、背景、UIなど)の提供
- すべてのプラットフォームを提供可能
- メタバススペースの提供が可能
AI顔認識
- 映像の中の顔情報を分析するソリューション
- 顔の形、ポーズ、性別、年齢、人種などを分析
- 画面上でユーザーがどこを眺めているのか視線分析
- Android/iOS/PC/Mac 全てのプラットフォームに対応
- 顔認識による多様なコンテンツ機能
業界初開発!
すべての技術が一つにアップグレード- GPT + AI + 音声認識 + モノ認識+ ナビゲーション
Visual SLAMによる自己位置推定と環境地図作成
アプリの説明です.
まず、自分をキャプチャーします。
1. 体全体を認識(ボディトラッキング)して、実際の姿を投影した仮想の自分自身を作ります。
2. 仮想の自分自身は話すときや移動するときなどのアクションをとるたびに同期になります。
(実際の行動と同じ姿をリアルタイムでキャラクターに更新します。)
メインシーンの説明です
1. GPTで仮想の友達を作り、会話しながら毎日のように成長していきます。
2. 上段のME / WEモードです
- MEモードは自分とGPTの友達だけが会話ができます。
- WEモードは2つの機能があります。
1. 自分を他の人に検索できるようにします。
2. 私が韓国語を話すと、相手が日本人の場合、日本語に翻訳して聞くことができます。
私の言葉が自動的に翻訳されて、相手の国籍言語に伝達されます。
3. 周りにWEモードにした友達を探索することができます。WEモードをした友達に会いたい場合、その友達を探して会えるようにナビゲーションが作成されます。
(スラム)とは??~SLAMの基本技術と活用について~
皆さんは「SLAM」という言葉を聞いたことがありますでしょうか?本コラムでは、自動運転やAGV、ロボットなど様々なアプリケーションに採用されている「SLAM」技術の基本と活用について解説します。SLAMの概念や種類、ユースケースなど、様々な視点からSLAMについて理解を深め、SLAM活用の手助けとなれば幸いです。
SLAM(スラム)とは?
SLAMとは、「Simultaneous Localization and Mapping」の頭文字をとってSLAM(スラム)と呼びます。これを日本語にすると”Simultaneous=同時に起こる”、”Localization=位置特定”、”and=と”、”Mapping=地図作成”となり、「位置特定と地図作成を同時に行う」という意味になります。「位置特定と地図作成を同時に行う」技術と言われても、イメージしにくいと思いますので、もう少しかみ砕いて説明します。
まずは下の図をご覧下さい。例えば、あなたが目隠しをした状態である場所まで連れて来られたとします。目隠しを外して、まずあなたは周辺に何があるのかを見て、記憶の中からあてはまる場所を探していくと思います。そして頭の中では、眼から得た周辺の情報をもとに地図を作成し、あなたの知っている場所と一致すれば、正確な位置を特定することができると思います。もし、あなたの全く知らない場所であった場合は、まっさらの状態から歩き回り、頭の中で地図を作りながら、知っている場所にたどり着くことで位置を特定することができると思います。
これをSLAMに置き換えると、地図の中で自分がどこにいるのか、どっちを向いているのかということを技術的に正確に認識する「位置特定」と、周りに何があるのか、色々な情報を収集して周辺環境を把握する「地図作成」を同時に行っているということになります。
一般的に「Localization =自己位置推定」、「Mapping=環境地図作成」と表現されることが多いことから、SLAMとは「自己位置推定と環境地図作成を同時に行う技術」の総称になります。
SLAMの活用
SLAM技術により自分がどこにいるのか、周辺がどうなっているのかを把握することができるため、自動運転、ドローン、AGV、ロボット、AR/VR/MRなど、様々なアプリケーションに適用することができます。いずれも自己位置と周辺地図を正確に把握することが非常に重要な分野となります。
自動運転やドローンであれば、SLAMによって自身と周辺にある障害物やランドマークなどとの正確な距離を算出し、その情報から障害物を回避するなど次にとる行動を判断することができます。また、AGVやロボットであれば、目的地まで移動する、取り付けられたアームで物を取るなどの目的を実行するために、自己位置と周辺地図を正確に把握する必要があります。このように、SLAMは「機械の眼」として、多くのユースケースにおいて活用することができます。
Visual SLAM
Visual SLAMは、カメラからの画像によって実現するSLAM技術です。カメラにはレンズがひとつしかない単眼カメラ、レンズが複数ある複眼のステレオカメラなどがあり、周辺に見える物体に対して距離を計測します。比較的に安価に入手できるカメラを使用することからコストメリットが大きく、また、Visual SLAMではIMUやToFといった他のセンサーと組み合わせるケースも多いです。
Visual SLAMの様子について、以下の動画にて紹介します。
こちらは単眼カメラを使って撮影していますが、カメラの入力をもとに、周辺にある物体を多数の特徴点として認識しています。カメラ画像の上に紫色の「×」印が見えると思います。これは物体の特徴点を認識して、カメラとの距離や角度が変わることによる映像の変化から、特徴点との距離を算出するということが行われています。そして同時に、画面左上のように、緑色の点群によって周辺環境の3次元地図が作られている様子がわかるかと思います。