Forwarded from echoinside
This media is not supported in your browser
VIEW IN TELEGRAM
Finally, somebody merged NeRF and CLIP ☺️🔥
The author is one of the creators of Diet NeRF.
- original twitter thread
- some other attempts to shape point clouds with CLIP
The author is one of the creators of Diet NeRF.
- original twitter thread
- some other attempts to shape point clouds with CLIP
Text to 3D implemented with CLIP + NeRF (an evolution of DietNeRF!)
Prompt: "a 3d render of a jenga tower in unreal engine"Forwarded from Empty Set of Ideas
Два репозитория с кодом нейросетевых моделей для навигации в неизвестной окружающей среде, построенных на базе навигационных моделей млекопитающих, через попытку воссоздать кодировку пространства нейронами решетки, места и поворота головы. Выглядит очень многообещающе
https://github.com/deepmind/grid-cells and https://github.com/LPompe/gridtorch
The grid-cell network is a recurrent deep neural network (LSTM). This network learns to path integrate within a square arena, using simulated trajectories modelled on those of foraging rodents. The network is required to update its estimate of location and head direction using translational and angular velocity signals which are provided as input. The output of the LSTM projects to place and head direction units via a linear layer which is subject to regularization. The vector of activities in the place and head direction units, corresponding to the current position, was provided as a supervised training signal at each time step.
https://github.com/deepmind/grid-cells and https://github.com/LPompe/gridtorch
The grid-cell network is a recurrent deep neural network (LSTM). This network learns to path integrate within a square arena, using simulated trajectories modelled on those of foraging rodents. The network is required to update its estimate of location and head direction using translational and angular velocity signals which are provided as input. The output of the LSTM projects to place and head direction units via a linear layer which is subject to regularization. The vector of activities in the place and head direction units, corresponding to the current position, was provided as a supervised training signal at each time step.
Forwarded from Axis of Ordinary
BIG-bench preliminary results (May 2021 WELM talk): increasing returns to scale and capability spikes >=10b-parameters
A presentation of the mentioned results: https://youtu.be/x-9KxACAPIo?t=18300 (the most relevant presentation starts at 5:05:00)
Link to original comment: https://www.lesswrong.com/posts/vwLxd6hhFvPbvKmBH/yudkowsky-and-christiano-discuss-takeoff-speeds?commentId=AWSj7eHKm2ELGvzSS
A presentation of the mentioned results: https://youtu.be/x-9KxACAPIo?t=18300 (the most relevant presentation starts at 5:05:00)
Link to original comment: https://www.lesswrong.com/posts/vwLxd6hhFvPbvKmBH/yudkowsky-and-christiano-discuss-takeoff-speeds?commentId=AWSj7eHKm2ELGvzSS
Forwarded from the conference of the birds
Крысы не поняли, что рядом с ними эволюционировала более разумная цивилизация; по их мнению, мир вокруг просто становится всё более и более странным, с новыми возможностями и опасностями. Так и мы (q)
https://invidious.namazso.eu/watch?v=_DTpQ4Kk2wA
haha, they made numpy for typewriter
haha, they made numpy for typewriter
Imperial College London | Invidious
APL demonstration 1975
1975 live demonstration of the computer language APL (A Programming Language) by Professor Bob Spence, Imperial College London. Bob joined the staff of Imperial College in the 1962 and is now Professor Emeritus in EEED. His field of work has ranged from engineering…
∅
https://www.youtube.com/playlist?list=PL9_jI1bdZmz0hIrNCMQW1YmZysAiIYSSS
https://www.youtube.com/watch?v=dtYGiCpzzbA
Beautiful optimisation paper from same author
Beautiful optimisation paper from same author
YouTube
Repulsive Shape Optimization
In visual computing, point locations are often optimized using a "repulsive" energy, to obtain a nice uniform distribution for tasks ranging from image stippling to mesh generation to fluid simulation. But how do you perform this same kind of repulsive optimization…
∅
The impact of a lack of mathematical education on brain development and future attainment Abstract: Formal education has a long-term impact on an individual’s life. However, our knowledge of the effect of a specific lack of education, such as in mathematics…
Meta-analysis suggests education causally raises IQ https://labs.la.utexas.edu/tucker-drob/files/2019/08/Ritchie-Tucker-Drob-2018-Psych-Science-How-Much-Does-Education-Improve-Intelligence.pdf
Forwarded from cyberchaos & mathюки
pages from the diary of Clive Wearing, the man with 7 second memory
Forwarded from AbstractDL
This media is not supported in your browser
VIEW IN TELEGRAM
🔥WebGPT: теперь GPT-3 умеет гуглить лучше тебя
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог
В OpenAI зафайнтюнили GPT-3 отвечать на вопросы, пользуясь поиском Bing, а получившиеся при этом ответы оказались качественнее, чем у людей.
Сначала они разработали простенький текстовый браузер, которым могла бы пользоваться GPT — там есть основные команды типа: кликнуть на ссылку, поскроллить, найти слово на странице, скопировать фрагмент и тд. Далее они при помощи людей собрали датасет из 6000 примеров использования этого браузера и дообучили на нём GPT-3 (language modeling). Затем они нагенерили этой же моделью датасет из 25к вопросов и вручную разметили их качество. На этой разметке они обучили ранжировщик ответов и использовали его для дальнейшей фильтрации.
В итоге, судя по human evaluations на датасете ELI5, людям чаще нравятся ответы нейронки, чем своих собратьев 💁♂️
P.S. На гифке пример того, как гуглит эта модель, отвечая на вопрос «How do neural networks work?»
Статья, блог